ibe kitap kullanılabilirlik 2-testler

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik TestleriKullanılabilirlik Testleri

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirliği belirleyen Kullanılabilirliği belirleyen faktörlerfaktörler

Etkililik

Etkinlik

Memnuniyet

KullanılabilirlikKriteri/seviyesi

TasarımSüreci

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik testinin Kullanılabilirlik testinin planlanmasıplanlanması

• Tanımla: Hangi verileri toplayacaksın?

Bu veriler sana ne söyleyecek?Hangi veri toplama metotlarına başvuracaksın?Test sonuçlarını elde etmek ne kadar zaman alacak?Tasarımcılara ne tür bir geridönüt vereceksin?

• Bu planın avantaj/dezavantajlarını sırala

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Bir etkinlikBir etkinlik• VESTEL Türkiye pazarına sunmak için yeni elektronik

ürünlerine (uzaktan kumanda da dahil) bir arayüz tasarlıyor ve pazarda ‘en kullanışlı’ olmayı hedefliyor – bu iddiayı nasıl test edersiniz?

• Kurumunuz yeni web sitesini kullanılabilirlik açısından test etmek istiyor. Bu testi hazırlamakla sorumlusun, neler yaparsın?

• Ankara Belediyesi ziyaretçi merkezleri, AŞTİ, vb. yerlerde kullanmak için ziyaretçilere bilgi ve tavsiye sunan bir bilgi kabini üretiyor. Kullanılabilirlik testi için başvurdular. (Sıfır öğrenme zamanı)

?

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik kriterleri Kullanılabilirlik kriterleri koymakkoymak

• “Ürün X, kullanıcıların %70’i tarafından, ek bir eğitim gerektirmeksizin, bütün görevleri %95 doğrulukla, var olan diğer uygulamanın kullanımından %25 daha hızlı ve en azından eşit seviyede memnuniyet göstererek kullanılmaktadır.”

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

VeyaVeya..........

• “Ürün X, kullanıcıların %80’i tarafından, 2 günlük bir eğitimle, görevlerin %90’dan fazla bir doğrulukla, var olan bir uygulama ile aynı yeterlilikle ve memnuniyette bir artışla kullanılmaktadır.”

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Bunun yerineBunun yerine........ • “Ürün X kullanışlıdır.”

(İBE için anlamsız bir ifade)

• “Bu yeni uygulama bir öncekinden daha kullanışlıdır.”(”Hangi anlamda daha kullanışlı? Kimin için? Ve nerede? soruları cevap bekler...”

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kriterler nasıl elde edilirKriterler nasıl elde edilir?? • Kullanıcı analizi

• Görev analizi

• Durum analizi

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

AmaçKullanıcı

İzmir’de bir düğüne katılmak

Görevler

Bütçeyi gözden geçirİşten izin isteİzmir’e uçuş rezervasyonu yaptırBavulunu hazırlaUçuş saatlerini kontrol etAraba kiralaKalacak yer ayarla

B a ğ l a m

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

ÇıktıÇıktı • Kullanım senaryoları

– Kullanıcıların, görevlerin ve bağlamın tanımlandığı etkileşim “hikayeleridir”.

• Senaryolar– Etkililik– Etkinlik– Memnuniyet

kararlarının temel unsurunu oluşturur.

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik Kullanılabilirlik Değerlendirmesi ÇerçevesiDeğerlendirmesi Çerçevesi• Yaklaşım ve Tür

– Yaklaşım, verinin kaynağına değinir• Kullanıcı, Uzman veya Model

– Tür, değerlendirmenin amacına değinir• Süreçsel (Formatif) veya Sonuçsal

• Herhangi bir değerlendirme metodu yaklaşım ve türün birleşimidir.

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Değerlendirme YaklaşımıDeğerlendirme Yaklaşımı

• Yaklaşım verinin kaynağını tanımlar. Başka bir değişle, değerlendirmeci kullanılabilirlik hakkındaki verilere nereden ulaşır?

– gerçek kullanıcılardan mı? (kullanıcı tabanlı)

– kullanılabilirlik uzmanları veya kendi değerlendirmesinden mi? (uzman tabanlı)

– Bir teori ya da modelin uygulamasından mı? (model tabanlı)

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanıcı tabanlı Kullanıcı tabanlı yaklaşımların yaklaşımların dezavantajlarıdezavantajları

• Maliyeti yüksek olabilir:– zaman– kaynaklar

• Sabır gerektirir

• (Kullanışlı olması için) planlanmalıdır– görevler ve olası durumlar çerçevesinde.

• Yeniden tasarımı mantıklı biçimde belirlemez

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Tipik Uzman Tabanlı Tipik Uzman Tabanlı Değerlendirme Değerlendirme (1)(1)

• Sezgisel (Heuristik) değerlendirme (Nielsen 1993)– Nielsen’ın yönergelerini temel al ve arayüzü

bunlara göre kontrol et• Basit ve doğal diyalog• Geridönüt• İyi hata mesajları veren.....

– İlki prensiplerin ekran ekran, diğeri de ekranlar arası akışlarını kontrol etmek için 2 iterasyon yap

– En iyi sonuç için birden çok kullanılabilirlik uzmanını çalışmaya dahil et.

http://www.useit.com/papers/heuristic/

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Nielsen’ın Sezgisel Nielsen’ın Sezgisel (Heuristik) Değerlendirme (Heuristik) Değerlendirme

YönergeleriYönergeleri• Basit ve doğal diyalog• Kullanıcının dilini konuş• Hafıza yükünü azalt• Tutarlılık• Geridönüt • Açık bir biçimde işaretlenmiş çıkışlar• Kısayollar sunumu• İyi hata mesajları• Hataların engellenmesi• Yardım ve belgeleme sunumu

http://www.useit.com/papers/heuristic/

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Tipik Uzman Tabanlı Tipik Uzman Tabanlı Değerlendirme Değerlendirme (2)(2)

• Bilişsel prova– “kullanıcının bilişsel etkinliklerinin bir el

simülasyonu” Polson (1992)

– Görev analizi yap ve tutarlılık, anlaşılabilirlik, vb. açısından kontrol ederek kullanıcının gerçekleştireceği tüm etkinliklerin ‘provasını yap’

• Kullanıcı ne yapmaya çalışıyor?

• Arayüz hangi hareketleri destekliyor?

• vb.

– Süreç değerlendirmesi için idealdirhttp://www.acm.org/sigchi/chi95/proceedings/tutors/jr_bdy.htm

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Uzman Tabanlı Uzman Tabanlı Değerlendirmelerin Değerlendirmelerin

AvantajlarıAvantajları

• Genellikle hızlı sonuç alınır

• Kullanıcı testinden daha ucuzdur

• Teşhis yapılabilir

• Tasarımın tüm basamaklarında kullanılabilir

• Özel ortamlar gerektirmez

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Uzman Tabanlı Uzman Tabanlı Değerlendirmelerin Değerlendirmelerin

DezavantajlarıDezavantajları• ‘Uzmanlığı’ kim belirler?

• Görev konusunda uzmanlık da önemlidir. (Nielsen 1993 çalışması)

• Uzmanlar anlaşamaz!

• Kullanıcı davranışını kestirmek zordur

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

ModelModel Tabanlı Tabanlı DeğerlendirmelerDeğerlendirmeler

• Görev analizi sonuçları ve kullanıcı arayüzü tasarımı arasındaki eşleşmeyi içerir.

• Genellikle teoriler üzerine kuruludur.

• İnsan Bilgisayar Etkileşiminde (İBE) az kullanılır.

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Tipik Model Tabanlı SenaryoTipik Model Tabanlı Senaryo• Değerlendirmeci sistemin karmaşıklığını

(kullanıcının öğrenmesi gereken üretim kuralları çerçevesinde) ölçer.

• Değerlendirmeci görev analizi tabanlı metotları kullanarak uzman kullanıcı için tamamlama süresini tahmin eder. (Örneğin GOMS, Card ve diğerleri 1983)

(bkz. Preece ve diğerleri (1995) İnsan Bilgisayar Etkileşimi)

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Algısal İşlemci

Motorİşlemci

Bilişsel İşlemci

Görsel İmge Haznesi

Uzun Süreli Hafıza

İşitsel İmge Haznesi

Kısa süreli Hafıza

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Bilişsel parametrelerBilişsel parametrelerOlson ve Olson’dan, 1990

İsim Hareket Zaman(mili sn)

Tuşa bas

Fare ile göster

Elini fareye götür

Algıla

Hafızadan eriş

Zihinsel bir basamak gerçekleştir

Metotlar arasından seç

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

MS WordMS Word’ de ’ de <<DOSYAMDOSYAM> > adlı bir dosyayı adlı bir dosyayı

kaydetmekkaydetmekElin hedefe ilk varışı (Hm=0.36 sn)

İmleci dosya menüsüne götürmek, (M =1.5) + Hafızadan erişmek (R=1.2) Dosya menüsünü tıklamak (K =0.23) menüde aşağı doğru ilerlemek (M=1.5) + Hafızadan erişmek (R=1.2)“Farklı kaydet” i tıklamak (K=0.23)Sistemin cevap vermesi (Sys=1.2), kullanıcının bir isim girmesi (R =1.2 + (nk= 6(0.23)) ve giriş tuşuna basması (K=0.23)

toplam: 10.23 sn

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

ModelModel Tabanlı Tabanlı Değerlendirmelerin Değerlendirmelerin

AvantajlarıAvantajları• Sistem spesifikasyonlarının belirlenmesi

aşamasında gerçekleştirilebilir

• Ucuz

• Değişiklikler için en yüksek imkan verir

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

ModelModel Tabanlı Tabanlı Değerlendirmelerin Değerlendirmelerin

DezavantajlarıDezavantajları• Model hakkında eğitimli olmadan

uygulaması zordur

• Metodu kullanmayı bilen değerlendirmeci sayısı azdır

• Her ortam için çok uygun değildir– GOMS uzman ve hatasız uygulama

tamamlamanın yalnızca isteğe bağlı olmayan görevlere uyacağını öngörür.

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Bir EtkinlikBir Etkinlik: : Kullanılabilirlik Kullanılabilirlik testitesti

• Bir gönüllüye ihtiyacım var– Protokol– Sesli düşünmek– Etkililik, Etkinlik ve memnuniyeti ölçme– Bulguları Rapor etme

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Testi gerçekleştirmekTesti gerçekleştirmek: : Dikkat edileceklerDikkat edilecekler……

• Kaç kullanıcı?• Test süresi?• Test nerede yapılacak?• Testi yapanın görevi:

– Katılımcıları rahat ettirmek: Ürün test ediliyor– Gözlemle ve not al– Müdahale ya da yardım etme

• Diğer gözlemcilerin görevleri• Sesli düşünme yaklaşımı• Katılımcılara verilecek ödül

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Veri toplamaVeri toplama• Nicel veri

– Sistemi kullanırken yapılan hata sayısı– Etkinlik(ler) için gereken zaman

• Nitel veri– Kullanım kolaylığı – Materyaller uygun, bulması ve

kullanması kolay mı?– Öğrenenlerin materyallere, etkinliklere ve

değerlendirmeye tepkileri– Sesli düşünme sonucu verilen geri bildirim

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik Kullanılabilirlik sonuçlarını analiz ve sonuçlarını analiz ve

rapor etmerapor etme• Nicel veri

– Tanımlayıcı veri (kullanıcı sayısı, harcanan zaman, hatalar)

– Veri tablolarını tartış (ne anlama geliyorlar?)

• Nitel veri– gözlemlerini pekiştir (eksiler ve artılar!)– ortak temaları çıkar– kritik temaları belirle (ör, gereken zamanın uzunluğu)– mümkünse bulgularını paylaş kontrolü yap– problemler için çözümler tesbit et– bulgu ve çözümlerini özetleyip sun

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik Kullanılabilirlik sonuçlarını analiz ve sonuçlarını analiz ve

rapor etmerapor etme

Gözlemler Yorum Tavsiye

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

ProtoProtokkolol• Giriş– Teşekkürler... Bu oturuma katıldığınız için. – Ürün tarifi... Öğretimsel çoklu ortam (multimedya) için

görsel tasarım konulu bir CD-ROM “kitabı“.– Oturumun amacı... Bu ürünü daha iyi hale getirmek. – Bu ürünün bazı problemleri var. – Ürünü kullanırken karşılaştığınız bir problem ürünün

problemidir, sizin değil.• Talimatlar...

– Sizden programla ilgili belli şeyler yapmanızı isteyeceğim ve sizi izleyeceğim. Siz onları yaparken notlar alacağım. Bunlar sadece sürecin nasıl gittiğini daha sonra hatırlamam amaçlı

– Bana yardımcı olmak için, sizden programı kullanırken “sesli düşünmenizi” ve belli şeyleri yapmak için karar vermenizi istiyorum.

– Sizden verilen görevleri olabildiğince kendi başınıza deneyip yapmanızı istiyorum. Ümitsiz şekilde bir yerde takılırsanız yardımcı olabilirim; ama bunu benim yardımım olmadan denemenizi tercih ederim.

– İstediğiniz zaman belirli bir görevden çıkıp devam edebilir veya oturumu tamamen sonlandırmayı da seçebilirsiniz.

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Gözlem kağıdıGözlem kağıdı

 Başlangıç zamanı: Bitiş zamanı:

Sayfa/link adı Notlar +/-

Başlangıç sayfasının adı

Etkinlik

EtkililikEtkinlik

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kendimizi deneyelim: GörevKendimizi deneyelim: Görev ……

• Bir web sitesinin kullanılabilirlik testini yapın

• http://www.........tr

• Görev: Bu sitede yer alan kritik bir bilgiyi bulmak

Başta ne dedik: İyiler her zaman kazanmaz