ibe kitap kullanılabilirlik 2-testler

Prof.Dr. Kürşat Çağıltay, İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe, Kitap Notları

Kullanılabilirlik TestleriKullanılabilirlik Testleri


Kullanılabilirliği belirleyen Kullanılabilirliği belirleyen faktörlerfaktörler

Etkililik

Etkinlik

Memnuniyet

KullanılabilirlikKriteri/seviyesi

TasarımSüreci


Kullanılabilirlik testinin Kullanılabilirlik testinin planlanmasıplanlanması

• Tanımla: Hangi verileri toplayacaksın?

Bu veriler sana ne söyleyecek?Hangi veri toplama metotlarına başvuracaksın?Test sonuçlarını elde etmek ne kadar zaman alacak?Tasarımcılara ne tür bir geridönüt vereceksin?

• Bu planın avantaj/dezavantajlarını sırala


Bir etkinlikBir etkinlik• VESTEL Türkiye pazarına sunmak için yeni elektronik

ürünlerine (uzaktan kumanda da dahil) bir arayüz tasarlıyor ve pazarda ‘en kullanışlı’ olmayı hedefliyor – bu iddiayı nasıl test edersiniz?

• Kurumunuz yeni web sitesini kullanılabilirlik açısından test etmek istiyor. Bu testi hazırlamakla sorumlusun, neler yaparsın?

• Ankara Belediyesi ziyaretçi merkezleri, AŞTİ, vb. yerlerde kullanmak için ziyaretçilere bilgi ve tavsiye sunan bir bilgi kabini üretiyor. Kullanılabilirlik testi için başvurdular. (Sıfır öğrenme zamanı)

?


Kullanılabilirlik kriterleri Kullanılabilirlik kriterleri koymakkoymak

• “Ürün X, kullanıcıların %70’i tarafından, ek bir eğitim gerektirmeksizin, bütün görevleri %95 doğrulukla, var olan diğer uygulamanın kullanımından %25 daha hızlı ve en azından eşit seviyede memnuniyet göstererek kullanılmaktadır.”


VeyaVeya..........

• “Ürün X, kullanıcıların %80’i tarafından, 2 günlük bir eğitimle, görevlerin %90’dan fazla bir doğrulukla, var olan bir uygulama ile aynı yeterlilikle ve memnuniyette bir artışla kullanılmaktadır.”


Bunun yerineBunun yerine........ • “Ürün X kullanışlıdır.”

(İBE için anlamsız bir ifade)

• “Bu yeni uygulama bir öncekinden daha kullanışlıdır.”(”Hangi anlamda daha kullanışlı? Kimin için? Ve nerede? soruları cevap bekler...”


Kriterler nasıl elde edilirKriterler nasıl elde edilir?? • Kullanıcı analizi

• Görev analizi

• Durum analizi


AmaçKullanıcı

İzmir’de bir düğüne katılmak

Görevler

Bütçeyi gözden geçirİşten izin isteİzmir’e uçuş rezervasyonu yaptırBavulunu hazırlaUçuş saatlerini kontrol etAraba kiralaKalacak yer ayarla

B a ğ l a m


ÇıktıÇıktı • Kullanım senaryoları

– Kullanıcıların, görevlerin ve bağlamın tanımlandığı etkileşim “hikayeleridir”.

• Senaryolar– Etkililik– Etkinlik– Memnuniyet

kararlarının temel unsurunu oluşturur.


Kullanılabilirlik Kullanılabilirlik Değerlendirmesi ÇerçevesiDeğerlendirmesi Çerçevesi• Yaklaşım ve Tür

– Yaklaşım, verinin kaynağına değinir• Kullanıcı, Uzman veya Model

– Tür, değerlendirmenin amacına değinir• Süreçsel (Formatif) veya Sonuçsal

• Herhangi bir değerlendirme metodu yaklaşım ve türün birleşimidir.


Değerlendirme YaklaşımıDeğerlendirme Yaklaşımı

• Yaklaşım verinin kaynağını tanımlar. Başka bir değişle, değerlendirmeci kullanılabilirlik hakkındaki verilere nereden ulaşır?

– gerçek kullanıcılardan mı? (kullanıcı tabanlı)

– kullanılabilirlik uzmanları veya kendi değerlendirmesinden mi? (uzman tabanlı)

– Bir teori ya da modelin uygulamasından mı? (model tabanlı)


Kullanıcı tabanlı Kullanıcı tabanlı yaklaşımların yaklaşımların dezavantajlarıdezavantajları

• Maliyeti yüksek olabilir:– zaman– kaynaklar

• Sabır gerektirir

• (Kullanışlı olması için) planlanmalıdır– görevler ve olası durumlar çerçevesinde.

• Yeniden tasarımı mantıklı biçimde belirlemez


Tipik Uzman Tabanlı Tipik Uzman Tabanlı Değerlendirme Değerlendirme (1)(1)

• Sezgisel (Heuristik) değerlendirme (Nielsen 1993)– Nielsen’ın yönergelerini temel al ve arayüzü

bunlara göre kontrol et• Basit ve doğal diyalog• Geridönüt• İyi hata mesajları veren.....

– İlki prensiplerin ekran ekran, diğeri de ekranlar arası akışlarını kontrol etmek için 2 iterasyon yap

– En iyi sonuç için birden çok kullanılabilirlik uzmanını çalışmaya dahil et.

http://www.useit.com/papers/heuristic/


Nielsen’ın Sezgisel Nielsen’ın Sezgisel (Heuristik) Değerlendirme (Heuristik) Değerlendirme

YönergeleriYönergeleri• Basit ve doğal diyalog• Kullanıcının dilini konuş• Hafıza yükünü azalt• Tutarlılık• Geridönüt • Açık bir biçimde işaretlenmiş çıkışlar• Kısayollar sunumu• İyi hata mesajları• Hataların engellenmesi• Yardım ve belgeleme sunumu

http://www.useit.com/papers/heuristic/


Tipik Uzman Tabanlı Tipik Uzman Tabanlı Değerlendirme Değerlendirme (2)(2)

• Bilişsel prova– “kullanıcının bilişsel etkinliklerinin bir el

simülasyonu” Polson (1992)

– Görev analizi yap ve tutarlılık, anlaşılabilirlik, vb. açısından kontrol ederek kullanıcının gerçekleştireceği tüm etkinliklerin ‘provasını yap’

• Kullanıcı ne yapmaya çalışıyor?

• Arayüz hangi hareketleri destekliyor?

• vb.

– Süreç değerlendirmesi için idealdirhttp://www.acm.org/sigchi/chi95/proceedings/tutors/jr_bdy.htm


Uzman Tabanlı Uzman Tabanlı Değerlendirmelerin Değerlendirmelerin

AvantajlarıAvantajları

• Genellikle hızlı sonuç alınır

• Kullanıcı testinden daha ucuzdur

• Teşhis yapılabilir

• Tasarımın tüm basamaklarında kullanılabilir

• Özel ortamlar gerektirmez


Uzman Tabanlı Uzman Tabanlı Değerlendirmelerin Değerlendirmelerin

DezavantajlarıDezavantajları• ‘Uzmanlığı’ kim belirler?

• Görev konusunda uzmanlık da önemlidir. (Nielsen 1993 çalışması)

• Uzmanlar anlaşamaz!

• Kullanıcı davranışını kestirmek zordur


ModelModel Tabanlı Tabanlı DeğerlendirmelerDeğerlendirmeler

• Görev analizi sonuçları ve kullanıcı arayüzü tasarımı arasındaki eşleşmeyi içerir.

• Genellikle teoriler üzerine kuruludur.

• İnsan Bilgisayar Etkileşiminde (İBE) az kullanılır.


Tipik Model Tabanlı SenaryoTipik Model Tabanlı Senaryo• Değerlendirmeci sistemin karmaşıklığını

(kullanıcının öğrenmesi gereken üretim kuralları çerçevesinde) ölçer.

• Değerlendirmeci görev analizi tabanlı metotları kullanarak uzman kullanıcı için tamamlama süresini tahmin eder. (Örneğin GOMS, Card ve diğerleri 1983)

(bkz. Preece ve diğerleri (1995) İnsan Bilgisayar Etkileşimi)


Algısal İşlemci

Motorİşlemci

Bilişsel İşlemci

Görsel İmge Haznesi

Uzun Süreli Hafıza

İşitsel İmge Haznesi

Kısa süreli Hafıza


Bilişsel parametrelerBilişsel parametrelerOlson ve Olson’dan, 1990

İsim Hareket Zaman(mili sn)

Tuşa bas

Fare ile göster

Elini fareye götür

Algıla

Hafızadan eriş

Zihinsel bir basamak gerçekleştir

Metotlar arasından seç


MS WordMS Word’ de ’ de <<DOSYAMDOSYAM> > adlı bir dosyayı adlı bir dosyayı

kaydetmekkaydetmekElin hedefe ilk varışı (Hm=0.36 sn)

İmleci dosya menüsüne götürmek, (M =1.5) + Hafızadan erişmek (R=1.2) Dosya menüsünü tıklamak (K =0.23) menüde aşağı doğru ilerlemek (M=1.5) + Hafızadan erişmek (R=1.2)“Farklı kaydet” i tıklamak (K=0.23)Sistemin cevap vermesi (Sys=1.2), kullanıcının bir isim girmesi (R =1.2 + (nk= 6(0.23)) ve giriş tuşuna basması (K=0.23)

toplam: 10.23 sn


ModelModel Tabanlı Tabanlı Değerlendirmelerin Değerlendirmelerin

AvantajlarıAvantajları• Sistem spesifikasyonlarının belirlenmesi

aşamasında gerçekleştirilebilir

• Ucuz

• Değişiklikler için en yüksek imkan verir


ModelModel Tabanlı Tabanlı Değerlendirmelerin Değerlendirmelerin

DezavantajlarıDezavantajları• Model hakkında eğitimli olmadan

uygulaması zordur

• Metodu kullanmayı bilen değerlendirmeci sayısı azdır

• Her ortam için çok uygun değildir– GOMS uzman ve hatasız uygulama

tamamlamanın yalnızca isteğe bağlı olmayan görevlere uyacağını öngörür.


Bir EtkinlikBir Etkinlik: : Kullanılabilirlik Kullanılabilirlik testitesti

• Bir gönüllüye ihtiyacım var– Protokol– Sesli düşünmek– Etkililik, Etkinlik ve memnuniyeti ölçme– Bulguları Rapor etme


Testi gerçekleştirmekTesti gerçekleştirmek: : Dikkat edileceklerDikkat edilecekler……

• Kaç kullanıcı?• Test süresi?• Test nerede yapılacak?• Testi yapanın görevi:

– Katılımcıları rahat ettirmek: Ürün test ediliyor– Gözlemle ve not al– Müdahale ya da yardım etme

• Diğer gözlemcilerin görevleri• Sesli düşünme yaklaşımı• Katılımcılara verilecek ödül


Veri toplamaVeri toplama• Nicel veri

– Sistemi kullanırken yapılan hata sayısı– Etkinlik(ler) için gereken zaman

• Nitel veri– Kullanım kolaylığı – Materyaller uygun, bulması ve

kullanması kolay mı?– Öğrenenlerin materyallere, etkinliklere ve

değerlendirmeye tepkileri– Sesli düşünme sonucu verilen geri bildirim


Kullanılabilirlik Kullanılabilirlik sonuçlarını analiz ve sonuçlarını analiz ve

rapor etmerapor etme• Nicel veri

– Tanımlayıcı veri (kullanıcı sayısı, harcanan zaman, hatalar)

– Veri tablolarını tartış (ne anlama geliyorlar?)

• Nitel veri– gözlemlerini pekiştir (eksiler ve artılar!)– ortak temaları çıkar– kritik temaları belirle (ör, gereken zamanın uzunluğu)– mümkünse bulgularını paylaş kontrolü yap– problemler için çözümler tesbit et– bulgu ve çözümlerini özetleyip sun


Kullanılabilirlik Kullanılabilirlik sonuçlarını analiz ve sonuçlarını analiz ve

rapor etmerapor etme

Gözlemler Yorum Tavsiye


ProtoProtokkolol• Giriş– Teşekkürler... Bu oturuma katıldığınız için. – Ürün tarifi... Öğretimsel çoklu ortam (multimedya) için

görsel tasarım konulu bir CD-ROM “kitabı“.– Oturumun amacı... Bu ürünü daha iyi hale getirmek. – Bu ürünün bazı problemleri var. – Ürünü kullanırken karşılaştığınız bir problem ürünün

problemidir, sizin değil.• Talimatlar...

– Sizden programla ilgili belli şeyler yapmanızı isteyeceğim ve sizi izleyeceğim. Siz onları yaparken notlar alacağım. Bunlar sadece sürecin nasıl gittiğini daha sonra hatırlamam amaçlı

– Bana yardımcı olmak için, sizden programı kullanırken “sesli düşünmenizi” ve belli şeyleri yapmak için karar vermenizi istiyorum.

– Sizden verilen görevleri olabildiğince kendi başınıza deneyip yapmanızı istiyorum. Ümitsiz şekilde bir yerde takılırsanız yardımcı olabilirim; ama bunu benim yardımım olmadan denemenizi tercih ederim.

– İstediğiniz zaman belirli bir görevden çıkıp devam edebilir veya oturumu tamamen sonlandırmayı da seçebilirsiniz.


Gözlem kağıdıGözlem kağıdı

Başlangıç zamanı: Bitiş zamanı:

Sayfa/link adı Notlar +/-

Başlangıç sayfasının adı

Etkinlik

EtkililikEtkinlik


Kendimizi deneyelim: GörevKendimizi deneyelim: Görev ……

• Bir web sitesinin kullanılabilirlik testini yapın

• http://www.........tr

• Görev: Bu sitede yer alan kritik bir bilgiyi bulmak

Başta ne dedik: İyiler her zaman kazanmaz

ibe kitap kullanılabilirlik 2-testler

Education