Download - 8. Come valutare l’usabilità
![Page 1: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/1.jpg)
VALUTARE L’USABILITA’
Corso di Interazione Uomo MacchinaAA 2009-2010
Roberto Polillo
Università di Milano BicoccaDipartimento di Informatica, Sistemistica e Comunicazione
1
![Page 2: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/2.jpg)
Tecniche di valutazioneSi possono dividere in due grandi categorie:
• Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”)– Walkthrough cognitivi– Valutazioni euristiche– …
• Valutazioni con la partecipazione degli utenti– Test di usabilità– Interrogazioni– …
3
![Page 3: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/3.jpg)
Ispezioni
5
![Page 4: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/4.jpg)
Ispezioni (ingl.: inspections)
• Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti
• Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali)
• Due tecniche principali:
– Valutazioni basate su euristiche (“heuristic evaluation”)
– Walkthrough cognitivi
6
![Page 5: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/5.jpg)
Valutazioni basate su euristiche
Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani)
• Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati
• Le euristiche possono essere diverse, più o meno dettagliate.In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo
7
![Page 6: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/6.jpg)
Le euristiche di Nielsen
J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema:
1. Visibilità dello stato del sistema2. Corrispondenza fra il mondo reale e il sistema3. Libertà e controllo da parte degli utenti4. Consistenza e standard5. Prevenzione degli errori6. Riconoscere piuttosto che ricordare7. Flessibilità ed efficienza d’uso8. Design minimalista ed estetico9. Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli10. Guida e documentazione
(Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html )
8
![Page 7: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/7.jpg)
Valutazioni basate su euristiche: aspetti
• Poco costose (“discount usability”)
• Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta)
• Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità
• I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione)
• NB I valutatori non devono comunicare fra loro durante la valutazione
9
![Page 8: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/8.jpg)
Esempio
Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero di problemi trovati), da J.Nielsen, cit. 10
![Page 9: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/9.jpg)
Walkthrough cognitivo
• Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito…
• …cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità
11
![Page 10: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/10.jpg)
Il walkthrough cognitivo: come si fa
Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di
rispondere alle seguenti 4 domande :
1. L’utente cercherà di ottenere l’effetto corretto?
2. L’utente noterà che l’azione corretta è disponibile?
3. L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere?
4. Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito?
12
![Page 11: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/11.jpg)
Esempio: Copy & Paste di una frase in Word
UT 1: Selezionare la fraseSIST 1: Evidenzia la frase UT 2: Seleziona Edit CopySIST 2: nessun feedbackUT 3: Posiziona il cursore sul punto di
inserimentoSIST 3: La barra del cursore lampeggiaUT 4: Seleziona Edit PasteSIST 4: La frase selezionata appare nella
posizione del cursore
Per ogni azione dell’utente bisogna rispondere alle 4
domande precedenti
13
![Page 12: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/12.jpg)
Walkthrough cognitivo: aspetti
• La tecnica richiede molta esperienza
• L’analisi di interfacce complesse richiede molto tempo
• La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta
14
![Page 13: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/13.jpg)
Classificazione dei problemi riscontrati
Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio:
1 Problema irrilevante: non deve essere risolto, ameno che avanzi del tempo
2 Problema secondario: da risolvere con bassa priorità
3 Problema rilevante: da risolvere con alta priorità
4 Problema bloccante: deve necessariamente essere risolto prima che il sistema venga rilasciato
15
![Page 14: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/14.jpg)
Test di usabilità
16
![Page 15: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/15.jpg)
Sulla carta funziona, ma...…poi bisogna provare!
17
![Page 16: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/16.jpg)
In sostanza...
Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire
Osservatore Osservato 19
![Page 17: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/17.jpg)
Tipi di test di usabilità
• Test di compitoAgli utenti viene chiesto di svolgere compiti specifici, che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso)
• Test di scenarioAgli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari, senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni
20
![Page 18: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/18.jpg)
Esempio: test di compito per un sito di e-commerce
• Task 1: Registrarsi• Task 2: Verificare se si può pagare con Visa e
qual è l’importo minimo per un ordine• Task 3: Verificare quali sono i tempi di consegna • Task 4: Acquistare una scatoletta da 500 gr di
tonno sott’olio• Task 5: Cercare se vendono confezioni di
sciroppo di acero • Task 6: Verificare lo stato degli ordini effettuati• Task 7: Verificare se esistono offerte speciali di
pasta
21
![Page 19: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/19.jpg)
Esempio: test di scenario per un sito di e-commerce
Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica.
22
![Page 20: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/20.jpg)
Test di usabilità: logistica
Due filosofie:
• Organizzazione informale (costi bassi)
• Usability lab (costi alti):
>>
23
![Page 21: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/21.jpg)
Usability lab
Testing roomObservation
room
24
![Page 22: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/22.jpg)
25
![Page 23: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/23.jpg)
Telecamera
Microfono
Tester
Schermo conSoftware ScreenRecording
Organizzazione informale
27
![Page 24: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/24.jpg)
28
![Page 25: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/25.jpg)
Thinking aloud
E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando:
– che cosa sta cercando di fare– che cosa vede sullo schermo– come pensa di dover proseguire– quali dubbi e difficoltà sta provando
29
![Page 26: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/26.jpg)
Aspettatevi delle sorprese!
?Y!W?KJZ
Video: test di usabilità 30
![Page 27: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/27.jpg)
Come si organizza un test di usabilità
Quattro fasi:
1. Preparazione del test
2. Esecuzione del test
3. Analisi dei risultati
4. Conclusioni
31
![Page 28: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/28.jpg)
1. Preparazione del test
• Definizione degli obiettivi e tipo del test, e delle misure da raccogliere
• Definizione del numero e della tipologia degli utenti campione
• Definizione dei compiti e/o scenari d’uso
• Individuazione degli utenti campione
• Preparazione dei materiali e dell’ambiente di prova
>>
32
![Page 29: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/29.jpg)
Quali misure raccogliere?
Spesso vengono raccolte le seguenti metriche elementari:
• il tempo richiesto da un determinato compito
• la percentuale di compiti portati a termine con successo (“success rate”)
• la soddisfazione dell’utente
33
![Page 30: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/30.jpg)
Success rate: esempio
Success rate: (9 + (4*0.5)) / 24 = 46%
successfultrials
partiallysuccessful
total trials
34
![Page 31: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/31.jpg)
Test di usabilità: quanti utenti? Dipende dagli obiettivi del test e dalla complessità del
sistema
Check-up informale di un sito semplice:
- 5-7 utenti- 5-7 compiti ciascuno(20-40 minuti per ciascun utente)
Valutazione approfonditadi un sito complesso:
- 10-15 utenti- 1 – 1,5 h per ciascun utente
Esempio: per un sito web, tipicamente
35
![Page 32: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/32.jpg)
La regola di Nielsen(per i siti web)
• Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo
• Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti
(Jakob Nielsen)
• Però questa regola informale è stata molto criticata
36
![Page 33: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/33.jpg)
Preparazione dei materiali e dell’ambiente di prova
• Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …)
• Descrizione scritta dei compiti/scenari, da dare agli utenti
• Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati)
• Questionario per l’intervista finale agli utenti
38
![Page 34: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/34.jpg)
1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________
2. Livello di conoscenza di Internet
Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima
In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10
Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No
3. Livello di conoscenza del sito
Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________
Hai mai utilizzato siti simili?
No – Sì,qualche volta – Sì, spesso
Se sì, quali? _____________________
1. Dati personaliNome: _____________________Età: __Titolo di studio: _____________________ Professione: _____________________
2. Livello di conoscenza di Internet
Giudichi di avere una esperienza d’uso del web:scarsa – media – buona - ottima
In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10
Hai mai partecipato ad un forum o ad una chat su Internet?Sì – No
3. Livello di conoscenza del sito
Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________
Hai mai utilizzato siti simili?
No – Sì,qualche volta – Sì, spesso
Se sì, quali? _____________________
Esempio:Scheda per i dati sugli utenti
39
![Page 35: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/35.jpg)
2. Esecuzione del test
• Spiegazione agli utenti
• Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud, webcam,...), senza interferire
• Intervista agli utenti (dopo)
>>
40
![Page 36: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/36.jpg)
3. Analisi dei risultati
• Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato)
• Individuazione ed elencazione dei singoli problemi individuati
>>
44
![Page 37: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/37.jpg)
Analisi risultati di un test di usabilità: esempio
(Registrazione utente in un sito di e-commerce) 45
![Page 38: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/38.jpg)
• Riorganizzazione dell’elenco dei problemi in aree funzionali
• Definizione del livello di priorità dei problemi, es.:
Priorità 1: Interventi indispensabili e urgenti
Priorità 2: Interventi necessari ma meno urgentiPriorità 3: Interventi auspicabili
• Stesura delle raccomandazioni finali
3. Conclusioni
46
![Page 39: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/39.jpg)
Raccomandazioni finali: esempio
47
![Page 40: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/40.jpg)
Altre tecniche basate sull’utente
48
![Page 41: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/41.jpg)
Inchieste (“inquiry”)
Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti
Esistono varie tecniche:
- interviste individuali- questionari- focus group (discussione con gruppi di utenti)
49
![Page 42: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/42.jpg)
Inchieste: aspetti
Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità:
gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema
50
![Page 43: 8. Come valutare l’usabilità](https://reader033.vdocuments.pub/reader033/viewer/2022061216/54b24f7c4a7959e4098b457e/html5/thumbnails/43.jpg)
Esperimenti controllati
• Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo
• Esempi:– Leggibilità di testi a video (dimensione font, tipo di font, colori, …)
– Efficacia dei banner pubblicitari su pagine web
– ….
• La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso
51