interaction design 1.8: usability test uitvoeren
DESCRIPTION
TRANSCRIPT
Interaction Design 101 Vragen of feedback? @ferrydendopper
Usability test uitvoeren
Observeren, aanbevelen en rapporteren
Interaction Design 101 Vragen of feedback? @ferrydendopper
Programma Usability Testing
1. Onderzoek opstarten
2. Scenario’s en taken opstellen
3. Interview afnemen
4. Problemen identificeren en oplossen
5. Rapporteren en communiceren
Interaction Design 101 Vragen of feedback? @ferrydendopper
4.Problemen identificeren en oplossen
Problemen vinden Aanbevelingen doen
3
Interaction Design 101 Vragen of feedback? @ferrydendopper
Wat is een usability probleem?
Systeem fout ? Gebruikers fout ? Gebruikers voorkeur ? Gebruikers houding ? Gebruikers opmerking ?
4
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoeveel problemen vind je?
5
8
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoeveel problemen vind je?
Hotmail case Alle taken RegistratieTotaal gevonden problemen 310 48
Gevonden door 7 teams 1 1
6 teams 1 0
5 teams 4 0
4 teams 5 2
3 teams 17 4
2 teams 50 7
1 team 232 (75%) 34 (71%)
6
CUE met 8 teams
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoe kan dit?
De teams gebruikten andere taken.
25 taken werden getest door 1 team. 7 taken door 2 teams. 5 taken door 3 teams. 8 taken door 4 teams. 3 taken door 5 teams. 1 taak door 7 teams. 2 taken werden getest door alle 8 teams.
Totaal 51 taken.
7
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoe kan dit?
Hotmail is een grote en complexe website. En zo zijn er veel. Van grote sites kun je zelfs de basistaken niet allemaal vatten in één usability test.
Alleen als je allemaal dezelfde methode en taken gebruikt, zul je sneller de curve zien buigen.
Maar dat betekent niet dat je alle of de meeste problemen gevonden hebt.
8
Interaction Design 101 Vragen of feedback? @ferrydendopper
Conclusie
Focus op productiviteit, niet op kwantiteit.
In 25 uur kun je al goede resultaten boeken. 5x zoveel tijd levert niet 5x zoveel resultaat op.
Probeer dus niet alle problemen te vinden. Het zal je niet lukken.
9
Interaction Design 101 Vragen of feedback? @ferrydendopper
Conclusie
Het motto moet niet zijn:“Vijf gebruikers zijn genoeg om 70% van de problemen te vinden.”
Maar:“Vijf gebruikers zijn genoeg om een nuttig, iteratief proces aan te drijven.”
10
Interaction Design 101 Vragen of feedback? @ferrydendopper
Wat is een usability probleem?
Een catastrofe:• De gebruiker kan de taak niet afmaken.• De gebruiker weigert de taak af te maken.• De gebruiker toont grote ontevredenheid over de
site.• De gebruiker voltooit de taak met een verkeerd
resultaat zonder het zelf te merken. Een serieus probleem:
• De gebruiker wordt een aantal minuten vertraagd, maar voltooit uiteindelijk wel de taak.
Een klein probleem:• De gebruiker wordt slechts kort vertraagd.
11
Interaction Design 101 Vragen of feedback? @ferrydendopper
Wat maakt een goede aanbeveling?
Een effectieve aanbeveling lost het probleem volledig op. (max. 150 woorden)
Een bruikbare aanbeveling communiceert precies en in redelijk detail wat het team moet doen om de usability te verbeteren. Geef voorbeelden.
Baseer aanbevelingen op data, niet op meningen.
12
Interaction Design 101 Vragen of feedback? @ferrydendopper
Het belang van goede aanbevelingen
Veel usability testteams vinden dezelfde problemen, maar geven verschillende aanbevelingen.
Iedereen kan een usability test uitvoeren. Cliënten huren jou in omdat zij geloven dat jij goede aanbevelingen kan doen.
13
Interaction Design 101 Vragen of feedback? @ferrydendopper
Tips voor goede aanbevelingen
Als je niet volledig zeker bent over een aanbeveling, geef hem dan toch, maar adviseer de wijziging te testen (op usability) voor oplevering.
Gebruik geen uitroeptekens, beledig niet het development team. Laat niet blijken dat je denkt dat zij stomme dingen hebben gedaan.
Geef één aanbeveling per issue.
14
Interaction Design 101 Vragen of feedback? @ferrydendopper
5. Rapporteren en communiceren
Het testrapport De resultaten communiceren
15
Interaction Design 101 Vragen of feedback? @ferrydendopper
Bevindingen opschrijven
Type bevinding Classificatie Beschrijving Aanbeveling
16
Interaction Design 101 Vragen of feedback? @ferrydendopper
Type bevinding
Positieve bevinding Probleem – klein Probleem – serieus Probleem – kritiek Suggestie voor verbetering Systeemfout (bug)
17
Interaction Design 101 Vragen of feedback? @ferrydendopper
Type bevinding
Gebruik symbolen voor ieder type:• Document beter te scannen• Aantrekkelijker
Interaction Design 101 Vragen of feedback? @ferrydendopper
Classificatie
FrequentieHoe vaak treedt het probleem op?
ImpactHoe groot is het probleem als het optreedt?
HardnekkigheidLeren gebruikers het probleem te omzeilen / voorkomen?
19
Interaction Design 101 Vragen of feedback? @ferrydendopper
Frequentie en impact
% van gebruikers: Heeft geen last van dit probleem. Ondervindt kleine problemen (korte
vertraging).
Ervaart serieuze problemen (vertraging, maar volbrengt uiteindelijk wel de taak).
Ervaart een catastrofe (kan taak niet volbrengen, is sterk geïrriteerd, lost taak verkeerd op).
20
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hardnekkigheid
Gebruikers leren met het probleem om te gaan:
Snel Na enkele keren Nooit
21
Interaction Design 101 Vragen of feedback? @ferrydendopper
Positieve bevindingen
Zijn belangrijk: Voor de betrouwbaarheid van het
rapport. Om de productteamleden open te laten
staan voor kritiek. Om te voorkomen dat het productteam
features weghaalt die gebruikers waarderen.
22
Interaction Design 101 Vragen of feedback? @ferrydendopper
Positieve bevindingen
In de managementsamenvatting staat:“Over het algemeen zijn gebruikers erg blij met Hotmail.”
Maar in de lijst met bevindingen is niet één bevinding te vinden die bovenstaande bewering onderbouwt. Dit komt niet ten goede aan de betrouwbaarheid van het rapport.
23
Interaction Design 101 Vragen of feedback? @ferrydendopper
Beschrijving
Vage probleembeschrijvingen zijn niet bruikbaar:
“Ernstig probleem: Terminologie was vaak verwarrend, vooral wanneer verschillende termen refereerden aan gelijksoortige features of wanneer dezelfde feature benaderd kan worden via verschillende termen.”
24
Interaction Design 101 Vragen of feedback? @ferrydendopper
Een bruikbaar rapport
Houd het kort (12-15 pagina’s excl. bijlagen). Managementsamenvatting (1 pagina). Stop scenario’s, profielen, vragenlijsten e.d. in
de bijlagen.
Vermeld bij bevindingen het type, ernst en aantal gebruikers.
Geef 1 aanbeveling per bevinding. Neem ook positieve bevindingen op. Neem ook screenshots op.
Vermijd meningen, wees niet cru. 25
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoofddoel van een usability test
Het verbeteren van de user interface.
NIET: Het schrijven van een goed usability rapport.
26
Interaction Design 101 Vragen of feedback? @ferrydendopper
Hoe komen de resultaten het beste aan?
Zorg dat belanghebbenden / betrokkenen de test ondersteunen:• Betrek het productteam bij het opstellen
van de taken en gebruikersprofielen.• Vraag belanghebbenden de test bij te
wonen. Maak het laagdrempelig voor ze.• Betrek de belanghebbenden bij het
identificeren en classificeren van de problemen.
27
Interaction Design 101 Vragen of feedback? @ferrydendopper
KJ-methode (door Jiro Kawakita)
Iedere aanwezige bij de test schrijft ieder belangrijk probleem op een post-it.
Verzamel alle post-its, verwijder duplicaten en groepeer per aandachtsgebied.
Stem voor de belangrijkste problemen (iedereen krijgt 10 stemmen).
Sommige usability professionals zijn tegen deze methode, omdat:• Ze zelf willen beslissen wat er tijdens de test gebeurde.• Ze vinden dat zij de enige zijn die de nodige conclusies kunnen
trekken.
Maar vergeet niet dat de usability er niet bij gebaat is als de belanghebbenden het onderzoek niet dragen.
28
Interaction Design 101 Vragen of feedback? @ferrydendopper
Draagvlak = Politiek
Veel ontwerpers, programmeurs en functioneel eigenaren vatten kritiek op de website persoonlijk op.
Je moet verkopen, motiveren en obstakels wegnemen.
Onderbouw de kritiek met feiten, niet met je mening.“Waarom is jouw mening beter dan de mijne?”
29
Interaction Design 101 Vragen of feedback? @ferrydendopper
Opdracht 2 – deel 2
• Voer het usability onderzoek uit.• Schrijf een onderzoeksrapport met
daarin:• Observaties per sessie• Conclusies en aanbevelingen• Respondentprofiel, interviews en taken
Interaction Design 101 Vragen of feedback? @ferrydendopper
Vragen? Feedback?
@ferrydendopper