er brukerne dumme? (frokostseminar om brukertesting)
TRANSCRIPT
Er brukerne dumme?
Frokostseminar – Making Waves – 9. november 2010
• Både Tarantell og Making Waves har lang erfaring med brukertesting. Vi har utført tester for en rekke norske virksomheter, blant annet Norwegian, Finanstilsynet, Helly Hansen, Norsk Tipping og Sparebanken Vest.
• På dette frokostseminaret vil vi dele våre erfaringer og vise hvordan funn fra brukertester kan gi deg fornøyde brukere som oppfører seg slik du ønsker på nett og dermed øker inntjeningen din.
• Vi ser på hvordan en brukertest bør gjennomføres og hvilke resultater du kan oppnå når den gjøres riktig. Du får vite når du bør gjennomføre en test, hva den kan gi svar på, hvordan den bør utformes og hvordan brukere bør velges ut.
• Gjennom konkrete eksempler vil vi vise hvorfor brukertesting er oppskriften på smarte, resultatgenererende og fornøyde brukere.
Brukertesting
HVA SKAL VI SNAKKE OM?
08.30 Er brukerne dumme?
Hvorfor brukertest?
Hva kan brukertesten gi svar på?
09.15 Kaffe og frukt + Spørsmål samles inn i esken
09.30 Hvordan gjennomfører vi en god brukertest?
Hvordan kommer man fra brukertesten til resultat og de gode tiltakene?
10.15 Oppsummering og diskusjon
10.30 Takk for nå!
Agenda
HVA SKAL VI SNAKKE OM?
Erfaring
• Ca. 10 års erfaring som konsulent i hhv. Razorfish, Creuna, Tarantell og Making Waves
• Ca. 10 års erfaring med informasjonsarkitektur
• Jevnlig brukertesting av ulike løsninger og nettsteder de siste 10 år
Utdanning
• Cand.mag. fra UiO
Haakon Halvorsen Leder for Experience research
HVEM ER VI?
Erfaring
• Brukertesting og evaluering av nettsteder i Tarantell og Making Waves
• Brukerinvolvering i design, funksjonelle kravspesifikasjoner og evaluering av kontrollrom i Scandpower Risk Management
• Utprøving av integrerte operasjoner og nye samarbeidsformer ved Statoils forskningssenter
Utdanning
• Sivilingeniør i industriell design fra NTNU
• Bachelor i sosialantropologi fra UiB
Ragnhild Ask Torvik Experience researcher
HVEM ER VI?
Er brukerne er dumme? Av og til kan det virke slik…
• Hvorfor forlater brukerne fulle handlekurver i nettbutikken eller ledige flyseter midt i bookingen?
• Hvorfor overser de viktig informasjon og klikker seg videre i feil retning?
Hvorfor gjør brukerne slik?
ER BRUKERNE DUMME?
1. De er dumme!
2. De har tunnelsyn!
3. De er late!
4. De er trege!
5. De juger!
6. De liker ikke forandring!
7. De glemmer!
Topp 7 frustrasjoner
ER BRUKERNE DUMME?
MEN: Brukerne har ALLTID rett :D OG: Det er din feil!
ER BRUKERNE DUMME?
• Vi har prinsipper for design og usability
• Bygger på bl.a. kognitiv psykologi
• Er informasjonsarkitektur, interaksjonsdesign og grafisk design godt utført?
• OG: Fungerer det i denne brukssituasjonen?
Hva gjør at de feiler?
ER BRUKERNE DUMME?
Ergonomi
ER BRUKERNE DUMME?
• Tilbyr du noe som brukerne har behov for og kan se verdien av?
Morvilles kube
Brukeropplevelse er sammensatt av 7 faktorer
ER BRUKERNE DUMME?
• Hvor mye truer du brukerne dine til å gjøre før de får noe tilbake?
• Hvor mye forlanger du at de skal investere i sin tid for at du skal gi de det de ba om i første omgang?
• Hvem tar oppvasken?
"I'm Not Here To Be In a Relationship"
Forventninger
ER BRUKERNE DUMME?
Jakob's Law of the Web User Experience
“Users spend most of their time on other websites."
ER BRUKERNE DUMME?
Hvorfor brukertest? Alt du lurer på om brukertesting men ikke turde å spørre om…
11.11.2010 © MAKING WAVES 20
• «Vi ønsker å forsikre oss at det er brukervennlig før vi lanserer!»
• «Vi er uenige med avdeling XYZ om en rekke ting og vi tar en brukertest for å finne ut hva som er riktig»
• «Vi har penger igjen på budsjettet og må bruke det opp før jul (!)»
• «Jeg har blitt anbefalt av en venn å gjennomføre brukertesting på nettsidene våre, det er visst veldig artig og gir bra resultat»
• «Kunden har spesifisert at brukertesting er inkludert i prosjektet»
Hvorfor brukertesting?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 22
• «Sjefen min tror at nettstedet er perfekt og tror at vi ikke trenger penger på neste års budsjett til videreutvikling av nettstedet»
• «Vi har fått levert en elendig løsning fra vår leverandør og ønsker bevis for at det er så dårlig som vi tror…»
• «Vi er opptatt av at løsningen er så enkel å bruke som mulig»
• «Vi er opptatt av resultater og ønsker at det blir minst 5% færre handlekurver som forlates på nettstedet vårt»
forts. hvorfor brukertesting?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 23
• «Liker brukerne nettsidene våre?»
• «Finner de frem på nettsidene våre?»
• «Har de problemer med navigasjonen vår?»
• «Klarer brukerne å bestille flybilletter?»
• «Klarer brukerne å betale regningene sine eller bestille fond?»
• «Hvor får de problemer på nettsiden vår?»
• «Skjønner de det nye kommunikasjonskonseptet vårt?»
• «Ser de innloggingen? Og klarer de å logge inn?»
Hva lurer våre oppdragsgivere på?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 24
• Det finnes mange eksempler på at brukertesting lønner seg.
• De mest kjente eksemplene er akkurat nå:
– «How one extra field cost $12m» (Expedia, 2010)
– «The $300m button» (Ukjent, 2009 – se uie.com)
• How Changing a Button Increased a Site's Annual Revenues by $300 Million
– «Hvordan Making Waves (Tarantell) sørget for et titalls millioner kroner ekstra på bunnlinjen for Norwegian» (2009)
ROI på brukertesting
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 25
Hva kan brukertesten gi svar på? Når bør du gjennomføre brukertest og når kan en annen metode gi svar
på dine spørsmål?
11.11.2010 © MAKING WAVES 26
• Donald Norman bruker begrepene
– visceral (om det estetiske m.m.)
– behavioral (om adferd)
– reflective (om det intellektuelle)
• Brukertesten svarer på spørsmål knyttet til adferd - behavioral.
• Den kan ikke fortelle om brukeren syns ditt nettsted er visuelt tiltalende eller intellektuelt utfordrende og spennende.
Hva svarer brukertesten på?
HVA KAN BRUKERTESTEN GI SVAR PÅ?
KVALITATIV
HOLDNING
KVANTITATIV
ADFERD
Brukerintervjuer Brukertesting
Logganalyser
Feltstudier Fokusgrupper
Cardsorting
Eyetracking
Sidetrafikk
Spørreundersøkelser
Personas
Ekspertevaluering
Persepsjonsanalyse
Polling
Andre metoder
HVA KAN BRUKERTESTEN GI SVAR PÅ?
Finnbarhetstest
• Større internasjonale aktører som f.eks. Expedia bruker analytics aktivt for å optimalisere design
• Komplementært til design og usability
”If you stare at the dashboard, you crash”
Data driven design
HVA KAN BRUKERTESTEN GI SVAR PÅ?
• Video fra brukertest av Helly Hansen hvor alle brukerne sier noe slikt som:
– «Jeg har ikke problemer med engelsk, men alle andre derimot…» og
– «Helly Hansen er norsk, hvorfor har de ikke norske sider»
• Det egentlige høydepunktet kommer når en av brukerne skal betale for varene, men lurer på om det blir toll på varene fordi det er et engelsk nettsted. Så lurer han på om det er et engelsk nettsted og er egentlig veldig usikker…
• Eksemplet viser at noen ganger er det også riktig og viktig å høre hva brukerne sier.
Video: Er engelsk greit?
HVA KAN BRUKERTESTEN GI SVAR PÅ?
PAUSE
Husk å legge dine spørsmål i esken!
Hvordan gjennomfører vi en god brukertest?
Oppmerksomhetstesten:
Tell antall pasninger mellom de hvitkledde
spillerne
50%
Ser ikke den dansende bjørnen i det hele tatt. NB! En gruppe som fikk i oppdrag å se på de svarte spillerne la merke til bjørnen dobbelt så mange ganger!
Resultatet
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
38
• «Kan vi være med på brukertestingen selv?»
• «Hvor mye koster det?»
• «Blir det billigere om vi stiller med egne folk til å gjøre testen?»
• «Blir det billigere om vi ikke bruker lab?»
• «Hvor mange brukere må vi teste?»
• «Når bør vi gjøre testen?»
Praktiske spørsmål
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
11.11.2010 © MAKING WAVES 39
• Lag en testplan
• Vurder om testen skal kjøres i lab eller annet sted
• Rekrutteringskriterier og rekruttering av brukere
• Forbered oppgaver til testen
• Pilottest
• Utfør brukertesten
• Oppsummering med kunden
• Analysere funn og redigere video
• Prioritere funn og tiltak
• Workshop/ presentasjon
Brukertesten fra A til Å
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Rekrutter personer som kan være reelle brukere.
• Velg dine viktigste målgrupper
• Både demografi og interesser kan være kriterier
• For Helly Hansen var ett av kriteriene at de måtte være interessert i utendørssport
• Unngå ”eksperter”, med mindre du lager noe helt spesielt – vi unngår å rekruttere folk fra IT og media til de fleste av våre tester
Rekruttering
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
• Stor forskjell på brukerne, selv om du har rekruttert f.eks to kvinnelig sykepleier på 32 år.
• Ofte har én bruker i testen fremstått som en ”superbruker”, som raser gjennom alle oppgavene og får til alt slik kunden hadde forventet
DERFOR ANBEFALER VI
• Minst 3 fra hver målgruppe
• IKKE bruk egne ansatte eller folk med IT bakgrunn
Målgrupper
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Hvor mange brukere trenger du?
• Noen sier at 5 – 6 er det magiske nummeret, men vår anbefaling om 3 brukere fra hver målgruppe tilsier at 6-8 brukere er bedre.
• Desto mer komplekse problemstillinger og oppgaver, desto flere brukere trenger vi.
• Vi opplever ofte at det blir færre funn når vi kommer til bruker nr 8 og 9, men det kan være nye ting som avdekkes der også.
Antall brukere
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
• Open ended vs scripted
• Vi har ofte ca 8 oppgaver
• De gås igjennom med oppdragsgiver og med pilotbruker før testen
• Bruker ofte 40 – 50 minutter i selve testen
Et typisk testscript:
• Introduksjonsspørsmål for at brukeren skal slappe av
• Praktiske oppgaver
• Debrief og brukerens opplevelse av site
Oppgaver til testscript
• Brukertest bør sees av hele prosjektgruppen – Designer – Informasjonsarkitekt – Prosjektleder – Programmerere
• Fra kunde bør deltakere komme fra:
– Ledelse – Markedsføring – Kundestøtte – IKT!
• MEN sørg for at hver person ser minst 2 personer. • Det er veldig lett å få et helt feil bilde av en test dersom man er uheldig og
observerer en person som enten er «for god» eller «for dårlig».
Hvem bør observere testen?
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
45
Testoppsett
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Brukeren blir
presentert for en
rekke
testoppgaver
Interaksjonen som
skjer med
systemet blir tatt
opp og lagret som
videofiler.
Han/hun blir filmet med to
videokameraer og blir også
overvåket fra PC til PC
forbindelse for å se
musbevegelser mm.
På observasjonsrommet registreres
brukerens handlinger, analyseres og
loggføres av observatør(er)
Oppdragsgiver: Den som bestiller brukertesten.
Testdeltaker: Forsøkspersonene som blir rekruttert til å delta i
brukertesten.
Testleder: Veileder brukerne og gir testoppgavene ut fra testskriptet.
Hovedobservatør: Vår observatør, som noterer, markerer videoklipp
og gjennomgår funn med oppdragsgiver underveis.
Observatører: Alle representanter fra Oppdragsgiver som har
interesse av å observere brukertesten fra observasjonsrommet.
Aktører
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Testdeltakerne (brukerne)
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Å være en god moderator/ testleder er ikke lett… Du må være
• tålmodig
• nysgjerrig
• ikke avbryte
• ikke lede for mye
• ikke bekrefte
• få dem til å tenke høyt
Moderering
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
• Bruk «innestemmen»
• Behandle deltakerne med respekt
• Se hva brukerne gjør, ikke legg vekt på subjektive meninger om design eller interaksjon.
• Diskuter funn med de andre i pausen mellom deltakerne
• Ta med en stor dose tålmodighet!
• Hvis du bare kommer for å spise pizza og drikke brus…. Ok, det hadde vært billigere å sitte på Peppes ;)
Retningslinjer for observatører
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
50
• Vit hva du skal se etter: – Tenk igjennom mulige scenarier og test oppgavene på deg selv og
vær forberedt! – Legg inn stikkord i testscriptet slik at du og alle som skal observere
vet litt hva de skal se etter.
• Brukere skal sees ikke høres! – Mer om dette kommer….
• Noter gjerne banale hendelser og marker tidspunktet for når noe
vesentlig skjer slik at det er lett å finne tilbake. – Dette ser man ofte etter at det har skjedd og man rekker ofte ikke å
skrive ned hva som faktisk skjedde. – Banale hendelser skaper ofte et mønster som du får bruk for senere.
Observasjon
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
51
• Når testdeltakere bruker ord og setninger som:
– «Jeg ville ha…»
– «Andre ville ha gjort…»
– «Hvis denne knappen hadde vært rød…»
– «Jeg klarte ikke dette, men andre ville ha…»
• Dvs. alle antakelser og hypoteser brukerne gjør om sine egne og andres handlinger kan du se bort fra!
• MEN…
Brukere skal sees, ikke høres!
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
52
• Når de gir svar på spørsmål som:
– «Hva tror du vil skje hvis du klikker på denne?»
– «Kan du forklare meg hva du kan gjøre her?»
– «Hva er dine erfaringer med dette fra før?»
– «Hva forventer du å finne på nettsiden?»
– Dvs. deres forventninger til hva som skal skje og hva de har opplevd før kan måles opp mot det som faktisk skjer der og da!
– All informasjon som er nyttig for å forstå hvordan de tenker er også nyttig.
Lytt til brukerne dine!
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
53
• Open ended vs. Scripted testoppgaver
• Realisme – skal brukeren kjøpe noe?
• Situasjon – testsituasjonen påvirker bl.a. tålmodighet etc.
• Antall brukere
• Demografi? Hvor viktig er dette og hva?
• Erfaring med tema, erfaring med internett etc.
• Testleder (ledende spørsmål etc)
Faktorer som påvirker resultatet
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Huskelister
For bedre gjennomføring
Ansvarlig Beskrivelse Tidspunkt
Oppdragsgiver og MW
Oppdragsgiver og MW
Min. 1 uke før testen
Oppdragsgiver og MW Utarbeide verveguide til rekruttering av deltakere Helst 2 uker før testen
Oppdragsgiver og
rekrutteringsbyrå
Rekruttere testdeltakere – husk å ha 2(1) deltakere i reserve Helst 2(1) uker før testen
Oppdragsgiver Utarbeide innhold til prototypen Min 1 uke før testen
Rekrutteringsbyrå / MW Sett opp timeplan for testen. Minimum 15 minutters pause
mellom deltakerne.
Min. 1 uke før testen
Rekrutteringbyrå Minne deltakere om brukertest Dagen før
Oppdragsgiver og MW Avstemme testscript Min. 4 dager før testen
MW Booke test-rommene Min. 2 uker før testen
Oppdragsgiver Kjøp deltakerpremie eller sørg for at disse er tilgjengelig.
Gavekort på 500,- er standard.
Min. 1 uke før testen
Forberedelse
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Ansvarlig Beskrivelse Tidspunkt
Testleder og test-
medhjelper
Gjennomfør minimum 1 pilottest med spørreskjema og
etterintervju
PILOTTEST, helst 3 dager
før hovedtest
MW Gjør endringer i testopplegget (testscript/prototyp) dersom
det er nødvendig etter pilottesten
Etter pilottest
MW Ta utskrift av taushetserklæringen hvis nødvendig Dagen før testen
MW Kjøp forfriskninger til bruk under testen (farris, cola etc.) Dagen før testen
Oppdragsgiver Evt. godkjenning av justert testscript Etter pilottest
Pilottest
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Ansvarlig Beskrivelse Tidspunkt
Making Waves Informer resepsjonen om at testen skal gjennomføres og gi
timeplan for testen (med navn)
Før testen
Making Waves Heng timeplanen på døra til testplanen. Informer alle på
teststedet om testen
Før testen
Making Waves Ha Kaffe og forfriskninger til Testdeltakerne klart Rett før testen
Making Waves Sjekk at det er film i kameraene Rett før testen
Making Waves Sørg for at prototypen er resatt og satt til å vise førstesiden
(minimer)
Rett før testen
Making Waves Be deltaker signere taushetserklæring TESTEN
Making Waves Gjennomfør spørreundersøkelse TESTEN
Making Waves Gjennomfør praktisk test TESTEN
Making Waves Gjennomfør etterintervju TESTEN
Making Waves Gi deltakeren deltakerpremie TESTEN
Making Waves Skriv problemrapport med funn fra brukertesten. Etter testen
Making Waves Opptak fra testen klargjøres til leveranse dersom dette er
avtalt på forhånd
Etter testen
Making Waves og
Oppdragsgiveren
Overlevere problemrapport til Oppdragsgiveren i et eget
presentasjonsmøte
Oppdragsgiveren godkjenner problemrapporten.
Etter at rapporten er ferdig
Brukertesten
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Ansvarlig Beskrivelse Tidspunkt
Making Waves Making Waves/ Oppdragsgiver Oppstartsmøte
Making Waves Making Waves/ Oppdragsgiver Avstemming av testscript
Making Waves Making Waves/ Oppdragsgiver Presentasjon av
testresultater
Møter
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
For å gjennomføre en brukervennlighetstest kreves følgende maler:
• Verveguide
• Taushetserklæring
• Timeplan og deltakerliste
• Excelark til testmedhjelper
• Forintervju
• Testskript
• Etterintervju
• Skjema for utfylling av potensielle testdeltakere
Testmaler
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
Et reellt eksempel fra en Brukertest
• Du vil få se en 4 minutter lang video
• Noter hva som skjer
• Deretter viser vi hvordan vi analyserte testen
Video: eksempel
Fra funn til tiltak
11.11.2010 © MAKING WAVES 62
«The usability test and cardsort has nothing to do with creating a good design, you can create an incredible crappy design from using these... We have proven this time and time again!»
- Jared Spool: IA Summit keynote 2008
• Nedenfor er det illustrert hvordan en typisk testprosess ser ut:
– En prioritert liste over tiltak med løsningsforslag fra brukertesten
som fører til en wireframeskisse og grafisk uttrykk
Fra prioritert tiltaksliste til skisse
Anbefaling
11.11.2010 © MAKING WAVES 65
66
Designbrief: Vi endrer designet på selve filtreringen
Denne inndelingen
må splittes opp og
restruktureres
Activity må
forklares og
settes under
«Gender» i
rekkefølge
«Technology» må
forklares og eventuelt
ny navngiving
«Collection»
må forklares /
showcases
2 1
3
4 5
Før
Etter
Diskusjon/ spørsmål
Oppsummering
• Ikke gjør brukerne dine dumme!
• Design for virkelige mennesker og situasjoner
• Test og test igjen
• Få med flest mulig fra din organisasjon til å observere testen
Oppsummering
BRUKERTESTING
Ta kontakt!
Haakon Halvorsen
Manager Experience Research
mobil 992 96 717
twitter: @haakonha