användbarhet och utvärdering - institutionen för informatik - … ·  · 2013-11-19for...

Användbarhet och Utvärdering

Design och Utvärdering

Hösten 2013 Annakarin Nyberg

Idag skall vi prata om:

•  Vad är användbarhet?

•  Hur testar vi det?

•  Vilka är måtten?

•  Vad kan vi ha resultaten till?

Vanliga frågor… •  Hur ser en professionell målgruppsanalys/

användartest ut?

•  Hur gör man en sådan test? (personliga intervjuer? Kvalitetstest? Kvantitetstest?)

•  Vilka fel kan man göra?

•  Hur presenterar man sitt resultat?

•  När bör man göra en sådan här test?

•  När bör man inte göra en sådan här test?

Användbarhet 1 (Nielsen 1993)

•  Easy to learn (learnability)

•  Efficient to use (efficiency)

•  Easy to remember (memorability)

•  Errors / Safe to use (safety)

•  Satisfaction

Användbarhet 2 (Nielsen 1993)

Kan kortfattat beskrivas som följer: •  Learnability: är det lätt att förstå hur man går

tillväga?

•  Efficiency: hur väl stöds användaren i sitt utförande?

•  Memorability: är det lätt att återkomma efter en tids frånvaro, alt måste man lära sig igen om systemet…?

Användbarhet 3 (Nielsen 1993)

Fortsättning från föregående sida:

•  Safety/errors: allt från diskussioner om säkerhet gällande ergonomi till att designa för att undvika att användaren kan genomföra stora fel…

•  Satisfaction (systemet skall vara trevligt att använda)

Preece et.al. 2007 kompletterar listan:

•  User experience goals

•  På grund av att…

Preece et.al. (2007) Ett gränssnitt/system bör vara: •  Tillfredsställande •  Underhållande/trevligt •  Roligt •  Stödjande/hjälpande/informativt •  Motiverande •  Estetiskt tilltalande/snyggt •  Främja kreativitet •  Belönande •  Skapa känsla av lycka, glädje, belåtenhet…

Är det så viktigt verkligen?

Three Mile Island •  Partial core meltdown in a Nuclear Generating Station in Dauphin

County, Pennsylvania near Harrisburg •  The accident could had been avoided with better designed UI •  A vault remained open due to a mechanical fault which aloud

coolant water to escape •  A lamp had been designed to show when the engine that shut the

vault was active, as the engine stopped as the vault was stuck, the lamp turned black.

•  A temperature indicator that indicated high temperature were placed too far away and was not seen

http://en.wikipedia.org/wiki/Three_Mile_Island_accident

Egna erfarenheter av dåliga UI:s?

Användbarhet förväxlas med…

Accessibility (tillgänglighet / accesibilitet)

Innebär att man vid design bland annat fokuserar på att:

•  Namnge, kategorisera och beskriva bilder •  Interaktionsmöjligheter finns både via mus och

tangentbord •  Definiera vad som är rubriker och länkar

Fortsättning…accessibility •  Möjliggöra att hemsidans text kan läsas upp •  Skapa “ankare” dvs markeringar till olika innehåll

(effektiv navigering till visst material) •  Noga hanterar färgval •  Möjliggör valmöjligheter för textstorlek •  Använder sig av universellt bildspråk vid skapande

at illustrationer/ikoner

Intressant med accessibility?

•  http://www.w3.org/WAI/ Samma på svenska: •  http://www.w3.org/2005/11/Translations/Lists/

OverviewLang.html#sv En wikipedia om web accessibility: •  http://en.wikipedia.org/wiki/Web_accessibility En wikipedia om game accessibility: •  http://en.wikipedia.org/wiki/Game_accessibility

Utvärderingsmetoder för användbarhet

”A Usability Evaluation Method is a process for producing a mearsurement of usability” (Karat, 1997)

Delas (grovt sett) upp i: •  Empiriska utvärderingsmetoder

•  Expertutvärderingsmetoder

Empiriska metoder •  Två sätt att utvärdera med användare

1.  Labbmiljö

2.  I ”fält”

Empiriska metoder: Usability lab

• Fördelar…?

• Nackdelar…?

Empiriska metoder: fältstudier

I ”fält” eller i användarens naturliga miljö

Fördelar?

Nackdelar?

Usability lab kontra Fältstudier

Vad skall vi välja? •  Vilken typ av data är vi intresserad av? •  Vilken kontext skall systemet användas i? •  Vill man ha helhetsintryck eller fokusera på vissa

specifika detaljer? •  Hur många användare har man tillgång till? •  Vilka resurser har man tillgång till vid insamling av

data?

Empiriska metoder Method Measures Generated data

Think-aloud (or verbal) protocol

Captured events from usage situations; problems, expectations etc.

Record of cognitive processes of users in system usage

Use data collection

Number of errors, types of errors, time to complete task

Record of statistics for errors, listings of types of occurring errors, time statistics

Clinical experiments

Eye gaze, heart rate, skin color, body heat

Statistics for measured clinical aspects

Surveys and Questionnaires

Accuracy regarding memory, learning etc.

Record of answers – quantitative or qualitative

Interviews

General information from users. Structured or unstructured.

Record of answers - qualitative

Empiriska metoder: för insamling av data

•  Papper & penna (+ & -?)

•  Ljudinspelning (+ & -?)

•  Videoinspelning (+ & -?)

•  Fotografering (+ & -?)

•  Loggar från datorn (+ & -?)

•  Användarnas dagböcker/anteckningar (+ & -?)

Think-aloud (Verbal) protocol

•  Erikson & Simon 1985

•  Säg högt vad du tänker, försöker göra

•  Ger uttryck åt processen

Exempel: Think-aloud

Jag skriver in http://vk.se, precis som du sa att jag skulle. (Hon skriver)

Nu trycker jag på entertangenten, eller hur? (Hon trycker på enter.) Paus och tystnad. Det tar ett tag att svara! Åhå, här är det. (Figur 12.2 visas på

skärmen.) Himmel, det är en hel del på skärmen. Hmmm, undrar vad jag

skall göra nu. (Hon tar paus och tittar på skärmen.) Förmodligen en sökning. Vad är en avancerad sökning…och vilka är de andra varianterna?

Aha! Här är det. Hm…någonting verkar hända nu. (Hon tittar på skärmen.) Det händer någonting. Åhå, vad är det här? (Tystnad)

Inspektionsmetoder Method

Characteristics of evaluators

Number of evaluators

Goals of inspection

Heuristic evaluation

Usability experts

One

Judge whether each element in interface follows heuristics

Cognitive Walkthrough

Cognitive Psychologists

One

Predictions of user behavior regarding learning

Formal usability inspections

One or group

Combines Heuristic Ev. with Cog. Walkthrough

Design (or pluralistic) Walkthroughs

Users, developers and Human Factor HCI experts

One or group

Walkthrough of each dialogue element by using scenarios

Feature inspection

Inspection of sequences of (complicated) features

Consistency inspection

(External) designers

Group

Comparison of different designs to check consistency

Standard inspections

Expert in (specific) standard(s)

One

Inspection of interface for compliance with standard(s)

Theory-based reviews

Experts in each method

One

Discover problems on a micro-level.

1.  Heuristic Evaluation

1.   Visability of system statusThe system should always keep users informed about what is going on, through appropriate feedback within reasonable time.

2.   Match between system and real world. The system should speak the users' language, with words, phrases and concepts familiar to the user, rather than system-oriented terms. Follow real-world conventions, making information appear in a natural and logical order.

3.   User control and freedom Users often choose system functions by mistake and will need a clearly marked "emergency exit" to leave the unwanted state without having to go through an extended dialogue. Support undo and redo.

Heuristic evaluation

4.   Consistency and standards

Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform conventions.

5.   Error prevention Even better than good error messages is a careful design, which prevents a problem from occurring in the first place.

 6.   Recognition rather than recall Make objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate.

Heuristic evaluation fortsättning…

7. Flexibility and efficiency of use Accelerators -- unseen by the novice user -- may often speed up the interaction for the expert user such that the system can cater to both inexperienced and experienced users. Allow users to tailor frequent actions.

8. Aesthetic and minimalist design Finns det någon irrelevant eller onödig information?

9. Help pepole recognise, diagnose and recover from errors Är de meddelanden som ges vid ett fel eller problem tillräckligt informativa för användaren? Kan de tolka meddelandet?

10. Help and documentation Finns det hjälpdokument/hjälpfunktioner och är de tillgängliga och lätta att föja?

Att genomföra en heuristisk utvärdering…

1.  Inledande session: experten informeras om syftet med utvärderingen!

2.  Utvärderingssession som sker i två steg…

3.  Avslutande session: återkoppla, analysera…

Usability – ett säkert framgångskoncept?

Med rätt utbildning av testpersonal inom HCI och Usability Engineering kan vi undvika många av misstagen!

För att bli en bra usability-expert måste vi träna praktiskt på olika tekniker och även utvärdera utvärderingen…

Hur ser en designprocess ut?

Föranalys Analys Design Progr. Utv/Dok

Var kan eller vill vi utvärdera användbarheten?

Designprocessen

Tid

Prototypens körbarhet

Kostnad för ändring av hittat fel

Föranalys Analys Design Progr. Utv/Dok

Expertmetodens lämplighet

Användar- testets lämplighet

Övning 1 (Think-aloud)

•  Sitt tillsammans två och två. Försök att utföra en think-aloud tillsammans.

•  Utse en person som ensam utforskar den valda webbplatsen. •  Utse en person som för anteckningar. •  Gå till www.sj.se och försök boka en ToR-biljett för en vuxen i

sällskap med en minderårig (Umeå – Stockholm). Ni vill åka i kväll och återvända på julafton. Avbryt i god tid…

•  Tänk högt medan du arbetar. Försök vara uppmärksam på vad du känner.

•  Reflektera avslutningsvis tillsammans över metoden – hur tycker ni att det gick? Svårt? Enkelt? Konstigt? Pinsamt?

Övning 2: Heuristisk utvärdering

•  Inom respektive grupp väljer ni en webbsajter ni ogillar •  Från och med nu är ni alla experter och alltså inte längre

noviser/användare. •  Gå igenom sajten två gånger. •  Första gången med fokus på känslan och flödet i interaktionen.

Helt enkelt, bara pröva den snabbt och bekanta er en aning med sajten.

•  Andra gången med fokus på specifika gränssnittselement. Använd er av de tio heuristiker som finns i detta material.

•  Utvärdera och diskutera vad ni har kommit fram till. Försök att prioritera problemen och föreslå lösningar.

Grupper och salar…

•  Arbeta två och två

•  Ma 366

•  15.30 – återsamling i videokonferenssal.

•  Genomgång av essä – hur skriva…