muligheder for samspil mellem usability-evaluering og interaktionsdesign af jan stage, aau

Muligheder for samspil mellemusability-evaluering og interaktionsdesign

Jan Stage

Professor, PhD

Forskningsleder i Informationssystemer (IS)/Human-Computer Interaction (HCI)

Aalborg Universitet, Institut for Datalogi, HCI-Lab

[email protected]

mailto:[email protected]

2Institut for Datalogi2

• Introduktion

• Feedbackformer

• Usabilityrapporten

• Andre feedbackformer

• Opsummering

Oversigt


• Introduktion

• Aktiviteter i en usability-evaluering

• Samspil i systemudvikling

• Organisering i praksis

• Feedbackformer



• Opsummering

Oversigt

4Institut for Datalogi

Aktiviteter i en usability-evaluering

• Form: formative/summative• I udviklingsprocessen:

• Eksplorativ• Vurdering• Validering• Sammenligning

• Deltagere og roller• Sted og udstyr

• Genskabelse af kontekst• Informering af deltagerne• Fordel roller i teamet• Klargør udstyr• Opgaveudarbejdelse• Fremstilling af materialer

• Tidsforbrug• Videoanalyse• Transskribering af logfiler• Identifikation af problemer• Kategorisering af problemer

Testplan:• Formål• Hovedspørgsmål• Brugerprofil• Deltagere og roller• Testmetoder• Opgaver• Kontekst og udstyr• Dataindsamling• Formidlingsform

For hver deltager:• Introduktion• Opgaveløsning• Dataindsamling• Logning• Debriefing

• Rapport (komplet)• Rapport (fokuseret)• Redesignforslag• Redesign workshop• Observation • Multimedia præsentation

Opgavedefinering

Planlægning

Forberedelse

Udførelse

Fortolkning

Formidling


Samspil i systemudvikling

Commission statement

Design products

User interaction design Development

management

Evaluation products

Usability evaluation Recommendations


Organisering i praksis

• The evaluators are integrated in the development teams and conduct evaluations as part of the work in the team

• The evaluators form a separate organizational unit within the development organization, and they conduct evaluations as a service to development teams

• The evaluators are employed by a different organization, and evaluations are outsourced from the development organization to this organization

• Increased detachment requires more formalized feedback


• Introduktion

• Feedbackformer

• Oversigt



• Opsummering

Oversigt


Feedbackformer: oversigt

• Usability-rapport

• Fokuseret rapport

• Multimedie-præsentation med problemer

• Workshops med evaluatorer og udviklere

• Udviklere observerer tests

• Forslag til redesign


• Introduktion

• Feedbackformer


• Typisk rapport

• Erfaringer


• Opsummering

Oversigt


Usability-rapportrapport: Typisk indhold

• Definitionen af usability• Efficiency: task completion time• Effectiveness: tasks completed• Satisfaction: efterinterview

• Usability-problemer• Grundlag for at ændre systemet


Usability-rapportrapport: Typisk format


Uddrag fra problemlisten


Erfaringer med usability-rapporter

• Ofte den eneste form for feedback

• Har den nogen effekt på udviklerne og/eller projektet?

• Vi lavede et studium af dette for nogle år siden:

Høegh, R. T., Nielsen, C. M., Overgaard, M., Pedersen, M. B. and Stage, J. (2006) The Impact of Usability Reports and User Test Observations on Developers’ Understanding of Usability Data: An Exploratory Study. International Journal of Human-Computer Interaction, 21(2):173-196.


Conclusion

The developers were “forced” to read the reports

The reports were useful for the developers• in understanding the usability evaluation• as a basis for redesign and further development• as a means to prioritize redesign and development

For the developers the usability reports• did not alter their initial belief of the system's advantages to a great

extent• did expand their list and made them consider other topics• did clearly influence their conception of the weaknesses of the system

The reports enriched the developers with insight into how users interact with their product and what the strengths and weaknesses were

Information on test setup, users, tasks, and test users’ subjective opinions was important to the developers, but these are also the point of critique, when developers explain, why they find problems more or less real.


Observations

How the developers were using the reports:

• A problem list (overview + detailed descriptions) is important to have and essential for the designers when trying to understand a problem

• Results on task completion time and NASA-TLX, that are not explained and put in context, are difficult for the designers to relate to

• Log-files of user interaction, based on video recordings combined with system-logs, are used and considered important by the developers to understand specific details of the usability problems

• General assessments and evaluations have limited usefulness for the developers


• Traditionelt betragtes evalueringsrapporten med en problemliste som den eneste form for feedback

• Der skelnes ikke mellem summativ og formativ evaluering – rapporten bruges i begge tilfælde og i samme form

• Rapporten afleveres, og så har evaluatorerne gjort deres arbejde

• Ryger typisk op på hylden og bliver ikke brugt ...

Usability-rapporten: andre erfaringer


• Introduktion

• Feedbackformer



• Fokusering

• Samarbejde

• Redesign

• Opsummering

Oversigt


• Udviklerne kan ofte kun nå at rette nogle af problemerne

• Derfor skal man prioritere og fokusere på de vigtigste problemer

• For eksempel kun de 10 vigtigste problemer

• Erfaring:• Giver mindre ”dårlig stemning” mellem evaluatorer og udviklere

• Multimedie-præsentation af deteljerede problemer

• Erfaring:• Tidskrævende at lave• Bruges ikke så meget

Fokusering


Samarbejde

• Evaluatorer og udviklere arbejder sammen om at forstå og prioritere de fundne usability-problemer

• Udføres ofte som en workshop

• Erfaring:• Udviklerne har sværere ved at ignorere problemerne• Skaber god tillid


Forslag til redesign

• Empirisk studium (USE-projektet)

• Sammenligning af problemlister og forslag til redesign

• Evaluatorerne genererede problemlister

• De lavede også forslag til redesign for de mest kritiske usability-problemer

• Problemer og redesignforslag blev vurderet af udviklerne


Resultater

• Forslag til redesign er signifikant mere nyttige end de tilsvarende problembeskrivelser er alene

• For 77% af problemerne er redesignet mere nyttigt end problembeskrivelsen – for kun 15% er det modsat

• Giver bedre forståelse af usability-problemer og inpiration til nye løsninger


• Introduktion

• Feedbackformer



• Opsummering

Oversigt


Feedbackformer

• Rapporten har meget begrænset effekt... i sig selv... specielt når den ikke læses

• Mangfoldighed af andre feedbackformer

• Aktivt samarbejde er vigtigt

• Kombineres med redesignforslag

muligheder for samspil mellem usability-evaluering og interaktionsdesign af jan stage, aau

Technology