z11 g eindopdracht pe2
DESCRIPTION
Usability Test voor twee taken in MyLapTRANSCRIPT
Usability test voor twee markeertaken in MyLab Usability plan en rapport
Bron: http://vinaganda.com
Groep studenten PE2 Neddy Polat
Kimberley van der Weerden
Esther Leppink
Luc Waardenburg
Docent Gerlof Donga
Minor Z11G Content en Medium
Inleverdatum 28 juni 2013
Voorwoord Ter afsluiting van de module Content en Medium hebben we in opdracht van onze docent
Gerlof Donga een usability plan en rapport uitgewerkt voor een usability experiment binnen
de e-learningomgeving van uitgever Pearson.
Hierbij nemen we de gelegenheid om Gerlof Donga te bedanken voor deze usablity
ervaring. We hadden nog nooit een usability test gepland, uitgevoerd en erover
gerapporteerd. We zijn een ervaring rijker geworden. Dit plan en rapport gaat voor ons dan
ook boven alles om deze ervaring.
Inhoud
Voorwoord !
Managementsamenvatting 5!
1! Inleiding 6!
2! Usability plan 7!2.1! Persona’s 8!
2.1.1! Babette la Noir 8!2.1.2! Parcival Proost 10!
2.2! Conceptueel Model 12!2.3! Sitemap 13!2.4! Flowchart 15!
2.4.1! Twee markeertaken 15!2.4.2! Een annoteertaak 15!2.4.3! Een toetstaak 15!2.4.4! Acht navigatietaken 15!2.4.5! Flowcharts markeertaken 16!
2.5! Voorstel voor usability test 17!2.5.1! Methode 17!2.5.2! Twee markeertaken 17!2.5.3! Observatie 17!2.5.4! Reflectievragen 18!
3! Usability report 19!3.1! Markeren belangrijke tekst 19!
3.1.1! Usability testtaak 19!3.1.2! Camerabeelden en schermopnamen 19!3.1.3! Observatoren over de testers 20!3.1.4! Antwoorden van testers op reflectievragen 20!
3.2! Markeren belangrijke pagina 21!3.2.1! Usability testtaak 22!3.2.2! Camerabeelden en schermopnamen 22!3.2.3! Observatoren over de testers 22!3.2.4! Antwoorden van testers op reflectievragen 22!
3.3! Conclusies en aanbevelingen 23!3.3.1! Conclusies 23!3.3.2! Aanbevelingen 24!
4! Reflectie 25!4.1! Van voorbereiden labtest tot opleveren rapport 25!4.2! Onderlinge samenwerking 25!4.3! Reflecties van de testers 26!
Usability plan & usability rapport - PE2 4
Bestudeerde literatuur 27!
Bijlage – Usability planning 28!
Bijlage – Usability testtaken 30!
Bijlage – Usability reflectievragen 32!
Bijlage – Usability reflectie van een tester 35!
Usability plan & usability rapport - PE2 5
Managementsamenvatting Ter afsluiting van de module Content en Medium stellen we in dit document een usability
experiment voor, waarmee uitgever Pearson twee markeerfuncties in diens e-
learningomgeving kan verbeteren. In een usability lab laten we zeven studenten die tot de
doelgroep van Pearson behoren testtaken rondom twee markeerfuncties in MyLab
uitvoeren, waarmee we Pearson feedback zouden kunnen geven op hoe deze functies
worden ervaren door de doelgroep. De resultaten hiervan hebben we uitgewerkt in een
usability rapport in dit document.
Usability plan & usability rapport - PE2 6
1 Inleiding In dit document verslaan we hoe we een usability experiment hebben voorbereid en door
zeven testers op vrijdag 7 juni 2013 in een lab hebben laten uitvoeren op het e-
learningplatform MyLab* van uitgever Pearson. In het lab kregen we een time window van
1,5 uur om de testers de taken te laten uitvoeren en hierna erop te laten reflecteren.
Hierna volgen twee hoofdstukken. In hoofdstuk 2 werken we in het usability plan het voorstel
en de voorbereidingen uit voor het usability experiment. Hiervoor hebben we op MyLab een
samenhang van acht navigeertaken, twee markeertaken, een annoteertaak en een toetstaak
laten uitvoeren door de zeven studenten. Dit om - zoals aangegeven - ervaring op te doen
met de door ons uitgeschreven taken. Voor het uitwerken van het plan en het rapport
hebben we op verzoek van onze docent Gerlof Donga ons gericht op twee taken. We
hebben gekozen voor twee goed uitgewerkte markeertaken. In hoofdstuk 3 beschrijven we
in het usability rapport de resultaten en reflecteren we op de uitgevoerde activiteiten. Dit
sluiten we af met conclusies en aanbevelingen. Tot slot reflecteren we in hoofdstuk 4 op het
gehele proces van plan tot rapport, we reflecteren op onszelf betreffende onze
samenwerking en we koppelen terug wat de testers vonden va onze prestaties rondom het
testen. Aansluitend hebben we achterin de usability documenten toegevoegd die we hebben
opgesteld en gebruikt voor de usability test.
* De e-Learningomgeving MyLab omvat ook de applicatie eText, dat wordt geopend wanneer de
gebruiker de tekst van een ebook opent. We kiezen ervoor om het in dit document te hebben over
MyLab. Ook waar we beide omgevingen bedoelen. Waar het nodig is om de testers goed door hun
taken te begleiden, zullen we eText wel benoemen.
Usability plan & usability rapport - PE2 7
2 Usability plan Voor het experiment wilden we zeven studenten in een usability lab in 1,5 uur door een
samenhang van navigeer-, markeer-, annoteer- en toetstaken loodsen binnen het e-
learningplatform MyLab van Pearson. Dit moest goed voorbereid worden.
In de volgende paragrafen hebben we plaats ingeruimd voor het verslaan van de
voorbereidingen. Aan de orde komen de onderstaande onderdelen. Op verzoek van onze
docent Gerlof Donga, zullen we elke onderdeel op een nieuwe pagina laten beginnen.
De onderdelen die aan bod zullen komen, zijn:
1. twee persona’s (ijkpersonen) die centraal staan als doelgroep voor de
studentenlogin van MyLab;
2. het conceptuele model van MyLab;
3. de structuur van de content die wordt aangeboden in MyLab door middel van een
sitemap;
4. een flowchart om de interactie zichtbaar te maken voor een taak die binnen MyLab
door een persona wordt uitgevoerd;
5. een voorstel op basis van de hiervoor beschreven onderdelen voor een usability
experiment.
Usability plan & usability rapport - PE2 8
2.1 Persona’s Onze doelgroep bestaat uit studenten uit het hoger onderwijs. Hieronder beschrijven we
twee mogelijke persona’s voor de studentenlogin van MyLab. Hier zijn overigens
verschillende variaties op mogelijk. Hiermee willen we aangeven dat een goed experiment
een scala aan verschillende leertypes zou kunnen beschrijven middels meer persona’s en
naast verschillen in leerstijl ook onderscheid zou kunnen maken tussen deeltijd- en
voltijdstudenten. Wijzelf zullen uitgaan van dé student in het hoger onderwijs. Dit omdat we
het helaas niet voor het kiezen hebben bij onze zoektocht naar participanten: we zijn al blij
als we zes à zeven studenten vinden die kunnen en willen testen gedurende onze time
window in het lab.
2.1.1 Babette la Noir
Dromer en visueel ingesteld
Voltijdstudent die moeite heeft als ze door veel droge tekst heen moet, maar dit prima
kan als de stof ook visueel kan worden weergegeven
Leerbehoeften
Tekstueel leren ---------x Visueel leren
Wat wil Babette uit MyLab halen?
• Leren op een visuele manier.
• Ondersteuning bij het vertalen van de stof naar een visuele wijze van studeren.
Persoonlijke achtergrond
Babette is 21 jaar. Zij is voltijdstudent Reclame, Marketing en
Communicatie. Babette is een dromer volgens het
leerstijlenmoden van Kolb en is visueel ingesteld. Zij voelt zich
als een visje in het water wanneer haar studiestof veel visueel
materiaal bevat. Ze zou het dan ook fijn vinden als de tooling
binnen Mylab visueel zou worden vormgegeven en de functies
via duidelijke en grote knoppen op te roepen zouden zijn.
Usability plan & usability rapport - PE2 9
Haar zorgen
• Hoe vind ik mijn weg door bergen tekstuele studiestof?
• Kan de stof aangepast worden aan mijn visuele leerstijl?
Een mogelijke scenario
Babette doet een module financieel management. Het baart haar zorgen dat zowel de
docent als het studiemateriaal zeer tekst- en cijfergericht zijn. Babette wil alles op alles
zetten om zich de stof toch eigen te maken. Hiervoor heeft zij veel visuele input van de
studiestof en visuele tooling nodig. Ze hoopt dan ook dat de studiestof hier en daar op een
visuele manier voor haar kan worden weergegeven en dat zijn op een visuele manier
getentamineerd kan worden.
Quotes
“Ik ben visueel ingesteld, maar dat wil niet zeggen dat ik de inhoud van de stof niet net zo
goed kan begrijpen als iemand die tekstueel gericht leert.”
“Ondersteun me in mijn manier van visueel leren, zodat ik kan laten zien dat ook ik alle stof
tot me kan nemen.”
Usability plan & usability rapport - PE2 10
2.1.2 Parcival Proost
Denker en tekstueel ingesteld
Deeltijdstudent met behoefte aan vooral veel tekstuele studiestof en tooling om de
belangrijke tekst mee aan te geven of aanvullingen erop te maken
Leerbehoeften
Tekstueel leren x--------- Visueel leren
Wat wil Parcival uit MyLab halen?
• Leren en toetsen op een tekstuele wijze.
• Veel boeken en voldoende tooling om zich de teksten eigen te maken en deze naar
eigen hand te zetten.
Zorgen
• Kan ik met de tooling binnen MyLab snel de kern van de stof aangeven?
• Biedt MyLab wel voldoende manieren om te annoteren zoals dat in een boek kan?
Een mogelijke scenario
Parcival doet een module Datavisualisatie. Het baart hem zorgen dat zowel de docent als
het studiemateriaal zeer visueel gericht zijn. Parcival wil alles op alles zetten om zich de stof
toch eigen te maken. Hiervoor heeft hij veel boeken en teksten over datavisualisatie nodig.
Visualiseren is niet zijn sterkste kant. Hij hoopt dat hij voldoende tekstuele stof en tooling
aangeboden krijgt die hem kunnen helpen om het visualiseren tekstueel te benaderen.
Persoonlijke achtergrond
Parcival is 35 jaar. Hij is deeltijdstudent Informatie en Media en
werkt voltijd naast deze studie. Hij heeft dus niet te veel tijd en
geduld voor een schoolse benadering van de stof. Parcival is
een denker volgens het leerstijlenmodel van Kolb en is zeer
tekstueel ingesteld. Geef hem vooral veel boeken en laat hem
die zich eigen maken op zijn manier en hij is een gelukkige man.
Hij zou het fijn vinden als in MyLab de functionaliteiten logisch te
bedienen zouden zijn en dat hij belangrijke teksten aan zou
kunnen geven op verschillende manieren.
Usability plan & usability rapport - PE2 11
Bovendien hoopt hij dat hij niet hoeft te visualiseren om te laten zien dat hij de stof heeft
begrepen.
Quotes
“Geef mij veel boeken en de middelen om mij de stof op een tekstuele manier eigen te
maken en ik ben een voorbeeldige leerling.”
“Vertel me alsjeblieft niet hoe ik studeren visueel interessanter kan maken, want visualisatie
is gewoonweg niet mijn ding.”
Usability plan & usability rapport - PE2 12
2.2 Conceptueel Model
Wat zou het conceptuele model kunnen zijn waaruit MyLab is ontstaan? In de afbeelding
hieronder proberen we dit op papier in kaart te brengen. Daarnaast verwoorden we wat dit
concept over wil brengen.
Studenten en docenten leren en doceren klassikaal en individueel. Een e-learningomgeving
behoeft een digitale werkruimte en een mediatheek met leer- en studiemateriaal, die bestaat
uit boeken. Boeken bestaan uit hoofdstukken, paragrafen en subparagrafen. Hierbij bestaan
de hoofdstukken uit paragrafen, die weer uit subparagrafen bestaan. Docenten en studenten
behoeven een planning en willen toetsing. Toetsing bestaat uit toetsen, oefenen met
definities, maar kan ook via het maken van mindmaps.
Usability plan & usability rapport - PE2 13
2.3 Sitemap
In deze paragraaf beschrijven we door middel van een sitemap de hiërarchische structuur
van de content die wordt aangeboden in MyLab. Het is om een indruk te geven waar welke
content in deze hiërarchie ‘leeft’ en hoe je er naartoe kunt browsen. Op de afbeelding
hieronder beginnen we op de sitemap middenin bij een duidelijk startpunt Home, tekenen
hieromheen de tweede laag binnen de hiërarchie uit en vervolgen onze reis van daaruit via
een van de opvolgende detail-lagen naar de paragraaflaag. We tekenen hierbij niet alle
andere detail-lagen uit. Al zouden we dat wel willen: de sitemap van MyLab kan eindeloos
doorgaan, omdat sitemaps geen duidelijk einde kennen.
MyLab heeft een studentenlogin en een docentenlogin. Hier gaan we in op de
studentenlogin. Na het inloggen kom je op de homepagina. Daar vandaan kun je naar:
Schedule, Preferences, Account, My Classes en Marketing, de essentie. Vanuit Marketing,
de essentie kun je naar: Studiemateriaal, Agenda, Toetsbeheer, Help. Vanuit
Studiemateriaal kun je naar: Studiepad en Mediatheek. Vanuit Studiepad kun je naar
Hoofdstuk 1, Hoofdstuk 2, Hoofdstuk 3, etc. Vanuit Hoofdstuk 2 kun je naar de paragrafen:
2.1, 2.2, 2.3 en 2.4. Vanuit paragraaf 2.2 kun je naar Leerobject 2.2 en My Tools. Vanuit de
detail-laag Leeropject 2.2 kun je naar paragraaf 2.2.1 en 2.2.2. Via de detail-laag My Tools
kun je naar: My Check, My Map en My Definitions.
Usability plan & usability rapport - PE2 14
Op de afbeelding hierboven hadden we kleuren kunnen gebruiken om de verschillende
lagen aan te geven. Dat hebben we niet gedaan omdat we geen kleurpotloden tot onze
beschikking hadden toen we de sitemap vastlegden.
Usability plan & usability rapport - PE2 15
2.4 Flowchart Binnen MyLab willen we testen of de testers een aantal functionaliteiten kunnen vinden om
de bijbehorende taken uit te voeren. Via deze taken willen we testen hoe de testers al onze
taken achtereen zullen uitvoeren en ervaren. Daarnaast willen we voor dit usability plan en
rapport kijken of we met twee van de taken verbeterpunten kunnen aandragen voor de
bijbehorende functionaliteiten. Hiervoor hebben we verschillende usability testtaken achter
elkaar gezet in de vorm van 12 stappen. Zie bijlage Usability testtaken achterin. Dit zodat de
testers alle taken achter elkaar kunnen uitvoeren. In de onderstaande paragrafen hebben
we de 12 testtaken gegroepeerd en leggen we per taakgroep uit wat de bedoeling is. De
taakgroep markeertaken kiezen we uit als de twee taken die we gaan rapporteren. In de
laatste paragraaf tekenen we de processtappen voor de markeertaken uit in een flowchart.
2.4.1 Twee markeertaken
Het is de bedoeling dat de tester in een tekst een belangrijk deel van die tekst weet te
markeren. De opdracht hiertoe wordt gegeven bij stap 5 van Usability testtaken achterin.
Ook is het de bedoeling dat de tester een pagina als belangrijk weet te markeren. De
opdracht hiertoe wordt gegeven bij stap 6 van Usability testtaken achterin.
2.4.2 Een annoteertaak Het is de bedoeling dat de tester in de tekst een belangrijke aanvulling weet te maken op
een deel van de tekst. De opdracht hiertoe wordt gegeven bij stap 10 van Usability testtaken
achterin.
2.4.3 Een toetstaak
Het is de bedoeling dat de tester de oefeningen weet te vinden, waarmee de inhoud van de
tekst geoefend kan worden en een appellerende oefening kan uitkiezen. De opdracht
hiertoe wordt gegeven bij stap 12 van Usability testtaken achterin.
2.4.4 Acht navigatietaken
De stappen 1 t/m 4, 7 t/m 9 en 11 van Usability testtaken achterin moesten ervoor zorgen
dat de gebruiker niet teveel hoeft te zoeken om de bovenstaande taken uit te voeren.
Tegelijkertijd waren deze tussenstappen handig om te kijken of de tester de juiste knoppen
vindt om bij de doelbestemming te komen. Dus dit geheel kan ook als navigatietaak gezien
worden.
Usability plan & usability rapport - PE2 16
2.4.5 Flowcharts markeertaken
Hieronder hebben we in een flowchart uitgetekend welke stappen de tester door de e-
learningomgeving moet nemen via een aantal navigatietaken om vervolgens een stuk tekst
en daarna een pagina te markeren via de de markeertaken. Dit om de processtappen te
illustreren, die de tester binnen MyLab neemt om de twee markeertaken uit te voeren.
Vervolgens hebben we de stappen om belangrijke tekst te markeren in een flowchart
weergegeven. Tot slot hebben we de stappen om een pagina te markeren in een flowchart
uitgetekend.
Startpunt Home
Stap 1 Navigeren
Stap 2 Navigeren
Stap 3 Navigeren
Stap 4 Navigeren
Stap 5 Markeren
tekst
Stap 6 Markeren
pagina
Lees!tekst.!Belang-!rijke!tekst?!
Ja.!Klik!op!
Markeer-!knop!
Nee.! Stop!!
Selecteer!tekst!
Tekst!is!opge-!licht.!
Lees!tekst.!Pagina!belang-!rijk?!
Ja.!
Nee.! Stop!!
Klik!op!markeer-!knop!!
Pagina!gemar-keerd!
Usability plan & usability rapport - PE2 17
2.5 Voorstel voor usability test In deze paragraaf doen we een voorstel op basis van de hiervoor beschreven onderdelen
voor een usability experiment. Ons voorstel is om zeven studenten uit het hoger onderwijs
de twee markeerfunctionaliteiten te laten testen binnen MyLab. Een waarmee een tester een
zelfgekozen passage gaat markeren als belangrijk en een waarmee een tester een pagina
gaat markeren als belangrijk. Waarom deze twee taken? We denken dat de markeertaken
redelijk goed zijn uitgewerkt binnen MyLab, omdat we de functionaliteiten voor het markeren
van ‘belangrijke’ tekst binnen MyLab zelf eenvoudig en vergelijkbaar vinden met dezelfde
functionaliteit in andere omgevingen, zoals e-bookomgevingen. Wel vermoeden we dat de
testers deze functionaliteiten nog verder verfijnd en gepersonaliseerd zullen willen zien.
2.5.1 Methode Binnen een time window van 1,5 uur gaan we op vrijdag 7 juni in een usability lab zeven
gemeenschappelijk verzamelde studenten uit het hoger onderwijs onze taken voorleggen en
hen daarna laten reflecteren op hetgeen ze hebben gedaan.
Om dit goed te organiseren zullen we goed moeten plannen wat we vooraf gaan
voorbereiden (zie bijlage Usability planning), een takenoverzicht moeten maken waarmee
de testers alle taken achter elkaar kunnen uitvoeren (zie bijlage Usability testtaken) en alle
testers aansluitend alle reflectievragen achter elkaar moeten voorleggen waarmee zij
kunnen reflecteren op de taken en op ons (zie bijlage Usability reflectievragen).
2.5.2 Twee markeertaken In de bijlage Usability testtaken achterin zijn 12 taken achter elkaar gezet in de vorm van 12
stappen. Dit zodat de testers alle taken achter elkaar kunnen uitvoeren. Hiervan gaan we
enkel stap 5 en 6 uitwerken in het usability rapport in hoofdstuk 3. Hierbij vertellen we de
tester enkel wat deze moet doen, omdat het hoe is wat we willen observeren.
2.5.3 Observatie
Voor de observaties gebruiken we drie observatoren in een afgesloten lab-omgeving naast
de wachtkamer. Zie bijlage Usability reflectievragen. In de labruimte zal MyLab draaien op
een laptop. De beelden op het bureaublad zullen worden vastgelegd door een applicatie die
in de achtergrond draait op de laptop. Er zal een camera op de tester gericht zijn. Als
backup zal voor de zekerheid een iPhone het geluid registreren.
De observatoren zullen niet meehelpen, maar de tester wel op zijn/haar gemak stellen. Om
de testers goed te kunnen observeren maken we een observatieschema (zie bijlage
Usability planning) zodat wij en de testers weten welke tester wanneer aan bod komt. Alle
observatoren zullen zich erop moeten instellen dat we willen weten hoe de gebruikers de
taken gaan uitvoeren. We zullen de testers dus niet helpen bij het uitvoeren van de taken.
Usability plan & usability rapport - PE2 18
Wel zullen we de testers zoveel mogelijk op hun gemak stellen zodat we de stress voor de
testers minimaliseren en de hoeveelheid informatie die we van hen krijgen vergroten. We
geven de testers vooral ook mee dat we de applicatie testen en niet hen. Dat zij dus niets
verkeerd kunnen doen.
Drie observatoren zullen opmerkelijkheden noteren. Opdat we weten wat er in de testers
omgaat, zullen de observatoren er ook voor moeten zorgen dat de testers hardop blijven
denken (think aloud) zoals we hen dat vragen in de inleidende tekst bij de testtaken (zie
bijlage Usability testtaken).
2.5.4 Reflectievragen
Daarna willen we de testers een aantal vragen voorleggen over hoe zij de functionaliteiten
bij stap 5 en 6 hebben ervaren, maar ook hoe zij die stappen zelf hebben ervaren en of wij
deze beter hadden kunnen formuleren. Zie bijlage Usability reflectievragen achterin. De bij
stap 5 en 6 horende reviewvragen zijn vraag 1 en 2. De opvolgende vragen reflecteren op
andere taken die we niet zullen rapporteren binnen dit rapport, maar waarvan we uitkomsten
ter kennisneming in acht zullen nemen. Vraag 5 en 6 zijn bedoeld om uit te vragen of we de
stappen goed genoeg hebben geformuleerd en of de tester nog iets anders op het hart
heeft.
Usability plan & usability rapport - PE2 19
3 Usability report
In dit hoofdstuk zetten we in een usability report uiteen wat de resultaten waren van het in
paragraaf 2.5 voorgestelde experiment. Helaas hebben we geen testpersonen kunnen
werven op basis van onze leerstijl-specifieke persona’s uit hoofdstuk 2. Dit komt omdat
zowel de deeltijd- als de voltijdstudenten vrijdag overdag, tijdens de reservering van onze
labtijd aan het studeren zijn. Dit hebben we nu opgelost door uit te gaan van studenten in
het hoger onderwijs, als doelgroep van de studentenlogin van MyLab.
Hieronder zetten we per taak uiteen wat de geworven testers deden, zeiden en wat deze
aan ons teruggaven toen we aan hen de reflectievragen voorlegden. Ook betrekken we de
commentaren van de observatoren bij dit verslag. We sluiten dit hoofdstuk af met onze
conclusies en aanbevelingen.
3.1 Markeren belangrijke tekst Hieronder zetten we uiteen welke opdracht de tester kreeg om een belangrijke stuk tekst te
markeren. Vervolgens beschrijven we hoe deze de opdracht uitvoerde en wat deze riep
(think aloud) volgens de camerabeelden en de schermopname via de laptop. Daarna
bekijken we de interpretaties van de observatoren. Tot slot kijken we naar de antwoorden
van de testers op de reflectievragen rondom deze taak.
3.1.1 Usability testtaak
Toen de tester bij deze taak was op de Usability testtaken, kon deze de volgende opdracht
lezen: “Stap 5 Lees deze paragraaf en markeer met een van de tools een stuk tekst als
belangrijke tekst. Het gaat erom of je een functionaliteit hiervoor kunt vinden en toepassen.
Het maakt dus niet uit welke inhoudelijke tekst jij hiervoor kiest.”
3.1.2 Camerabeelden en schermopnamen Hieronder wat we op de beelden zien gebeuren. De bijzonderheden geven we hierbij meer
concrete aandacht.
Merel vindt zonder problemen de highlighting tool en noemt het een pen. Terwijl ze een stuk
tekst begint te markeren, merkt ze op dat ‘de pen’ inderdaad markeert.
Alma vindt zonder problemen de highlighting tool. Ze kiest een paars highlight stift, omdat
ze het een leuke kleur vindt (think aloud). Alma heeft moeite met het markeren, omdat ze de
highlighting stift over de zinnen heen probeert te trekken en het effect niet is wat ze ervan
verwacht: een gemarkeerde zin. In plaats daarvan wordt het een gekleurde vlak dat niet
precies over de zin heen valt, die ze had willen highlighten. Ze ziet wel dat ze een gekleurde
rechthoek heeft gemaakt die ze groter en kleiner kan trekken.
Usability plan & usability rapport - PE2 20
Bram zoekt eerst naar een “markeer tool” en vindt vrijwel direct daarna de highlighting tool
en begint ermee te slepen over de tekst. Hij geeft aan dat hij dit doet omdat de cursor
verandert in een markeerstift.
Nicole vindt zonder problemen de highlighting tool en markeert een stuk tekst.
Eline moet een aantal keren op de highlighting tool klikken om een stift te pakken te krijgen.
Als ze aan het markeren gaat, vindt ze het gemarkeerde deel een beetje gek, omdat ze
verwachtte dat de markering op dezelfde plek zou komen als waar zij de muis overheen
trok. Deze komt eronder.
Marjolein pakt vrij snel de oranje highlighting tool en markeert een aantal keren. Ze vindt
het markeren schokkerig. Het gaat niet zoals ze wil. De markering komt onder de regel die
zij wil markeren. Als ze het markeervlak naar beneden sleept, pakt deze niet de gehele
nieuwe zin.
Paul pakt de highlighting tool er gelijk bij en markeert een stuk tekst.
3.1.3 Observatoren over de testers
Hieronder de notities van de drie observatoren. De bijzonderheden geven we hierbij meer
concrete aandacht.
Merel De observatoren melden niets nieuws hier.
Alma De observatoren melden niets nieuws hier.
Bram Een van de observatoren meldt dat Bram denkt dat hij het fout doet omdat hij ‘sleept
als een mongool’. De observator vult dit in. Dit is Brams manier van praten. Hij geeft heel
duidelijk aan dat het hem duidelijk was waar hij naar zocht.
Nicole De observatoren melden niets nieuws hier.
Eline De observatoren melden niets nieuws hier.
Marjolein De observatoren melden niets nieuws hier.
Paul De observatoren melden niets nieuws hier.
3.1.4 Antwoorden van testers op reflectievragen
Hieronder de antwoorden die de testers gaven bij de reflectievragen die betrekking hadden
op deze taak. De bijzonderheden geven we hierbij meer concrete aandacht.
Merel kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder vindt ze het
logisch dat er een pen wordt gebruikt om te markeren. Wel zou ze meer duidelijke kleuren
gebruiken voor deze tool. Ze zou zelf geen andere functionaliteit gebruiken, omdat ze zelf
ook altijd markeert.
Alma kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig. Ze vindt het niet
handig dat je niet een zin kunt markeren, maar gelijk een heel vlak markeert. Ze vindt de
uitlijning raar: de markering begint net onder de tekst. Ze vindt dat er naar Microsoft Word
gekeken zou kunnen worden om deze functionaliteit te verbeteren.
Bram kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder vond hij alles
duidelijk. Alleen zou hij de icoon van de tool groter en duidelijker in beeld brengen.
Misschien naast de tekst.
Usability plan & usability rapport - PE2 21
Nicole kon de opdracht uitvoeren en vindt de functionaliteit handig, Ze vond het allemaal
heel duidelijk. Ze vond het handig dat ze verschillende kleuren kon gebruiken.
Eline kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig omdat je markeert
onder de plek waar je wilt markeren. Ook kun je niet naar links markeren. De functionaliteit
kan zodanig verbeterd worden dat je zelf mag weten waar je markeert zonder beperkingen.
Ze zou het handiger vinden dat je een stuk tekst kunt selecteren en dan de selectie kunt
markeren.
Marjolein kon de opdracht uitvoeren en vindt de functionaliteit handig. Dit vindt ze omdat er
een duidelijke markeerknop voor was. Alleen de tool markeerde niet de gewenste regel. Ze
zou dan ook alleen dit verbeterd willen zien. Ze zou geen andere functionaliteit willen
gebruiken voor deze doeleinden.
Paul kon de opdracht uitvoeren en vindt de functionaliteit handig. Het was duidelijk en er
was een goed icoontje voor. Hij zou de functionaliteit niet verbeteren en vond het juist
handig dat je kunt markeren zonder aan regels gebonden te zijn. Misschien zou hij een
duidelijke kantlijn erin willen zien, waarmee je direct ziet wat je hebt gemarkeerd. Een balkje
of iets dergelijks.
3.2 Markeren belangrijke pagina Hieronder zetten we uiteen welke opdracht de tester kreeg om een belangrijke pagina te
markeren. Vervolgens beschrijven we hoe deze de opdracht uitvoerde en wat deze riep
(think aloud) volgens de camerabeelden en de schermopname via de laptop. Daarna
Usability plan & usability rapport - PE2 22
bekijken we de interpretaties van de observatoren. Tot slot kijken we naar de antwoorden
van de testers op de reflectievragen rondom deze taak.
3.2.1 Usability testtaak Toen de tester bij deze taak was op de Usability testtaken, kon deze de volgende opdracht
lezen: “Stap 6 Markeer de pagina voor je om aan te geven dat je deze hele pagina
belangrijk vindt.”
3.2.2 Camerabeelden en schermopnamen
Hieronder wat we op de beelden zien gebeuren. De bijzonderheden geven we hierbij meer
concrete aandacht.
Merel markeert letterlijk de hele pagina met de highlighting tool i.p.v. de bookmark
functionaliteit hiervoor te gebruiken.
Alma geeft eerst aan niet te zien hoe ze de pagina als belangrijk kan markeren, maar vindt
direct daarop de bookmark tool en bookmarkt de pagina.
Bram vindt de tool niet waarmee hij de pagina kan markeren als belangrijk en gaat na even
zoeken door naar de volgende taak.
Nicole vindt zonder problemen de bookmark tool en markeert de pagina.
Eline vindt zonder problemen de bookmark tool en markeert de pagina.
Marjolein vindt na even zoeken de bookmark tool. Ze weet niet zeker of deze tool moet
hebben. Ze markeert de pagina. Maar omdat ze het niet zeker weet, highlight ze vervolgens
toch ook voor de zekerheid de hele pagina in het paars erbij.
Paul pakt gelijk de bookmark tool erbij en markeert de pagina.
3.2.3 Observatoren over de testers
Hieronder de notities van de observatoren. De bijzonderheden geven we hierbij meer
concrete aandacht.
Merel De observatoren melden niets nieuws hier.
Alma De observatoren melden niets nieuws hier.
Bram De observatoren melden niets nieuws hier.
Nicole De observatoren melden niets nieuws hier.
Eline De observatoren melden niets nieuws hier.
Marjolein De observatoren melden niets nieuws hier.
Paul De observatoren melden niets nieuws hier.
3.2.4 Antwoorden van testers op reflectievragen
Hieronder de antwoorden die de testers gaven bij de reflectievragen die betrekking hadden
op deze taak. De bijzonderheden geven we hierbij meer concrete aandacht.
Merel kon de opdracht uitvoeren en vindt de functionaliteit handig. Wel mist ze de optie
‘markeer alles’. Verder vindt ze alles goed.
Alma kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig. Ze vindt het
onhandig dat je niet kunt zien dat je de pagina hebt gebookmarkt. Verder zou ze via popups
Usability plan & usability rapport - PE2 23
geattendeerd willen worden over hoe je bepaalde functionaliteiten kunt gebruiken. Zo van:
“als je hierop klikt, kun je highlighten.”
Bram kon de opdracht niet uitvoeren en vind de functionaliteit niet handig. Hij kon de button
niet vinden. Hij zocht de functionaliteit tevergeefs bij het vakje waar de pagina-aanduiding
stond. Hij zou een duidelijke “markeer deze pagina” button willen zien.
Nicole kon de opdracht uitvoeren en vindt de functionaliteit handig. Ze vond alles duidelijk.
Ze zou de knop misschien wel iets duidelijker aangegeven willen zien. Verder zou ze niets
veranderen omdat het vergelijkbaar en herkenbaar is met hoe het in e-books aangegeven
wordt.
Eline kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder geen
opmerkingen.
Marjolein kon de opdracht uitvoeren en vindt de functionaliteit handig. Alleen miste ze een
functionaliteit die dit makkelijker en sneller kon maken. Zoiets als een “boekenlegger” of
“pagina marker”.
Paul kon de opdracht uitvoeren en vindt de functionaliteit handig. Zo kun je gelijk een
belangrijke pagina vinden en bewaren. Hij zou niets veranderen.
3.3 Conclusies en aanbevelingen Hieronder trekken we conlusies met betrekking tot de twee geteste markeerfuncties. Daarna
formuleren we onze aanbevelingen.
3.3.1 Conclusies
Bij het markeren van een belangrijk stukje tekst konden alle zeven studenten de markeertool
vinden en de taak uitvoeren. Hiervan vonden vier dat het goed werkte. Drie anderen waren
niet tevreden over het precies kunnen plaatsen van de markering waar je dat zelf wil: de
markering komt iets onder de aangegeven markeerstreep die je trekt. Daaromheen waren er
extra behoeften. Een student zou graag meer en duidelijke markeerkleuren willen kunnen
gebruiken. Een van de studenten ziet graag een groter icoon direct naast de tekst die de
markeerfunctionaliteit vertegenwoordigt. Een student oppert dat je ook naar links zou
moeten kunnen markeren en eigenlijk overal waar jij dat precies wilt. Een student oppert dat
er een balkje in de kantlijn zou kunnen signaleren wat je hebt gemarkeerd. Een student mist
een ‘selecteer alles’ optie.
Met het markeren van een belangrijke pagina hebben drie van de zeven studenten moeite.
Een van hen vindt de tool niet en gaat naar de volgende taak. Een van hen gebruikt de
markeertool en zegt de optie ‘markeer alles’ te missen. Een student twijfelt of zij de pagina
wel of niet heeft gebookmarkt nadat ze deze wel had gebookmarkt, omdat je dit niet een-
twee-drie ziet. Ze zegt een functionaliteit als een ‘boekenlegger’ of ‘pagina marker’ te
missen. Vier van de studenten hebben geen problemen met de bookmarktool. Daaromheen
waren er extra behoeften. Een student zou graag via popups geattendeerd willen worden
Usability plan & usability rapport - PE2 24
over hoe je bepaalde functionaliteiten kunt gebruiken. Zo van: “als je hierop klikt, kun je
highlighten.” Twee studenten zouden de button voor de bookmark tool duidelijker in beeld
willen hebben.
3.3.2 Aanbevelingen
Drie van de van de zeven studenten blijkt ongeveer dezelfde problemen te ondervinden met
de markeertool: het komt erop neer dat de tool niet intuïtief genoeg werkt bij het toepassen.
Dat is een aanzienlijk deel. Ons advies luidt om dit probleem op te lossen. Drie van de
zeven studenten heeft problemen met het gemarkeerd krijgen van de pagina. Twee vinden
de tool niet. En een kan niet zien of zij de bookmarktool goed heeft gebruikt. Allemaal
andere redenen, maar ook weer een aanzienlijk deel dat de tool niet kan gebruiken waar die
voor bedoeld is. We adviseren om wel iets te doen met de issues die zij aangeven, omdat
deze de functionaliteit zullen verbeteren. Daarnaast zijn er individuele adviezen c.q. wensen
waarmee beide tools aantrekkelijker gemaakt zouden kunnen worden. Deze zijn interessant
om te onderzoeken.
De studenten komen met feedback waarmee de beide tools bruikbaarder, intuïtiever,
vindbaarder en gepersonaliseerder gebruikt zouden kunnen worden. Sommige studenten
kampen met hetzelfde en andere willen soms het tegenovergestelde van wat de andere
studenten willen. Een oplossing zou kunnen zijn om terugkomende problemen standaard
aan te pakken en bijzondere wensen van studenten in instelbare eigenschappen mogelijk te
maken. Op deze wijze kan MyLab met meer instellingen geschikt gemaakt worden voor
meer en ook tegenovergestelde wensen.
Usability plan & usability rapport - PE2 25
4 Reflectie
In dit hoofdstuk beschrijven we onze ervaringen over het gehele proces, van het
voorbereiden van de labtest tot het opleveren van het rapport. Daarna reflecteren we op
onze samenwerking. Tot slot vatten we de feedback samen die we van de testers hebben
ontvangen over ons functioneren.
4.1 Van voorbereiden labtest tot opleveren rapport
We hebben de labtest zodanig goed weten voor te bereiden dat we hebben kunnen doen
wat we wilden doen in de 1,5 uur labtijd. Er waren twee zaken die we beter hadden kunnen
doen.
Om te beginnen lijkt het erop dat we het ons moeilijk hebben gemaakt door zoveel testtaken
te beschrijven en te testen. Terwijl we hiervan slechts twee stuks zouden gebruiken. Toch
was het interessant om te zien hoe de testers met onze andere taken omgingen. In
paragraaf 4.3 besteden we aandacht aan de leerpunten rondom een van die taken.
Daarnaast hadden we het - zoals eerder aangegeven - niet voor het kiezen bij het zoeken
naar testers. Helaas wisten we pas een dag vantevoren dat we voldoende testers bij elkaar
hadden verzameld. Jammer dat het vinden van testers een issue was. Anders hadden we
de twee persona’s uit hoofdstuk 2 kunnen gebruiken bij het werven. Ook hadden we
eventueel met nog meer persona’s c.q. meer leerstijlen kunnen werken. Onze reviewvragen
hadden we dan wat specifieker op de leerstijlen aan kunnen sluiten. Hierdoor hadden we
specifiekere uitspraken kunnen doen op basis van verschillende leerstijlen. Dit hebben we
nu opgelost door uit te gaan van studenten in het hoger onderwijs, als doelgroep van de
studentenlogin van MyLab.
4.2 Onderlinge samenwerking De onderlinge verstandhouding en samenwerking was goed. We weten wat we aan elkaar
hebben als we weten wat de gemeenschappelijke output moet zijn. Deze ervaring hebben
we opgedaan in de projectgroep PE2. Binnen deze module, Content en Medium, begrepen
we tot voor kort niet helemaal wat onze docent van ons verwachtte: welk deel van het
eindproduct moet individueel opgeleverd worden en precies welk deel gemeenschappelijk?
Ondanks dit was ieders aandeel voldoende verdeeld over het geheel van de acties: de
taken verzinnen en uitschrijven, de planning maken, de testers werven, het inregelen van
apparatuur, de uitvoering van de usability test, de testers reviewen, alle opnamen en
observaties aan elkaar rondsturen, het opleveren en reviewen van dit document.
Usability plan & usability rapport - PE2 26
4.3 Reflecties van de testers We waren zeer benieuwd naar hoe de testpersonen onze twaalf taken en de rest van ons
functioneren zouden ervaren. Dit hebben we uitgevraagd via de laatste twee vragen op het
reviewformulier. Over het algemeen kregen we de feedback dat we het goed hebben
gedaan. Vier testers vonden taak 12 behoorlijk lastig, omdat ze niet wisten waar we naar
verwezen. De taak luidde: “Stap 12: Kies een manier in MyLab die jij handig vindt om te
oefenen met de stof die je zojuist hebt gelezen.” Het was voor hen in MyLab even zoeken
naar hetgeen dat werd gevraagd. Het lijkt erop dat we hier te weinig informatie hebben
gegeven over het ‘wat’ c.q. waarnaar de testers naar moesten zoeken, omdat we
probeerden niet het ‘hoe’ teveel weg te geven. We hadden in dit geval prima kunnen
aangeven dat er drie manieren waren om de studiestof te oefenen of te toetsen: via
definitiekaarten die studenten zelf moesten aanmaken, via de mogelijkheid om het geleerde
te mappen en via een toets. Daarna hadden we hen vragen voor kunnen leggen als: Welke
manier van oefenen met de stof past bij jou? Is er een andere manier dan deze drie
manieren die voor jou beter zou werken? Tot slot gaf een van de studenten ons de wijze
raad dat het verstandig is om vooraf toestemming aan de testers te vragen over of we
opnamen mogen maken. Dat waren we dus vergeten. Gelukkig heeft dit niet tot problemen
geleid.
Usability plan & usability rapport - PE2 27
Bestudeerde literatuur Brown, D.M. (2011). Communicating Design. Berkeley: New Riders.
How to Make a Mind Map – The Very Basic Method. Geraadpleegd op: 16 mei 2013, van:
http://cme2013.pbworks.com/w/file/66285375/How_To_Make_a_Mind_Map.pdf
Instructie User Lab. Geraadpleegd op: 2 Juni 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66440923/Instructie%20UI%20lab%20-
%20simple.pdf
Lazar, J., Feng, J. H., Hochheiser, H. et.al. (2010). Research Methods. In Human-Computer
Interaction. Chichester: John Wiley & Sons Ltd.
Template for Usability Test Tasks. Geraadpleegd op: 24 Mei 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66440925/template%20for%20usability%20test%2
0tasks%20-%20ch6.pdf
The Power of Mind Mapping! Geraadpleegd op: 16 mei 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66285378/the%20power%20of%20mindmapping.p
df
The Theory Underlying Concept Maps and How to Construct and Use Them. Geraadpleegd
op: 16 mei 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66285379/the%20theory%20underlying%20concep
t%20maps%20and%20how%20to%20construct%20and%20use%20them%20-
%20cmaptools.pdf
Think Aloud Protocol: Summary and Instructions. Geraadpleegd op: 24 Mei 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66440926/thinkaloud%20protocol.pdf
Usability Testing Basics. An Overview. Geraadpleegd op: 24 Mei 2013, van:
http://cme2013.pbworks.com/w/file/fetch/66440928/Usability-Testing-Basics%20-
%20Techsmith.pdf
Usability plan & usability rapport - PE2 28
Bijlage – Usability planning
Usability plan & usability rapport - PE2 29
Usability plan & usability rapport - PE2 30
Bijlage – Usability testtaken MyLab testtaken
Pearson is een van de grootste educatieve uitgeverijen die boeken uitgeeft voor het hoger
onderwijs. Nu het digitale tijdperk is aangebroken, wil de uitgeverij niet achterblijven.
Daarom heeft deze MyLab ontwikkeld. MyLab is een e-learningomgeving. Deze voorziet de
gebruikers van digitaal les- en oefenmateriaal. MyLab is nog in ontwikkeling. Om de
bestaande functionaliteiten te verbeteren, hebben we jouw hulp hard nodig. Aan de hand
van een aantal testopdrachten gaan we kijken hoe jij een aantal van deze functionaliteiten
ervaart.
Je kunt nu de stappen hieronder doorlopen. We hebben alvast ingelogd in MyLab. Voor je
op het scherm zie je nu de startpagina. Neem rustig de tijd om deze in je op te nemen.
Begin dan met de test.
Probeer tijdens de opdrachten je gedachten hardop uit te spreken. Hierdoor horen we wat je
denkt.
Taken Stap 1 Open het boek 'Marketing, de essentie 10'.
Stap 2 Ga naar hoofdstuk ‘Bedrijfs- en marketingstrategie’.
Stap 3 Ga naar hoofdstuk 2.2 'Marketingplanning' en open dit hoofdstuk via 'eText'.
Stap 4 Ga naar paragraaf 2.2.2.
Stap 5 Lees deze paragraaf en markeer met een van de tools een stuk tekst als belangrijke
tekst. Het gaat erom of je een functionaliteit hiervoor kunt vinden en toepassen. Het maakt
dus niet uit welke inhoudelijke tekst jij hiervoor kiest.
Stap 6 Markeer de pagina voor je om aan te geven dat je deze hele pagina belangrijk vindt.
Stap 7 Ga naar hoofdstuk 2.
Stap 8 Ga naar ‘Leerobject 2.4 Marketingmanagement’.
Stap 9 Ga naar paragraaf 2.4.1 'Omgevingsanalyse'.
Stap 10 Maak hier een notitie in de tekst met een belangrijke aanvulling op de tekst: “Dit is
een notitie waarmee ik een belangrijke aanvulling maak op deze tekst!”
Usability plan & usability rapport - PE2 31
Stap 11 Klik dit eText-venster weg. Je ziet nu MyLab achter dit scherm weer voor je
verschijnen.
Stap 12 Kies manier in MyLab die jij handig vindt om te oefenen met de stof die je zojuist
hebt gelezen.
Bedankt voor je tijd en medewerking! Je mag naar de ruimte hiernaast. Daar gaan we een
aantal vragen aan je voorleggen over hoe je deze test hebt ervaren.
Usability plan & usability rapport - PE2 32
Bijlage – Usability reflectievragen MyLab reflectievragen We willen je een aantal vragen stellen over de taken die je zojuist hebt uitgevoerd. Hierbij
zijn we vooral benieuwd naar hoe jij het uitvoeren van de taken en de MyLab-
functionaliteiten hebt ervaren. Hieronder een aantal vragen daarover. Om deze te
beantwoorden heb je twee bladen voor je liggen:
1. Dit blad ‘MyLab reflectievragen’. Hierop staan een aantal vragen aan jou.
2. Blad ‘MyLab testtaken’. Deze kun je naslaan bij onze vragen over de taken.
Noteer je naam boven dit blad en beantwoord de onderstaande vragen.
1. Onder stap 5 hebben we je gevraagd om een stuk tekst te markeren als belangrijke tekst.
Beantwoord de volgende vragen.
a) Kon je deze stap in MyLab uitvoeren?
b) Vond je de functionaliteit die je in MyLab gebruikte handig om deze stap mee uit te
voeren?
c) Leg uit waarom.
d) Hoe kan deze functionaliteit verbeterd worden?
e) Welke andere functionaliteiten had jij handiger gevonden om te doen wat we je vroegen?
2. Onder stap 6 hebben we je gevraagd om een pagina te markeren om aan te geven dat je
die gehele pagina belangrijk vindt. Beantwoord de volgende vragen.
a) Kon je deze stap in MyLab uitvoeren?
Usability plan & usability rapport - PE2 33
b) Vond je de functionaliteit die je in MyLab gebruikte handig om deze stap mee uit te
voeren?
c) Leg uit waarom.
d) Hoe kan deze functionaliteit verbeterd worden?
e) Welke andere functionaliteiten had jij handiger gevonden om te doen wat we je vroegen?
3. Onder stap 10 hebben we je gevraagd om in de tekst een notitie aan te maken om
belangrijke informatie toe te voegen aan de tekst. Beantwoord de volgende vragen.
a) Kon je deze stap in MyLab uitvoeren?
b) Vond je de functionaliteit die je in MyLab gebruikte handig om deze stap mee uit te
voeren?
c) Leg uit waarom.
d) Hoe kan deze functionaliteit verbeterd worden?
e) Welke andere functionaliteiten had jij handiger gevonden om te doen wat we je vroegen?
4. Onder stap 12 hebben we je gevraagd om een manier in MyLab te kiezen die jij handig
vindt om te oefenen met de stof die je hebt gelezen. Beantwoord de volgende vragen.
a) Welke functionaliteit heb je gekozen om de stof mee te oefenen?
b) Past deze manier van oefenen bij jou?
Usability plan & usability rapport - PE2 34
c) Welke functinaliteit zou jou beter helpen om te oefenen met de stof? Deze hoeft
overigens niet aanwezig te zijn in MyLab.
5. Deze vraag gaat over hoe jij het testen hebt ervaren. Beantwoord de volgende vragen.
a) Waren er lastige stappen bij? Zo ja, vermeld dan de nummers van die lastige stappen en
zet erachter:
• wat je lastig vond aan die stap;
• hoe jij denkt dat wij die stap beter hadden kunnen formuleren of instrueren;
6. Wil je ons nog iets anders meegeven?
Usability plan & usability rapport - PE2 35
Bijlage – Usability reflectie van een tester
Usability plan & usability rapport - PE2 36