MÒDUL 3 – USABILITAT

MÈTODES D’AVALUACIÓ AMB USUARIS

1 – AVALUACIÓ DE LA USABILITAT AMB USUARIS

Els propòsits principals dels primers test d’usabilitat eren l’obtenció de validacions estadístiques o l’avaluació final del procés per a demostrar que tot era correcte. Més tard, el benefici principal va ser descobrir on eren els errors, com es produïen o què era el que no funcionava bé.

El disseny d’una interfície ha de prendre en consideració com les persones adquireixen, interioritzen, processen o exterioritzen informació a partir de les sensacions, les percepcions i les interaccions per aconseguir més productivitat.

PRIMERA APROXIMACIÓ AL TEST AMB USUARIS

Amb aquest exemple confús es pot comprovar la quantitat de suposicions que es poden arribar a fer quan algú ens sol·licita unes simples dades i la manera d’introduir-les no està clara. S’ha d’evitar l’ambigüitat al màxim.

TREBALL AMB MODELS MENTALS

Construïm models mentals a partir de la nostra experiència i els emmagatzemem en la nostra ment. El raonament difereix enormement entre unes persones i altres, entre usuaris novells i experts d’un sistema.

Un model mental és la representació de la realitat que cada persona es construeix per entendre fenòmens específics. Tenen les següents característiques:

- Els models mentals són incompletso Si avaluem un prototip i no n’avaluem en profunditat totes les funcionalitats, és

natural que donin lloc a un model mental incomplet.o Si les tasques o escenaris no inclouen el conjunt de producte o servei també dóna

lloc a un model mental incomplet.

- Els models mentals no tenen límits precisos: diferents dispositius i interaccions es confonen els uns amb les altres. – Els usuaris diuen “això funciona com allò” perquè fan referència a altres dispositius.

- Els models mentals tenen un comportament acientífic i supersticiós. – Per exemple, en unes proves amb màquines recreatives, els usuaris pensen que la manera de prémer els botons influeix sobre el resultat.

- Els models mentals són estalviadors – els usuaris prefereixen fer més interaccions que dedicar energia mental a pensar el millor camí per a resoldre el seu problema.

QUÈ ÉS UN TEST AMB USUARIS?

Consisteix a avaluar un lloc web a partir de l’observació dels usuaris mentre executen les tasques pròpies d’un producte o servei interactiu. En un test d’usabilitat s’analitzen els punt forts i febles d’un producte/servei amb usuaris reals sota condicions reals d’ús. Es fixen uns objectius de test i es determina el reclutament d’un públic objectiu per a aquest test. Es creen les tasques i els escenaris que estructurin la prova.

Una persona experta seria l’encarregada de moderar el test mentre observa el comportament de l’usuari. Una vegada acabats els test, s’analitzarien i interpretarien els resultats per a detectar els aspectes que s’han de corregir.

La naturalesa del test és iterativa, el procés pot començar una vegada i una altra fins refinar els resultats.

QUAN S’HA DE DUR A TERME UN TEST AMB USUARIS

És una de les tècniques d’avaluació més costoses, per això es recomana altres tècniques per a descobrir problemes bàsics d’ús, com per exemple fer una anàlisi heurística basada en els principis generals d’usabilitat.

És important que el test d’usuaris no es deixi per al final del procés. Com més ràpid es detecta un problema, menys costosa serà la seva reparació. Es pot fer els test mitjançant prototips d’alta o baixa fidelitat.

PERSONES NECESSÀRIES EN UN TEST AMB USUARIS

- L’usuari – És el consumidor potencial i habitual dels producte/servei que avaluem. La mostra d’usuaris ha de ser la més representativa possible de qui esperem que finalment utilitzi el producte/servei que avaluem.

- El facilitador o moderador - És la persona encarregada de conduir el test i acompanya l’usuari durant tot el procés. Ha de conjugar tres funcions principals:

o Salvaguardar la integritat física i psicològica dels participants. Els usuaris s’han de sentir-se còmodes. S’ha d’estar atent a signes d’estrès o cansament.

o Maximitzar el flux d’informació cap als observadors. Ha d’animar l’usuari a manifestar el que pensa (pensament en veu alta) El

moderador ha d’animar els usuaris però no ha de donar cap resposta. Més

bé ha de formular preguntes obertes del tipus: És el que n’esperaves? Què és el que intentes fer?

Les expressions del rostre i la postura de l’usuari diuen molt del que passa per la seva ment.

o Mantenir el grau d’integritat màxim en la informació. Les dades s’han de contaminar el menys possible.

- Els observadors – Són persones encarregades de registrar dades de test per a la seva anàlisi posterior. Pot interessar mesurar el nombre de clics que fan els usuaris, el nombre de vegades que usen el cercador o el manual d’ajuda, etc. Els observadors no són sempre imprescindibles, la seva participació dependrà dels objectius i del nivell de complexitat del test.

Observacions bàsiques dels observadors:

o Encarregat del temps i del resultat de les tasqueso Encarregat de les manifestacions verbals dels usuariso Encarregat de les reccions emocionals dels usuariso En una prova de mòbils, quines tecles prem per tasca

LABORATORIS D’USABILITAT

Laboratoris fixos o estables – Espais dissenyats i adaptats especialment per al desenvolupament de proves d’avaluació d’usabilitat.-Reprodueixen de manera realista (adaptant l’espai al context d’ús del producte o servei interactiu).-L’espai es divideix en dues sales:

- Sala d’observació, amb l’equip d’observadors i l’equip d’enregistrament

- Sala de test on té lloc la prova.

-Tenir dues habitacions separades permet disposar de més gent-Disposen d’equips d’enregistrament ja muntats amb tècnics especialistes que s’encarreguen.

- Laboratoris d’usabilitat portàtils – Pensats per a desplaçar-seo Només es necessita un ordinador, una càmera web i el programari disponible per a

enregistrar la interacció.o Els beneficis són:

Autonomia – El podem dur a terme en qualsevol lloc. Estalvi de costos Comoditat per a l’usuari L’adaptació a l’entorn i context d’us – Es pot fer el test en un entorn real

d’ús del producte/servei.

MOBILIARI, EINES DE MAQUINARI I PROGRAMARI

- Elements de sala, mobiliari i ambient o Mobiliari

Ha de ser polivalent Còmode i ergonòmic Entorn immersiu – Sense elements decoratius.

o Miralls d’observació unidireccional Serveixen per a separar la sala d’enregistrament de la sala d’observació Permeten a un observador mirar sense ser vist S’han d’acollir a unes normes legals i privacitat que s’han de respectar

o Llums regulableso Insonorització

- Elements de suport per a la recollida de dades o Sistema d’enregistrament en vídeo

Hi pot haver dues càmeres: una enregistra la pantalla, la postura de l’usuari o els moviments del ratolí; la segona la cara de l’usuari

o Micròfons Es solen utilitzar micròfons de corbata que capten les paraules de l’usuari. Micròfon que facilita la comunicació entre el moderador i els observadors.

o Monitors – Faciliten mostrar el que es veu en la pantalla com en les reaccions de l’usuari.

o Ordinador L’usuari du a terme el test en un ordinador Serveixen també per a recollir dades

Per a enregistrar la sessió digitalment

2 - PROCÉS DEL TEST

1 – DEFINICIÓ I OBJECTIUS DEL TEST

S’ha de definir allò que volem avaluar del producte/servei. Una vegada definits, s’han de definir les tasques que hauran de fer els usuaris. Exemples de tasques:

- Eficàcia i eficiència en la navegacióo Troben els usuaris fàcilment el que necessiten?o Les categories són oportuneso El llenguatge és proper per al usuari?

- Contingut útil i pràctic – Quina informació és la que vol l’usuari?- Claredat en la presentació – Disseny gràfic, la font, la mida de la navegació o el contingut

poden ajudar l’usuari o el poden distreure.- Proporcions de les tasques – Els usuaris han d’estar capaços de fer tasques plantejades.

Com s’han sentit?-

2 – PREPARACIÓ DEL TEST

Qüestionari pretest – Ens ajuda a recopilar les dades sociodemogràfiques en ens ajudaran en el procés d’anàlisi dels resultats (edat, sexe, empresa, càrrec, etc.)

o Exemple de test per a una botiga de roba en línia:

Freqüència de connexió a Internet: – Quantes hores a la setmana et connectes a Internet? 1-2 hores/setmana; – Des d’on et connectes habitualment? Compres en línia: – Has comprat alguna vegada en línia? – Em pots especificar els webs on has comprat? – Cada quant acostumes a comprar? – Amb quina freqüència accedeixes a Internet? – Quan va ser l’última vegada que hi vas comprar alguna cosa? – Has efectuat alguna compra amb el telèfon mòbil?

Escenaris i tasques

- Escenari – És la descripció d’un personatge en una situació i context d’ús amb unes tasques i activitats assignades. S’utilitzen per a introduir les tasques i crear un ambient imaginari que doni sentit a l’acció.

- Tasques – Són el punt principal. Són les accions que es demana a l’usuari que dugui aterme amb el producte/servei a llarg del test.

Sense escenari: “Accedeix a la pàgina principal d’un web de compres en línia i troba-hi un llibre que vulguis comprar” (tasca).

Amb escenari: “Imagina que el dimarts de la setmana que ve és l’aniversari de la teva mare i saps que li faria il·lusió tenir l’última novel·la d’un gran escriptor. A més, saps que a la teva mare li agraden els llibres de butxaca perquè acostuma a llegir-los a la platja o a l’autobús. Podries accedir al lloc web de compres en línia X i intentar trobar el llibre que vol?” (tasca).

- Les tasques s’han de basar en les següents característiques:o Raonables

Raonable: “Comprar dues entrades per a un concert”.No raonable: “Comprar dues entrades per a sis concerts”.

o Orientades a la tasca – Motivació de l’usuari quan fa una tasca

Orientada a tasca: “Comprar un CD nou per a un familiar proper perquè t’has adonat que el que es va comprar l’any passat està espatllat i no se sent bé”.No orientada a tasca: “Comprar un nou CD”.

o Específiques

Específica: “Comprar l’últim llibre de Pérez-Reverte”.No específica: “Comprar un novel·la d’aventures”.

o Factibles – No proposar una tasca impossible a l’usuari.o Seqüències de tasques realistes – Han de reflectir l’ordre natural de treball amb la

interfície.o No especialitzades – El usuari ha de conèixer per no ser un expert del camp que

s’estudia.o Durada raonable – L’usuari no ha de trigar més de 10 minuts en fer cada tasca

Objectiu de la tasca: “Volem comprovar si els usuaris utilitzen el cercador i si la seva ubicació és l’adequada”.Formulació de la tasca: “Se t’ha trencat l’aspirador de casa i necessites comprar-ne un de nou. Com t’ho faries per obtenir el mateix model de la llista de tots els aspiradors disponibles?”.

Exemple de document per a un test d’avaluació

Mètriques – Són les dades quantitatives i qualitatives que recollim durant el test.

- Mètriques quantitativeso Èxit – L’usuari és capaç de fer la tascao Fracàs – L’usuari no és capaç de fer la tascao Temps de cada usuari per tasca

- Mètriques qualitativeso Observacions – anotacions sobre les dificultats, els comportaments inusuals, etc.o Comportament – La ruta que segueix l’usuari per a resoldre la tascao Literals – Opinions sobre l’experiència expressades pels participantso Anàlisi de l’experiència emocional –Anotacions sobre la sorpresa, el disgust,

frustració, alegria

Exemples de mètriques:

- Velocitat en què l’usuari fa una tasca (temps)- La quantitat d’errors que comet (nombre d’errors)- La freqüència amb què rectifica l’error (nombre de rectificacions)- La quantitat d’usuaris que completen la tasca satisfactòriament

Qüestionari posttest

Al final dels test és necessari disposar d’un qüestionari que ens ajudarà a conèixer el grau de satisfacció de l’usuari.

Carta d’autorització

És un document en matèria de protecció de dades i privacitat de l’usuari en què es requereix el seu consentiment previ per a capturar i emmagatzemar informació, aclareix la finalitat del seu tractament i l’ús que s’hi donarà.

3 - CAPTACIÓ DELS PARTICIPANTS

Nielsent (2000) considera que el nombre òptim de participants en un test amb usuaris ha de ser almenys de cinc. No es tracta de donar solució al 100%, sinó de millorar el disseny d’interacció i donar respostes a la millora de la usabilitat.

Generalment en el test amb usuaris s’ofereix una gratificació pel temps dedicat, que ajuden i motiven els usuaris.

Passos per a l’execució d’uns test

1 - Benvinguda i explicació del test

2 - Agenda –Explicarem a l’usuari els passos que seguirem durant el test per a situar-lo

3 – Qüestionari pretest

4 – Tasques

- Explicar a l’usuari el producte/servei a analitzar- L’usuari mira la pantalla durant 5 segons i després la minimitza. Ha de dir el què recorda, la

primera impressió i quin tipus de contingut creu que conté el lloc web- Efectuar les tasques que teníem previstes

5 – Qüestionari posttest

6 – Firma de l’autorització i lliurament de la gratificació

Consells per a ser un bon facilitador de test

- Ser conscient dels prejudicis i projeccions – No jutjar l’usuari. No hi ha respostes bones o dolentes. El comportament del facilitador influeix sobre l’usuari.

- Es desaconsella moderar el test amb familiars o amics. Existeixen condicionants emocionals que contaminen el test.

- Ser transparent i guanyar-se la confiança de l’usuari. Els comportaments involuntaris no verbals (tamborinar amb els dits, moure’s excessivament, esbufegar, etc.) provoquen una impressió negativa sobre l’usuari.

- L’últim test com el primer – El facilitador no ha de deixar que el cansament o la monotonia afectin el resultat de les proves.

- Adaptar-se a l’estil de comunicació de l’usuari – No esperar que ell s’adapti al nostre protocol.

- Estar atent a la validesa de les dades – El fet que un usuari es trobi molt nerviós pot modificar el resultat de les dades obtingudes.

- Deixar que els usuaris parlin de les pròpies experiències- Detectar l’autocensura de l’usuari – Normalment els usuaris “rebaixen” les seves

impressions negatives.- No ens conformem només amb els problemes, però no busquem solucions

- El facilitador ha d’ajudar que comportaments no verbals de l’usuari (somriure, arrufar les celles, sospirar...) s’interpretin correctament.

CLASSIFICACIÓ DELS TEST AMB USUARIS

- Presencial/remot o Presencial

Sala fitxa Sala portàtil

o Remot – L’usuari es troba a un lloc físic distant de l’expert. Avantatges:

L’usuari fa el test en el seu entorn habitual Permet la anticipació de diversos observadors Evita desplaçaments. Pot avaluar usuaris de tot el món Reducció de costos Mostra més gran d’usuaris.

Inconvenients No es pot veure la expressió facial de l’usuari Problemes de connexió a Internet

Tipus Remot moderat – L’usuari accedeix remotament a l’ordinador del

moderador i visualitza el producte que es vol analitzar (exemple: TeamViewer). S’utilitza la videoconferència per connectar-se en línia moderador i usuari (Exemple: Skype ).

Remot no moderat – Substitueix el moderador per un programari. Mentre l’usuari és a casa seva, el programari proposa als usuaris una sèrie de tasques i fa preguntes. Permet l’entrada de diversos usuaris simultàniament sense la presència del moderador.

o Programari necessari http://materials.cv.uoc.edu/continguts/PID_00159101/index.html

- Formal/de Guerrilla o Formal - Proves en laboratori adequat i construït per a dur a terme aquest tipus de

tècniques.o Informals o de guerrilla – És el mateix procediment que l’anterior però varien les

condicions externes. No es necessiten unes instal·lacions només un ordinador amb el programari adequat, una càmera o web cam.

- Tests amb prototips d’alta / baixa fidelitat o Prototips d’alta fidelitat – Són molt propers al producte/servei final. Es fan

costosos de produir. Són més propis per a les etapes finals del projecte.o Prototips de baixa fidelitat – Estan dibuixats en paper o amb wireframes.

L’avantatge d’aquest test és que es creen i es destrueixen molt de pressa. Resulten molt útils per a descartar idees en etapes inicials.

2 – VARIANTS DEL TEST AMB USARIS

TEST DE CODESCOBRIMENT

És un test amb usuaris, però executat per dos usuaris simultàniament que col·laboren en la resolució de les tasques. Reflecteix millor determinats ambients d’ús on, quan hi ha un problema, altres usuaris de la mateixa aplicació poden ajudar. La tasca del facilitador es complica, en tant que s’ha d’ocupar dels dos usuaris.

SEGUIMENT OCULAR (EYE-TRACKING)

Fa referència a les tecnologies que permeten registrar l’exploració visual d’un usuari davant la pantalla. Monitoritza el moviment dels ulls. És una eina de recopilació de dades quantitativa.

És necessita una pantalla adaptada i un programari d’interpretació del registres de la pantalla. La representació en paper varia segons el programari. Por ser un mapa de recorregut que presenta el camí de l’usuari per la pantalla, un mapa de calor que representa visualment el temps que cada usuari mira cap a determinades zones o dades per àrees que mostren valors numèrics de temps de fixació de l’usuari en un àrea.

LLAPIS I PAPER

En aquest cas no es disposa d’una maqueta funcional i és el moderador el que ha d’anar alternat els papers com si fossin les diferents vistes d’interacció amb el producte, quan l’usuari ho indiqui.

Són fàcils de dur a terme i no cal que estiguin maquetats o programats, per tant són més econòmics. No es necessita programari addicional per a fer el test. És fàcil detectar problemes d’ús en les ases inicials del projecte.

3 – ALTRES MÈTODES D’AVALUACIÓ AMB USUARIS

Classificació dels mètodes d’avaluació:

- Mètodes de revisió – Serveixen per a revisar les característiques del producte/servei. El duen a terme experts en disseny centrar en l’usuari. Exemple: L’avaluació heurística.

- Mètodes de recopilació – Recopilen dades qualitatives o quantitatives sobre l’experiència d’ús del producte/servei. Estan orientades a saber qui és aquest usuari i què necessita dels nostre producte/servei.

- Mètodes de test – Defineixen tasques perquè l’usuari les faci i s’analitza fins quin punt això li resulta satisfactori. Són les metodologies que hem parlat anteriorment. Les següents metodologies són totes de test.

INDAGACIÓ CONTEXTUAL

És un estudi de camp en què no s’analitza l’usuari sinó que s’aprèn d’ell. Es tracta de visitar l’usuari en el seu lloc de treball, a casa seva o en l’espai físic on efectuï les seves activitats rutinàries, per a analitzar, observar i aprendre els seus hàbits, activitats, característiques i factors d’entorn.

L’observació dels usuaris en el seu entorn permet obtenir informació precisa sobre les seves necessitats. La persona que du a terme la investigació de camp ha de recopilar informació sobre l’usuari mitjançant l’observació i l’entrevista.

És molt important crear un bon clima perquè l’usuari se senti còmode amb l’entrevistador. És recomanable no prendre notes davant de l’usuari perquè aquest no se senti avaluat.

És imprescindible tenir un objectiu de la investigació clar, detectat i ben definit per a evitar utilitzar únicament un qüestionari.

ENTREVISTES

Són una tècnica mitjançant la qual els experts formulen qüestions analitzades prèviament per investigar amb usuaris reals, amb l’objectiu de conèixer-ne les reaccions.

Els experts formulen qüestions analitzades prèviament per a investigar amb usuaris reals, amb l’objectiu de conèixer-ne les reaccions. Permet obtenir una gran quantitat de coneixements sobre l’usuari i el seu comportament.

Les entrevistes poden ser estructurades, on l’entrevistador segueix el guió preestablert, o obertes, més flexibles amb espai a la improvisació.

ENQUESTES

Es formulen una sèrie de qüestions relacionades amb el producte analitzar a fi d’obtenir informació d’interès per al seu estudi. La diferència entre les enquestes i les entrevistes, és que aquestes últimes són més enriquidores i interactives.

QÜESTIONARIS

Són una tècnica exploratòria basada en la recollida d’informació mitjançant les respostes que proporcionen els usuaris. Aquesta informació s’obté d’una llista de preguntes escrites que l’usuari ha de contestar, per tant, han de ser clares i objectives com sigui possible.

És molt important tenir clares les preguntes que es formularan. Aquesta tècnica requereix un esforç per part de l’usuari pel fet d’haver de respondre clarament les preguntes.

Hi ha alguns qüestionaris estandarditzats, alguns són de pagament. A continuació es mostren alguns exemples de qüestionaris estandarditzats:

- SUMI (Software Usability Measurement Inventory) – S’utilitza per a avaluar la qualitat d’un conjunt de programari des del punt de vista de l’usuari final. Es pot utilitzar per a avaluar nous productes, comparacions amb versions prèvies i establir objectius per a desenvolupaments futurs. Consisteix en 50 punts a què l’usuari ha de respondre: “d’acord”, “no ho sé”, “en desacord”.http://sumi.ucc.ie/uksample.pdf

- MUMMS (Measuring the Usability of Multi-Media Systems) – És igual que l’anterior però s’aplica al programari multimèdia. Té cinc subescales:

o Mesura en què el producte capta les respostes emocionals de l’usuario Grau de control amb què l’usuari sent que té.o Grau d’eficiència amb què l’usuari sent que pot aconseguir els objectius i la seva

interacció amb el producte.

o Nivell d’ajuda i assistència que el producte sembla proporcionar a l’usuari.- WAMMI (Website Analysis and Measurement Inventory) – Es centra en l’avaluació de

llocs web. Proporciona una mesura de la utilitat i la facilitat d’ús del lloc en qüestió. Es pot utilitzar:

o Abans del llançament d’un nou lloc - Pot donar una orientació sobre la reacció dels visitants.

o Monitoratge – Interessa conèixer les raons de certs comportaments (alguns clients repeteixen i altres no tornen mai)

o Referència – Opinió amb relació a altres llocs.- SUS (System Usability Scale) - Es va crear en 1986 com a part de l’aplicació d’enginyeria

d’usabilitat al sistemes d’oficina. Proporciona un test fàcil de completar i de puntuar i permet comparacions creuades entre productes.És un conjunt de 50 preguntes destinades a diferents perfils tècnics, des d’administratiu fins a programador. Les 50 preguntes es responen amb una puntuació de l’1 al 5Actualment s’ha resumit en 10 preguntes:

d’acord>>>>en desacord1-Crec que m’agradarà usar sovint aquest sistema 1 2 3 4 52-Vaig trobar el sistema innecessàriament complex 1 2 3 4 53-Vaig pensar que els sistema era fàcil d’utilitzar 1 2 3 4 54-Crec que necessitaria el suport d’un expert per a recórrer el sistema 1 2 3 4 55-Vaig trobar les diverses possibilitats del sistema ben integrades 1 2 3 4 56 –Vaig pensar que hi havia massa inconsistència en el sistema 1 2 3 4 57-Imagino que la majoria de les persones aprendrien molt ràpidament a utilitzar el sistema

1 2 3 4 5

8-Vaig trobar el sistema molt incòmode d’usar 1 2 3 4 59-Em vaig sentir molt confiat en el maneig del sistema 1 2 3 4 510-Necessito aprendre moltes coses abans de manegar amb comoditat el sistema

1 2 3 4 5

S’utilitza immediatament després que l’usuari hagi provat el sistema. No es poden deixar preguntes sense respondre. En aquest cas l’usuari ha de contestar el número 3.Per a calcular la puntuació del SUS cal sumar primer les contribucions de cada punt.

o Per als punts 1, 3, 5, 7 y 9 la contribució serà la posició de l’escala menys 1o Per als punts 2, 4, 6, 8 i 10 la contribució serà de 5 menys la posició en l’escala.o La suma es multiplica per 2,5. El resultat estarà entre el 0 i el 100.

Exemple:

Preguntes d’acord>>>>en desacord PUNTS1 1 2 3 4 5 5 – 1 42 1 2 3 4 5 5 – 4 13 1 2 3 4 5 2 – 1 14 1 2 3 4 5 5 - 1 45 1 2 3 4 5 2 - 1 46 1 2 3 4 5 5 – 3 27 1 2 3 4 5 2 – 1 18 1 2 3 4 5 5 - 4 1

9 1 2 3 4 5 5 - 1 410 1 2 3 4 5 5 - 2 3

TOTAL 2222 X 2,5 55

L’escala SUS és d’ús lliure sempre que se’n citi adequadament la font: Digital Equipment Corporation 1986

- Altres qüestionaris estandarditzats o ASQ (after-scenario questionnaire) o CSUQ (computer system usability questionnaire) o CUSI (computer user satisfaction inventory) o Ergonorm questionnaireo IsoMetricso ISONORM 9241/10o PSSUQ (poststudy system usability questionnaire) o PUEU (perceived usefulness and ease of use) o PUTQ (purdue usability testing questionnaire) o QUIS (questionnaire for user interaction satisfaction) o USE (usefulness, satisfaction, and ease of use)

- http://www.disenomovil.mobi/multimedia_un/trabajo_final/ 03_cuestionarios_modelo_usabilidad_web.pdf

DINÀMIQUES DE GRUP ( FOCUS GRUP )

Es tracta de reunir un grup reduït d persones, habitualment de sis a dotze, amb l’objectiu de conèixer-ne les impressions, opinions, millores, reaccions, etc. davant d’un producte o servei o davant d’una situació. Sempre hi ha un moderador que s’encarrega de dirigir la sessió i canalitzar el debat cap a aspectes rellevants.

En usabilitat s’apliquen per a discutir aspectes del producte/servei que s’analitza. El moderador sol ser un expert en usabilitat.

CLASSIFICACIÓ DE TARGETES ( CARD SORTING )

És una tècnica per a analitzar com els usuaris ordenen i classifiquen les categories d’informació d’un lloc web, producte o servei. Existeixen dues categories:

- Oberta – Els usuaris poden ordenar les categories lliurement com els sembli millor.- Tancada – Els usuaris reben categories amb grups definits prèviament. Han d’ubicar cada

categoria en el grup que consideri convenient. Es recomana quan s’afegeixen nous continguts en un lloc web que ja existeix.

REGISTRES DE SEGUIMENT

És una tècnica d’avaluació remota amb usuaris. Els usuaris mateixos creen un registre de seguiment d’accions i reaccions del producte que s’avalua. Pot haver-hi un sistema automàtic que recull el que passa.

SESSIONS GUIADES ( JOURNALED SESSIONS )

Formen part de les tècniques d’avaluació remota. Consisteixen a fer arribar als usuaris un prototip del producte que inclou un sistema que en captura les accions. Sol ser un CD que incorpora algun sistema d’enregistrament. També proporciona als usuaris un guió de les tasques que han de dur a terme.

REGISTRE AUTOMÀTIC DE SEGUIMENT ( LOGGING )

Un log és un registre d’esdeveniments d’un sistema (quin usuari ha fet alguna cosa, on ho ha fet, quan i per què el sistema actua de certa forma. És un registre utilitzat en seguretat i administració de sistemes però té un gran valor per a avaluar el comportament dels usuaris.

El servidor web no és l’única manera de generar logs, sinó que es poden instal·lar programes especials.

4 – ANÀLISI DEL RESULTATS

Una de les parts més importants de les proves d’avaluació consisteix a completar una anàlisi responsable de resultats.

Etapes

- Organització de la informació- Tractament de les dades- Anàlisi de les dades

ORGANITZACIÓ DE LA INFORMACIÓ

Cal recopilar la informació:

- En un test amb usuaris – Temps dedicat per a cada tasca, els resultats obtinguts, els comentaris dels usuaris, etc.

- En una dinàmica de grup – Els comentaris dels participants- En un card sorting – Les organitzacions que han fet els participants, les targetes o

categories rebutjades, comentaris, fotos, etc.

Tipus d’organització de la informació:

- Amb un criteri preestablert - No es recomana una organització de la informació que es centri en l’usuari, perquè no avaluem l’usuari. Són més útils les que giren a l’entorn d les tasques o de les característiques del producte.

- Sense criteri preestablert – Es basa a agrupar dades en funció del que ha passat durant la prova. En primer lloc, s’han de posar en comú els problemes i els aspectes més importants que s’han trobat durant el test amb usuaris. Després s’agrupen per similitud i s’etiqueten per categories

- Aplicant mètriques – Nielsen (2003) defineix la usabilitat com un atribut que té diverses variables que es poden mesurar. A continuació es presenten una llista amb mètriques senzilles que es poden utilitzar en un procés d’avaluació:

o Percentatge d’èxit o fracàs. Quants usuaris han estat capaços de fer la tasca correctament

o Temps per tascao Temps per tasca amb relació a l’èxit o fracàso Nombre d’errors comesos pels usuariso Satisfacció dels usuaris recollida mitjançant un qüestionari final.

TRACTAMENT DE LES DADES

Eficiència i efectivitat

L’eficiència és un concepte que s’associa a l’estalvi. Té a veure amb els recursos que l’usuari ha de consumir durant la interacció amb el sistema. Alguns exemples:

- Temps en cada intent per a resoldre una tasca- Temps en les tasques d’una tipologia concreta (exemple: de registre)- Nombre d’etiquetes apreses- Nombre de clics- Nombre de vegades que s’ha utilitzat la funció “enrere” del navegador- Nombre d’icones que recorda l’usuari després de completar la prova- Nombre de consultes al manual d’ús.

L’efectivitat és la capacitat de l’usuari d’assolir els seus objectius. Alguns exemples:

- Nombre de funcions del producte o servei utilitzades- Nombre de tasques completades en el primer intent- Nombre d’errors més repetits- Percentatge d’errors per tasca- Percentatge d’usuaris que han acabat una tasca

- Percentatge de tasques resoltes amb ajuda (assistència en lína, facilitador, etc.)- Nombre de tasques resoltes sense ajuda

Mitjana, mediana i moda

Per a convertir les dades brutes en mètriques necessitarem cert tractament numèric o estadístic.

La mitjana s’obté sumant els valors de totes les

dades i dividint el resultat pel nombre d’elements

del conjunt. La mitjana es veu afectada pels

valors extrems-

La mediana és el valor que queda enmig d’un

conjunt de números. Per a trobar la mediana,

s’han de col·locar els valor per ordre. Si un

número queda enmig, se sumen i se divideixen

per dos per a trobar la mediana.-

La moda és el valor més repetit.-

La desviació estàndard és una mesura del grau

de dispersió de les dades respecte del valor mitjà.

Mètriques en un test d’usuaris

- Mètriques sobre les dades de tasca- Mitjana de temps

o per a completar la tascao per a completar la tasca respecte del temps estimat

- Medianao de temps per a completar la tascao d’usuaris (per sobra i per sota)

- Percentatgeo d’usuaris que han fet la tasca correctamento d’usuaris que han fet la tasca correctament en un temps determinat

- Dades dels qüestionaris: percentatge de resposta a les diferents qüestions- Reaccions emocionals dels usuaris durant la prova- Nombre de comentaris positius i negatius- Nombre d’usuaris que han afirmat que recomanaran el producte/servei durant la prova

INTERPRETACIÓ DE LES DADES

Es tracta d’analitzar els perquès que hi ha al darrere. Aquest és un procés que requereix habilitat i experiència. El primer pas és enumerar els problemes d’usabilitat que evidencien les dades, tant en positiu com en negatiu.

Les dades amb tasques fetes són més fiables que les informacions en veu alta dels usuaris. Els comentaris dels usuaris són un suport a l’explicació sobre el que ha passat en el test, però no són una conclusió per sí mateixos.

Ens podem fitxar, per exemple, si pocs usuaris has estat capaços de dur a terme una tasca determinada

- Què van fer tots els usuaris?- Què no van fer i esperàvem que fessin?- Quines targetes va ordenar tothom de la mateixa manera?- Quines targetes van estar disposades de manera diferent per tots els participants?- Quin recorregut visual va ser més repetit en un experiment amb eye-tracking?- Quina àrea visual va quedar totalment obviada per tots els participants?- Les dades que indiquin comportaments extrems han d’atreure la nostra atenció, és a dir, si

alguna cosa ha passat massa o massa poc.