frank astorga midiendo la usabilidad pure heart

Midiendo la usabilidad: PURE + HEART

@FrankAstorga

Frank Astorga

Esta presentación está basada en investigación de Christian Rohrer.

Christian es vicepresidente de diseño, investigación y

servicios empresariales de Capital One. Ha

colaborado con Intel Security, Yahoo!, eBay y

Realtor.com (Move, Inc.). Tiene un Ph.D. de la

Universidad de Stanford. Adicionalmente imparte

cursos y es autor en Nielsen Norman Group.

https://www.nngroup.com/articles/author/christian-rohrer/

Crédito al autor

● Existe una vigente y creciente necesidad por medir la UX

Introducción

Imagen propiedad de: https://sergiosaezdeibarra.com/blog/cosas-que-ajustar-en-google-analytics-nada-mas-empezar/

○ "No puedes mejorar, lo que no puedes medir"

○ "Necesito un tablero para administrar y controlar mi negocio"

○ "Este diseño necesita ser validado"

○ "¿Cómo va nuestro NPS?"

● No se tiene el tiempo ni el dinero suficiente para evaluar y medir la

eXperiencia de Usuario.

Problemas comunes

● La retroalimentación del diseño de UX es a menudo subjetiva y

superficial.

○ “El color rojo no funciona”

○ “La aplicación quedó bien facilita de usar”

○ “La interfaz es muy amigable” / “La interfaz es poco amigable”

Problemas comunes

● No se tiene una calificación para pedir la experiencia de usuario en

cada una de las tareas relevantes para las que fue concebido el

producto digital.

○ UX para comprar = ?

○ UX para descargar una canción = ?

○ UX para agendar una tarea nueva = ?

○ Calificación global de UX de un producto digital = ?

Problemas comunes

Métricas tradicionales● Conductuales (lo que la gente hace):

● Actitudinales (lo que la gente dice):


○ Contadores: usuarios, páginas vistas, visitas, descargas.

○ Tasas: rebotes, conversión, instalación, éxito de la tarea.

○ Tiempos: tiempo en la página, tiempo en la tarea, compromiso.



○ Contadores: usuarios, páginas vistas, visitas, descargas.

○ Tasas: rebotes, conversión, instalación, éxito de la tarea.

○ Tiempos: tiempo en la página, tiempo en la tarea, compromiso.


○ Encuestas: Net Promoter Score (NPS), System Usability Scale

(SUS), la satisfacción del cliente.

○ Evaluación de usuarios

Limitantes de estas métricas

● Los números por sí solos no muestran por qué se observó un

efecto o cómo solucionar un problema.




● Las métricas utilizadas en análisis y pruebas A/B reflejan el

rendimiento del software, no la experiencia humana.




● Las métricas utilizadas en análisis y pruebas A/B reflejan el

rendimiento del software, no la experiencia humana.

● Algunos de estos estudios son costosos y requieren mucho

tiempo, por lo que no se usan con la frecuencia suficiente para

proporcionar una evaluación y un seguimiento periódicos.

Modelo UX de Rohrer

UX Scorecard

Modelo UX de Rohrer

Appeal

● “Esto se ve y suena atractivo - como algo que yo quiero llegar a

conocer mejor y utilizar”.

○ Look & Feel

■ El diseño visual es claro, profesional y apropiado

○ Sound: Copy / Contenido / Arquitectura de Información

■ Lenguaje y escritura claros y relevantes

○ Microsoft reaction cards (Benedeck y Miner, 2002 )

■ 118 tarjetas físicas (60% positivas y 40% negativa/neutral)

■ Vocabulario controlado para los participantes

Appeal● Podemos hacer pruebas con usuarios y estudios de deseabilidad.

○ Benedeck y Miner desarrollaron en 2002 una metodología para la medición

de respuestas emocionales intangibles como la deseabilidad y la diversión.

○ Crearon 118 tarjetas físicas (60% positivas y 40% negativa/neutral) con

diferentes palabras de reacción de producto escritas en cada tarjeta.

○ Al final de las sesiones de pruebas de usabilidad, los participantes recibían

las cartas (Microsoft reaction cards) y se les pedía seleccionar las cinco

palabras que describirían mejor al producto.

○ Un beneficio importante de esta metodología es que introduce un

vocabulario controlado para los participantes.

Appeal

Imag

en p

rop

ied

ad d

e: h

ttp

s://

ww

w.n

ngr

ou

p.c

om

/art

icle

s/m

icro

soft

-des

irab

ility

-to

olk

it/

Modelo UX de Rohrer

Utilidad● "Realmente hace lo que necesito que haga y es relevante en mi

vida"

● Medir la "utilidad" debe comenzar con una comprensión básica del público objetivo y sus NECESIDADES.

● Puede que tenga que utilizar la métrica más conveniente disponible (por ejemplo, NPS) y sus controladores asociados.

Utilidad● TCR = Task Completion Rate (Porcentaje de finalización de tareas)

● NPS = Net Promoter Score○ Entre 0 y 10 ¿qué tan probable es que recomiende el producto o servicio

a un familiar o amigo?

Netpromoter.com | NPSbenchmarks.comCapkelenn

Modelo UX de Rohrer

Usabilidad● “Yo entiendo cómo usarlo y puedo averiguar las cosas más

importantes con facilidad”.

● Medir la usabilidad no siempre es fácil, barato o rápido.

PURE

● Practical Usability Ratings by Experts (PURE)

● Se centra en un solo componente de la experiencia del usuario:

facilidad de uso.

○ Aspectos como el atractivo estético, la eficacia o las

emociones resultantes no se abordan.

Analogía de PURE con tomatómetro de Rotten

Analogía de PURE con tomatómetro de Rotten

● PURE es como un tomatómetro para la usabilidad.

○ Puntuación obtenida agregando calificaciones (en una escala de

calificación predefinida) de un panel de expertos familiarizados

con los principios de UX y la heurística.

○ La puntuación representa lo bueno que sería la experiencia para

un objetivo específico bien definido.

PURE Scores

PURE Score

El paso puede ser realizado fácilmente por el usuario objetivo, debido a la baja carga

cognitiva o porque es un patrón conocido. → 1: Todo está bien

PURE Score



El paso requiere un notable grado de carga cognitiva (o esfuerzo físico) por parte del

usuario objetivo, pero generalmente puede lograrse con algún esfuerzo. → 2: requiere

cambios menores pero no se compromete el objetivo

PURE Score



El paso requiere un notable grado de carga cognitiva (o esfuerzo físico) por parte del

usuario objetivo, pero generalmente puede lograrse con algún esfuerzo. → 2: requiere

cambios menores pero no se compromete el objetivo

El paso es difícil para el usuario objetivo, debido a una carga cognitiva significativa o

confusión; algunos usuarios objetivo probablemente fallarían o abandonarían la tarea

en este momento. → 3: Es complejo, tiene errores o posiblemente el usuario

abandone

PURE Score

● Los números y colores que se muestran en las puntuaciones PURE

representan la fricción, lo opuesto a la facilidad de uso.

● La puntuación PURE para una tarea es la suma de las puntuaciones

de todas las calificaciones de los pasos en esa tarea.

● El color de la tarea se determina por la peor calificación en la

tarea. Por ejemplo, un solo paso clasificado como rojo (3) hace que

toda la tarea tome el color rojo.

Lo que necesitarás para llevar a cabo el método PURE

● Colaboración del gerente de producto y de Diseño

● Al menos 3 expertos evaluadores

● Equipo de grabación

● Aproximadamente 8 horas (3 para la evaluación y 5 para el

informe)

Descripción del método PURE1. Identifique el tipo de usuario objetivo.

2. Seleccione las tareas fundamentales de este producto.

3. Indique el camino feliz (o el camino deseado) para cada tarea fundamental.

4. Determine los límites de paso para cada tarea.

5. Recoja las puntuaciones de tres evaluadores que caminan juntos por los “caminos

felices” de las tareas y califican silenciosamente cada paso. Es posible utilizar un

drive en conjunto donde se agregue la calificación y comentarios de su

evaluación.

6. Haga que el panel de expertos discuta las calificaciones y la justificación de las

puntuaciones individuales, y luego convenga una puntuación única para cada

paso.

Descripción del método PURE6. Sume las puntuaciones PURE para cada tarea fundamental y para todo el

producto; Coloree cada paso, tarea y producto apropiadamente.

7. (Opcional) Para cada paso, proporcione una captura de pantalla (o foto) y un

resumen cualitativo del razonamiento de los expertos para la puntuación de ese

paso.

8. (Opcional) Si se comparan múltiples productos o versiones de productos, prepare

un cuadro comparativo de PURE, mostrando los mismos puntajes PURE lado a

lado.

Realmente corresponde color rojo

Medición PURE a lo largo del tiempo

Medición PURE vs competidores

UX Scorecard

Ejemplo de UX Scorecard

Google’s HEART Framework for Measuring #UX

Imag

en p

rop

ied

ad d

e:

htt

ps:

//w

ww

.inte

ract

ion

-des

ign

.org

/lit

erat

ure

/art

icle

/go

ogl

e-s-

hea

rt-f

ram

ewo

rk-f

or-

mea

suri

ng-

ux

Notas finales● PURE no es un sustituto de las medidas cuantitativas de usabilidad y UX.

● Los estudios cualitativos complementan fuertemente a PURE Ratings.

● Los líderes empresariales están obsesionados con las métricas, así que PURE será

una herramienta muy útil.

● HEART es un Framework que nos ayuda a diseñar cómo medir:

○ Felicidad

○ Engagement

○ Adopción

○ Retención

○ Tareas

● Resultado final: mejoras en UX y usabilidad.

• Cao, J. (s.f.). 10 Worst Design Failures of All Time. Recuperado el 7 de Mayo de 2017, de UxPin: https://www.uxpin.com/studio/blog/10-worst-design-failures-of-all-times/

• Ghulati, D. (4 de Abril de 2016). Google’s HEART framework — A Critical Evaluation. Recuperado el 7 de Mayo de 2017, de Medium Corporation: https://medium.com/@dhruvghulati/google-s-heart-framework-a-critical-evaluation-a6694421dae

• HEART, E. (22 de Marzo de 2017). Evernote. Recuperado el 7 de Mayo de 2017, de https://www.evernote.com/shard/s25/sh/f337d966-d1c2-4d81-93a5-e0710e3a8a93/52e8fbacfea7744f

• Interaction Design Foundation. (2016). Google’s HEART Framework for Measuring #UX. Recuperado el 7 de Mayo de 2017, de Interaction Design Foundation: https://www.interaction-design.org/literature/article/google-s-heart-framework-for-measuring-ux

• Meyer, K. (28 de Febrero de 2016). Using the Microsoft Desirability Toolkit to Test Visual Appeal. Recuperado el 7 de Mayo de 2017, de Nielsen Norman Group: https://www.nngroup.com/articles/microsoft-desirability-toolkit/

• NIELSEN, J. (8 de Octubre de 2012). User Satisfaction vs. Performance Metrics. Recuperado el 7 de Mayo de 2017, de Nielsen Norman Group: https://www.nngroup.com/articles/satisfaction-vs-performance-metrics/

• Rohrer, C. P., Wendt, J., Sauro, J., Boyle, F., & Cole, S. (10 de Mayo de 2016). Practical Usability Ratings by Experts (PURE). Recuperado el 7 de Mayo de 2017, de CHI 2016: https://app.box.com/s/phf842kxsxgkb87fkub080pgvmurxer4 | https://app.box.com/s/v55qenredhi8v07zhrjt5ql7qe54hzu8

• Rohrer, C. (16 de Abril de 2017). Quantifying and Comparing Ease of Use Without Breaking the Bank. Recuperado el 7 de Mayo de 2017, de Nielsen Norman Group: https://www.nngroup.com/articles/pure-method/

• ROHRER, C. (12 de Octubre de 2014). When to Use Which User-Experience Research Methods. Recuperado el 7 de Mayo de 2017, de Nielsen Norma Group: https://www.nngroup.com/articles/which-ux-research-methods/

• Sauro, J. (11 de Abril de 2017). Practical Usability Rating by Experts (PURE). Recuperado el 7 de Mayo de 2017, de MeasuringU: https://measuringu.com/pure/

• THOMSON, B. (9 de Julio de 2015). How to Improve Web Design ROI with Data and Testing . Recuperado el 7 de Mayo de 2017, de ImageX: http://imagexmedia.com/blog/2015/07/how-improve-web-design-roi-data-and-testing

Trabajos citados

¡ Muchas Gracias !

@FrankAstorga

Frank Astorga

frank astorga midiendo la usabilidad pure heart

Data & Analytics