evaluaciÓn - udl opencourseware

EVALUACIÓNGrau en Enginyeria InformàticaInteracció Persona-Ordinador

Toni Granollers

http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion

How to Identify the Best Design

Problems ?

El Curso de Interacción Persona-Ordenador ha sido realizado por Toni Granollers bajo la licencia Creative Commons

Reconocimiento-NoComercial 4.0 Internacional License.

Evaluación

• La evaluación es una parte básica de un diseño de un sistema centrado en el usuario.

• Permite conocer el grado de cumplimiento de las expectativas de los usuarios de un terminado sistema interactivo, así como si éste se adapta a su contexto social, físico y organizativo.

• Vamos a conocer diferentes métodos de evaluación y como se realizan, donde, como hacerlos y como analizar sus resultados.

Evaluación - GEInformàtica, IPO 2 / 111

• Saber qué es la evaluación de la usabilidad de los sistemas interactivos.

• Distinguir las diferentes clasificaciones en que pueden agruparse los diferentes métodos a juzgar por sus características, y finalmente.

• Conocer los diferentes métodos de evaluación y sus diferencias.

• Introducir ejemplos de uso que proporcionan una visión del escenario de aplicación de los métodos de evaluación.

Evaluación. Objetivos


Índice

• Evaluación, conceptos preliminares• Evaluación de la USABILIDAD

• Métodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad

http://www.interaction-design.org/encyclopedia/usability_evaluation.html



Modelo de procesoDiseño centrado en el usuario

• Tipologías:• Automáticos/Manuales• CON/SIN usuarios• Laboratorio/In situ• Inspección/Indagación/Test



•Automáticos:• Realizar tests remotamente a través de la red de Internet. Que son

los que disponen de mecanismos (hardware y/o software) que facilitan la comprobación de los aspectos a validar.

• Los métodos automáticos resultan altamente eficientes puesto que se realizan muy rápidamente y los resultados siempre provienen de los mismos parámetros, sin apreciaciones subjetivas.

• El principal problema está en que siempre se basan en sistemas ya finalizados (o versiones preliminares de lanzamiento) y no pueden utilizarse en etapas tempranas del ciclo de vida del desarrollo.

• Solo suelen dar resultados cuantitativos

• Manuales

Evaluación. Automatización


• Automáticos

• Manuales:• Al contrario de los métodos anteriores están los métodos que no

disponen de mecanismos que automaticen su realización. • Consumen más recursos: tiempo, evaluadores,…, pero pueden

evaluar aspectos que se “salen del patrón” y pueden realizarse en cualquier etapa del desarrollo y con cualquier tipo de prototipo.

• Tienen la virtud de que aportan resultados cualitativos

Evaluación. Automatización


• CON usuarios y/o implicados• Las personas u organizaciones que serán afectadas por el

sistema y que tienen influencia directa o indirecta en los requisitos del sistema. • Recordar el módulo del Análisis de Requisitos.

• Son los métodos en los que se evalúa el sistema con la intervención directa de usuarios representativos, pudiendo también participar en las sesiones personas que sin ser usuarios finales tienen la condición de implicados del sistema.

• Estos métodos resultan muy positivos por implicar la participación de usuarios en el proceso de diseño pero dificultan, en parte, el proceso debido a que no siempre resulta fácil reclutar usuarios para este tipo de actividades.

• Métodos sin usuarios y/o implicados

Evaluación. ¿Quién interviene?


• Con usuarios y/o implicados

• Métodos SIN usuarios y/o implicados• Estos métodos los realizan solo expertos evaluadores con la ayuda

de guiones, pautas o documentos que permiten hacer un seguimiento de los que han hecho los usuarios mientras utilizaban el sistema.

• Igual que pasaba con los métodos automáticos se realizan muy rápidamente pero carecen de la realimentación que evaluar con usuarios aporta al sistema.

Evaluación. ¿Quién interviene?


Evaluación. Estilo

• Laboratorio (de usabilidad)• El objetivo del evaluador, a veces, es comprobar aspectos sin que

precise la ayuda de los usuarios• Este tipo de comprobaciones las realiza, normalmente, en su

entorno de trabajo o sea en el laboratorio, dónde, puede además traer usuarios para un estudio particular

• Entorno (in situ)• Entorno natural o habitual del escenario dónde se realizan las

tareas a evaluar• Esta situación se produce cuando el evaluador realiza su trabajo

en el lugar natural dónde se realiza la escena, el lugar de trabajo habitual del usuario


• Según la forma de realización y el tipo de participantes, la evaluación de la usabilidad se clasifica de la siguiente forma:• Métodos por Inspección• Métodos por Indagación• Métodos por Test

Evaluación. Clasificación


Índice

Evaluación, conceptos preliminaresEvaluación de la USABILIDAD

• Métodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad


Evaluación. Clasificación

• Inspección• El término inspección aplicado a la usabilidad aglutina un conjunto

de métodos para evaluar la usabilidad en los que hay unos expertos conocidos como evaluadores que analizan y explican el grado de usabilidad de un sistema basándose en la inspección o examen de la interfaz del mismo.

• Salvo excepciones, no intervienen usuarios de forma directa.

• Existen varios métodos que se enmarcan en la clasificación de evaluación por inspección

• Los más importantes son: • Heurística• Recorridos cognitivos• Recorrido de usabilidad plural• Revisión de Estándares


Evaluación Heurística

• La comunidad IPO presenta a la Evaluación Heurística como • un método de evaluación de la usabilidad

• por inspección • que debe ser llevado a cabo por evaluadores expertos • a partir de unos principios (denominados “heurísticos”)

previamente establecidos.

• Objetivo• medir la calidad de la interfaz de un sistema interactivo en

relación a su facilidad para ser aprendido y usado por un determinado grupo de usuarios en un determinado contexto de uso.

http://www.grihotools.udl.cat/mpiua/evaluacion-heuristica-2


Evaluación Heurística. Método

• Analizar la conformidad de la interfaz con unos principios reconocidos de usabilidad (la “heurística”) mediante la inspección de varios evaluadores expertos

[Molich y Nielsen, 1990]

• Suele partirse de una “lista de principios preestablecida” … pero la lista se confecciona/adapta de forma individual para cada nuevo ejercicio

• Adecuación de cada criterio que se utilizará al contexto de uso del sistema que se desea evaluar

• Algunos problemas de usabilidad son muy fáciles de encontrar, pero hay también problemas difíciles de detectar

• Se utilizan expertos para validar la interfaz porque es difícil que el desarrollador o un evaluador puedan encontrar todos los problemas de usabilidad en una interfaz, a partir de unos criterios definidos


Evaluación Heurística. Método• 1º: preparación: el responsable

• Determina la lista de criterios a evaluar. Puede contar con el asesoramiento de expertos• Selección de los evaluadores

• 2º Evaluación: • Cada evaluador realiza individualmente una revisión de la interfaz• Al terminar las evaluaciones se permite a los evaluadores comunicar los resultados y

sintetizarlos

• 3º Síntesis Final: • Análisis de resultados de una Evaluación Heurística

• IMPORTANTE: asegurar evaluaciones independientes e imparciales de cada evaluador

• RECOMENDABLE: Registrar los resultados con informes escritos de cada evaluador o haciendo que los evaluadores comuniquen verbalmente sus comentarios a un observador mientras realizan la evaluación


• El estado del sistema ha de estar siempre visible• Se ha de utilizar el lenguaje de los usuarios• El usuario tiene control y libertad• Hay consistencia y se siguen estándares• Existe prevención de errores• Se minimiza la carga de la memoria del usuario• Existe flexibilidad y eficiencia de uso• Los diálogos son estéticos y diseño minimalista• Al utilizar la ayuda, se reconocen, diagnostican, y se

recuperan• Existe ayuda y documentación

Evaluación Heurística. 10 reglas heurísticas (de Nielsen & Molich)

http://www.useit.com/papers/heuristic/heuristic_list.html

[Nielsen y Molich]


Evaluación heurística. Las 8 reglas de oro de Ben Schneiderman

• Esforzarse por la consistencia• Crear atajos para los usuarios frecuentes• Ofrecer feedback• Diseñar el diálogo para mostrar trabajo pendiente• Ofrecer una gestión sencilla de los errores• Permitir una fácil recuperación de acciones• Soportar el control por el usuario• Reducir la carga de memoria reciente en el usuario

https://www.cs.umd.edu/users/ben/goldenrules.html


• 1994, L. Constantine

• 1996, K. Instone.• Informe técnico “Usability Engineering on the Web”

• 1999, D. Mayhew• Principios para el

Diseño de Sistemas DCU

• 2002, J. Nielsen y M. Tahir• Principios para la evaluación

de páginas de inicio

• 2003, Tognazzini• Principios básicos para el diseño de una interfaz

• http://galinus.com/es/articulos/principios-diseno-de-interaccion.html

Evaluación heurística. Otras listas de principios heurísticos


Evaluación heurística. Otras listas de principios heurísticos

• En la actualidad se utilizan todo tipo de fuentes, como por ejemplo los “principios de diseño” de los desarrolladores de APPs para dispositivos móviles

https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG/Principles.html

http://developer.android.com/design/get-started/principles.html


• Lista desarrollada por Deniese Pierotti y utilizada por la empresa Xerox Corporation para evaluar la usabilidad de interfaces norteamericanas orientadas a la web

• Principios de Molich y Nielsen ampliados con tres heurísticos y muchos subheurísticos

11. Habilidades: el sistema debería tener en cuenta, extender, suplementar e incentivar las habilidades del usuario, sus conocimientos y su experticia.

12. Interacción con el Usuario Placentera y Respetuosa: las interacciones de los usuarios con el sistema deben favorecer la calidad de su vida. El usuario debe ser tratado con respeto. El diseño debe ser estético y placentero, en donde los valores artísticos se igualen a los valores funcionales.

13. Privacidad: el sistema debe ayudar al usuario a proteger la información personal o privada, tanto la que pertenece al propio usuario como la que pertenece a los clientes del usuario.

http://www.stcsig.org/usability/topics/articles/he-checklist.html

Evaluación heurística. “Personalización” de los principios


• Coste-beneficio en relación a la cantidad de evaluadores necesarios para llevar a cabo una EH.

• J. Nielsen, “How to Conduct a Heuristic Evaluation”• http://www.useit.com/papers/heuristic/heuristic_evaluation.html

Evaluación heurística. PreparaciónSelección de los evaluadores


Evaluación heurística. Revisión


Evaluación heurística. Revisión

• Entrenamiento previo a la evaluación• Conocimiento del tema e información para los evaluadores • Si el interfaz es del tipo de "llegar y usar" los evaluadores no

necesitan esta introducción

• Evaluación propiamente dicha• Factores a valorar para cada principio• Forma de “puntuar” cada factor

• Discusión• Puesta en común de las evaluaciones parciales.• Este punto puede considerarse el último paso de la revisión

o el primero de formar parte de la síntesis final


• Cuantitativo• Herramientas como la Estadística • Gráficos y funciones matemáticas de

• los resultados obtenidos por un solo evaluador (“sumativa”)• los resultados obtenidos por diferentes evaluadores (“comparativa”)

• Ayudan a resumir de manera clara y precisa la ponderación de cada una de las preguntas

• Cualitativo• Herramientas como las Técnicas del Descubrimiento de

Conocimiento en Base de Datos (Datamining) • Hallar de manera algorítmica (imparcial y objetiva) patrones de

comportamiento desconocidos y potencialmente útiles presentes en los datos

Evaluación heurística. Síntesis: Análisis de resultados


Evaluación heurística. Síntesis

• Documento formal de la evaluación

• Prestar especial atención • a los comentarios añadidos por los evaluadores• a principios “echados en falta” con la finalidad de

inspeccionar correctamente la interfaz

• Algunos autores sugieren que es conveniente enviar un cuestionario a los evaluadores para recoger los grados de la severidad• enumerando completamente el sistema según los problemas

de usabilidad que se han descubierto, y pidiendo que clasifiquen la severidad de cada problema.


• Guían a los diseñadores durante el proceso de diseño

• Ayudan a los evaluadores a identificar problemas en las interfaces de usuario, comprobando que se respetan las reglas de usabilidad

• Explican• problemas de usabilidad observados• porqué los usuarios cometen determinados errores

Evaluación heurísticaLos Principios Heurísticos, además …


Evaluación heurística

• Económica• Intuitiva y motivación fácil• Poca planificación previa• Utilizable en etapas

tempranas• Menor tiempo que los tests de

laboratorio• Realizable por evaluadores

“inexpertos” !!!

• Se necesitan varios evaluadores

• Difícil de realizar en interfaces complejas

• Subjetividad de los diferentes evaluadores

• Puede tender a reportar falsas alarmas

• Falta de usuarios reales• Los evaluadores “expertos”

detectan un número más alto de problemas de usabilidadhttp://www.usabilitybok.org/methods/p275

Ventajas Inconvenientes


Evaluación heurística

• La Interacción Persona-Ordenador• Capítulo: “Evaluación Heurística”

• http://aipo.es/content/el-libro-electr%C3%B3nico#evaluacion_heuristica

• How to Conduct a Heuristic Evaluation• http://www.useit.com/papers/heuristic/heuristic_evaluation.html

• http://en.wikipedia.org/wiki/Heuristic_evaluation

• GRIHO’s excel sheet to conduct Heuristic Evaluations• http://www.grihotools.udl.cat/mpiua/wp-

content/uploads/2014/07/EvaluacionHEURISTICA.zip

• Nuevo: http://ixdchecklist.com


• Evalúa la facilidad de aprendizaje

• Está basado en los recorridos estructurales de la ingeniería de software

• Evalúa una propuesta de prototipo de interfaz en el contexto de una o más tareas

• Es idónea en la etapa de diseño, pero se puede aplicar en el resto de etapas

Recorrido cognitivo. Cognitive Walkthrough


Recorrido cognitivo. PASOS

• 1.- Definición de los datos necesarios para el recorrido:• identificar y documentar las características de los usuarios

• ¿Quiénes serán los usuarios del sistema? • La descripción incluirá la experiencia específica acumulada y el

conocimiento adquirido como factores determinantes para la comprobación del factor "cognitivo" durante el recorrido.

• descripción del prototipo a utilizar para la evaluación• no es preciso que sea ni completo ni detallado

• especificar el/los escenario/s concreto/s• enumerar las tareas concretas a desarrollar.

• Para cada tarea • se implementa por escrito la lista íntegra de las acciones necesarias para

completar la tarea con el prototipo descrito. • esta lista consta de una serie repetitiva de pares de acciones (del usuario) y

respuestas (del sistema).



• 2.- Recorrer las acciones• Los evaluadores realizan cada una de las tareas determinadas

anteriormente siguiendo los pasos especificados y utilizando el prototipo detallado.

• En este proceso, el evaluador utiliza la información del factor cognitivo (experiencia y conocimiento adquirido) de los usuariospara comprobar si la interfaz es adecuada para el mismo.

a partir de los perfiles de usuario y de los modelos mentales

• ¿Son adecuadas las acciones disponibles de acuerdo a la experiencia y al conocimiento del usuario?

• ¿Percibirán los usuarios que está disponible la acción correcta? • Una vez encontrada la acción en la interfaz, ¿asociarán estos usuarios

la acción correcta al efecto que se alcanzará?• Una vez realizada la acción, ¿entenderán los usuarios la realimentación

del sistema?.



• 3.- Documentar los resultados

• El evaluador describe para cada acción las respuestas del sistema y sus anotacionesprópias .

• El documento incluye el Usability Problem Report Sheet• los aspectos negativos de la evaluación relacionándolos con un grado

de severidad que permita distinguir aquellos errores más perjudiciales de los que no lo son tanto.

• Algunos autores/evaluadores/expertos sólo consideran importante esta parte de la documentación, pues contiene los problemas a solucionar.


• Estudio de un caso• Una persona con discapacidad visual deberá encontrar un local

social correspondiente a una vivienda con una dirección concreta

Recorrido cognitivo


Recorrido usabilidad plural

• Tres tipos de participantes, usuarios representativos, desarrolladores y expertos en usabilidad

• Las pruebas se realizan con prototipos de papel u otros materiales utilizados en escenarios. • Cada participante dispone de una copia del escenario de la tarea con datos que se

puedan manipular

• Todos los participantes han de asumir el papel de los usuarios

• Los participantes escriben la acción que tomarán para seguir la tarea que están realizando, escribiendo las respuestas lo mas detalladas posibles.

• Debate final. • En primer lugar deben hablar los usuarios representativos y una vez estos han

expuesto completamente sus opiniones, hablan los desarrolladores y después los expertos en usabilidad.


Revisión de Estándares

• Este método se realiza por medio de un experto en un estándar que puede ser facto o de iure de la interfaz • Estándar de facto: link en la web• Estándar de iure:

• ISO/IEC 25010:2011 – Quality In Use• ISO/IEC 25010:2011 – System/software Product Quality

• El experto realiza una inspección minuciosa de la interfaz para comprobar que cumple en todo momento y globalmente todos los puntos definidos en el estándar


Algunos Estándares

• Iconos para MS-Windows XPUser Interface Standards. Creating W-XP Icons

Proceso de creaciónIconos en

tres tamañosconceptualización


Microsoft Surface User Experience Guidelineshttps://www.microsoft.com/en-us/download/confirmation.aspx?id=19410

Design applications for the Windows desktophttps://dev.windows.com/en-us/desktop/design

Apple Icon Design Guidelineshttps://developer.apple.com/library/mac/documentation/userexperience/conceptual/applehiguidelines/IconsImages/IconsImages.html#//apple_ref/doc/uid/20000967-TP6


Ejemplo

• Las guidelines de Apple recomiendan poner el botón de aceptar después del de cancelar las de Microsoft lo plantean en el sentido contrario.


Algunos Estándares

• AIGA: American Institute of Graphic Arts (http://www.aiga.org)

http://www.aiga.org/content.cfm/symbol-signs


A generic File menu

Example of a property window

• Estándares para Linux

Algunos Estándares

Toolbar with labelsunder all buttons


Icon TypeSizes

(pixels)Perspectiv

eLight Source Examples

Object / Document Icons

24x24, 48x48*, 96x96 Table Upper Left

Application Icons

24x24, 48x48* Table Upper Left

Toolbar Icons 24x24*, 48x48 Shelf Overhead

Menu Icons 16x16 Shelf Overhead

(* denotes the primary size for this kind of icon)

Algunos Estándares

• Estándares para Linux


Algunos Estándares

• Apple Human Interface Guidelines• http://developer.apple.com/documentation/UserExperience/Conceptual/OSXHIGuidelines/index.html


Algunos Estándares

• Estándares de Apple

A Standard Alert

Layout dimensions for a changeable pane dialog

Alignment of labels and controls in a preferences dialog


Algunos Estándares

• Apple releases iOS Human Interface Guidelines on iBookstore (May 13, 2014)

https://itunes.apple.com/us/book/ios-human-interface-guidelines/id877942287?mt=11


Algunos Estándares

30 April 2014https://blogs.oracle.com/usableapps/entry/general_availability_simplified_user_experience

Aunque le llaman “Design Patterns”, en realidad son las guias de estilo del diseño de interfaces de Oracle


Guidelines que pueden servir como standares

http://usabilitygeek.com/official-usability-user-experience-user-interface-guidelines-from-companies


Índice

Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad



Toni Granollers http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion


Problems ?

Índice



• Indagación• La información acerca de los gustos del usuario,

desagrados, necesidades y la identificación de requisitos son informaciones indispensables en una etapa temprana del proceso de desarrollo.

• Por tanto, inicialmente, hay que descubrir y aprender, hay que generar ideas de diseño, y va a resultar de especial interés que las metodologías a aplicar en las primeras fase del desarrollo, pues proporcionan información acerca de la usabilidad de un producto que aún no se ha empezado a fabricar.

Métodos de evaluación


• Indagación

• Estos métodos tratan de descubrir y aprender de los usuarios, sus opiniones, desagrados, gustos, necesidades

• Tipos• Observación de campo• Focus Groups• Entrevistas• Cuestionarios• Grabación del uso (Logging)



• Se realiza in situ, en el lugar de trabajo de usuarios representativos

• Se les observa trabajando para entender cómo están utilizando el sistema para lograr sus tareas y qué clase de modelo mental tienen sobre el sistema

• Este método se puede utilizar en las etapas de la prueba y del despliegue del desarrollo del producto

Observación de campo


• Preguntando, es decir entrevistar a los usuarios de su trabajo y la manera como utilizan el producto.

• Observando a las personas utiliza su producto de la manera en que lo hacen normalmente en el día-a-día

• Una manera de asegurar los datos adecuados es identificar tantos artefactos y afloramientos como sea posible• Artefactos: objetos físicos en uso en el sitio (blocs de notas,

formularios, informes, espacios, paredes )• Afloramientos: rasgos físicamente identificables que marcan o

caracterizan el sitio (tamaño de los cubículos, tamaño de laspizarras y que es lo que está escrito en ellos, tipos de uniformes).

• Ambos términos vienen de la antropología, de ahí quealgunos denominan la observación de campo tambiéncomo observación etnográfica

Observación de campo


• El focus group o grupo de discusión dirigido es una técnica de recolección de datos donde se reúne de 6 a 9 usuarios para discutir aspectos relacionados con el sistema

• El moderador• previamente, prepara la lista de aspectos a discutir, y• posteriormente, recoger los resultados y la información de la

discusión.

• Esta técnica permite • capturar reacciones espontáneas de los usuarios, e• ideas que evolucionan en el proceso dinámico del grupo.

Focus GroupGrupo de discusión dirigido


Focus Group Grupo de discusión dirigido

• Estudio de casos: Web Centro excursionista de Lleida, Web serveis personals


Técnicas de interrogación

• Las técnicas de interrogación se basan en que la mejor manera de saber si un sistema se adapta a los requisitos, es interrogar al usuario. La ventaja que ofrece este método es de tener directamente el punto de vista del usuario y por tanto encontrar opciones no contempladas en el diseño.

• Uno de los posibles problemas es que esta información es subjetiva y puede ser difícil conseguir respuestas a posibles alternativas en el diseño, porque el usuario no tiene experiencia.

• Los dos tipos mas importantes son: • Entrevistas y cuestionarios


• Entrevistar a los usuarios respecto de su experienciaen un sistema interactivo resulta una manera directay estructurada de recoger información. Además lascuestiones se pueden variar con tal de adaptarlas alcontexto.

• Normalmente, en una entrevista se sigue unaaproximación de arriba abajo

• Las entrevistas pueden ser efectivas para unaevaluación de alto nivel, particularmente para extraerinformación sobre las preferencias del usuario,impresiones y actitudes.

Técnicas de interrogación. Entrevistas


• Puede ayudar a encontrar problemas no previstos en eldiseño

• Para que la entrevista sea lo más efectiva posible, ha deser preparada con antelación, con todo un conjunto depreguntas básicas. El revisor puede adaptar la entrevistaal entrevistado y obtener el máximo beneficio.

Técnicas de interrogación. Entrevistas


• Es menos flexible que la entrevista, pero puede llegar a un grupo más numeroso, pero se puede analizar con más rigor

• Se pueden realizar diferentes tipos de preguntas

Técnicas de interrogación. Cuestionarios


• Pre-test• Información y perfil de los participantes

• Post-tarea• Recoger opiniones y valoraciones de

cada tarea

• Post-test• Recoger opiniones y valoraciones

despues que los participantes completen las tareas


Premo



• Tipos de preguntas• General

• Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la población en estudio

• Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y otras.

• Abierta• Preguntas útiles para recoger información general subjetiva

• Pueden dar sugerencias interesantes y encontrar errores no previstos


• Tipos de preguntas

• Escalar• Nos permite preguntar al usuario sobre un punto específico en una escala

numérica• Por ejemplo:

El diseño de los iconos es comprensiblepoco 1 2 3 4 5 mucho

• Opción múltiple• En este caso se ofrecen una serie de respuestas y se nos pide responder a

una de las opciones o a varias

¿Qué tipo de software has de utilizar?Tratamiento de textoHoja de cálculoBases de datosContabilidad



• Tipos de preguntas• Ordenadas

• Se presentan una serie de opciones que hay que ordenar• Ordena la utilidad de cómo ejecutar una acción:(1 la mas útil, 2, etc, 0 si no se utiliza

Por iconosSelección de menú

Doble clic



http://es.slideshare.net/DCU_MPIUA/user-centered-design-interviews-surveys

• Implica disponer en el ordenador de una ampliación del sistema que recoja automáticamente estadísticas sobre el uso detallado del sistema

• El registro se realiza generalmente modificando los drivers del sistema, por ejemplo del ratón o del teclado u otras partes del sistema que permitan el registro de las acciones del usuario o modificando la aplicación que estamos probando

Grabación del uso (Logging)


Moviments diaris del nombre de sol·licituds

0

1000

2000

3000

4000

5000

6000

7000

8000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

JunyJuliolAgostSeptembreOctubre

Web de la infancia

196.40.43.218 - - [31/May/2002:00:11:52 +0200] "GET /faq.php HTTP/1.0" 200 25258 "http://www.google.com/search?q=comercio+electronico" "Mozilla/4.77 [en] (Win98; U)"




• otra forma de analizar los logs

• Sólo debe copiar el código de seguimiento de Google Analytics en cada una de las páginas de su sitio web y el seguimiento se inicia inmediatamente.

• No debe realizar ningún proceso de compra. • No debe descargar nada. Si no suele editar su propio sitio, su

webmaster, diseñador o proveedor de alojamiento podrán hacerlo por usted en menos de cinco minutos.


Índice




Toni Granollers http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion


Problems ?

Índice




• Test• Usuarios representativos trabajan en tareas utilizando el

sistema (o el prototipo)• Evaluadores analizan los resultados para ver como la

interfaz de usuario da soporte a los usuarios con sus tareas

• Tipos• Thinking Aloud (Pensando en voz alta)• Interacción constructiva• Método del conductor• Test remoto


• Consiste en que un usuario exprese en voz alta suspensamientos, sentimientos y opiniones mientras queinteracciona con el sistema [Lewis, 1982]

• Resultado• Datos cualitativos que puede recoger de un numero reducido de

usuarios

Thinking Aloud. Pensando en voz alta


• Método• Se les proporciona a los usuarios el producto que tienen que

probar (o un prototipo de la interfaz) y un conjunto de tareas a realizar.

• Se les dice a los usuarios que realicen las tareas y que expliquen que es lo que piensan al respecto mientras están trabajando con la interfaz

Thinking Aloud. Pensando en voz alta


• Derivación del método de pensando en voz alta (thinking aloud)

• En vez de uno, dos usuarios hacen el test simultáneamente

• Es más natural para el usuario verbalizar conjuntamente

• La desventaja es que los usuarios puedan tener diferentes estrategias de aprendizaje

Interacción constructiva


• Hay una interacción explicita entre el usuario que realiza el test y el evaluador (conductor) que conduce al usuario en la dirección correcta

• El objetivo es descubrir las necesidades de información de los usuarios

Método del Conductor


Complementar los métodos anteriores: Medida de Prestaciones• Los participantes han de ser usuarios reales realizando

tareas reales• Registrar y observar la actividad de los participantes • Analizar los datos, diagnosticar problemas y recomendar

cambios

• Selección de las tareas• que demuestren problemas de usabilidad• sugeridas de la experiencia propia• derivadas de otros criterios• que los usuarios normalmente utilizarán con el producto


Complementar los métodos anteriores: Medida de Prestaciones• ¿Cómo medir la usabilidad?

• Consideraremos como planificar las observaciones y medidas para un test de usabilidad

• En primer lugar trataremos de comprender que es lo que se puede medir: • Medidas de rendimiento, esto quiere decir contar las acciones y los

comportamientos que se puedan ver• Medidas subjetivas, esto quiere decir percepciones de las personas,

opiniones y juicios


• Medidas de rendimiento• Las medidas de rendimiento son cuantitativas,

se pueden contar cuantas personas hay, cuantos errores hacen, cuantas veces se repiten los mismos errores

• La mayor parte de las medidas de rendimiento requieren observaciones cuidadosas

Complementar los métodos anteriores: Medida de Prestaciones

Medir cada TAREA Excelente Aceptable Inaceptable

Tarea1tiempo <3 min 3-5 min > 5 minRecuperación error 0 <1 min > 1 minayuda en línea 1 2-3 min > 3 min

Criterios que podemos definir para medidas de prestaciones- Excelente- Aceptable- inaceptable


Complementar los métodos anteriores: Medida de Prestaciones

Tasca 1, 2 i 3 lliuresTasca 4, 5 i 6 obligant a utilitzar un assistent virtual


RESULTADOS

• Los Resultados de los tests tendrán:

• Una lista de problemas que han ido creciendo durante la realización del test

• Datos cuantitativos• de tiempo, errores y otras medidas de rendimiento • de valoraciones subjetivas y otras cuestiones de cuestionarios post-

tasca y post-test • Comentarios de los participantes de las grabaciones y de

los cuestionarios • Las notas escritas del equipo de test o sus comentarios

que pueden ser grabados • Datos cualitativos generales de los participantes, de sus

perfiles o de cuestionarios de pretest• (opcional) Las grabaciones de vídeo, presentando

diferentes vistas del test


Can YouMeasure Experience?

https://www.interaction-design.org/ux-daily/577/how-do-you-measure-the-ux-of-design


Índice

Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓNMétodos de evaluación por INDAGACIÓNMétodos de evaluación por TEST• Laboratorio de Usabilidad


Laboratorio de usabilidad

…………..


• Observación de la Experiencia del Usuario • Un laboratorio de usabilidad es un espacio especialmente

adaptado para la realización de pruebas de evaluación de la usabilidad

• En el se registran y analizan las interacciones que los usuarios realizan mientras utilizan el sistema o producto a analizar

• Para ello es necesario disponer de equipamiento específico • Instalaciones adecuadas a las actividades que se van a realizar

en condiciones lo menos intrusivas posibles para el usuario simular las condiciones reales de la interacción

• Software especializado• Personas bien formadas




• Diversidad de productos y servicios

• Diversidad de usuarios finales• entre los que se pueden encontrar personas de edad avanzada y

personas con discapacidad

• Un laboratorio de usabilidad • Debe considerar también las condiciones de acceso para personas

con discapacidad, para poder llevar a cabo pruebas de usabilidad y accesibilidad que respondan a las necesidades de cualquier tipo de usuario


Laboratorio de usabilidad.Equipamiento básico• Consisten normalmente en dos salas o habitaciones,

• una es la sala de observación (para los evaluadores) y, • otra la sala de la prueba (para los usuarios)

Evaluación - GEInformàtica, IPO

• Ambas salas suelen estarseparadas por un cristal que sólopermite ver a los usuarios desdela sala de observación, pero nodesde el lado opuesto

87 / 111

Laboratorio de usabilidad.Equipamiento básico


Laboratorio de usabilidad.Equipamiento básico• Algunos laboratorios disponen de una sala adjunta a la sala de

observación • otros observadores, otras pruebas, …

• Cámaras de vídeo controladas remotamente desde la sala de observación • En la sala de observación se mezclan las señales de vídeo para

producir una sola secuencia que se graba junto al instante en el que se ha generado cada secuencia para posteriormente compararlo con la grabación del uso del sistema.

• Micrófonos inalámbricos• Mesa de mezcla digital• Escáner de entrada• Grabadora VHS .....


Laboratorio de usabilidad MÓVIL

• Con un laboratorio de usabilidad móvil, cualquier oficina o dependencia se puede convertir en una sala de evaluación y evitar así que los usuarios se desplacen

Montar un laboratorio de usabilidad portátil. Test de usuarios Ihttp://www.alzado.org/articulo.php?id_art=251 [Eduardo Manchón]


Laboratorio de usabilidad. Software especializado• El análisis resulta mucho más efectivo si se realiza con la

ayuda de un software específico

• El software NO sustituye al evaluador experto


Laboratorio de usabilidad. Personas bien formadas


Laboratorio de usabilidad. Personas bien formadas• Guidelines for Participants in a Separate Room (MORAE)

• Hablar lo mínimo durante la sesión• Los participantes deben sentirse apoyados por el evaluador a la vez

que deben sentirse “como en casa” • NO hacer comentarios a los participantes• Confidencialidad de la identidad• NO hacer cambios hasta el final de los resultados• Preparar una lista de preguntas finales para los participantes


Evaluación con usuariosmediante Morae

Éxito de la tarea

Encontrar un televisor LCD con la garantía más larga en el tiempo

5 de 14 (35%) participantes NO FINALIZARON la tarea

Video: El procedimiento de comparación no es claro

1.Buscar todos los televisores LCD

2.Seleccionar 2 TV a comparar

3.Escoger la opción “Comparar productos seleccionados”


• Dónde mira el usuario ??Eye Tracking

Eye Tracking Evaluation: https://www.youtube.com/watch?v=s-273rCl-yk


NINGÚN usuario se dió cuenta de

la existencia de la asistenta virtual


no se dan cuenta de las

gesticulaciones que representan un

comportamiento humano de la Berta


Permite “leer” el contenido de una

página

Google es ciego !!!


Algunos laboratorios de usabilidad

• Distribución y fotografía del Laboratorio de Usabilidad de Telefónica Móviles España

FUENTE: http://www.tid.es/documentos/boletin/numero27_3.pdf


La Salle (Barcelona)



http://www.sun.com/usability/


http://www.oracle.com/webfolder/ux/applications/getInvolved/labTours.html



BBC News - How Google fine tunes its search engine

http://news.bbc.co.uk/2/hi/programmes/click_online/9751991.stm


Remote Usability testing

Remote usability testing allows you to get customer insights when travel budgets are small, timeframes are tight, or test participants are hard to find

http://www.nngroup.com/articles/remote-usability-tests

http://gazept.com

http://www.userzoom.es

https://www.youtube.com/watch?v=L

RHPJmx7yKA

https://www.youtube.com/watch?v=t

M2tlAi-0lw


Don’t Make Me Think

S. Krug. 2nd Edition, pag. 136

Sinembargo

...


“Discount Usability Testing”


“Discount Usability Testing”

http://www.grihotools.udl.cat/mpiua/rocket-surgery-made-easy

http://youtu.be/QckIzHC99Xc


Guerrilla HCI – Discount Usability

• Guerrilla HCI: Using Discount Usability Engineering to Penetrate the Intimidation Barrier• Nielsen: http://www.nngroup.com/articles/guerrilla-hci

• Silverback 2.0• Guerrilla usability testing software for designers and

developers• http://silverbackapp.com/


Pros and Cons of Guerrilla Research for Your UX Project

Advantages

• is cheap• takes little effort• is very informative• can be squeezed into

nearly every timetable or deadline

• can be used to effectively test with large groups

Disadvantages

• is risky• can be shallow too• can be unreliable• poses recruitment

problems

SOURCE: https://www.interaction-design.org/ux-daily/102/the-pros-and-cons-of-guerrilla-research-for-your-ux-project


• La evaluación y el prototipado es una parte muy importante de las actividades a realizar en el desarrollo de un sistema interactivo centrado en el usuario

• Su objetivo es probar la usabilidad del diseño, identificar y rectificar problemas

• Puede hacerse en el laboratorio o en el puesto de trabajo del usuario y en general es importante una participación activa por parte del usuario

Conclusiones


El Curso de Interacción Persona-Ordenador ha sido realizado por Toni Granollers bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional License.


evaluaciÓn - udl opencourseware

Documents