Taller UXLab CEncuestas Online

Xavier Colomés

Objetivos del TallerAprender a diseñar, implementar y analizar correctamente encuestas online para:

1. Entender mejor a nuestros usuarios: Motivaciones, preocupaciones, expectativas, miedos y objetivos

2. Descubrir comportamientos que desconocemos3. Identificar los insights que la voz del usuario nos da,

sin dejarnos equivocar por los “bias” de nuestros usuarios

4. Convertir estos aprendizajes e Insights en acciones: cambios de diseño, nuevas soluciones visuales y test

1

2

3

4

5

INTRODUCCIÓN A LA ANALÍTICA WEB “CUALITATIVA”1

1

2

3

4

5

ENCUESTAS ONLINE, CUANDO, CÓMO Y PORQUÉ2

1

2

3

4

5

EJEMPLOS Y CASOS REALES3

1

2

3

4

5

CONFIGURACIÓN Y DISEÑO4

1

2

3

4

5 CONCLUSIONES Y DEBATE5

¿POR QUÉ ESTE TALLER?La analítica Cualitativa, y en particular las encuestas online, son un puente entre UX y la Analítica Web

Tus métricas limitan mi

creatividad!!

A la que te vayas de

vacaciones voy a testear toda

la web!!!

DISEÑADORES Y ANALISTAS: UNA RELACIÓN DIFICIL….

Cómo he vivido

tantos años sin tus

insights!

¡Me pones el NPS a mil!

….PERO BENEFICIOSA

1

2

3

4

5

¿Qué es Analítica Cualitativa?

• Es el análisis de la Voz del Usuario, lo que en UX se llama Research.

• El conjunto de técnicas de recogida y análisis de datos que provienen directamente del usuario, respondiendo a una o varias preguntas

• Se diferencia de la Analítica Clickstream, donde analizamos los rastros de la huella digital de un usuario en una web, en que trabajamos con muestras

• Las principales técnicas cualitativas (o de research) son:

Focus Group Feedback Tools

Encuestas On Site

Encuestas Off Site

Test de Usabilidad

Follow me Homes

ObservaciónEntrevistas

1

2

3

4

5

DiseñoUX

AnalíticaCRO

¿Qué es Analítica Cualitativa?

Las limitaciones de la Analítica web

La Analítica web “Clickstream” tiene muchas ventajas. Nos permite medir casi cualquier acción que ocurre en una web e identificar dónde tenemos los mayores problemas. Por ejemplo:• Qué páginas tienen mejor conversión• Qué destinos buscan los usuarios en una agencia de viajes• Qué productos son los que tienen mejor venta• Qué fuentes de tráfico son las que tenemos que potencias

Lo que no nos dice la Analítica web es…

1

2

3

4

5

¿POR QUÉ?

1

2

3

4

5

Customers Included - Mark Hurst & Phil Terry

Antes de continuar

"Si hubiera preguntado a mis clientes qué es lo que necesitaban, me hubieran dicho que un caballo más rápido"

Henry Ford

• La analítica cualitativa, como el research, tiene que se realizado correctamente

• La mayoría de las veces, el usuario no sabe lo que quiere

• No se trata de preguntar a usuarios qué hacer, si no entender a través de datos obtenidos a través de ellos, porqué lo hacen, qué les motiva, qué les preocupa, y usar el análisis para mejorar su experiencia

1

2

3

4

5

¿Qué deberíamos hacer?

1

2

3

4

5

¿Qué deberíamos hacer?

1

2

3

4

5

Principales técnicas de Research / Cualitativa

Facil de Ejecutar

Complicado de Ejecutar

No representativ

a

Representativa

Market Research

Focus Group

Online Offline

Feedback Tools Encuestas On Site

Encuestas Off Site

Test de Usabilidad

Analítica Web

Clickstream

Follow me Homes

Observación

Entrevistas

1

2

3

4

5

ENCUESTAS ONLINE2

1

2

3

4

5

¿Porqué Encuestas Online?• Permite entender porqué pasa lo que “observamos”• Son fáciles y baratas de realizar• Permite analizar motivaciones, expectativas, miedos,

problemas y otras variables que normalmente no tenemos y que son clave para la conversión

• Nos dice lo que no sabemos• Nos permite conocer mejor nuestra audiencia, con datos

demográficos que normalmente desconocemos• Permite que nuestros insights se fundamenten en la voz

del usuario, no en la nuestra. Si enfrentamos nuestra voz contra la de nuestro jefe, cual crees que va a ganar?

1

2

3

4

5

“Contras” de las encuestas Online

• No reemplazan otras técnicas• Por muchas encuestas que hagas, no van a sustituir el test de

usabilidad, la entrevista ni el focus group. Eso si, con Encuestas, harás mejores tests, mejores entrevistas y mejores focus groups

• No vas a tener representatividad, además de sobre dimensionar algunos segmentos en tus respuestas

• Es muy fácil equivocarse al diseñar una encuesta, o usarlas de manera incorrecta

• Podemos caer en la tentación de “preguntar lo que no debemos” o darle al usuario una responsabilidad que no le pertoca

(basicamente, no hay)La representatividad de las

Encuestas Online

1

2

3

4

5

Población o Universo

• El conjunto total de elementos en la observación

• Por ejemplo: • Pacientes de Diabetes• Usuarios de Tarjeta de crédito• Personas que reservan vuelo Online • Usuarios de una web

• Cuando extrapolamos conclusiones sobre una población basados en casos no representativos se llama Prueba anecdótica

• Error de inferencia se da cuando extraemos conclusiones de una muestra sin conocer realmente el tamaño del universo

• Utilizamos muestras para estudiar poblaciones

1

2

3

4

5

Tipos de muestreo

• Probabilistico:• Muestra Aleatoria: todos los individuos

tienen la misma posibilidad de ser elegidos• Muestra Estratificada: Se clasifica antes a

los individuos Por ejemplo, sexo, ciudad, edad, fuente de trafico, etc. Después se realiza en cada grupo un muestreo aleatorio

• No Probabilistico

1

2

3

4

5

Sesgos (Hay muchos…)• El sesgo “bias” más famoso es el “Cognitive Bias”• De selección:

• Non response bias: Cuando nuestra muestra es sesgada por usar sólo usuarios proclives a responder

• Convenience Sample: Cuando sólo usamos una muestra facil de acceder (i.e nuestros seguidores en twitter). Ejemplo elecciones en 1936 Literary Digest., usando teléfonos y registro de automóviles

• Voluntary response bias: Cuando publicas una encuesta en Facebook y responde tu madre

• Siempre recordad que los sesgos se producen en:• La Selección de la muestra• El método de recogida• Y el Análisis

Nunca vas a tener muestras 100% representativasY NO SIEMPRE LAS NECESITASel secreto es analizar las respuestas para generar experimentos, no usarlas como verdades absolutas

1

2

3

4

5

Anteriormente se necesitaba afinar (y gastar mucho) en las muestras para que fuesen representativas…

1

2

3

4

5

… hoy en día podemos trabajar con muestras no representativas y testera de manera ágil

1

2

3

4

5

¿CUANTOS USUARIOS/RESPUESTAS NECESITAMOS?

1

2

3

4

5

• Jakob Nielsen estableció en el año 2000 que 5 usuarios proporcionan el 80% de los problemas de usabilidad

• Para encuestas: 50 usuarios te darán una base inicial, 100 es una muestra suficiente para crear hipótesis y raramente necesitamos más de 200 respuestas

• La validez y calidad de los insights obtenidos dependerá del resultado del experimentohttp://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

¿Cuantas respuestas necesito?

1

2

3

4

5

https://www.checkmarket.com/market-research-resources/sample-size-calculator/

Caso practico: Encuesta con Qualaroo

1

2

3

4

5

https://www.checkmarket.com/2013/02/how-to-estimate-your-population-and-survey-sample-size/

Caso practico: Encuesta con Qualaroo

1

2

3

4

5

Qué hacen:(Usabilidad, Follow me homes, observación)

• Navegación clara• Procesos intuitivos• Barreras de

usabilidad• Experiencia de

usuario

Para qué usar Encuestas Online

CONCEPCIÓN (UX) DISEÑO (UI) OPTIMIZACIÓN (CRO)

Porqué lo hacen:(Encuestas on site,

Feedback tools)

• Propósito de visita• Consecución de

tarea• Intención de

compra• Principales barreras• Satisfacción• Percepción (as in

tiempo de carga)• Comprensión• Origen real de la

visita

Qué quieren:(Entrevistas, focus

group, cuestionarios)

• Qué problemas tiene el mercado

• Percepción sobre las alternativas disponibles

• Motivaciones• FUDs

Tipos de Encuestas OnlineFeedback

1

2

3

4

5

Herramientas de Feedback• Son pasivas, con baja tasa de participación y normalmente

comportamientos muy polarizados (muy fans o muy detractores)

1

2

3

4

5

Herramientas de Feedback

1

2

3

4

5

Herramientas de Feedback

1

2

3

4

5

Tipos de Encuestas OnlineNPS

1

2

3

4

5

Net Promoter Score• Una métrica comparable entre industrias

• Debe ser formulada exactamente como se indica:• How likely are you to recommend this service/product/brand to a friend or relative?• ¿Cuan probable es que recomiendes este producto o servicio a un familiar o amigo?

• Es polémica pero bien usada permite medir Satisfacción

1

2

3

4

5

Net Promoter Score• Hay que tener en cuenta algunas consideraciones:

• Para comparar NPS hay que capturarlo en el mismo sitio. No es lo mismo en una Landing que en una página de confirmación

• No se puede comprar un NPS de una industria con otro, ni entre países. Sólo entre competidores del mismo mercado

• EL NPS es sólo un indicador, no nos dice porqué. Es normal acompañarlo de un campo abierto

1

2

3

4

5

Net Promoter Score

1

2

3

4

5

NPS-9

Calcula el NPS

1

2

3

4

5

Esto NO es NPS

1

2

3

4

5

Tipos de Encuestas OnlineEncuestas Breves

1

2

3

4

5

Encuestas breves - On Site• Permiten hacer preguntas al

usuario en el momento de la navegación

• Su principal utilización es El Propósito de visita y tasa de consecución de tarea

1

2

3

4

5

1

2

3

4

5

Encuestas breves - On SiteCaso practico: The Little Saint Store

http://www.thelittlesaintstore.com/

1

2

3

4

5

Encuestas breves - On Site

1

2

3

4

5

Encuestas breves - On Site• En CRO las usamos para entender los comportamientos

dentro de una página o contenido específico

1

2

3

4

5

Encuestas breves - On Site• También las usamos para conocer más sobre nuestros

usuarios, por ejemplo, su perfil laboral:

1

2

3

4

5

Encuestas breves - 4Q

1

2

3

4

5

1

2

3

4

5

Encuestas de una pregunta1. ¿Cual es el motivo de tu visita? (Cualquier pagina)

2. ¿Has logrado tu propósito de visita? (Cualquier pagina)

3. ¿Cómo no has conocido? (Cualquier pagina)

4. ¿Qué te ha llevado a decidirte por nosotros? (Confirmación de pedido)

5. ¿Cual ha sido tu mayor problema a la hora de comprar/ reservar / descargar este producto?(Confirmación de pedido)

1

2

3

4

5

Encuestas Breves - Off Site• Nos preguntan

sobre una experiencia pasada, normalmente relacionada con un pedido o reserva

• Son poco habituales

Tipos de Encuestas OnlineEncuestas Largas

1

2

3

4

5

Encuestas Largas - On Site• Nos acribillan a preguntas sobre nuestra experiencia

1

2

3

4

5

• Cuando están bien realizadas permiten profundizar sobre los segmentos que visitan la web, y permiten monitorizar algunas métricas durante distintos periodos

Encuestas Largas - On Site

1

2

3

4

5

1

2

3

4

5

http://www.suprq.com/

Encuestas largas y Usabilidad (Percibida)

1

2

3

4

5

https://conversiongarden.typeform.com/to/cC6Kn3

1

2

3

4

5

Encuestas Largas - Off Site

1

2

3

4

5

Encuestas Largas - Off Site• Son las más habituales• Nos preguntan sobre

satisfacción, motivaciones, competidores, valoración, etc.

• Se realizan:• Después de una acción

(compra)• De manera periódica

(monitorización)• De manera puntual (un

problema puntual)• Se envían por email

normalmente, o se comparten por social media, foros, etc…

1

2

3

4

5

Encuestas Largas - Off Site

1

2

3

4

5

1

2

3

4

5

1

2

3

4

5

Cuales son los problemas con los que te enfrentas cada dia como analista web?: Datos, clientes e Implementaciones

* Basado en 77 Respuestas

* Basado en 77 Respuestas

¿Cual crees que es futuro del Analista Web?

La analítica web es un Skill más que una profesión?

1/3 de Analistas están en Cliente2/3 Son externos

30% IT70% No IT

Analitica Web es Marketing, no

tecnología

Sólo 1 de cada 3 seleccionaron “A/B Testing”

1

2

3

4

5

CONFIGURACIÓN Y DISEÑO4

Difícil de Hacer Fácil de Hacer

Motivación Alta

Motivación baja

Acción

Acción

Disparador

http://www.behaviormodel.org/

Modelo FOGG de modificación de comportamiento

(Contestar encuesta)

1

2

3

4

5

Configuración de Encuestas Online

• El “disparador” es un conjunto de:• A quien se le va a mostrar (Target)• Cómo va a aparecer la encuesta (Display)

• Tan importante es aparecer a la persona correcta, como hacerlo en el momento indicado

• Identifica tu universo, defínelo y localiza en qué URLs es mejor mostrar la encuesta. Por ejemplo:• Dueños de perros• Clientes repetidores compradores• Todas las visitas

• Los resultados dependerán mucho de la configuración que realices, la mejor manera de aprender es realizar varias versiones y comparar

1

2

3

4

5

Targeting sólo Clientes

1

2

3

4

5

Targeting en Qualaroo

1

2

3

4

5

Targeting en Qualaroo

1

2

3

4

5

Implementación / QA de Encuestas Online

• En la medida de lo posible usa un Tag Manager, evita insertar el código en todas las páginas en la medida de lo posible

• Revisa la versión Mobile y tablet• Revisa otros idiomas• Asegúrate que la encuesta NO bloquea botones o llamadas a la acción importantes• Revisa el tiempo de carga• Asegúrate de compartir el acceso a la herramienta

1

2

3

4

5

1

2

3

4

5

Itera con tus encuestas (técnica del refinado)

• Se usa en casos en los que NO sabemos qué opciones presentar

• Lanzamos una primera versión de la encuesta con campos abiertos o un ”educated guess” y la usamos para lanzar una segunda

• Nos permite aumentar la participación, reducir el número de “other”, además de usar el lenguaje de nuestros usuarios

1

2

3

4

5

7 consejos a la hora de diseñar una encuesta

1.Haz la encuesta lo más corta posible, el tiempo del usuario es tan importante como el tuyo, y cuanto más corta más respuestas tendrás

2.Utiliza listas de opciones, máximo 5 idealmente

3.Deja siempre un campo abierto “Otros”

4.Cada pregunta debe representar una cuestión sobre el negocio

5.Utiliza preguntas de control, que permitan segmentar los datos “Eres analista web?”

6.Cada pregunta debe plantear una sola pregunta: Evita enunciados como ¿Cómo valoras la usabilidad y el diseño de la página?

7.Evita la jerga técnica, y reproduce en la medida de lo posible el lenguaje del usuario

8.Evita usar incentivos para invitar a usuarios a participar, pero si puedes ofrecer un premio “easter egg” al final de una encuesta larga, estarás dando una gran experiencia a los usuarios que se tomaron la molestia de participar

1

2

3

4

5

Textos de Invitación1.Agradece la participación, cada usuario que participe en tu encuesta, por

corta que sea, tiene un valor incalculable para tí

2.Indica claramente para qué se usará esta encuesta “Queremos saber qué opinas” “Estamos mejorando nuestra web” , etc.

3.Indica una aproximación de cuanto tiempo llevará a encuesta, y se sincero

4. Establece claramente la privacidad y que la encuesta es anónima. Si puedes identificar qué usuario contestó, seguramente no deberías hacerla, y hay preguntas que quizá no puedas hacer

1

2

3

4

5

Textos de Invitación

1

2

3

4

5

1

2

3

4

5 CONCLUSIONES Y DEBATE5

1. Las encuestas nos ayudan a entender porqué nuestros usuarios hacen lo que hacen

2. No son sustitutas del dato “cuantitativo” ni de otras técnicas como la entrevista en profundidad

3. Es muy divicil lograr representatividad: Trabajaremos con muestras sesgadas. La validez del insight nos la dará el test que hagamos para validar una hipótesis

4. Respeta a los usuarios que no quieran participar, no insistas

5. Haz encuestas cortas identificando claramente el universo que quieres investigar

6. Haz preguntas claras y directas, usando lenguaje coloquial

@CROgarden@xavier_colomes (Spam alert!)¡Muchas gracias!