presentación de powerpoint - povertyactionlab.org · se midió la altura uterina 13 . dos...

Dos preguntas Variabilidad muestral Valor P Ejemplos

Herramientas de Evaluación de Impacto e

Innovación Social

23 de abril – 14 de mayo 2014

Santiago, Chile

Interpretación de datos

Jeanne Lafortune

Pontificia Universidad Católica de Chile

J-PAL LAC

2


Índice 1. Evaluando Emprendimientos Sociales

2. Tipos de Evaluación

3. Teoría de Cambio

4. Indicadores y Medición

5. Evidencia Rigurosa y Evaluación Aleatoria

6. Interpretación de Datos

7. Evaluaciones aleatorias: ¿Cómo se implementan?

8. Evaluación de Principio a Fin

3


Objetivos

Saber leer y entender resultados de un artículo científico

Entender por qué siempre hay incertidumbre en las mediciones basadas en muestras

Comprender cómo la estadística nos ayuda a reducir la incertidumbre de nuestras mediciones.

Identificar cuándo se puede confiar en los resultados que nos da una medición.

4


1. Dos preguntas clave en la interpretación de datos.

2. La variabilidad muestral, un fenómeno predecible.

3. El valor P y el razonamiento estadístico.

4. Ejemplos.

5

Esquema


1. Dos preguntas clave en la interpretación de datos


Ejemplo de un artículo académico

Empowering women to obtain high quality care: evidence from an evaluation of Mexico’s

conditional cash transfer programme

Sarah L Barber y Paul J Gertler. 2008 Revista: Health Policy and Planning

7

Dos preguntas


El programa Oportunidades

El 1997, México estableció el programa Oportunidades, que otorgaba transferencias monetarias a las madres.

Las transferencias están condicionadas a que de los hogares beneficiarios utilicen los servicios sanitarios y educativos.

8

Dos preguntas


El programa Oportunidades

9

Dos preguntas


El programa Oportunidades En su componente de salud, los beneficiarios

deben asistir a consultas médicas regularmente y asistir a charlas sobre salud.

A las mujeres embarazadas se le requiere:

Asistir a 5 consultas médicas prenatales, destinadas a monitorear el embarazo y prevenir y detectar riesgos.

Asistir a charlas mensuales a cargo del personal de Oportunidades, en las que:

• Se explica el contenido que deberían tener las consultas prenatales.

• Se instruye acerca de salud reproductiva.

• Se promueve la proactividad a la hora de obtener la atención debida.

10

Dos preguntas


Mecanismo

¿Cómo podría el programa de transferencias condicionadas afectar a la calidad del servicio sanitario obtenido?

Hipótesis: Si las charlas mensuales en las que se capacita a las mujeres embarazadas mejoran sus competencias para que sean consumidoras informadas y activas de servicios médicos, esto debería conducir a que las beneficiarias demanden servicios de mayor calidad.

11

Dos preguntas


Medición Concepto a medir: Calidad de la atención médica

Definición operativa: Diferencia entre…

Los estándares nacionales acerca de los

procedimientos que deben aplicarse en una consulta

prenatal, y

Los procedimientos efectivamente recibidos por las

madres al asistir a las consultas prenatales.

Dimensiones:

Antecedentes y diagnósticos

Exámenes físicos

Prevención y seguimiento 12

Dos preguntas


Medición: Indicadores

Antecedentes y diagnósticos:

Exámenes físicos:

Prevención y seguimiento:

Se preguntó acerca de sangrado

Se preguntó acerca de flujo

Se extrajo una muestra de sangre

Se obtuvo una muestra de orina

Se comprobó la inmunización con toxoide tetánico

Se comprobaron los suplementos de hierro

Se aconsejó sobre lactancia

Se aconsejó sobre métodos de planificación familiar

Se anotaron las próximas citas

Se midió la presión arterial

Le pesó al paciente

Se midió la altura uterina

Se realizó examen pélvico 13

Dos preguntas


Resultados

14

Dos preguntas


Dos preguntas clave:

1. La diferencia observada en los datos muestrales, ¿existe realmente?

Dado que mis datos proceden de una sola muestra, ¿cómo puedo estar seguro de que la diferencia observada entre ambos grupos existe también en la población en su conjunto?

2. La diferencia observada, ¿es el resultado de la intervención?

Suponiendo que la diferencia existe en la población general, ¿puedo interpretar esa diferencia como el efecto causal del programa?

15

Dos preguntas


2. La variabilidad muestral, un fenómeno predecible

16


Variabilidad muestral

8

10

6

9

12

9

8 10

6

9

12

9 8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9

10

5

Suponga que extraemos una muestra aleatoria de hogares para estimar el número de horas que trabajan los chilenos.




8

10

6

9

12

9

8 10

6

9

12

9 8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9

10

5


9

12

6 8

9

10 5




8

10

6

9

12

9

8 10

6

9

12

9 8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9

10

5


6+12+8+9+9+5+10 = 8,42

7

9

12

6 8

9

10 5



Variabilidad muestral Suponga que extraemos una muestra aleatoria

de hogares para estimar el número de horas que trabajan los chilenos.

8

10

6

9

12

9

8 10

6

9

12

9 8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9

10

5

6+12+8+9+9+5+10 = 8,42

7

9

12

6 8

9

10 5

8+10+9+9+8+9+12 = 9,28

7

9

12

8

8

9

10

9




Del mismo modo, si tomamos el promedio de horas trabajadas por los hombres y lo comparamos con el de las mujeres…

…la diferencia cambiará de una muestra a otra.




8

10

6

9

12

9

8

10

6

9

12

9

8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9 10

5




8

10

6

9

12

9

8

10

6

9

12

9

8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9 10

5

9 12

9

8

10

6 8

6 2

9




8

10

6

9

12

9

8

10

6

9

12

9

8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9 10

5

9 12

9

8

10

6 8

6 2

9

6,2 - 9,6 = -3,4




8

10

6

9

12

9

8

10

6

9

12

9

8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9 10

5

9 12

9

8

10

6 8

6 2

9

6,2 - 9,6 = -3,4

10 6

8 9 12

10 6

9

8

5




8

10

6

9

12

9

8

10

6

9

12

9

8

10

6

9

12

9

6

9

8

8

8

8 12

9

8

9

10

9

5

2

9

12

6 8

9 10

5

9 12

9

8

10

6 8

6 2

9

6,2 - 9,6 = -3,4

10 6

8 9 12

9,0 - 7,6 = +1,4

10 6

9

8

5




Distintas muestras extraídas de la misma población producen distintos resultados.

A este hecho básico se le llama variabilidad muestral: los valores calculados a partir de una muestra varían de una muestra a otra.

28




29




Si sabemos que existe “variabilidad muestral” ¿Por qué confiaríamos en los resultados procedentes de una sola muestra?

Con muchas muestras, en vez de una sola, podríamos confiar más de en que observamos.

Respuesta: no nos hace falta obtener muchas muestras para saber qué sucederá. Nuestro conocimiento teórico nos permite “predecirlo”.

30




¿Qué nos dice la teoría?

Si se extraen sucesivas muestras

a partir de una misma población,

las medias muestrales se aproximarán

a una distribución normal (forma de campana).

31




Veámoslo en la práctica…

Supongamos que la población que trabaja en un pueblo está formada por 2,000 personas.

Vamos a extraer una muestra tras otra y calcular cada vez la media de horas trabajadas.

32




Extraemos una muestra de 20 personas:

Media 1 = 39,2

33

Frec

uen

cia

Horas efectivas trabajadas en la semana de referencia




Extraemos otra muestra de 20 personas:

Media 1 = 39,2 Media 2 = 43,4

34

Frec

uen

cia






Media 1 = 39,2 Media 2 = 43,4 Media 3 = 35,5

35

Frec

uen

cia






Media 1 = 39,2 Media 2 = 43,4 Media 3 = 35,5 Media 4 = 48,0

36

Frec

uen

cia





Ahora representamos gráficamente las medias

2 muestras de n=20:

x ̄1 = 39.2

x ̄2 = 43.45

37

Frec

uen

cia





10 muestras de n=20:

x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄10 = 33.2

38


Frec

uen

cia






x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄100 = 39.35

39


Frec

uen

cia






x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄500 = 46.75

40


Frec

uen

cia






x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄1000 = 33.55

41


Frec

uen

cia





10,000 muestras de n=20:

x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄10000 = 45.95

42


Frec

uen

cia




Variabilidad muestral La distribución de la media muestral

tienen forma de campana:


x ̄1 = 39.2

x ̄2 = 43.45

.

.

. x ̄10000 = 45.95

43

Frec

uen

cia




Variabilidad muestral La distribución de la diferencia entre las

medias muestrales de los beneficiarios y los no beneficiarios también tiene esta forma:


x ̄m1 - x ̄h1 = -5,2

x ̄m2 - x ̄h2 = -8,9

.

.

. x ̄m10000 - x ̄h10000 = +1,4

-18 -12 -6 0 6 44

Frec

uen

cia

Diferencia en el número de horas trabajadas semanalmente por mujeres y hombres



-18 -12 -6 0 6 Diferencia en el número de horas trabajadas

semanalmente por mujeres y hombres


La forma de campana

representa probabilidades

A partir de esta campana, sé que

casi todas las muestras que

extraiga arrojarán diferencias

negativas (indicando que los

hombres trabajan más horas a la

semana)

En el centro de la campana está el

verdadero valor. La mayoría de

muestras arrojan resultados

cercanos.

Si sacáramos muchas muestras,

solo unas pocas arrojarían

resultados muy alejados del

verdadero valor 45




46

Conclusión:

La variabilidad muestral es un fenómeno predecible: ¡tiene forma de campana!

Veamos ahora cómo este conocimiento nos sirve para alcanzar conclusiones acerca de si nos podemos fiar o no de los resultados que obtenemos a partir de una sola muestra.



3. El valor P y el razonamiento estadístico

47


El razonamiento estadístico

A partir de esta campana,

puedo saber que casi todas

las muestras que extraiga

arrojarán diferencias

negativas (indicando que

los hombres trabajan más

horas a la semana).

Para hacer esto,

¡necesitamos conocer la

diferencia verdadera entre

los promedios! (-6)

48

-18 -12 -6 0 6 Diferencia en el número de horas trabajadas

semanalmente por mujeres y hombres

Valor P



Generalmente, no extraemos

10,000 muestras de una

población.

49

Valor P





población.

Pero la teoría nos dice que si

extrajéramos 10,000 muestras

llegaríamos a esta forma de

campaña.

50

Valor P



? ? ? ? ?



población.

Pero la teoría nos dice que si

extrajéramos 10,000 muestras

llegaríamos a esta forma de

campaña.

Sin embargo, no sabemos cual

es la diferencia verdadera entre

el promedio de horas trabajadas

por hombres y mujeres.

51

Valor P



? ? ? ? ? -12 -6 0 6 12


opera del siguiente modo:

1) Extraemos una muestra y

observamos que el promedio de

horas trabajadas por las mujeres

es 3 horas inferior que el de los

hombres (diferencia = -3).

2) Pese a lo observado,

tenemos que hacer un

supuesto: la diferencia real en el

promedio de horas trabajadas

por hombres y mujeres es cero. 52

Valor P



? ? ? ? ? -12 -6 0 6 12


opera del siguiente modo:

1) Extraemos una muestra y

observamos que el promedio de

horas trabajadas por las mujeres

es 3 horas inferior que el de los

hombres (diferencia = -3).

2) Pese a lo observado,

tenemos que hacer un

supuesto: la diferencia real en el

promedio de horas trabajadas

por hombres y mujeres es cero. 53

Esto es parecido a lo que sucede en un juicio: el acusado es inocente hasta

que se prueba lo contrario.

Aquí, asumimos que no hay diferencia en las horas trabajadas por hombres

y mujeres, y vemos si la evidencia muestral contradice este supuesto

Valor P



-12 -6 0 6 12

2) Pese a lo observado, tenemos

que hacer un supuesto: la

diferencia real en el promedio de

horas trabajadas por hombres y

mujeres es cero.

3) Seguidamente hacemos el

siguiente razonamiento:

Si la diferencia real fuera cero,

¿cuál sería la probabilidad de

obtener una muestra aleatoria

que arrojara una diferencia de -3,

(la diferencia que observé en la

muestra aleatoria que extraje)?

-3

54

Valor P



-12 -6 0 6 12

-3

4) Ahora examinamos la curva

normal y vemos si sería probable

o improbable obtener una

diferencia igual a -3 bajo el

supuesto de que la diferencia

verdadera es cero (no hay

diferencia en las horas trabajadas

por hombres y mujeres)

• Si en el gráfico se observa que

-3 está cerca de cero, la

probabilidad es alta.

• Si en el gráfico se observa que

-3 está lejos de cero, la

probabilidad es baja. 55

Valor P



-12 -6 0 6 12

a) Si, bajo el supuesto de que el valor

real de la diferencia entre mujeres y

hombres es cero, la probabilidad de

obtener una diferencia de -3 es

alta…

Me puedo creer que la diferencia

real es cero.

b) Si, bajo el supuesto de que el valor

real de la diferencia entre ambos

grupos es cero, la probabilidad de


baja…

El supuesto de que la diferencia

es cero parece ser incorrecto.

-3

5) Finalmente, llegamos a una conclusión, a ó b:

56

Valor P



-12 -6 0 6 12

-8

Ahora imaginemos que en vez de hallar una diferencia de -3,

la muestra extraída arroja una diferencia de -8:

a) Si, bajo el supuesto de que el valor

real de la diferencia entre mujeres y

hombres es cero, la probabilidad de


alta…

Me puedo creer que la diferencia

real es cero.

b) Si, bajo el supuesto de que el valor

real de la diferencia entre ambos

grupos es cero, la probabilidad de


baja…

El supuesto de que la diferencia

es cero parece ser incorrecto. 57

Valor P


El valor P

-12 -6 0 6 12 -12 -6 0 6 12

-3

-8

Extraigo una muestra aleatoria, y calculo la diferencia en el promedio

de horas trabajadas por hombres y mujeres.

Bajo el supuesto de que la diferencia real es cero, ¿cuál sería la

probabilidad de que mi muestra arroje un resultado igual que el

observado u otro aún más alejado de cero? Esa probabilidad es el

valor P.

58

Valor P

Valor P

Valor P


¿Cuál de estos dos resultados sugiere que la diferencia observada existe en la población, y no solo en la muestra?

59

A. Media muestral igual a -3, y valor P grande

B. Media muestral igual a -8, y valor P pequeño

-12 -6 0 6 12 -12 -6 0 6 12

-3

-8

Valor P

Valor P

Valor P


El valor P

Resumiendo: concluimos que la diferencia existe en la

población cuando el valor P es pequeño (¡muy pequeño!).

-12 -6 0 6 12 -12 -6 0 6 12

-3

-8

60

Valor P

Valor P

Valor P


El valor P

Regla: se dice que la diferencia existe en la población

cuando el valor P es igual o menor que 0,05 (5%).

En el lenguaje técnico, se dice que una diferencia es

estadísticamente significativa con un 95% de confianza

cuando el valor P es igual o menor a 0,05.

61

Valor P


El valor P

Volvamos ahora al artículo académico sobre el programa Oportunidades y la calidad de la atención médica

que reciben las mujeres embarazadas…

62

Valor P


El valor P

63

Diferencias estadísticamente significativas con un 95% de confianza (P<0.05)

Valor P


64

***

* ***

***

***

**

***

***

*Diferencias estadísticamente significativas con un 90% de confianza (P<0.1) ** Diferencias estadísticamente significativas con un 95% de confianza (P<0.05) *** Diferencias estadísticamente significativas con un 99% de confianza (P<0.01) El valor P

Valor P




Dado que mis datos son muestrales, ¿cómo puedo estar seguro de que la diferencia observada entre ambos grupos existe también en la población en su conjunto?



65

Valor P




Dado que mis datos son muestrales, ¿cómo puedo estar seguro de que la diferencia observada entre ambos grupos existe también en la población en su conjunto?



66

Valor P


Tabla de balance

67

Valor P


Tabla de balance

68

Valor P


A destacar… Cuando obtenemos datos de una población a partir de

una muestra aleatoria, existe incertidumbre sobre si lo observado está cerca o lejos del valor verdadero.

La teoría estadística nos permite alcanzar conclusiones teniendo en cuenta dicha incertidumbre.

Para que esto sea posible, es necesario que la muestra sea aleatoria.

En los resultados de una investigación, el valor P nos ayuda a saber qué diferencias observadas en la muestra existen en la población de interés.

Para que una diferencia entre dos medias sea estadísticamente significativa, el valor P tiene que ser igual o inferior a 0.05 (ó 0.1)

69

Valor P


4. Ejemplos

70


Programa Tikichuela

Programa piloto implementado en Paraguay.

Dirigido a desarrollar destrezas pre-matemáticas en niños en edad prescolar, para construir las bases para las matemáticas de primaria y secundaria.

256 escuelas: la intervención se asignó aleatoriamente a 131 escuelas; el resto de establecimientos formaron el grupo de control.

71

Ejemplos


Programa Tikichuela

72

Impacto de Tikichuela: Diferencia entre el resultado del grupo de tratamiento y el grupo de control. El grupo de beneficiarios obtuvo un resultado 16 puntos mayor que el grupo de control. Expresado como porcentaje, el incremento fue del 9,2%.

Ejemplos


Programa Tikichuela

73

Diferencia = 1,9

Valor P = 0.06

Diferencia = 0,3

Valor P = 0.15

Diferencia estadísticamente significativa con un nivel de confianza del 90%

Ejemplos


Programa de capacitación laboral

En 2002, el gobierno colombiano puso en marcha el programa Jóvenes en Acción, consistente en cursos gratuitos de formación técnica con un componente de asistencia a clases y otro de prácticas laborales

Los cursos se ofrecieron a jóvenes de 18 a 25 años de bajos ingresos que estuvieran desempleados.

Alcanzó a 80,000 personas en las siete ciudades más grandes del país. Tras acabar, se realizó una encuesta aleatoria a 2,000 personas, incluyendo participantes y no participantes.

74

Ejemplos


Programa de capacitación laboral

75

Diferencia estadísticamente significativa.

Ejemplos


Programa de información sobre becas

En Chile, se realizó un experimento consistente en mostrar un video a estudiantes de 12 y 13 años, dando información acerca de becas para educación superior.

Informar acerca de la existencia de estas becas y de sus requisitos podría incentivar un mayor esfuerzo por parte de los estudiantes.

76

Ejemplos



77

Ejemplos



En este programa hubo en realidad dos grupos de tratamiento (beneficiarios) y un grupo de control:

A. Grupo “Estudiante”: el video fue mostrado a los niños en la sala de clases.

B. Grupo “Familia”: los estudiantes recibieron una copia del video en DVD y se les pidió que lo vieran en casa con sus padres.

Grupo de comparación: no recibieron información.

78

Ejemplos



79

1. Nota promedio al final del curso “grade 8” (octavo básico) en el grupo de control. 2. Diferencia en puntaje promedio entre el grupo de tratamiento y el grupo de control. 3. Tasa de matrícula en preuniversitario en el grupo de control, expresado en tanto por 1. ¡Multiplícalo por 100 para expresarlo en tanto por cien! 4. Diferencia en la tasa de matrícula entre el grupo de tratamiento y el grupo de control. Multiplícala por cien para que la diferencia quede expresada en puntos porcentuales.

1

2

3

4

Ejemplos



El grupo de control obtuvo un puntaje medio de 53.69 al final de “Grade 8”; los participantes de la intervención A tenían notas 0.61 puntos más bajas, pero esta diferencia no es estadísticamente significativa.

En el grupo de control, el 60% de los estudiantes se matriculó en preparatoria; esta tasa fue 6.1 puntos porcentuales mayor en el grupo de participantes de la intervención A, pero esta diferencia no es estadísticamente significativa.

80

Ejemplos



El grupo de control obtuvo un puntaje medio de 53.69 al final de “Grade 8”; los participantes de la intervención B tenían notas entre 0.145 y 0.308 puntos más altas, pero esta diferencia no es estadísticamente significativa.

En el grupo de control, el 60% de los estudiantes se matriculó en preparatoria; esta tasa fue entre 6.4 y 13.2 puntos porcentuales mayor en el grupo de participantes de la intervención B, y esta diferencia es estadísticamente significativa.

81

Ejemplos

¡Gracias!

Jeanne Lafortune

Pontificia Universidad Católica de Chile

J-PAL LAC

82

presentación de powerpoint - povertyactionlab.org · se midió la altura uterina 13 . dos...

Documents