sesión 3a conéctese al por favor, potencia estadística...
TRANSCRIPT
1
Sesión 3A Potencia estadística y evaluación de impacto
Juan Muñoz, Sistemas Integrales Santiago, 12 de abril de 2013
Por favor, conéctese al
Canal 50
2
𝑒𝑀𝑀𝑀 ≈𝑃(1 − 𝑃)
𝑛 𝑒𝑀𝑀𝑀 ≈
𝜎2
𝑛
𝑒2𝐶𝐶𝑀𝐶𝐶𝐶𝐶𝐶 = 𝑒2𝑀𝑀𝑀 × 𝐷𝑒𝐷𝐷 𝑒𝐶𝐶𝑀𝐶𝐶𝐶𝐶𝐶 = 𝑒𝑀𝑀𝑀 × 𝐷𝑒𝐷𝐷
Para prevalencias Para promedios
¿Hubo impacto? La noción de potencia
Lo que sucede en el mundo
Aceptar H0 si ŷ2 – ŷ1 ≤ C
Rechazar H0 si
ŷ2 – ŷ1 > C
OK
Error tipo I OK
Error tipo II
P (Error tipo I)
P (aceptar correctamente H0)
P (rechazar correctamente H0) =
1 – β
P (Error tipo II) = β
Lo que decidimos
Hipótesis Nula H0 No hubo impacto H0: y2 – y1 = 0
Hipótesis Alternativa HA Hubo impacto
HA: y2 – y1 = Δ Lo que
observamos
ŷ1 ŷ2
Potencia ¡ Estimados con error !
La potencia de una evaluación de impacto es…
A. La probabilidad de no cometer un error Tipo II
B. La probabilidad de no rechazar injustamente al programa
C. La probabilidad de no detectar un falso negativo
D. Equivalente a la noción de “sensibilidad” en epidemiología
E. Todas las anteriores
4 A. B. C. D. E.
0% 0% 0%0%0%
Potencia
0
ŷ2 – ŷ1
Δ C
Potencia
Con muestras más potentes
0
ŷ2 – ŷ1
Δ C
Potencia
Con muestras menos potentes
0
ŷ2 – ŷ1
Δ C
Potencia
Con muestras muy débiles
0
ŷ2 – ŷ1
Δ C
Fórmula fundamental del cálculo de potencia
9
𝑴𝑴𝑴 = (𝒕𝟏−𝜶/𝟐 + 𝒕𝟏−𝜷)𝒆 MED: Mínimo Efecto Detectable 𝜶/2: Tasa de errores Tipo I (falsos
positivos) (típicamente 𝛼/2 = 2.5%)
𝜷: Tasa de errores Tipo II (falsos negativos) (típicamente 𝛽 = 10 - 20% – en otras palabras, Potencia = 90 - 80%)
𝒆: Error estándar del efecto estimado
Tabla de valores t
y 1-y t1-y t1-y/2
20% 80% 0.84 1.28 10% 90% 1.28 1.64 5% 95% 1.64 1.96 2% 98% 2.05 2.33 1% 99% 2.33 2.58
Una cola
Dos colas
• Los cálculos de potencia permiten establecer los tamaños de muestra necesarios para evaluar un impacto – En las sesiones previas, la variable clave para establecer el
tamaño de la muestra era el error estándar. La técnica analítica era la estimación puntual con intervalos de confianza
– En esta sesión, la variable clave es la potencia (o sea, la probabilidad de no obtener un falso negativo). La técnica analítica es una prueba estadística
– Para evaluar un impacto, necesitamos ambas técnicas • El elemento clave de un buen cálculo de potencia es el
error estándar
10
Estadísticos de ayer y hoy
11
¡ Nosotros calculamos potencias !
Ellos calculaban errores…
𝑴𝑴𝑴 = (𝒕𝟏−𝜶/𝟐 + 𝒕𝟏−𝜷)𝒆
El error estándar de ŷ2 – ŷ1
• El error estándar de la diferencia no es la diferencia de los errores estándares
• El error estándar de ŷ2 – ŷ1 es 𝑒12 + 𝑒22 … si las muestras son diferentes
• Pero si la muestra es la misma, el error es 𝑒12 + 𝑒22 − 2𝑒1𝑒2𝜌(𝑦1,𝑦2)
• Esta es una ventaja importante de los paneles
Ventajas y desventajas de los paneles
• Ventajas analíticas – Mejor medición del cambio – Entender por qué cambian las
cosas – Correlacionar conductas pasadas
y presentes
• Desventajas analíticas – Envejecimiento: La muestra se
hace progresivamente menos representativa de la población
• Desventajas prácticas – Desgaste (attrition) – Difíciles de administrar – A veces imposibles
(por ejemplo, con indicadores de niños o embarazadas)
– Vulnerables a la manipulación – Hay que diseñarlas en forma
prospectiva
• Ventajas prácticas – En estudios de evaluación de
impacto, permiten reducir el tamaño de la muestra sin perder mucha potencia
– Menos esfuerzos de diseño, después de la línea basal
13
Un caso particular importante Para grupos de tratamiento y control del mismo tamaño, elegidos con MAS desde poblaciones con la misma varianza
𝑒 =2𝜎2
𝑛
𝑒: Error estándar 𝑛: Tamaño de la muestra en cada grupo 𝜎2: Varianza del indicador
- para prevalencias, 𝜎2=P(1-P)
14
¿Cuál es la mejor manera de abordar la no respuesta? A. Reemplazar a los que no
responden por hogares similares
B. Incrementar el tamaño de la muestra para compensar
C. Usar fórmulas de corrección
D. Usar técnicas de imputación
E. Ninguna de las anteriores
15 A. B. C. D. E.
0% 0% 0%0%0%
• Ninguna de estas acciones es una solución para la no respuesta – Reemplazar a los que no responden por hogares similares – Aumentar el tamaño de la muestra para compensar – Usar fórmulas de corrección – Usar técnicas de imputación (hot-deck, cold-deck, warm-
deck, etc.) para simular las respuestas que faltan
• La mejor forma de abordar la no respuesta es prevenirla – Algunas de las “soluciones” anteriores pueden tener un valor
preventivo
No respuesta
No respuesta
Encuestador
Cuestio-nario Entrevistado
Entrenamiento
Carga de trabajo
Motivación
Calificación Plan de trabajo
Demográfico
Socio-económico
Muestras biológicas
Fatiga
Motivación
Procuración
Disponibilidad
Fuente: “Some factors affecting Non-Response.” by R. Platek. 1977. Survey Methodology. 3. 191-214 17