cómo construir un grupo de comparación adecuado...
TRANSCRIPT
Andrés Ham Universidad de Illinois Urbana-Champaign
4 de Abril de 2017Guatemala
TALLER DE EVALUACIÓN DE IMPACTO
Cómo construir un grupo de comparación adecuado para medir resultados:
Buenos y malos contrafactuales
Referencias
Versiones en Inglés y Francés disponibles. Versión en Portugués
pronto disponible.
Descarga gratuita desde:www.worldbank.org/ieinpractice
Libro “Running Randomized Evaluations” (“Implementación de
Evaluaciones Aleatorizadas”)
Disponible sólo en Inglés. Más información en:
http://runningres.com
Evaluación de Impacto – Mapa de Ruta
Marco Lógico
Medición de Impacto
Plan Operativo
Recursos
Cómo funciona el programa en
la teoría
Métodos para identificar impacto
Nuestro Objetivo
Estimar el efecto causal (Impacto) del programa (P) sobre un resultado (Y).
P = Programa o TratamientoY = Indicador, Medida del ÉxitoYT = Resultado con el programa (tratamiento)YC = Resultado sin el programa (control)
Impacto = YT- YC
Ejemplo: TMC Progresa
� Programa nacional contra la pobreza en México
� Transferencias Monetarias Condicionadas a la escolarización y asistencia a centros de salud.
� Selección de participantes
•Elegibilidad basada en índice de pobreza
� Duración:
•Comienzo: 1997
•Implementación por etapas,
5 millones de beneficiarios
al 2004
Cuál es el Impacto de….
…una transferencia monetariacondicionada…
… en el consumo hogareño?
(P)
(Y)
Pregunta de Investigación
Desafío – Sin contrafactual
Impacto= YT- YC
No observamos lo que les hubiera ocurrido a los alumnos si no hubieran recibido ninguna transferenciamonetaria (el contrafactual)?
El Experimento Perfecto - Clones… y comparar su consumo algún tiempo después
• Porque las personas que recibieron la transferencia monetaria son exactamente iguales a las que no la recibieron, es que podemos realmente atribuir la diferencia observada al programa
Caso 1: Antes & Después
Y
Tiempot=1997 t=1998
$35
ESTIMACION DEL IMPACTO =A-B= $35
B
A
233
268
(1) Observa sólo a los beneficiarios
(2) Dos observaciones en el tiempo: Consumo in 1997Consumo in 1998
Caso 1: Antes & Después
Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamos el nivel estimadode impacto con 2 estrellas (**).
Consumo (Y)
Consumo después del inicio del programa(tratamiento)
268.7
Consumo antes del inicio del programa(control (contrafactual)) 233.4
Estimación de Impacto 35.3***
Impacto Estimado en el Consumo (Y)
Regresión Lineal 35.27**
Regresión Lineal Multivariada 34.28**
Y
TiempoT=0 T=1
α = $35
B
A
233
268Auge Económico:o Impacto Real=A-Co A-B sobre estima el
impacto
C ?
D ?
Impacto?
Impacto?Recesión Económica:o Impacto Real=A-Do A-B subestima el
impacto
Caso 1: Problema: no sabemos quéhubiera pasado sin el programa
Caso 2: Algunas personas se inscriben, otras no
No elegibles(No pobres)
Elegibles(Pobres= Poblaciónobjetivo)
No Enrolados
Enrolados
Caso 2: Problema de sesgo en la selección
Qué tal si aquellos que eligieron no inscribirse son diferentes?
Caso 2: Problema de sesgo en la selección
Y, qué tal si no podemos observar (controlar por) esas diferencias…
Caso 2: Problema de sesgo en la selección
Y si esas diferencias influyen en los resultados?
Están correlacionados con el consumo los factores que determinanel enrolamiento?
Caso 3: Algunas personas se inscriben, otras no
Consumo (Y)
Consumo con el programa(inscriptos- tratamiento) 268
Consumo sin el programa(no inscriptos- control) 290
Estimación de impacto -22**
Impacto Estimado sobre el Consumo(Y)
Regresión Lineal -22**
Regresión Lineal Multivariada -4.15
Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamosel nivel estimado de impacto con 2 estrellas (**).
Qué recomendación para Políticas obtenemos de
Progresa?
Impacto sobre el Consumo (Y)
Caso 1: Antes &Después
Regresión Lineal 35.27**
Regresión Lineal Multivariada 34.28**
Caso 2: Insctiptos & No Inscriptos
Regresión Lineal -22**
Regresión Lineal Multivariada -4.15
Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamosel nivel estimado de impacto con 2 estrellas (**).
Recuerda…
ComparaciónAntes-Después
Problema: otros factoresrelevantes también cambiancon el tiempo.
Comparación entre aquellos que se inscriben y aquellosque noProblema: Sesgo en la selección. Los enroladospueden ser diferentes, y no observamos estas diferencias.
Los dos grupos de comparación pueden llevar a estimaciones sesgadas del impacto del programa.
Aleatorización: creando grupos similares
Con una muestra GRANDE, dos grupos tienen EN PROMEDIO características muy similares
Validez Externa e Interna
Muestra Aleatoria
Asignación Aleatoria
Población Objetivo
Validez Externa Validez Interna
Una Muestra Aleatoria NO es lo mismo
que una Asignación Aleatoria!
No ParticipantesParticipantes
Extraer una muestra aleatoria de cada grupo no los hace comparables.
Caso 3: Asignación Aleatoria en Progresa
Cómo saber si tenemos buenos “clones” del grupo de tratamiento?
En la ausencia de Progresa, los grupos de tratamiento y comparación deberían ser
idénticos
Comparemos sus características en la línea de base (t=0)
Caso 3: Características balanceadas en la línea de base
Asignación Aleatoria
Tratamiento Comparación Comparables?
Consumo($ mensual per capita) 233.4 233.47 ✅
Edad del jefe del hogar(años) 41.6 42.3 ✅
Edad de la esposa(años) 36.8 36.8 ✅
Educación del jefe del hogar(años) 2.9 2.8 ✅
Educación de la esposa(años) 2.7 2.6 ✅
Asignación Aleatoria
Tratamiento Comparación Comparables?
Si el/la jefe/a del hogar esfemenina=1 0.07 0.07 ✅
Indígena=1 0.42 0.42 ✅
Cantidad de miembros enel hogar 5.7 5.7 ✅
Baño=1 0.57 0.56 ✅
Hectáreas de tierra 1.67 1.71 ✅
Distancia al hospital (km) 109 106 ✅
Caso 3: Características balanceadas en la líneade base
… crear el contrafactual perfecto
Y
t=1997 t=1998
B
A
233
268
239
Impacto Verdadero
Medida del Impacto=A-B= $29
Caso 3: Asignación Aleatoria
Grupo de Tratamiento
(Aleatorizado alTratamiento)
Contrafactual(Aleatorizado a laComparición)
Impacto
Línea de base (t=0) Consumo (Y) 233.47 233.40 0.07
Seguimiento (t=1) Consumo (Y) 268.75 239.5 29.25**
Impacto Estimado sobre el Consumo(Y)
Regresión Lineal 29.25**
Regresión Lineal Multivariada 29.75**
Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamosel nivel estimado de impacto con 2 estrellas (**).
Qué recomendación para Políticas obtenemos de Progresa?
Impacto de Progresa sobre el Consumo (Y)
Caso 1: Antes &Después
Regresión Lineal Multivariada 34.28**
Caso 2: Enrolados & No Enrolados
Regresión Lineal -22**
Regresión Lineal Multivariada -4.15
Caso 3: AsignaciónAleatoria
Regresión Lineal Multivariada 29.75**
Nota: Si el efecto es estadísticamente significativo al 1% de nivel de significancia, marcamosel nivel estimado de impacto con 2 estrellas (**).
Recuerda
Asignación Aleatoria
En la Asignación Aleatoria, muestrassuficientemente grandes generan dos grupos estadísticamente equivalentes.
Hemos identificado al clon perfecto!