j-pal y evaluaciones experimentales...diferentes tipos de evaluación necesidades insumo producto...
TRANSCRIPT
J-PAL y Evaluaciones Experimentales
Ryan Cooper
J-PAL
Latinoamérica y el Caribe
Presentación
J-PAL:
Qué es, la misión y su importancia.
En pos de la misión.
Evaluación de Impacto en la práctica: Consideraciones
Tipo de evaluación: Procesos vs. Impacto.
Carácterísticas claves de una buena y útil evaluación.
Consideraciones Logísticas.
J-PAL
Qué es, la misión y su importancia
J-PAL Red de 70 académicos en todo el mundo, unidos por
el uso de evaluaciones experimentales
J-PAL
Misión:
Reducir la pobreza garantizando que las políticas públicas estén basadas en evidencia científica.
J-PAL
Motivación:
Utilidad de Evaluación de Impacto
Complejidad de Evaluar Impacto
Utilidad de Evaluar Impacto
Utilidad de evaluar impacto
Innovar
Optimizar uso de $$
Optimizar programas
Sostenibilidad política
“Fundraising”
Por qué evaluamos
Resultados positivos pueden implicar:
– Escalar programas (+ optimizar + sustentabilidad + “fundraising”)
• PROGRESA/Oportunidades – México • Capacitación laboral jóvenes - Colombia • Programas de desarmamiento y desmovilización - Liberia
Por qué evaluamos
- Descontinuar (o rediseñar)
• Textos escolares - Kenia
• Computadoras en escuelas - Colombia
Costo-efectividad
Incentivos/Costos Reducidos
Intervenciones de Salud
Información
Resultados Múltiples
J-PAL Costo-Efectividad: años adicionales de asistencia escolar por cada $100 gastados
Figura 1:
Para Generar Conocimientos • Evaluaciones experimentales son un bien público.
• Conocimientos importantes sobre cómo sobrepasar la pobreza.
• Útiles para gobiernos en todo el mundo.
12
¿Por qué evaluar?
Complejidad de Evaluar Impacto
Complejidad de medir efectos causales
Type of school Simce
Parent payment
Parent education Income
Repeated
Pre-School
NO OBSERVABLES
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
Evaluaciones de Impacto Queremos medir la diferencia entre:
Resultados que los participantes del
programa obtienen un tiempo después
de participar en el programa
Resultados que esos mismos
participantes hubieran obtenido en ese
mismo momento si no habrían
participado en el programa
IMPACTO
Evaluaciones de Impacto
Desafío:
¿Cómo construimos el contrafactual?
Ingresos: 100 pesos
Impacto:
Ingresos 30% más
altos
Ingresos: 70 pesos
Capacitación Financiera
Evaluaciones de Impacto
¿Qué pasaría en esta situación?
Ingresos: 100 pesos
¿Impacto:
Ingresos 30%
mayores?
Ingresos: 70 pesos
En este caso, nuestros grupos no son comparables
Solución: Evaluación Experimental
Solución: Aleatorizar Antes que comience el programa, individuos elegibles
son asignados aleatoriamente a dos grupos:
Grupo de Tratamiento
Grupo de Comparación
Los grupos son estadísticamente idénticos antes del programa
Y cualquier diferencia en la línea final puede ser atribuida al programa
Aleatorio No Aleatorio
20
G1 G2
Ejemplo Progresa-Oportunidades
Conditional Transfer Private expend in health
Age of HH
HH Size Dirt floor
Baseline expenditure in health
-14.2
-19.5
-16.2
-30
-33.5
¡Consistencia de Resultado depende de la información disponible!
Expermiental vs. Non-Experimental
Conditional Trans Health Expend.
Age of HH
HH size dirt floor
Baseline expenditure
-7.6
-7.3
-7.5
-7.6
-7.7
Consistencia NO depende de información disponible.
-14.2
-19.5
-16.2
-30
-33.5
J-PAL: En pos de la misión
348 Evaluaciones completadas y en proceso
Nuestras actividades
Alcanzando nuestras metas
348 evaluaciones
Creemos que + de 60 MM beneficiados
+ de 1.200 personas
J-PAL en el mundo
La oficina regional para Latinoamérica y el Caribe se encuentra en la Pontificia Universidad Católica de Chile, desde donde se coordinan los
proyectos en la región.
Proyectos en LAC
En Latinoamérica y el Caribe, tenemos evaluaciones en las siguientes áreas:
• Educación
• Salud
• Finanzas
• Mercados Laborales
• Servicios Urbanos
Apoyando PP Basadas en Evidencia
Proyectos estratégicos con gobiernos de la región:
Comisión Brújula Chile
Evaluaciones Experimentales
Varios gobiernos han incorporado las evaluaciones experimentales a su proceso de diseño de políticas públicas
Evaluación de Impacto en la práctica:
Consideraciones importantes
Tipos de Evaluación:
Procesos / Impacto
Diferentes tipos de evaluación
Necesidades
Insumo
Producto
Resultado Intermedio
Impacto Objetivo a largo plazo
Estudiantes en escuelas
pobres no tienen libros de texto, lo
que resulta en poco
aprendizaje
Gobierno compra libros
Las escuelas reciben y usan los libros del
Gobierno
Los estudiantes usen los libros y pueden estudiar y aprender mejor
Mejores puntajes en
pruebas
Ingresos más altos cuando
los estudiantes ingresen al mercado laboral
Análisis de necesidades Evaluación de Procesos Evaluación de Impacto
Evaluación de Impacto de Procesos
Diferentes tipos de evaluación Eval de Proceso / Impacto contestan preguntas diferentes:
Evaluación de Proceso
• ¿Implementado como planificado?
– Libros distribuidos.
– Tiempo y calidad asistente con familia.
– Rotación de tutores de lectura.
– ¿faltó un proceso o insumo?
Evaluación de Impacto
• ¿El programa consiguió su objetivo final?
• Permite comparar costo-efectividad.
• ¡+ relevante cuando Eval. Procesos es +!
Diferentes tipos de evaluación
Combinar ambos tipos de evaluación:
• Medir impacto sin procesos:
– Efecto de “caja negra”.
– Estoy midiendo el plan o algo diferente.
• Medir procesos sin impacto.
– Valor en si mismo en corto plazo. Pero…
– Asume que el programa es útil y costo efectivo.
¿Evaluación de Impacto de procesos?
• Si tengo dudas importantes sobre el diseño.
Eval de Proceso / Impacto contestan preguntas diferentes:
Consideraciones importantes:
3 dimensiones a tener en cuenta.
Consideraciones – para evaluación relevante
1. Relevancia para Política Pública
1. ¿Pregunta de política relevante?
2. ¿Está el programa suficientemente maduro para ser evaluado?
3. ¿Son los resultados generalizables? ¿Es esto importante?
4. “Para hacer”: Muestra representativa – Costos – Evaluación Procesos
2. Confiabilidad en la medición de impacto
1. Estrategia de Identificación adecuada (bien justificada).
2. Poder Estadístico.
3. Protocolo de análisis predefinido (Registro de hipótesis)
3. Calidad de recolección de datos
1. Seleccionar, entrenar y hacer pilotos.
2. Monitoreo y Control de Calidad
Consideraciones Logísticas:
Etapas / Características de un evaluador /
Relaciones institucionales
Logística de una Evaluación Experimental
¿Quién las hace?
Personas con: • Experiencia implementando evaluaciones experimentales • Experiencia recolectando datos de alta calidad en países en vías de desarrollo • Conocimientos avanzados de estadística y economía
• Conocimientos del contexto del país en el que se hace la evaluación
• Disponibilidad para invertir tiempo en el proyecto
Etapas de una evaluación
Diseño evaluación y Instrumentos
Pilotaje Línea Base Seguimiento Análisis de
Datos
El tipo de programa a evaluar determina: – Tiempos de la evaluación dependen a la duración del programa y
sus efectos
– Costos: Dependen de los tiempos del programa, datos a recolectar
y tipo de aleatorización. • La mayoría de los costos de una evaluación provienen de las
encuestas, recolección de datos.
Alianza Evaluador - Implementador
Académicos Gobiernos, NGOs
• Cooperación durante todas las etapas de la evaluación • Acuerdo sobre del diseño de evaluación, preguntas a contestar, dimensiones
en que se evaluara el éxito y resultados a medir, tiempos de publicación. • Uso (consideración) de la evidencia para toma de decisiones.
Evalúan el programa Implementan el programa
Claves para el éxito
Roles del evaluador e implementador
Académicos Implementador
Diseño de evaluación e incorporación de evaluación al programa
Implementación de programa
Datos Administrativos
Apoyo como contraparte
Desarrollo de encuestas
Recolección y análisis datos
Interpretación de resultados en base a resultados cuantitativos y cualitativos Publicación y difusión de resultados
¿Preguntas?
¡Gracias!