presentación de powerpoint - icfes… · 2012 4.73 2.46 2013 6.22 1.39 2014 5.79 1.72 número de...
TRANSCRIPT
Concentrando esfuerzos en escuelas de bajo rendimiento: estimación del impacto
a partir de un diseño cuasi-experimentalFelipe Barrera-Osorio
Sandra García
Catherine Rodríguez
Fabio Sánchez
Mateo Arbeláez
Motivación• Hay dos tendencias globales en el sector educativo en países en
desarrollo:• Avances importantes en niveles de cobertura (especialmente para
educación primaria).
• Mejoras muy modestas, o inclusive nulas, en niveles de aprendizaje.
• Alrededor del mundo se han implementado intervenciones multinivel, que buscan mejorar la calidad de los colegios desde múltiples ángulos.
• En este análisis se estudiará el impacto de un programa de este tipo, Programa Todos a Aprender (PTA).
Intervenciones Multinivel• Son programas que tienen tres características similares:
1. Se concentran en escuelas de bajo rendimiento.2. Es una combinación de intervenciones al colegio y a los docentes. 3. Normalmente se concentran en la provisión de materiales educativos,
entrenamiento a los docentes y rehabilitación de la infraestructura.
• Snilstveit et al. (2015) es un meta-análisis de 10 estudios de intervenciones multinivel:• En promedio, las escuelas mejoraron sus resultados de matemáticas y
lenguaje en 0.16 y 0.04 desviaciones estándar, respectivamente. • Pero muy heterogéneos:
• Positivos en Chile (Bellei, 2011; Chayet al., 2005), Colombia (Rodríguez, Sánchez, & Armenta, 2010), Uruguay (Cerdan-Infantes & Vermeersch, 2007), y México rural (Paqueo & Lopez-Acevedo, 2003).
• No hubo effectos en Jamaica (Lockheed, Harris, & Jayasundera, 2010);• Efectos negativos en México (Paqueo & Lopez-Acevedo, 2003).
Programa Todos a Aprender (PTA)
• Objetivo: intervenir 3.000 colegios para mejorar los resultados de las Pruebas Saber 3 y 5 en lenguaje y matemáticas en un 25%.
• El programa se enfocó en 3 estrategias:
1. Entrega de materiales educativos - libros y evaluaciones.
2. Entrenamiento a docentes – tutores van a los respectivos colegios para observer y ayudar a los docentes a mejorar sus prácticas académicas.
3. Entrenamiento a rectores: no fue implementado.
Proceso de Selección de Colegios PTA• Etapa 1: el Ministerio de Educación seleccionó los colegios
más vulnerables con base en calidad y cobertura:• Calidad: bajo desempeño en las pruebas SABER o un porcentaje de
repitencia mayor a 4.6%.
• Cobertura: con deserción por encima de 3.8% o que hayan tenido disminución en matrículas entre 2009 y 2010.
• Etapa 2: La consultora McKinsey & Company seleccionó colegios buscando maximizar la costo-eficiencia del programa.
• Etapa 3: selección por Entidades Territoriales Certificadas.
Proceso de Selección de Colegios PTA
Etapa de Selección # de Colegios Porcentaje
Etapa 1 1,596 9.16%
Etapa 2 1,397 8.02%
Etapa 3 1,900 10.91%
Colegios no PTA 12,522 71.90%
Total 17,415
Datos
• Utilizamos 5 bases de datos en este análisis:
1. Sistema Integrado de Matricula (SIMAT) 2006-2015.
2. Resultados de SABER 3 y 5 de 2009 y 2014.
3. C-600 de 2009-2010.
4. Datos administrativos de PTA.
5. Encuesta realizada en 400 colegios (200 tratamiento y 200
de control) .
Metodología
1. Regresión Discontinua.• Aprovecha los cortes definidos en la selección de colegios PTA (deserción y
repitencia).
• Compara los colegios justo por encima y justo por debajo del corte.
2. Diferencias en Diferencias Emparejadas.• Utiliza características de los colegios para crear un grupo de control artificial similar
al de tratamiento.
• Estudia el cambio en los resultados para controlar por características no observables.
3. Emparejamiento en Bloques• Similar a DD Emparejadas pero se hace en bloques de colegios.
Salto en la Probabilidad (Deserción)
Condiciones Necesarias Para las Estimaciones
• Regresión Discontinua:• No manipulación (Test de McCrary).
• Similitud en características observables entre colegios alrededor del corte.
• Diferencias en Diferencias Emparejadas• Grupo de control artificial es similar al grupo de tratamiento en
todas las variables observadas.
• Emparejamiento en Bloques• Dentro de los bloques, grupo de control debe ser
similar al de tratamiento.
Resultados - RD
(1) (2) (3) (4) (5) (6)
Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3
PTA -0.008 0.025 -14.573 -35.060 -12.494 -43.694
(0.045) (0.049) (27.724) (27.006) (35.819) (35.253)
Observaciones 174 171 196 184 261 256
Resultados DD Emparejadas
(1) (2) (3) (4) (5) (6)
Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3
PTA 0.003 0.010*** -0.79 -2.45* -1.45 -1.31
(0.002) (0.003) (1.79) (1.35) (1.65) (1.59)
Observaciones 2,659 2,659 2,386 2,386 2,386 2,386
Emparejamiento en Bloques
(1) (2) (3) (4) (5) (6)
Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3
PTA 0.004 0.013*** -0.493 -2.777 -2.302 -2.582
(0.003) (0.004) (2.281) (1.911) (1.766) (1.751)
Observaciones 2,659 2,659 2,386 2,386 2,239 2,230
Mecanismos• A partir de entrevistas y encuestas de análisis complementarios
se puede ver lo siguiente:
• Implementación Insuficiente: en promedio los docentes reportaron reunirse con los tutores 3 veces al año. No 4 veces al mes como había sido planeado.
• Diseño Deficiente: entrevistas a los docentes mostraron que no hubo una estructura clara en las actividades de los tutores.
• No Hubo Impacto en Resultados Intermedios: datos de observaciones de clase mostraron que las prácticas académicas de los docentes no cambiaron. (García et al. 2018).
Implementación del ProgramaPromedio o % Desviación Estándar
Número de visitas al año
2012 4.73 2.46
2013 6.22 1.39
2014 5.79 1.72
Número de encuentros personalizados con
tutores
2013 3.01 2.50
2014 2.56 2.36
Actividades realizadas por los tutores (%)
Asistencia planeación de clase 71 45
Observación de clase 58 49
Reflexión y retroalimentación 78 41
Clases teóricas 86 34
Clases modelo 54 50
Revisar resultados a partir de exámenes de
diagnóstico85 35
Revisar resultados a partir de resultados
SABER81 39
Conclusiones
• No hay evidencia para concluir que el programa PTA tuvo efectos de corto plazo en resultados de educación.
• Fallas en la implementación y en el diseño del programa parecen ser los mecanismos que explican la falta de resultados del programa.
• Importancia de la evaluación de impacto en la política pública: