monitoreo y evaluación -...
TRANSCRIPT
1
Monitoreo y Evaluación La base para obtener resultados
Laura Rawlings y Ciro Avitabile Santiago, 8 de abril de 2013
Objetivos de la sesión • ¿Porqué enfocarse en resultados? • Monitoreo vs Evaluación • Utilizando una cadena de resultados • Avanzar…
– Seleccionando indicadores ´inteligentes´ (SMART) – Recolectando datos – Sacando provecho de los resultados
2
Objetivos de la sesión • ¿Porqué enfocarse en resultados? • Monitoreo vs Evaluación • Utilizando una cadena de resultados • Avanzar…
– Seleccionando indicadores ´inteligentes´ (SMART) – Recolectando datos – Sacando provecho de los resultados
3
La gestión basada en resultados
• ¿Qué es lo nuevo con respecto a los resultados? – Los gerentes son evaluados por el desempeño de sus
programas, no por su control sobre los insumos – Cambio en el enfoque de insumos a resultados – Estableciendo vínculos entre monitoreo y evaluación,
formulación de políticas, y presupuesto (uso óptimo de recursos/rentabilidad)
– Fundamental para una gestión pública efectiva 4
Objetivos de la sesión • ¿Porqué enfocarse en resultados? • Monitoreo vs Evaluación • Utilizando una cadena de resultados • Avanzar…
– Seleccionando indicadores ´inteligentes´ (SMART) – Recolectando datos – Sacando provecho de los resultados
5
Monitoreo
6
Un proceso continuo de recolección y análisis de información,
•Para comparar qué tan bien un proyecto, programa o política se desempeña de acuerdo a las metas esperadas, y
•Para informar la implementación y la gestión del programa.
Monitoreo vs. Evaluación
7
Los roles complementarios de monitoreo y evaluación
8
Objetivos de la sesión • ¿Porqué enfocarse en resultados? • Monitoreo vs Evaluación • Utilizando una cadena de resultados • Avanzar…
– Seleccionando indicadores ´inteligentes´ (SMART) – Recolectando datos – Sacando provecho de los resultados
9
Utilizando una cadena de resultados
¿Cuáles son los resultados esperados del programa?
¿Cómo serán alcanzados los resultados esperados? ¿Existen supuestos críticos?
¿Existen suficientes recursos?
¿Cómo sabemos que alcanzamos los resultados esperados?
La cadena de resultados traza una teoría de cambio:
Cadena típica de resultados
11
Ejemplo de una cadena de resultados para un programa de becas a estudiantes de segundaria
12
Implementando la cadena de resultados
• Programa de Avance a través de salud y educación (PATH por sus siglas en ingles)
• Ejemplo de cómo un programa de M&E bien estructurado ayuda a delinear el diseño del programa e informar decisiones de políticas.
El Programa de transferencia condicionada en Jamaica PATH
• Programa de transferencias condicionadas (CCT por sus siglas en ingles) que busca ligar la asistencia social con la acumulación de capital humano.
• Principalmente subsidios infantiles a niños pobres <19 condicionado a asistencia a la escuela y al uso de servicios de salud
Cadena de resultados para Jamaica CCT: Instrumentos e indicadores
14
Sistema de Manejo de Información
Auditoría Interna
S
E
C
Encuesta Anual de
Hogares Evaluación de Impacto valuación de impacto a
largo plazo
Recursos Humanos Recursos Financieros
Cumplimiento de pagos de acuerdo a la
perspectiva de los interesados
ocalización, cobertura, adecuación
sistencia Escolar
so de servicios preventivos de salud
esultados en desarrollo humano en el largo
plazo
15
Uso de los resultados de M&E para el programa PATH
Instrumentos Indicador Clave Resultados Uso
Insumos: • Sistemas de
Manejo de información (MIS)
• Auditoría Interna
o Algunos retrasos en los pagos
o Buen cumplimiento de las condiciones
o Inscripción lenta al inicio del programa
o Ajustes al sistema de pagos o Intensificación de la búsqueda de
beneficiarios/divulgación
Actividades: • Evaluación de
Procesos • Controles
Regulares
o Proceso de solicitud visto como una carga
o Los interesados no tienen claridad con respecto a las reglas del programa
o Debilidad del sistema para verificar la elegibilidad de nuevos beneficiarios
o Retrasos en el procesamiento de apelaciones
o Alta demanda de trabajos/ capacitación
o Renovación/rediseño del MIS o Revisión del Manual de
Operaciones o Trabajadores Sociales como
puntos focales para acceder a una variedad de servicios sociales
o “Pasos para trabajar”, un nuevo programa creado y enfocado en empleo, desarrollo de habilidades para el mercado laboral.
16
Uso de los resultados de M&E para el programa PATH Instrumentos Indicator Clave
Resultados Uso
Productos: •Evaluación Específica de la Focalización (usando encuestas anuales de hogares)
o PATH es mejor para llegar a los pobres que otros programas de redes de seguridad social en Jamaica
o No tan bueno como otros a nivel internacional
o Mejoró el sistema de identificación de beneficiarios
o Expandió la capacitación a trabajadores sociales para ayudar a verificar elegibilidad
o Recertificación más frecuente
Resultados: •Evaluación de Impacto
o Educación: La asistencia escolar mejoró ligeramente (alrededor de medio día en un periodo de 20 días). No hubo impacto en la matriculación
o Salud: incremento del 30% en el uso de servicios preventivos de salud
o Colocó la graduación escolar como el objetivo principal en educación
o Introdujo niveles de beneficios diferenciados para proporcionar objetivos para terminar la escuela (género, edad)
o Introdujo un bono por haber concluido la secundaria.
Lecciones aprendidas • Importancia de los sistemas de monitoreo:
– Permiten la planeación y gestión basada en resultados – Facilitan la preparación, supervisión y transformación/reforma del
proyecto y la implementación del programa – El monitoreo y la evaluación de impacto desempeñan importantes
funciones complementarias.
• Las evaluaciones de impacto son instrumentos poderosos para la toma de decisiones
17
Objetivos de la sesión • ¿Porqué enfocarse en resultados? • Monitoreo vs Evaluación • Utilizando una cadena de resultados • Avanzar…
– Seleccionando indicadores ´inteligentes´ (SMART) – Recolectando datos – Sacando provecho de los resultados
18
EMARF: Identificando buenos indicadores (SMART en inglés)
E specíficos
edibles
tribuibles
ocalizados
ealistas
M
A
R
F
E specíficos
edibles M
Medir lo más precisamente posible lo que quieres saber Resultado: Reducir abandono escolar en áreas rurales Indicadores: 1.Tasa de deserción en el país 2.Tasa de deserción en áreas rurales del país
Tener claridad sobre cómo será medido - especifico. Indicadores: 1.% de niños que no se matricularon. 2.% de estudiantes que habiendo estado matriculado en un cierto grado en el año t no se matricularon el año t+1 en el grado que les corresponde.
ealistas R Datos que se obtengan a un costo razonable, frecuencia y precisión.
Indicadores: 1.Tasa de deserción a nivel de comunidad 2.Tasa de deserción a nivel de estado/departamento
tribuibles A Lógica y cercanamente ligados a los esfuerzos del programa Indicadores: 1.Niveles de ingreso 2.% de estudiantes que completaron la segundaria.
ocalizados F Específico al grupo objetivo del programa. Indicadores: 1.Incremento en el % de empleo 2.Incremento en el % de empleo de graduados de un programa técnico de capacitación, en el primer año después de haber terminado la capacitación.
Source: Kathouri and Kusek, 2006
Desarrollo de un plan de recolección de datos
• Identificar que datos específicos se necesitan • Identificar cuales datos están disponibles • Identificar cómo serán recolectados los datos • Identifica quién será responsable de recolectar y
reportar los datos • Identificar cuando serán recolectados y reportados
los datos, incluyendo la frecuencia • Identificar el costo y la fuente de financiamiento • Identificar quién usará los datos
Consejos rápidos • Para hacer el monitoreo de desempeño
realmente útil.. 1) Proporcionar información frecuente y oportuna al personal
del programa.
2) Establecer metas para cada indicador de rendimiento/desempeño.
3) Proporcionar subgrupos de datos. Desagregar los datos por características del cliente y servicio (región).
4) Hacer análisis básicos de los datos con regularidad, en especial comparaciones
24
1) Pedir explicaciones de resultados inesperados.
2) Reportar resultados de manera amigable.
3) Organizar sesiones de “Cómo vamos/lo estamos haciendo?” hasta después del reporte de desempeño.
4) Usar “Luces Rojas-Amarillas-Verdes” para identificar programas/proyectos que necesitan atención.
5) Ligar los resultados de información a los costos del programa.
6) Usar/crear una identificación única de beneficiarios para vincular datos entre los programas y ampliar el análisis.
Source: Harry Hatry, Urban Institute
Conclusiones
• Buen M&E es crucial para la gestión efectiva de los programas
• El monitoreo y la evaluación son distintos, con funciones complementarias, pero ambos son clave para la gestión basada en resultados
• Has un buen plan de M&E antes de ampliar/expandir un programa y utilízalo para informar el camino!
• Diseña los tiempos y el contenido del los resultados de M&E para avanzar el diálogo basado en evidencia
• Un buen monitoreo es esencial para una buena evaluación de impacto