ponencia econometria
TRANSCRIPT
24 al 26 de noviembre del 2010, León, Guanajuato, México
Y… ¿Esa inversión sí tiene impacto?
María Gloria Cano Socia-consultora Econometría S.A.
Tipos de evaluación en el proceso
Formulación
Estratégica
Diseño y del
Programa
Intervención
del Programa
Situación sin
Programa
información
(Línea de Base)
Diagnostico evaluación ex
ante
Experiencias
anteriores
Mejoramiento de
variables objetivo
Situación
después del
Programa
Seguimiento y
evaluaciones
intermedias
Evaluación
Ex post
Valoración
social del
Programa
Aprendizajes
Mejoras al
diseño
Diagnósticos y evaluaciones intermedias… Tasa bruta de matrícula de educación superior en 2006
La distribución social de la matrícula muestra una alta concentración de acceso a la educación superior en los quintiles más altos. La tasa bruta de matrícula de educación superior es menos del 20% en el quintil 3, y la mitad en el quintil 2. CINDA, PROYECTO INFORME
LA EDUCACION SUPERIOR EN IBEROAMERICA , 2006
Fuente DANE Encuesta de Calidad de Vida 2003
0
10
20
30
40
50
60
70
80
1 2 3 4 5
Alta gerencia
Gerencia media
Técnica mando medio Técnica
especializada
Trabajadores
calificados
Trabajadores semicalificados
Trabajadores no calificados
4.3% posgrado
70% universitario
13% 12%
Tecnólogo Técnico profesional
12 Técnico profesional
Egresado educación media Egresado educación básica y media
30%
60%
Inadecuada estructura de la oferta de educación superior en 2006 frente a las necesidades de la economía
Diagnósticos y evaluaciones intermedias…
Estrategias para el financiamiento de la demanda y mejoramiento de la equidad Disminución de la deserción estudiantil en educación superior Adecuación y flexibilización de la oferta de educación superior Estrategias para mejoras de calidad Estrategias para aumentar la pertinencia
Plan Sectorial 2006-2010
Diagnósticos y evaluaciones intermedias…
DISTRIBUCIÓN DE LOS BENEFICIARIOS ACCES SEGÚN LÍNEA DE POBREZA
0
400
800
1200
1600
2000
Miles d
e $
Linea de pobreza - MERPD
Proxy ingreso percapita beneficiarios
El 65% de los hogares se encuentran en
condición de pobreza
FUENTE: UT Econometría SEI encuesta de verificación de
beneficiarios de ACCES 2006 y ECV/03
¿Qué tan bien estamos focalizando? El 65% de los beneficiarios se encuentra por debajo de este umbral. Un 15% de los no pobres, se alejan apenas un 10% de la LP, mientras que un 20% se encuentran muy por encima de la misma.
Diagnósticos y evaluaciones intermedias…
Los tipos de evaluación se desarrollan a partir de tres grupos de
indicadores:
• Indicadores de Gestión o de Proceso: miden la manera en que
se ha desarrollando una actividad o estrategia en particular.
• Indicadores de Resultado o de Producto: estiman la incidencia
del proyecto o programa sobre sus objetivos.
• Indicadores de Impacto o de Efecto: cuantifican las
externalidades generadas sobre los actores involucrados en el
proyecto o programa (individuos, familias, comunidades o
instituciones).
Los grupos de indicadores según el tipo de evaluación
¿Cuál es el papel de la información?
• Cuando se diseña una evaluación o un mecanismo de seguimiento, se deben formular indicadores que permitan medir adecuadamente los aspectos que se deben medir para saber si lo planeado se cumple
Variables que caracterizan el
proceso
Actividades del proceso de
intervención Indicadores de
gestión o proceso
Productos de las actividades
Variables que caracterizan los
productos
Indicadores de resultados o
producto
Variables que se pretende afectar
Objetivos sobre la población
beneficiaria
Indicadores de impacto o efecto
¿Qué diferencia hay entre evaluaciones de resultados y de impacto?
• Las evaluaciones de resultados buscar verificar la obtención de los productos de las actividades de la intervención. Entendiendo como producto lo que se obtiene de la actividad y es controlable por quien la ejecuta.
• La evaluación de impacto busca comparar la situación de un beneficiario, con la situación que tendrá si la intervención no hubiese existido. A esa situación hipotética se le conoce como escenario contrafactual y no siempre es fácil estimarla.
• Los impactos o efectos derivados de la intervención que pueden estar afectados por decisiones y características de los beneficiarios. Estos efectos pueden ser esperados o no esperados.
Paso 1: Análisis de los objetivos
Para esto es importante preguntarse:
• ¿Cuál es la unidad de intervención de la política?¿Sobre quién o quiénes actúa? ¿a quién quiere cambiar o mantener su situación actual?
• ¿Cual es la variable que se quiere impactar? ¿Sobre cuál o cuáles características de la unidad de intervención se busca actuar?
• ¿En que dirección y proporción se esperan los cambios?
Paso 2: Análisis de la teoría subyacente
Toda intervención supone que existen unos mecanismos (teoría subyacente) que transmiten efectos entre las acciones de intervención y el logro de los objetivos.
Paso 3: Preguntas de evaluación
¿Cuáles efectos evaluar?
¿Qué se quiere saber de los efectos?
Paso 4: Selección de indicadores
Deben definirse varios tipos de indicadores:
Indicador de intervención o participación: en genero es dicótomo. (Y)
Indicador de impacto: debe estar directamente relacionado con el efecto que se quiere medir. (X)
Indicadores de factores exógenos: Representan variables de la unidad de intervención y de su entorno, así como otras intervenciones. No son influidos por los anteriores indicadores (impacto y participación) pero que influyen en al menos uno de ellos . (Z)
Y = f(X, Z, e)
¿Qué tipo de modelo de evaluación es aplicable?
Depende del tipo de intervención, sus características de cobertura, la existencia o no de línea de base, la selección de los beneficiarios y las variables de impacto a medir.
Paso 4: Selección de indicadores
Año
valor observadovalor observado
InformaciInformacióón Histn Históóricarica
sin programasin programa
predicciprediccióón n
sin programasin programa
BeneficiosBeneficios
estimadosestimados
InformaciInformacióón Histn Históóricarica
con programacon programa
Año
valor observadovalor observado
InformaciInformacióón Histn Históóricarica
sin programasin programa
predicciprediccióón n
sin programasin programa
BeneficiosBeneficios
estimadosestimados
InformaciInformacióón Histn Históóricarica
con programacon programa
¿Cómo poder medir la situación con y sin intervención?
Cuando no se puede realizar un diseño experimental, es una buena idea contar con información de línea de base. Es decir, observar los indicadores de evaluación antes y después de la intervención, tanto para la muestra de tratamiento como para la muestra de control.
Paso 4: Selección de indicadores
Año
participantesparticipantes
no no participanresparticipanres
BeneficiosBeneficios
Inicio delInicio del
programaprograma
Año
participantesparticipantes
no no participanresparticipanres
BeneficiosBeneficios
Inicio delInicio del
programaprograma
Cuando existe diferencia inicial entre tratamiento y control …
Cuando no se puede hacer un diseño experimental pero se cuenta con la posibilidad de medir las variables antes de la intervención (línea de base), hacer las diferencias de las diferencias permite controlar el efecto de otras variables no observables que son comunes a los controles y a los tratamientos.
Año
participantesparticipantes
No participantesNo participantes
DiferenciaDiferencia
inicial.inicial.
primeraprimera
medicimedicióónn
AntesAntes Durante el ProgramaDurante el Programa
DiferenciaDiferencia
final.final.
Diferencia neta= Beneficio.Diferencia neta= Beneficio.
úúltima ltima
medicimedicióónn
Año
participantesparticipantes
No participantesNo participantes
DiferenciaDiferencia
inicial.inicial.
primeraprimera
medicimedicióónn
AntesAntes Durante el ProgramaDurante el Programa
DiferenciaDiferencia
final.final.
Diferencia neta= Beneficio.Diferencia neta= Beneficio.
úúltima ltima
medicimedicióónn
Paso 4: Selección de indicadores
Paso 5: Recolección de Información
Diseño Metodológico
Formatos y Formularios
Captura y sistematización
Tipo de muestreo
Tamaño de la muestra
Diseño de Instrumentos
Diseño muestral
Operativo de Campo
Costeo / Presupuesto
Diseño operativo
Información Primaria
Información Secundaria
Observación y medición
Recursos Requeridos
Rutas y Plan de Campo
Entrevistas, Talleres, etc.
Aplicación de Encuestas
EJEMPLO DE IMPACTO DEL CRÉDITO SOBRE LA PERMANENCIA Y DESEMPEÑO ACADÉMICO
Intervención: Crédito educativo con tasa de interés subsidiada focalizado a población de menores recursos.
Variables a medir:
Permanencia
Desempeño académico
Vinculación laboral
Nivel salarial
Modelo: Diferencia entre población tratamiento y control
Metodología para la evaluación de beneficios
Medición de término medio
Tiempo
Indicadores de medición de impacto
Situación sin
proyecto
Situación con el ing reso al Proyecto
Medición final de impactos
• Ingresos laborales
futuros
• Retención en la
educación superior
• Mayores ingresos
tributarios
Línea de Base 2008
Impacto del Proyecto ACCES
EJEMPLO DE IMPACTO
0,0%
5,0%
10,0%
15,0%
20,0%
25,0%
30,0%
35,0%
40,0%
45,0%
Tercero Cuarto Quinto Sexto Séptimo
Beneficiarios No beneficiarios
Fuente: CEDE; 2008
TASA DE DESERCIÓN BENEFICIARIOS Y NO BENEFICIARIOS DE UNO O MÁS DESEMBOLSOS POR SEMESTRE (2008)
EJEMPLO DE IMPACTO
60,0%
65,0%
70,0%
75,0%
80,0%
85,0%
90,0%
95,0%
Primero Segundo Tercero Cuarto Quinto Sexto Séptimo Octavo Noveno Décimo
Beneficiarios No beneficiarios
Fuente: CEDE; 2008
PROPORCIÓN DE MATERIAS APROBADAS POR LOS BENEFICIARIOS Y NO BENEFICIARIOS EN INSTITUCIONES PRIVADAS (2008)
EJEMPLO DE IMPACTO
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
70,0%
80,0%
90,0%
100,0%
Beneficiarios No beneficiarios
PROPORCIÓN DE BENEFICIARIOS Y NO BENEFICIARIOS YA GRADUADOS QUE COTIZAN SEGURIDAD SOCIAL POR NIVEL EDUCATIVO (2008)
Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA, DANE; ECV (2008).
EJEMPLO DE IMPACTO
INGRESO BASE DE COTIZACIÓN POR NIVEL DE LA IES DE DONDE SE HA GRADUADO (PESOS)
Fuente: Estimaciones de Econometría a partir de ICETEX-OLE-PILA y http://www.webometrics.info/rank_by_country_es.asp?country=co.
-
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
1.Técnica profesional 2.Tecnológica 3.Universitaria 4.Especialización 5.Maestria
Beneficiarios
EJEMPLO DE IMPACTO
Análisis Beneficio Costo y de Rentabilidad para la
Economía
INDICADOR VALOR
Total graduados 117.591
Impacto en el ingreso adicional laboral anual por beneficiario universitario
$8.03
Impacto en el ingreso adicional laboral anual por beneficiario técnico o tecnólogo
$4.62
VP Ganancia en ingreso laboral (+) $4.715.116
VP Costo privado de sostenimiento (-) $66.306
VP Costo sistema educativo (-) $3.376.938
VP Costo administrativo ICETEX (-) $8.120
Relación beneficio costo 1.37
Tasa interna de retorno 14.63%
Millones de pesos de 2007
EJEMPLO DE IMPACTO
Análisis Beneficio Costo y de Rentabilidad para el
Beneficiario promedio
INDICADOR VALOR
Impacto en el ingreso adicional laboral anual por beneficiario promedio
$6.3
VP Ingreso recursos del crédito y subsidio ACCES (+) $9.51
VP Ganancia en ingreso laboral marginal (+) $83.50
VP Costo privado de sostenimiento (-) $3.17
VP Costo matricula (-) $12.68
VP Pago marginal de impuesto y seguridad social (-) $16.60
VP Repago del crédito (-) $8.4
Relación beneficio costo 2.28
Tasa interna de retorno 28.49%
Millones de pesos de 2007
EJEMPLO DE IMPACTO
Evaluar programas públicos es un deber. La evaluación debe constituirse en parte de los
procesos. Sus resultados ajustan la gestión en función de los
objetivos, mejora el rendimiento de los recursos públicos, generan transparencia y control de los actos públicos.
Debe planearse. Requiere rigurosidad técnica. Se le deben asignar recursos.
… un mensaje de cierre