diplomado en materia de protección de datos personales módulo viii. monitoreo y evaluación de...

Diplomado en materia de protección de datos personales

Módulo VIII. Monitoreo y evaluación de políticas en materia de protección de datos personales con orientación a

resultados

Benjamin Hill

III. Uso de la información de desempeño en políticas públicas (Una sesión)

• Cómo puede la información de desempeño M&E mejorar las políticas públicas?

• Cómo se utiliza la información de desempeño para mejorar las decisiones de asignación presupuestaria?

Prueba controlada aleatoria (RCT)

Los participantes se escogen aleatoriamente:

• Reciben el programa• No reciben el programa (Grupo de control)

Mismo tipo de gente en ambos grupos La diferencia al final puede ser adjudicada al programa El grupo de control es un buen contrafactual del grupo tratado

R

T

Inicio del Programa

R

TInicio del Programa

Grupo de Control

A

Resultado del Programa = A - B

B

Grupo Tratado


• Al asignar participantes y grupo de control aleatoriamente (random), podemos asegurarnos que los dos grupos son idénticos en promedio para las características que queremos observar y las que no podemos observar.

• Cualquier diferencia entre ambos grupos es atribuible a la intervención

• RTC te da la más fuerte garantía de validez interna, pues te permite identificar la causalidad en un impacto observado

Consideraciones

• Unidad de análisis• Cuestiones éticas


• Técnicamente, un RCT no requiere línea base. Basta con comparar grupo de control y grupo tratado

Qué es impacto?

Es una comparación entre:

1. El resultado de un programa después de cierto tiempo2. El resultado después de cierto tiempo sin el programa (contrafactual)

Un buen grupo de control (contrafactual):• Grupo que no recibieron el programa• En ausencia del programa, hubieran tenido resultados similares a

quienes si participaron.

No hay sesgo

Medir impacto

Ejemplo:

• En 2010 hubo un cambio en el plan de estudios de los Ingenieros Mecánicos en el IPN

• ¿Cuál es el efecto de ese cambio en el incremento-reducción de los salarios de los Ingenieros Mecánicos del IPN?

Opción 1: Comparación Antes – Después

Impacto= Salario IM IPN 2010 - Salario IM IPN 2014

Medir impacto

Opción 2: Grupo de comparación

• Comparar los salarios de los Ingenieros Mecánicos del IPN con los Ingenieros Mecánicos de la UNAM

Impacto= Salario IM IPN 2014 - Salario IM UNAM 2014

Medir impacto

Opción 3: Diferencias en Diferencias

Supuesto: La diferencia entre los salarios de los IM de 2010 y 2014 es la misma para IPN y UNAM

Cualquier diferencia puede ser atribuida al cambio de plan de estudios

1. Diferencia de salarios para IM de IPN y UNAM a lo largo de los años

2. Diferencia entre esas dos diferencias

Diferencias en diferencias

IPN UNAM Diferencia IPN - UNAM

Graduados en 2010 70,000 62,000 8,000

Graduados en 2014 60,000 55,000 5,000

Diferencia 2010 - 2014 10,000 7,000 3,000

R

T2019

IPN

UNAM

2014

Impacto=

(IPN (2014-2010)-

(UNAM (2014-2010)

= 10,000 – 7,000

Diferencias en diferencias

Recapitular: Gestión por Resultados

• La Gestión para Resultados (GpR) es un modelo de cultura organizacional, directiva y de gestión que pone énfasis en los resultados y no en los procedimientos.

• Qué se hace, qué se logra y cuál es su impacto en el bienestar de la población; es decir, la creación de valor público

Objetivos

1. Ofrecer información y conocimiento que permita controlar y optimizar el proceso de creación de valor público, a fin de alcanzar el mejor resultado posible respecto a lo que se espera de la acción del gobierno;

2. Contribuir a mejorar la capacidad de las autoridades y de los organismos públicos, para que deforma documentada y amplia puedan rendir cuentas y así permitir que la ciudadanía y las instancias de control correspondientes puedan evaluar los resultados de su gestión; y,

3. Apoyar la modernización de la gestión pública y la evaluación de su desempeño.


Cinco Principios

1. Centrar el diálogo en los resultados (que el enfoque se mantenga siempre en la gestión para resultados);

2. Alinear las actividades de planeación, programación, presupuestación, monitoreo y evaluación, con los resultados previstos;

3. Mantener el sistema de generación de informes de resultados lo más sencillo, económico y fácil de usar como sea posible;

4. Gestionar para resultados; y,

5. Usar la información de resultados para el aprendizaje administrativo y la toma de decisiones, así como para la información y rendición de cuentas.


Presupuesto Basado en Resultados

• Es un componente de la GpR que consiste en un conjunto de actividades y herramientas que permite apoyar las decisiones presupuestarias en información que sistemáticamente incorpora consideraciones sobre los resultados del ejercicio de los recursos públicos.

• El PbR significa un proceso basado en consideraciones objetivas para la asignación de fondos

• El PbR busca modificar el volumen y la calidad de los bienes y servicios públicos mediante la asignación de recursos a aquellos programas que sean pertinentes y estratégicos para obtener los resultados esperados


Presupuesto Basado en Resultados

i. Conduce el proceso presupuestario a través del ciclo planeación – programación – presupuestación– ejercicio – control – seguimiento – evaluación – rendición de cuentas;

ii. Considera indicadores de desempeño y establece una meta o grupo de metas de actividades y programas presupuestarios, a las cuales se le asigna un nivel de recursos compatibles con dicha meta;

iii. Provee información y datos sobre el desempeño (permite comparaciones entre lo observado y lo esperado);

iv. Propicia un nuevo modelo para la asignación de recursos, mediante la evaluación de los resultados de los programas presupuestarios; y,

v. Prevé llevar a cabo evaluaciones regulares o especiales, acorde con las necesidades específicas de los programas.

Presupuesto inercial o incrementalista vs. Presupuesto basado en Resultados

Para qué evaluar?• Los programas y políticas públicas generalmente están

diseñados con la intención de cambiar resultados (ingreso, aprendizaje, esperanza de vida).

• Muchas veces el enfoque de los diseñadores de políticas y administradores de programas está en medir los insumos y los productos inmediatos de una política, en lugar de medir la contribución del programa al bienestar.

Evaluaciones• Medir el impacto de una política• Ofrecen evidencias sobre el desempeño de

una política• Generar conocimiento sobre la efectividad de

un programa• Dan evidencia sobre la contribución de una

política al bienestar de la sociedad

Monitoreo y Evaluación

• Monitoreo es el proceso continuo que da seguimiento a lo que está pasando con un programa

• Los datos se utilizan para informar a los administradores del programa para tomar decisiones gerenciales

• Se mide el desempeño y se contrasta con resultados esperados, tendencias, se hacen comparaciones entre distintos programas

• Usualmente se miden insumos, actividades y productos; ocasionalmente resultados

• Reúne un conjunto de actividades internas (en casa) de la organizacion

Monitoreo y Evaluación

• Evaluación es una valoración objetiva de un proyecto en etapa de planeación, en marcha o concluído.

• Se utilizan para responder a preguntas específicas sobre diseño, puesta en marcha y resultados de una política.

• A diferencia del seguimiento que es una tarea continua, las evaluaciones son acciones que se realizan en momentos determinados

• Muchas veces se acude a expertos externos (evaluadores)

Sistema de Monitoreo y Evaluación (M&E)

• Valora cómo un programa evoluciona en el tiempo, analizando datos en términos de las metas, indicadores y resultados.

• M&E es necesario para entender las metas de un programa, las maneras en las que una política puede ponerse en marcha y las formas en que su efecto sobre los beneficiarios puede medirse.

• Incluye el monitoreo de indicadores y distintos tipos de evaluaciones y estudios.

Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal

Tipos de evaluación:

I. Evaluación de Programas Federales:a) Evaluación de Consistencia y Resultadosb) Evaluación de Indicadoresc) Evaluación de Procesosd) Evaluación de Impactoe) Evaluación Específica (de desempeño)

II. Evaluaciones Estratégicas : evaluaciones que se aplican a un programa o conjunto de programas en torno a las estrategias, políticas e instituciones

Evaluaciones

El diseño, costo, métodos y alcances de una evaluación varía respecto del tipo de preguntas que se quiere responder:

• Preguntas descriptivas: La evaluación busca determinar qué está pasando mediante la descripción de procesos, condiciones, relaciones organizacionales y visiones de los actores involucrados

• Preguntas normativas: La evaluación busca compara lo que está pasando con lo que debería de pasar; valora las actividades y si las metas se están cumpliendo. Se enfoca en insumos, actividades y productos

• Preguntas sobre causa-efecto: La evaluación revisa resultados y trata de valorar cuál es la atribución de la política en esos resultados

Evaluaciones de Impacto

Son un tipo particular de evaluaciones que buscan responder a preguntas sobre causa-efecto:

• Cuál es el impacto (o efecto causal) de un programa en el resultado que buscamos?• Efecto directo del programa• Identifica el efecto atribuíble al programa• Se enfoca en causalidad y atribución• Ejm.

– Cuál es el efecto causal de las becas sobre el aprovechamiento escolar? – Cuál es el efecto de tener piso firme sobre la salud de los niños? – La infraestructura en caminos mejora el acceso a los mercados de trabajo y por lo tanto incide

sobre el nivel de ingreso de las familias? – El número de alumnos por clase afecta el aprovechamiento escolar y si es así, qué tanto?

Evaluar o no evaluar?No todos los programas o políticas deben ser evaluados.

Pregunas básicas:

• Qué tan prioritaria es la labor que desarrolla este programa?

• Qué está en juego?

• Cuántas personas atiende el programa?

• Cuál es el impacto presupuestario del programa?

Evaluar o no evaluar?La mobilización de recursos humanos, técnicos y financieros que requiere una evaluación se justifica si el programa a evaluar tiene estas características:

• Innovador: Es un proceso o medodología novedoso que promete mejorar los resultados de la política

• Replicable: El programa puede ser potenciado o adaptado a otras circunstancias y escenarios

• Estratégicamente relevante: Representa la política estandarte del gobierno; requiere una gran cantidad de recursos; atiende a un gran número de personas; puede generar ahorros importantes

• No ha sido evaluado: No hay evidencia sobre la efectividad del programa

• Influencia: Los resultados de la evaluación pueden ser utilizados para la toma de decisiones clave

Evaluaciones de impacto

Además de reponder preguntas sobre causa-efecto, una evaluación también puede combinarse con información sobre los costos del programa para responder dos preguntas adicionales:

• Cuál es el balance costo-beneficio de un programa?

• Cómo se comparan dos o más alternativas de programas en cuanto a costo-efectividad?

Costo-beneficio• Estima el total de beneficios esperados comparados con los

costos totales esperados. • Busca cuantificar todos los costos y beneficios de un programa

en términos monetarios y valora si los beneficios superan los costos

Costo-efectividad• Compara el desempeño relativo de dos o más alternativas

de implementación de una política pública (o entre dos o más políticas) respecto del logro de un objetivo.

Evaluaciones de impacto

Las evaluaciones de impacto pueden dividirse en dos categorías:

• Evaluaciones prospectivas: Se desarrollan al mismo tiempo que el programa está siendo diseñado. Se reúne información de línea base para establecer grupos de comparación antes de que el programa se ponga en marcha.

• Evaluaciones retrospectivas: Se elaboran después de que el programa se puso en marcha.

Evaluaciones retrospectivas ex-post

1. No hay información de línea base

2. No hay contra-factual

Evaluaciones prospectivas

1. La información de línea base permite comparar mejor entre poblaciones antes y después de la puesta en marcha del programa

2. El grupo atendido por el programa y el grupo de comparacion se identifican antes de que el programa se ponga en marcha

3. La definicion de medidas para valorar el éxito de un programa ayuda a los diseñadores a enfocarse en el logro de los resultados esperados

Pruebas aleatorias controladas (Random control trial)

1. Se hace un muestreo aleatorio

2. La aleatoriedad elimina sesgo

3. Se miden los cambios entre población tratada y población no tratada (contrafactual)

Caso: Programa PATH en Jamaica

• 2003 Evaluación del PATH (Programme Advancement Trough Health and Education) con apoyo del Banco Mundial

• Se elige una empresa consultora para realizar la evaluación y se está discutiendo la metodología

• Los consultores han propuesto tres modelos de evaluación y como Director de Desarrollo Social te corresponde seleccionar uno de esos modelos


• PATH es un programa de transferencias condicionadas (Prospera)

• Las familias beneficiarias reciben una transferencia mensual en efectivo a condición de que los niños vayan a la escuela y que la familia acuda regularmente a la clínica de salud para revisiones preventivas (US 36)

• Focalizar beneficios a las familias más pobres

• Se analiza el ingreso de las familias y si esta bajo cierto parámetro la familia es elegible para aplicar

• Hay un tiempo de espera entre la aplicación y la aceptación de entre 2 y 5 meses


Preguntas:• Aumentará la asistencia a la escuela de los

niños de familias beneficiarias?• Mejorará la salud de las familias beneficiarias?


La evaluación debe cumplir con los siguientes criterios:• El diseño debe comparar un grupo de familias participantes con otro grupo de

familias no participantes que:

– Tengan características socioeconómicas y demográficas comparables

– Que ambos grupos tengan la misma propensión a querer ser parte de PATH (características no observables)

– Para que la muestra pueda detectar los impactos del programa debe ser de 2,500 participantes y de 2,500 no participantes

– La evaluación debe medir los efectos del PATH en 1-2 años de implementación en dos variables: • Asistencia a la escuela en las últimas 4 semanas• Asistencia a la clínica de salud en los últimos seis meses


Datos con los que contamos:• Datos socioeconómicos y demográficos de todos los participantes en

PATH al momento de solicitar admisión al programa

• Encuesta 2002 de Condiciones de Vida (SLC) en Jamaica. Levantada en el verano de 2002, antes de que el programa empezara a operar

• Encuesta a participantes del PATH: Similar a la SLC pero en una muestra representativa de 1,200 hogares realizada en noviembre de 2002

• Existen recursos para hacer dos encuestas más, cada una de 5,000 hogares

Caso: Programa PATH en JamaicaDiseño 1 Diseño 2 Diseño 3

Grupo participante Participantes del PATH de la encuesta PATH

Aplicantes que calificaron justo debajo del parámetro de

eligibilidad

Grupo seleccionado aleatoriamente que calificaron

justo arriba del parámetro (normalmente inelegibles) a

los que se les va a ofrecer participar en el programa

Grupo de comparación (control,

contrafactual)

Subconjunto de hogares de la encuesta SLC que tienen

características similares a los hogares participantes

Aplicantes que calificaron justo arriba del parámetro de

eligibilidad

Grupo seleccionado aleatoriamente que calificaron

justo arriba del parámetro (normalmente inelegibles) a

los que NO se les va a ofrecer participar en el programa

Estimación del Impacto

Usando una regresión estadística, comparar los

cambios en los resultados de los participantes con los del

grupo de control


resultados entre participantes y grupo de control


cambios en los resultados de los participantes con los del

grupo de control


• Discutir la habilidad de cada diseño para estimar el impacto del PATH

• Valorar la viabilidad política de cada diseño

• Las implicaciones logísticas de cada diseño, en términos de asegurar que los hallazgos de la evaluaciónson accesibles a tiempo para los tomadores de decisiones

• Las implicaciones financieras del diseño, en particular si involucra más recursos de los originalmente presupuestados

Claves para el diseño de una evaluación de impacto:

• Decidir si de hace o no la evaluación

• Identificar las preguntas clave

• El diseño de la evaluación debe estar empatado de la teoría del programa (teoría del cambio)

• El grupo de control debe ser la base para una contrafactual creíble, evitar sesgos

• Los hallazgos deben triangularse

• La evaluación debe tomar en cuenta el contexto

Uso de la información de M&E en el proceso presupuestario

Información de desempeño

Cinco valores de la información de un sistema de monitoreo y evaluación:

i) Pertinenciaii) Veracidadiii) Oportunidadiv) Legitimidadv) Eficiencia

• Los bancos de desarrollo,• Los organismos de ayuda bilateral,• Las organizaciones independientes, • La comunidad académica y• Los gobiernos

Quiénes producen información de desempeño y por qué

Quiénes producen información de desempeño y por qué

Adecuación del proceso presupuestario

Retos de la gestión por resultados

1. Diseño de un sistema de seguimiento y evaluación2. Información3. Uso de la información de desempeño para la mejora de los programas4. Uso de la información de desempeño en el proceso presupuestario5. El papel del Congreso6. Transparencia7. El papel de la sociedad

• El Modelo Sintético de Información del Desempeño (MSD) es un instrumento para la evaluación presupuestaria que recopila información del desempeño de los programas presupuestarios para conocer sus tendencias.

Propósito Contar con elementos para la toma de decisiones presupuestarias basadas en el desempeño de los programas.

Utilizar la información para mejorar sus objetivos, indicadores y metas.

Identificar posibles sinergias o duplicidades.

Presentar información de manera clara y simple.

Modelo sintético de desempeño

Modelo Sintético de Información de Desempeño (MSD)

El MSD hace una valoración general del desempeño de cada programa presupuestario, tomando en cuenta cuatro variables que influyen en su comportamiento:

1. Desempeño presupuestario (2008-2013)2. Matriz de Indicadores para Resultados3. Evaluación4. Aspectos Susceptibles de Mejora derivados de las Evaluaciones Externas (ASM)5. Información de los padrones de beneficiarios

Modelo Sintético de Información de Desempeño (MSD)

www.transparenciapresupuestaria.gob.mx ProgramasFunción: Vivienda y Protección Social

http://www.transparenciapresupuestaria.gob.mx/

www.transparenciapresupuestaria.gob.mx ProgramasS-072 PROSPERA Programa de inclusión social

http://www.transparenciapresupuestaria.gob.mx/

Porcentaje de familias beneficiarias para las que se recibió el reporte oportunamente y cumplieron con su corresponsabilidad en salud

diplomado en materia de protección de datos personales módulo viii. monitoreo y evaluación de...

Documents