clase 2 teoría de cambio, indicadores y medición del ... 2... · teoría de cambio, indicadores y...

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

Teoría de Cambio, Indicadores y Medición del Impacto

Claudio FerrazPUC‐RioAbdul Latif Jameel Poverty Action Lab

povertyactionlab.org

1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?

2. Teoría de Cambio, indicadores y medición del impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral 6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

1. Evaluaciones de impacto: ¿Qué son? ¿Porqué hacerlas? ¿Cuándo hacerlas?

2. Teoría de Cambio, indicadores y medicióndel impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa

2. La TEORÍA DE CAMBIO facilita evaluación y medición de cómo funciona un programa y cual es su impacto

– Articula objetivos, insumos, productos, resultados e impactos

– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del

programa

Objetivos de aprendizaje

4

1. Teoría de Cambio

2. Resultados e indicadores

3. Nociones iniciales de medición de impacto

Resumen de la exposición

5

1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información sobre desempeño

municipal en México


3. Nociones iniciales de medición del impacto


6






7

• Representa visualmente cadena CAUSAL entre:– Necesidades/Objetivos– Insumos– Productos– Resultados intermedios– Impactos (esperados y no deseados)

• Facilita definición de hipótesis a verificar

Teoría de Cambio






9

Cadena de causalidad

Objetivos Insumos Productos Resultados Intermedios Impactos


Objetivos Insumos Productos Resultados Intermedios Impactos

Enriquecen comprensión del programaRefuerzan conclusionesFacilitan extracción de lecciones


OBJETIVOS1. Responden a una

necesidad2. Especifican población

objetivo3. Son medibles


INSUMOS1. ¿Qué puedo hacer para

lograr objetivo?2. Factibles3. Son medibles


PRODUCTOS1. Consecuencia directa de

mi acción/ intervención2. Son medibles3. Representan el primer

“resultado” observable de mi acción


RESULTADOS INTERMEDIOS1. Son los factores de

transición que conectanlos productos con los impactos

2. Son medibles


IMPACTOS1. Lo que quiero cambiar con

programa2. Directamente

relacionados con objetivos

3. Son medibles

1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información y elecciones locales en

México




17

El entorno: Información antes de elecciones locales

18

• ¿Cuáles son los objetivos principales de la Auditoría Superior de la Federación (ASF)?

• ¿Cuáles son las principales características de la campaña de Volantes destinados a público local?

El entorno: Información antes de elecciones locales

19

• ¿Por qué se considerara deseable diseminar información proporcionada por la ASF antes de las elecciones municipales?

• Si la información es importante ¿Por qué la mayoría de las personas no usan la información gratuita entregada por la ASF para tomar sus decisiones de voto?

El uso de la Información

20

• ¿Cuáles son posibles cadenas de causalidad en el caso de los volantes de Información?

• ¿Cuáles son etapas necesarias para obtener impactos finales?

• ¿Cuáles son posibles impactos finales?

Teoría de Cambio de los volantes de información

21

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

? ? ? ? ? ?

22




Información pública relevante para los votantes no es utilizada. Los gobiernos

locales tienden a malgastar fondos sin represalias

?Mejor uso de los

recursos públicos a nivel local y mejora de la entrega de servicios

Lo que hago para lograr mi objetivo

23


Tratamiento 1

Tratamiento 2

Tratamiento 3

Control





Volantes: Campaña de información previo a elecciones municipales enfocadas en quiénes

son responsables de proveer

ciertos servicios públicos

?

? 28


Consecuencia directa de mi acción








Votantes se hacen más conscientes sobre el

desempeño de sus

representantes municipales.

?

? 29


Factores que conectan producto con impacto



Información Pública

Relevante para los votantes no es utilizada. Los gobiernos locales

tienden a malgastar fondos sin represalias





desempeño de sus


Más votantes se cambian de partido para votar por la oposición (Se vota menos por partido y más por

gestión)

?

? 30

Teoría de Cambio de las cuotas

Lo que quiero afectar directamente relacionado con objetivo => HIPOTESIS CLAVES

• Enumeremos todos los posibles impactos de los volantes de información

¿Posibles impactos?

31

Defina las hipótesis clave antes del inicio del experimento

• Suponga que recolecta datos de 20 diferentes indicadores de impacto– Encuentra uno que es muy positivo– Encuentra uno que es muy negativo– Encuentra que para 18, los resultados son muy similares y no son significativamente diferentes

• ¿Qué puede concluir?

32

Múltiples posibles impactos

• ¿Cuáles podrían ser ejemplos de algunas hipótesis clave a probar?

Definir hipótesis clave

33










rendimientos de sus



gestión)

Candidatos y/o partidos con mejor rendimiento ganan más

elecciones

Mejor uso de los recursos públicos a nivel local y

mejoramiento de la entrega de servicios

34

Teoría de Cambio de las cuotas

1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India




35

• Describe el entorno en cual se realiza la intervención/el experimento

• Cuantifica insumos en la intervención

• Permite evaluar la implementación de la intervención

• Cuantifica los resultados e impactos

• Registra las percepciones de la intervención

Medición…

36

• Describe el entorno en cual se realiza la intervención/el experimento

• Cuantifica insumos en la intervención• Permite evaluar la implementación de la intervención• Cuantifica los resultados e impactos• Registra las percepciones de la intervención

Medición…

37

SE HACE POR MEDIO DE INDICADORES

• ???

¿Qué es un indicador?

• Variables cuantitativas o cualitativas que nos permiten de forma sencilla y confiable:– Describir entorno de necesidades– Medir insumos– Caracterizar implementación/procesos– Cuantificar resultados/impactos– Registrar percepciones

Indicadores son…

Consejos sobre recolección de indicadores

Medición de la presión arterial en Udaipur, India

• C (laros): precisos y sin ambigüedad

• R (elevantes): apropiados para la medición en cuestion

• E (conómicos): fáciles de medir y recolectar

• A (decuados): suficientes para detectar impactos en hipótesis claves

CREA: Características de buenos indicadores (Kusek & Rist 2004)

NecesidadesInsumo Producto Resultado

IntermedioImpacto Objetivo a

largo plazo




Volantes: de información previo a elecciones municipales


rendimientos de sus



gestión)


elecciones



INDICADORES:

? ?42

Teoría de Cambio con indicadores

?






Volantes: de información previo a elecciones municipales


rendimientos de sus



gestión)


elecciones



INDICADORES:

Cambio en la votación entre partidos

Elecciones ganadas por partidos oficialistas versus partidos de oposición 43

Teoría de Cambio con indicadores

・ Monto y tipo de gastos municipales ・ Número de servicios públicos disponibles ・ Uso público y percepción de servicios Miunicipales

1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India




44

• ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?

• Diferencia entre Qué ocurrió (con el programa)

– qué habría ocurrido (sin el programa)

= IMPACTO del programa

45

¿Cómo medir el impacto?

Impacto: ¿Qué es?

Tiempo

Impa

cto Impacto

Intervención

• Contrafactual: ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?

• No puedo observar a una persona que participa y no participa en el programa simultáneamente.

• Objetivo clave de todos los métodos de evaluación de impacto es construir o “replicar” el contrafactual.• Seleccionando un grupo no afectado por el programa,

un grupo de comparación (o “grupo de control”)

Impacto y el contrafactual

• Experimental:– Utiliza asignación aleatoria del programa para crear un grupo de control que imite el contrafactual.

• No experimental:– Argumenta que un cierto grupo excluido replica el contrafactual.

48

Construyendo el contrafactual

Observando el contrafactual

Los votantes en México siguen privilegiando su partido!!!!Aún cuando se les informa de la mala gestión de sus representantes deciden no escuchar

Observando el contrafactual

Volantes hacen que oposición obtenga más votosEn estados menos poblados y en los que domina el oficialismo.

1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa

2. La TEORÍA DE CAMBIO facilita evaluación y medición de cómo funciona un programa y cual es su impacto

– Articula objetivos insumos, productos, resultados e impactos

– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del

programa– Ayuda a pensar escenario contrafactual

Conclusión

51

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

Gracias !

([email protected]‐rio.br)PUC‐RioAbdul Latif Jameel Poverty Action Lab

povertyactionlab.org

clase 2 teoría de cambio, indicadores y medición del ... 2... · teoría de cambio, indicadores y...

Documents