inferencia causal y diseños experimentales · con el modelo anterior se computar una probabilidad...

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

Inferencia Causal y Diseños Experimentales

Ryan Cooper

J-PAL Latinoamérica y el Caribe

povertyactionlab.org

1. Problema de Atribución Causal

2. Qué es una Evaluación Experimental

3. ¿Ética? Ejemplo Evaluación UTPMP

4. Cómo realizar una evaluación experimental

2

Inferencia Causal y Eval Experimental

2



I – El Problema de Atribuir Causalidad

• Ciencias Sociales buscan medir: CAUSA-EFECTO.

• Ej: Cura de enfermedad / aumentar productividad laboral

• Preguntas de política pública => RELACIONES CAUSALES.

4

Relaciones Causales

4

• Ejemplos de preguntas causales en Ciencias Sociales:

¿Cuál es el Efecto de(l):

1. Transferencias condicionadas en educación

2. La provisión de agua potable en reducción mort infantil

3. tamaño de la clase (n° alumnos) en la rendimineto niños

4. encarcelamiento en la reincidencia criminal

5

Preguntas causales

5

• Ejemplo 1: Alumno con bajas calificaciones. Causa: pocas horas de estudio?

-Otros factores? Circunstancias particulares que llevaron a mala performance; desmotivación por bajas notas anteriores a pesar de haber estudiado mucho…

• Ejemplo 2: Paciente con enfermedades respiratorias. Causa: fumar?

- Otros factores? Vida sedentaria; antecedentes familiares…

En general podemos asociar un presunto efecto a múltiples causas. ¿Cómo Atribuir Causalidad?

6

Problema de Atribuir Causalidad

6

Complejidad de medición causal

Tipo Colegio Simce

Aporte Padres

Educación Padres Ingresos

Repitencia

Pre-Básica

NO OBSERVABLES

-0.2

6.8

7.4

13.4

8.1

16.6

18.2

• Condiciones Atribuir Causalidad (John Stuart Mill):

• A es la presunta causa del efecto B si:

1. A sucede antes que B.

2. Variación en A => consecuente variaciones en B.

3. No hay otra explicación a efecto B, que la causa A.

En esta clase ¿qué método nos asegura las 3 condiciones?

8


8

Condiciones de Stuart y nuestro Ej

• Analizar CAUSALIDAD es contestar la pregunta:

¿qué hubiera pasado si las unidades bajo “Tratamiento” no lo hubieran recibido?

Se requiere estimar el contrafactual.

10


10

• El Problema Fundamental de la Inferencia Causal es que el contrafactual no es observable.

– Ej. ¿resultado niño de clase pequeña SI HUBIESE ido a una

clase con más alumnos? – Notar: es “el mismo niño” el que debemos observar.


iii YY 01

El problema es que es imposible observar y simultáneamente.

10 días de enfermedad 30 días de enfermedad

Impacto de 20 días de enfermedad.

iii YY 01

Problema de Atribución

10 días de enfermedad 30 días de enfermedad

¿Impacto de 20 días de enfermedad?

¿Qué ocurre en la realidad?

ESTE RESULTADO NO SERÍA CONFIABLE!!!!!

Problema de Atribución

BUENA NOTICIA!? • Es posible estimar EFECTO PROMEDIO.

• Resultado promedio: GRUPOS T y C.

• El GRUPO de CONTROL busca recrear • El RESULTADO O ESCENARIO CONTRAFACTUAL.

14


14

10 días de enfermedad - 30 días de enfermedad

Impacto Promedio de 20 días de salud.

G1

G2

(promedio) (promedio)

)1/( 1 ii TYE - )0/( 0 ii TYE

Solución

• Un buen contrafactual:

• Grupo de C igual en promedio a grupo de T:

• Esto incluye: – Características observables y medibles. – Características NO observables y NO medibles.

• Única diferencia entre T y C debería ser la intervención.

16

Importancia del Grupo Control

16

El Invisible Contrafactual

Tiempo

Ingre

so l

abora

l

Impacto

Capacitación

Laboral

17

Impacto: Escenario #2

Tiempo

Ingre

so L

abora

l

Impacto

Capacitación

laboral

18

Impacto: Escenario #3

Tiempo

Ingre

so L

abora

l

Impacto

Capacitación

Laboral

19

Impact - Contrafactual - Grupo Control

Res

ult

ado

pri

mar

io

Impacto

Intervención

G2

G2

G2

G1

G2

Pero MUY difícil…

…Estimar el contrafactual

Porque típicamente…

Sesgo de Selección

• Individuos toman decisiones y eligen bs y servicios. • Gobiernos y ONGs seleccionan a personas. • Quienes deciden por A o B, generalmente diferentes. • Seleccionados vs. No seleccionados no son iguales.

• Ej. : ¿Por qué una empresa solicita un crédito?

– Problemas económicos… – Buenas expectativas…

• Ej2: comparar encarcelados y no encarcelados • ¿que nos llevaría a concluir?

Problema de Selección

22

G1

G2

Sesgo de Selección

Impacto Real Intervención

Sesgo Selección

24

Métodos de Evaluación de Impacto

24

Todos los métodos buscan lo mismo:

1. Estimar qué hubiera pasado sin programa

2. Creación de Grupo de comparación o de control.

3. Estimar diferencia entre grupo control y tratamiento.

Principal diferencia: cómo recrean el contrafactual.

25

Métodos de Evaluación de Impacto

25

1. Evaluaciones Experimentales: • Se asignan unidades al programa aleatoriamente (al azar).

• En probabilidad las unidades de ambos grupos son iguales.

• Estudios Prospectivos.

2. Estudios Observacionales o Cuasi-Experimentales: • Asignación del programa NO es por sorteo. • Diferentes métodos para elegir grupo comparación.

• Generalmente Estudios Retrospectivos.

26

Métodos de Evaluación de impacto


II – ¿Qué es una evaluación aleatoria?

Diferentes Definiciones

Evaluación Aleatoria

Evaluación Aleatorizada

Evaluación Experimental

Estudio Controlado Aleatorio

RCT

Experimento Aleatorio

28

¿Qué es una evaluación aleatoria?

Evaluación donde el programa se asignan aleatoriamente.

Grupo de tratamiento – se le ofrece programa

Grupo de control – no recibe progrma

29

Método experimental

El ÚNICO MÉTODO que garantiza tener grupos comparables y estimada contrafactual es la asignación aleatoria (Estudios Experimentales).

30

Método Cuasi experimental

31

Ejemplo Cuasi Experimental

Cuando la asignación de un tratamiento no es aleatoria el

problema de identificación se hace realmente relevante.

)0()0/()1()1/(

)0()0/()1()1/(

00

11

iiiiii

iiiiii

TpTYETpTYE

TpTYETpTYE

No conozco

No conozco Conozco

Conozco

Tratados No Tratados


¿Cómo estimo ?

Lo puedo estimar mediante la técnica de Matching o Pareamiento

Grupo Tratado Población No Tratada

1/0 DYE i


)/()/1(Pr)( iiiii XDEXDobXp

iiiii XXXXp 3423121)(

Con el modelo anterior se computar una

probabilidad para cada individuo del

grupo de tratamiento y de control. Luego

se hace el matching:

0.75

0.8

0.82

0.53

0.61

0.54

0.53

0.22

0.4

0.1

0.54

0.8

0.73

0.24

0.31

0.14 0.09

0.61 0.80

- - - - -

-

= = = = = =

10

20

15

29

16

27

IMPACTO PROMEDIO = 19,5

Experimental Cuasi Experimental

36

G1 G2

Pasos claves para realizar un experimento

37

1. Lin

ea de

base

2. DIVISION ALEATORIA

2. INTERVENCIÓN 4

. Med

ición

final

POBLACIÓN META

3. STATUS QUO


III – ¿Ética?: Ejemplo UTPMP


“Llegar a los Pobres de los Pobres”

UTPMP intuye que la mediagua sirve como un primer paso….

Voluntarios en acción

The Model

www.untechoparamipais.org

Construcción masiva de

viviendas mínimas Habilitación social Vivienda

definitiva

Costa Rica

El Salvador

Guatemala

Ecuador

Nicaragua

Rep. Dominicana

Argentina

Uruguay

Colombia

Paraguay

Perú

Brasil

México

Chile

474

1437

84

201

39

9

928

1283

1141

82

2897

185

753

32618

5

Total Houses Built: 42.136

La Casa

o 18 m2

o Madera o aluminio

o Piso levantado del suelo

o Protección del clima

o Mejor ventilación

o Se construye en 1-2 días / 6-12 voluntarios

o Cost o de materiales: US$ 1000

o Beneficiarios contribuyen el 10%


Beneficiary Selection


Focalización: “Llegar a Pobres de los Pobres”

Evaluación: “Entregar casas

por sorteo”

Desafío Inicial


Desafío Inicial

Selección de Beneficiarios


Peras con Manzanas Focalización relativamente débil

Manzanas con Manzanas Mejor focalización


IV - ¿Cómo aleatorizar?


Muestreo Aleatorio

Vs

Asiganción aleatoria

50

Muestreo aleatorio vs. Asignación aleatoria

Muestra aleatoria es para representar a la población

51

Asignar aleatoriamente a tratamiento y control es para evitar sezgos de selección


52


Población Muestra

Grupo Control

Grupo Tratamiento

Aleatorización Aleatorización

1 ra Etapa:

Asegura que el resultado de

la muestra va a representar el

resultado de la población,

dado un nivel de error de

muestreo

Validez Externa

2 da Etapa:

Asegura que el efecto

observado en la variable de

resultado se debe a algún

aspecto del Tratamiento y

no a otros factores

Validez Interna

53

Población

Elegible

Unidad de aleatorización: ¿individual?

54

Unidad de aleatorización: ¿individual?

55

Unidad de aleatorización: ¿unidades agrupadas?

“Grupos de personas”: Estudio aleatorio en unidades agrupadas 56

Unidad de aleatorización: ¿clase?

57

Unidad de aleatorización: ¿clase?

58

Unidad de aleatorización: ¿escuela?

59

Unidad de aleatorización: ¿escuela?

60

1. Método de exceso de demanda (lotería)

2. Método de Introducción Progresiva:

3. Aleatorización en punto de corte (o en la burbuja)

4. Aleatorización por sub-grupos

Estrategias de aleatorización

61

• …la mecánica es simple.

• Comandos en Stata y Excel.

Asignación aleatoria en la práctica

62

62

• Si no es posible tener una lista podemos usar otros métodos menos rigurosos como: – Sacar papeles de una urna – Usar la primera letra del nombre

• Siempre verifique que el resultado final parezca

aleatorio (e.g. pruebas de medias o de distribuciones entre los grupos). – Estratificación

Asignación aleatoria en la práctica

63

Tratamintos Múltiples

64

• A veces la pregunta central es decidir entre diferentes intervenciones posibles.

65

Tratamientos múltiples

• ¿Cuáles son los mecanismos relevantes?

• ¿Cuál es la combinación más económica?

• Puede ser clave para la definición de políticas.

Tratamiento 1

Tratamiento 2

Tratamiento 3


66

• Una forma de definir los distintos tratamientos es separando los componentes de un programa, y estableciendo diferentes combinaciones.

• ¿Cuál es la combinación más económica?

• Ventaja: situación gana-gana para operaciones, pueden ser útiles para responder preguntas más allá del simple “impacto”.


67

• En un programa de capacitación laboral, un grupo recibo el “tratamiento” completo: capacitación en aulas y pasantías.

• A otro grupo sólo se les da la capacitación en las

aulas.

• Otro grupo sólo recibe la pasantía.

• Además de medir impacto, nos ayuda a identificar mecanismos.

Tratamientos Múltiples

68

Estratificación

69

• Realizar aleatorización por sub grupos.

• Notas:

• Estratificar en variables que podrían tener un impacto.

• Estratificar en subgrupos que le interesan

70

Estratificación

Estratificación

Vulnerable

Más Pobre

Pobre

1. Problema de Atribución Causal

2. Qué es una evaluación Experimental

3. ¿Ética? Ejemplo Evaluación UTPMP

4. Cómo realizar una evaluación experimental

72

Inferencia Causal y Eval Experimental

72

¡Gracias!

73

inferencia causal y diseños experimentales · con el modelo anterior se computar una probabilidad...

Documents