El diseño experimental

Martín Valdivia

GRADE

Esquema de presentación

I. Introducción

II. Por qué aleatorizar

III. Cómo aleatorizar

IV. Ventajas y desventajas del diseño

experimental

I. Introducción

El diseño experimental

• El problema de la inferencia causal:

• ¿Cómo ha cambiado la vida de los beneficiarios de mi

programa comparado con como hubieran cambiado si

mi programa no hubiera existido?

• Pero, un mismo individuo no puede ser observado en

dos estados distintos (con o sin programa) en el mismo

momento

• Diferente de las preguntas de monitoreo:

• ¿Qué servicios llegaron a recibir o usar los

beneficiarios de mi programa?

• ¿Cómo ha cambiado la vida de los beneficiarios de mi

programa después de haber participado en el programa?

El diseño experimental II

• Cofluencia de factores hace el tema complicado

• Shocks agregados (macroeconómicos, climáticos, etc.)

• Selección de beneficiarios por el programa (lugares,

definición de elegibilidad)

• Auto-selección de los beneficiarios (motivación, espíritu

empresarial etc. definen take up)

• Tomamos las diferencia entre:

Qué ocurrió con el programa

- Qué hubiera ocurrido sin el programa

= Impacto

Este último escenario se denomina el contrafactual.

Tiempo

Res

ult

ado

pri

mar

io

Impacto

Intervención

Impacto

Tiempo

Intervención Impacto

Res

ult

ado p

rim

ario

Impacto

Tiempo

Intervención

Impacto Res

ult

ado

pri

mar

io

Impacto

Contrafactual

• El contrafactual generalmente se construye a partir de la selección de un grupo no afectado por el programa Sesgo de selección de beneficiarios

• Evaluación Aleatoria: Usa una asignación aleatoria del programa para

crear un grupo de control. • Evaluación No Aleatoria: Argumenta que un cierto grupo excluido del

programa “replica” el contrafactual

El diseño experimental hoy

• En la actualidad, los experimentos aleatorios juegan

un rol importante en development economics.

• Los experimentos que se utilizan para medir el

impacto de programas sociales alrededor del mundo

difieren de aquellos experimentos en el sector salud,

tanto en escala como en presupuesto.

• Los experimentos aleatorios se han convertido en un

importante instrumento para evaluar muchos

programas sociales.

• J-PAL, así como IPA, CEGA, E-Pod, etc, se dedica

exclusivamente a apoyar este tipo de evaluaciones.

II. ¿Por qué aleatorizar?

El sesgo de selección

El sesgo de selección II

• Sesgo positivo con auto-selección Escuelas que compran libros de texto son las que le

dedican más tiempo a la educación de sus hijos, mayor prioridad

• Sesgo negativo si la focalización del programa funciona adecuadamente

• Aunque no se puede observar ese sesgo

• Ambos procesos pueden operar conjuntamente

Aleatorización y la estimación del impacto

de una intervención

• Elimina sesgo de selección:

• En el contexto de una regresión:

Aleatorización y la estimación del impacto

de una intervención II

• Dos supuestos claves adicionales:

– Estabilidad del valor de la unidad de tratamiento (Rubin, 1980)?

– En inglés: Stable Unit Treatment Value Assumption (SUTVA) • Estado de tratamiento de cualquier unidad no afecta el resultados

potencial de las otras unidades (no interferencia)

• El tratamiento para todas las unidades es comparable (tratamientos sin variaciones)

• Externalidades, efectos de equilibrio general y SUTVA – Entrenamiento laboral (job training) muy masivo (EEG)

– Tratamientos que suponen transferencia de Información clave puede ser transmitida a red de amigos

– Tratamientos flexibles que se adaptan a la necesidad del beneficiario

Aleatorización y la estimación del impacto de

una intervención III

• Externalidades, EEG general establecen complicaciones, pero también oportunidades para otras preguntas.

• Externalidades y los mecanismos de difusión (Chong, et. al., 2012) – Estudio busca evaluar el impacto de un programa de capacitación por internet

en salud sexual y reproductiva para estudiantes de escuelas públicas en Colombia

– Escuelas tratadas asignaban tiempo a la revisión de esos materiales

– Escuelas asignadas aleatoriamente al tratamiento, pero con diferencias entre aulas

– En algunas escuelas tratadas, se observaban dos aulas, solo una tratada directamente

– No se encontraron efectos sobre los tratados indirectamente, el proceso de difusión no traspasa las aulas

– Si se encontró un efecto más fuerte para aquellos alumnos cuyos amigos cercanos también fueron tratados, sobre conocimiento y actitudes

Aleatorización y la estimación del impacto de

una intervención IV

• Otro ejemplo: Giné y Mansuri (2011) – Impacto de una campaña de promoción del proceso electoral sobre el

voto femenino y la elección del candidato en Pakistán

– Grupos de manzanas dentro de las localidades fueron asignadas aleatoriamente a tratamiento y control; algunos hogares no tratados directamente fueron observados al final

– Mujeres tratadas directa e indirectamente votaron más (12 pps) – large spillovers

– ¿Por qué nos importaría?

• 10 mujeres tratadas aumentaban en 9 las mujeres que votaban. Costo por voto: US$ 2.3.

Aleatorización y la estimación del impacto de

una intervención V

• Un ejemplo de tratamiento heterogéneo o flexible: programas integrales de desarrollo rural

– Varios elementos en la intervención: crédito, asistencia técnica, estrategias de comercialización, infraestructura

– Intervenciones se aplican según la demanda

– Descomposición de la intervención puede aportar mucho más información acerca de qué es lo que funciona

III. ¿Cómo aleatorizar?

¿Cómo operativizar una aleatorización?

• Aleatorización simple – Asumiendo que requieres 100 en cada grupo, de acuerdo a tus cálculos

de poder

• En STATA, sobre una base de datos con las unidades de observación, algo como esto: gen double random=uniform()

– sort random

– gen n=_n if random~=.

– gen treatment=0 if n<=100

– replace treatment=1 if n>=101 & n<=200

• ¿Qué pasa si no hay marco muestral posible?

• De todas maneras, este tipo de programa/estrategia no es el mayor de los factores a tomar en cuenta

20

Viabilidad de la aleatorización

• La definición de quiénes serán los beneficiarios del programa ha estado siempre en manos de los implementadores del programa

– La aleatorización les quita poder

– Impide que usen sus conocimientos acerca quiénes deben/merecen recibir el tratamiento del programa

– Consideraciones éticas para la exclusión de ciertos grupos “necesitados” de los beneficios del tratamiento (que ellos ya saben que los beneficia)

• Estrategias útiles:

– Puede ayudar que Implementadores incorporen criterios de elegibilidad, aunque ello puede limitar validez externa de los resultados

– De todas maneras, es útil que el grupo elegible sea más grande que el tamaño de la intervención que puede manejar el programa en una primera etapa

21

Alternativas para la aleatorización

• No es necesario limitarse a programas nacientes – Podemos trabajar con programas ya existentes

– Sobre innovaciones, expansiones, etc.

• Diferentes opciones:

– Diseño aleatorio por etapas

– Asignación aleatoria en la “burbuja”

– Diseño de estímulos

22

Diseños por etapas

• Es útil cuando restricciones administrativa o financieras impiden que el programa atienda a la población elegible desde el inicio – Nadie está siendo excluido totalmente: A la larga, todos obtienen

algo – Miguel y Kremer (2004) con proyecto de desparasitación: 25

escuelas cada año por tres años

• Algunas Inquietudes – Ventana de oportunidad puede ser más corta que el tiempo

necesario para que los efectos de un programa se materialicen (¿microcrédito?)

– Puede complicar la estimación de los efectos a largo plazo – Individuos en grupos rezagados pueden alterar su comportamiento

si saben que recibirán el tratamiento luego (y si la ventana es muy corta)

Diseño por etapas

Ronda 3 Tratamiento: 3/3

Control: 0 1

1

1 1

1

1

1

1

1

1 1

1

1

1

2

2

2 2

2

2

2 2

2

2

2

2 2

2

2

2

3

3 3 3

3

3

3

3 3

3

3 3

3

3

3 3

3

Ronda 1 Tratamiento: 1/3

Control: 2/3

Ronda 2 Tratamiento: 2/3

Control: 1/3

La evaluación

aleatoria finaliza

Aleatorización en “la burbuja”

• En ocasiones, un socio puede no estar dispuesto a aleatorizar entre personas elegibles - microfinanzas – El socio podría estar dispuesto a aleatorizar en “la burbuja”.

– Las personas “en la burbuja” están en la línea limítrofe en términos de elegibilidad

– Justo por encima del umbral no elegible, pero casi

• Karlan and Zinman (2007) – Aleatorizan la asignación de crédito entre las solicitudes “marginales”

de un banco en Sudáfrica, establecidas por un sistema de “credit scoring”

• ¿Qué efecto del tratamiento medimos nosotros? ¿Qué significa esto para la validez externa?

Asignación aleatoria en “la burbuja”

Dentro de la

burbuja,

compare el

tratamiento

con el control

Participantes No participantes

Tratamiento

Control

Diseño de estímulos

• En ocasiones, es práctica o éticamente imposible asignar el acceso al programa en forma aleatoria

– Pero la mayoría de los programas tiene una aceptación inferior al 100%

– En ese caso, puede asignarse aleatoriamente el estímulo para recibir tratamiento

• Ejemplo: León (2012)

– Votación en Perú es obligatoria y la ausencia supone una multa

– En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres

– Se asignó aleatoriamente los barrios de Lima en los cuales se proveía información acerca de la reducción de la multa

– elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados políticamente

Diseño de estímulos

Estimular

No estimular

participado

no participó

Cumplió

No cumple

compare los

estimulados con los

no estimulados

no compare

participantes con no

participantes

ajustar por incumplimiento en

la fase de análisis

Estos deben ser correlacionados

Métodos de asignación aleatoria - recapitulación

Diseño Los más

útiles

cuando…

Ventajas Desventajas

Lotería

Básica

•La suscripción

al programa es

sobrepasada

•Familiares

•Fáciles de entender

•Fáciles de

implementar

•Se pueden

implementar en

público

•Puede que el grupo de

control no coopere

•Desgaste diferencial

Diseño Los más útiles

cuando…

Ventajas Desventajas

Diseño Por

Etapas

•Se expanden en el

tiempo

•A la larga, todos

deben recibir

tratamiento

•Fáciles de entender

•La restricción es

fácil de explicar

•El grupo de control

cumple, porque ellos

esperan beneficiarse

más tarde

•La anticipación del

tratamiento puede afectar

la conducta a corto plazo

•Es difícil medir el

impacto a largo plazo

Métodos de asignación aleatoria - recapitulación

Diseño Son más útiles

cuando…

Ventajas Desventajas

Estímulo

•El programa

debe estar

abierto a todos

los recién

ingresados

•Cuando la

aceptación es

baja, pero se

puede mejorar

fácilmente con

un estímulo

•Se puede asignar

en forma aleatoria

a nivel individual,

aun cuando el

programa no sea

administrado a ese

nivel

•Mide el impacto de

aquellos que responden

al estímulo

•Necesita un aliciente

suficientemente grande

para mejorar la

aceptación

•El estímulo mismo

puede tener un efecto

directo

Métodos de asignación aleatoria - recapitulación

Otros aspectos de la aleatorización

• La unidad de aleatorización óptima (individual, grupos)

– Tratar a los maestros y medir el rendimiento educativo de los niños

– Reparto de alimentos en una comunidad: limitaciones éticas/políticas para excluir familias elegibles al interior

• Tamaño y balance de la muestra

– Con muestras relativamente pequeñas, es posible que el grupo de tratamiento o de control difieran en variables relevantes para el análisis

32

La unidad de aleatorización

• Como dijimos antes, diferenciar la unidad de aleatorización (UA) de la de observación (UO) puede permitir analizar otras preguntas: mecanismos de difusión

• En todo caso, la diferencia entre la UA y la UO requiere algún cuidado a la hora de estimar los efectos del programa – Ya no podemos usar las diferencias simples – Modelo con efectos fijos a nivel de la unidad mayor

(escuela, comunidad)

33

Yij =a +b ×Tij +vj +eij

Tamaño y balance de la muestra

• Si la muestra es relativemente, hay que estratificar – dividir la muestra en diferentes subgrupos

– seleccionar el tratamiento y control de cada subgrupo

• Que variables son buenos estratificadores? – variables que podrían tener un impacto importante sobre la variable

de resultado

– subgrupos sobre los cuales se pueda pensar que el impacto del programa podría ser diferente

– valor de la variable en la línea de base

• Estimación:

• Aunque reduce grados de libertad, si correlación con variable Y es fuerte, aumenta precisión del efecto estimado β

34

Yi =a +b ×Ti +gXi +ei

Evaluación de impacto como instrumento de gestión

• Diseño simple puede ser complicado de aceptar para el implementador – Resultado nulo o negativo no puede desligarse de su capacidad de

gestión

• Tratamientos múltiples – Decidir entre diferentes intervenciones posibles

– Diseño completo: control, tratamiento 1, tratamiento 2, tratamiento completo

– Permite comparar tratamientos, pero también analizar sustituibilidad/complementariedad

Yi =a +b1 ×T1 +b2 ×T2 +b3 ×T1 ×T2 +ei

Tratamiento 1

Tratamiento 2

Tratamiento 3

Tratamientos múltiples

¡Gracias!