Caio PizaMaio 12, 2015
Istanbul, May 11-14, 2015
Métodos Não-Experimentais
2
Motivação
3
Lição # 1:
4
Qual o Desafio de Qualquer AI?• Obter um bom contrafactual para
identificar o efeito causal de uma intervenção comparando
O que aconteceu
O que teria ocorrido se o programa não
existisse?Com
Problema fundamental de inferência causal
5
Contrafactual: IntuiçãoGrupos de tratamento (T) e controle
(C)• Características observáveis e não-
observáveis idênticas, na média. • A diferença entre as variáveis de
resultado dos grupos de T e C é exclusivamente devida à intervenção (ou tratamento)
6
Ferramentas para obter o contrafactual
Não é uma boa estratégia
• Antes– Depois• Participantes – Não-Participantes
Boas estratégias desde que algumas
hipóteses sejam observadas
• Diferença-em-diferenças• Regressão descontínua
Efeito causal • Experimentos – Randomized Control Trials
7
Ferramentas para obter o contrafactual
Não é uma boa estratégia
• Antes– Depois• Participantes – Não-Participantes
Boas estratégias desde que
algumas hipóteses sejam
observadas
• Diferença-em-diferenças• Regressão descontínua
Efeito causal • Experimentos – Randomized Control Trials
8
Análise do Contrafactual…• Método experimental: Compara
grupos que, na média, são idênticos
• Métodos não-experimentais: Compara grupos similares
9
Estudo de caso:Retorno do capital nas pequenas
empresas• Problema: Pequenas empresas lidam com
alguma restrição para acessar crédito• Intervenção: injeção de capital – R$300 e R$
600 (dois tratamentos!) • Variável de resultado: taxa de lucro• Alguns números:– 800 empresas na linha de base (2007)– Mais de 50% dessas empresas investem menos
do que R$ 600
10
Como avaliar esse programa?Participantes – Não-Participantes
Case: O subsídio is oferecido às pequenas empresas• O crédito subsidiado foi oferecido para todas as
pequenas empresas com >= 6 meses de atividade
• 300 empresas aplicaram e receberam financiamento
• Plano: comparar a taxa de lucro das empresas que aplicaram com as que não aplicaram
11
Participantes – Não-Participantes
Método Tratamento Comparação Diferença
Participantes VS. Não-participantes 2.1% 0.7% 1.4 pp.
Problema: Viés de Seleção. Por que apenas 300 aplicaram?- São as que tem melhor organizadas, mais tempo no mercado etc.
(observáveis)- Empreendedores mais motivados, informados etc. (não-observável)
Parts of this presentation build on material from Impact Evaluation in Practice www.worldbank.org/ieinpractice
12
• Plano: comparar a taxa de lucro das empresas tratadas antes e depois do subsídio
Como avaliar esse programa?Antes – Depois
13
Antes-Depois
Método Tratados (depois) Comparação(antes) Diferença
Antes-Depois 2.1% 1.5% 0.6 pp.
Problema: Efeito do tempo. Outras coisas podem ter acontecido nesse período.- A economia pode ter crescido, outras programas de crédito subsidiado
foram criados etc.
2007 2008
Antes – DepoisComparação: Mesmas empresas antes e depois da intervenção.
Problema: Outras coisas podem ter ocorrido.
Participantes – Não-Participantes
Comparação: Participantes e não-participantes
Problema: Viés de seleção. Não sabemos porque algumas participaram e outras não.
Esses 2 métodos não são válidos para AI
Ambos os métodos conduzem a estimativas viesadas do efeito do programa
Antes-Depois e Monitoramento
• Monitoring tracks indicators over time – Among participants
• It is descriptive before-after analysis • It tells us whether things are moving in
the right direction
• It does not tell us why things happen or how to make more happen
Legovini
16
Lição # 2
VS.
17
Lição # 2
VS.• Qualquer grupo de comparação NÃO
É um bom grupo de comparação!
Avaliação de Impacto • Obtém a média da variável de resultado
ao longo do tempo para os grupos de T e comparação
• Compara – O que aconteceu com – O que teria acontecido na ausência do
programa (contractual)
• Identifica o efeito causal– Controlando por todos demais fatores que
mudam no tempo18
19
Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua
20
Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua
21
Como avaliar esse programa?Diferença-em-Diferenças
• Plano: combinar a dimensão temporal do antes-depois com a decisão de participação (participantes vs. não-participantes)
• (Sob algumas hipótese) este método resolve:– Efeito do tempo: outras coisas podem ter
ocorrido e afetado o programa ao longo do tempo
– Viés de seleção: não sabemos porque alguns participaram e outros não, mas essa decisão depende de características que não variam no tempo
2007 20080
0.5
1
1.5
2
2.5
participants
P08-P07=0.6
22
Impacto = (P2008-P2007) = 2.1 – 1.5 = + 0.6
Antes-Depois
%
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
P08-P07=0.6
23
NP08-NP07=0.2
Impact = (P2008-P2007) -(NP2008-NP2007)= 0.6 – 0.2 = + 0.4
Antes-Depois + Não-Participantes: Diferença-em-Diferenças
%
Você também pode usar uma tabela…
Taxa de lucro
2007 2008 Diferença (2007-2008)
Participantes (P) 1.5% 2.1% 0.6 pp
Não-participantes (NP) 0.5% 0.7% 0.2 pp
Diferença (P-NP) 1.0 pp 1.4 pp 0.4 pp
24
Hipótese de tendência comum (ou paralela)
2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Impacto = +0.4 pp
%
Conclusão• O programa de crédito subsidiado
funcionou.
• A hipótese de tendência comum é plausível?
Use dados históricos se possível…
2006 2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
%
Diff-in-diff combina Participantes-Não-participantes com Antes-Depois.
Diferença-em-Diferenças
O método contorna os problemas encontrados nos
métodos anteriores sob
Possível de verificar se houver dados históricos
É possível refinar a análise se este método for combinado com o
método de pareamento (propensity score matching) na
linha de base
… a hipótese de tendência comum entre os grupos de T e C
na ausência do programa
Contorna o problema de viés de seleção se a decisão de
participação depender de não-observáveis fixas no tempo
29
Diff-in-Diff com pareamento (matching)
• Intuição do método de pareamento?1. O programa foca um grupo-alvo (e.g. firms) com certas
características observáveis2. O pesquisador CONHECE as características das firmas
que as tornam elegíveis para entrar no programa3. Empresas com características observáveis similares
àquelas que decidem participar deveriam ser um bom grupo de comparação
4. Na prática gera-se um indicador (escore de propensão -- propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com ‘mesmos’ valores do indicador
30
Pareamento…• Na maioria dos casos não há pares para todos!• Exemplo
Indicador
Não-participantesParticipantes
Suporte comum
31
Na prática é um pouco mais complicado!
Source: Caliendro, 2008: 41.
32
Passos importantes para o pareamento…
Source: Caliendro, 2008: 33
33
Passos importantes para o pareamento…
Source: Caliendro, 2008: 33
Não se desespere! Há uma forma de se evitar tudo isso!
34
Resumo dos efeitos obtidos com diferentes métodos
Método Tratamento Comparação Diferença
Participantes - Não-participantes 2.1 0.7 1.4 pp
Antes - Depois 2.1 1.5 0.6 pp
Diff-in-diff 0.6 0.2 0.4 pp
• Se o método for fraco ele conduzirá a respostas erradas! Exemplos: Participantes vs. Não-Participantes e Antes-Depois NÃO SÃO bons métodos para AI
• Diff-in-diff é válido sob algumas hipóteses
35
Métodos Não-Experimentais• 1. Diferença-em-diferenças (DD)• 2. DD com pareamento • 3. Regressão descontínua (RDD)
36
Como avaliar esse programa?Regressão Descontínua
Plano: subsídios oferecidos a empresas com base num escore de crédito • Todas as empresas que aplicam para o programa têm um
indicador (escore) gerado com base em algumas características da firma como idade, lucratividade, faturamento, número de empregados etc. O escore varia de 0 a 100 onde 0 significa muita restrição ao crédito e 100 baixa restrição ao crédito
• O programa foca nas empresas com maior restrição: score < = 50
• Idéia: comparar taxa de lucro de empresas com escore pouco abaixo de 50 (elegíveis ao programa de crédito subsidiado) com empresas com escore pouco acima de 50 (não-elegíveis ao programa)
Fonte: WB – Human Development Network.
Taxa de lucro
Não-elegíveisElegíveis
3%
2.5%
2%
1.5%
RDD – Após a Intervenção
Fonte: WB – Human Development Network.
RDD identifica o efeito local
Efeito do tratamento
Taxa de lucro3%
2.5%
2.0%
1.5%
39
RDD
Método Tratamento Comparação Diferença
Regressão Descontínua 2.35% 2.1% 0.25 pp
Importante: O impacto é válido apenas para aqueles indivíduos que estão próximos à linha de corteEsse é um grupo interessante para o seu programa?
• Método poderoso se houver:– Uma variável ou indicador contínuo que define
eligibilidade– Uma linha de corte (cut-off) claramente
definido e não manipulável
40
Resumo dos efeitos obtidos com diferentes métodos
Método Tratamento Comparação Diferença
Participantes - Não-participantes 2.1 0.7 1.4 pp
Antes - Depois 2.1 1.5 0.6 pp
Diff-in-diff 0.6 0.2 0.4 pp
Regressão Descontínua 2.35 2.1 0.25 pp
• Métodos fracos => resultados equivocados!• RDD efeito causal local => efeito bem menor! • Resultados confiáveis são obtidos apenas com métodos
rigorosos
41
Quão fácil (ou complicado) é tudo isso?!
Thank you! facebook.com/ieKnow
#impacteval
blogs.worldbank.org/impactevaluations
microdata.worldbank.org/index.php/catalog/impact_evaluation
http://dime.worldbank.orgWEB