gestÃo de impacto social · 2020. 6. 2. · desempenho dos alunos em testes padronizados de...
TRANSCRIPT
![Page 1: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/1.jpg)
WWW.INSPER.EDU.BR
GESTÃO DE IMPACTO SOCIAL
Sérgio G. LazzariniProfessor Titular da Cátedra Chafi Haddad, Insper
Coordenador do Insper Metricis
1/6/2020
![Page 2: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/2.jpg)
AGENDA
• Princípios de avaliação de impacto (ênfase em “adicionalidade”).
• Caso para discussão (Gera).
• Teoria de mudança e seleção de métricas.
• Formas de verificação de impacto.
• Avaliação de impacto como ferramenta de gestão.
![Page 3: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/3.jpg)
UM EXEMPLO
http://www.latinamericanstudies.org/brazil/brazil-school.jpg
Computadores em escolas públicas
http://friendsofpimpollo.org/wp-content/uploads/2012/08/Computer-Students-2.jpg
Resultado (após intervenção):+2.7% ganho anual no desempenho dos alunos em testes padronizados de aprendizagem.
Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para dar bônus por desempenho aos professores e diretores dependendo do aprendizado dos alunos. Escolas similares sem o projeto de computadores aumentaram seu desempenho em +2.9%.
![Page 4: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/4.jpg)
TEMOS QUE NOS PERGUNTAR:“O QUE TERIA ACONTECIDO À POPULAÇÃO-ALVO SEM O NOSSO PROJETO?”
Se tivéssemos uma máquina do tempo, poderíamos voltar no passado e medir a evolução nas comunidades sem o projeto...
![Page 5: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/5.jpg)
O PRINCÍPIO DA ADICIONALIDADE
70
80
90
100
110
120
130
140
In
dic
ad
or e
sco
lhid
o
ex.:
Renda m
édia
mensal (R
$ p
er
capita)
Antes (t= 0) Início do Projeto Depois (t = 1)
Comunidade “Tratada” Comunidade “Controle”
Impacto
Cenário “contrafactual”
![Page 6: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/6.jpg)
CASO: GERA VENTURE CAPITAL
• Fundo de investimento brasileiro com foco em educação.
• Investimentos visam atender um duplo objetivo de gerar impacto relevante na educação e obter retornos financeiros atrativos.
• Em 2013, adquiriu um conjunto de escolas na periferia do Rio.
(Estudo de caso disponível em https://www.insper.edu.br/wp-content/uploads/2018/09/GERA-Venture-Capital-Escalando-Oportunidades-Educacionais-Jovens-Baixa-Renda-parte-A-versao10-06-15.pdf)
![Page 7: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/7.jpg)
AS ESCOLAS ADQUIRIDAS
EscolasLegenda:
Como avaliar o
impacto da
aquisição?
![Page 8: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/8.jpg)
COMEÇANDO PELA TEORIA DE MUDANÇA
PROBLEMA
SOCIAL
![Page 9: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/9.jpg)
TEORIA DE MUDANÇA, APLICADA
![Page 10: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/10.jpg)
ATENÇÃO ESPECIAL PARA MÉTRICAS DE RESULTADO!
Características de métrica ideal:
1. Deve ter elevada relevância em termos de geração de impacto.
2. Deve ser passível de ação por parte do executor e investidores com vistas a atingir o resultado (em geral, resultados mais ligados às atividades).
3. Deve ser medida e verificada com relativa precisão.
4. Deve ter baixo custo de medição – considerando, inclusive, o custo de obter dados em “grupos de controle”.
![Page 11: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/11.jpg)
PROPOSTA DE MEDIÇÃO
Escolas de comparação EscolasLegenda:
![Page 12: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/12.jpg)
NO MOMENTO DO INVESTIMENTO...
70
80
90
100
No
ta p
adro
niz
ada
no
EN
EM
Aquisição
Alunos Gera
Δ Impacto
Aquisição da escola
Acompanha “x” anos antes Acompanha “x” anos depois
Alunos comparáveis em escolas privadas similares na mesma região
Os resultados a seguir correspondem
à medição inicial
![Page 13: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/13.jpg)
FIZEMOS UM PAREAMENTO DE ALUNOS PARECIDOS EM ESCOLAS CONCORRENTES NO MESMO BAIRRO
Escolas de comparação EscolasLegenda:
![Page 14: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/14.jpg)
RESULTADO DO PAREAMENTO: GERAL
-1,16-4,55 -5,45
-10,88
-60,00
-40,00
-20,00
0,00
20,00
40,00
60,00
Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes
Todas as escolas
Ciências humanas Ciências da natureza Linguagem Redação
Ex: No momento da aquisição, alunos das escolas adquiridas
têm desempenho em linguagem 5.45 pontos inferior
ao dos alunos similares em escolas da concorrência
![Page 15: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/15.jpg)
RESULTADO DO PAREAMENTO: SEPARADO POR REDE ADQUIRIDA
26,82 25,61
16,90
40,70
-28,77-24,23
-17,17
-45,25
-60,00
-40,00
-20,00
0,00
20,00
40,00
60,00
Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes
Rede "X" Rede "Y"
Ciências humanas Ciências da natureza Linguagem Redação
Como usar esses
resultados para
fins gerenciais?
![Page 16: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/16.jpg)
USO GERENCIAL DA ANÁLISE
26,82 25,61
16,90
40,70
-28,77-24,23
-17,17
-45,25
-60,00
-40,00
-20,00
0,00
20,00
40,00
60,00
Diferenças entre a nota do ENEM dos alunos da rede e de alunos similares (pareados) em escolas concorrentes
Rede "X" Rede "Y"
Ciências humanas Ciências da natureza Linguagem Redação
Pode-se estimular a transferência de boas
práticas de escolas que têm melhor desempenho
Meta gerencial: reduzir o gap com
escolas de comparação, com
remuneração atrelada ao desempenho
![Page 17: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/17.jpg)
OUTRO CASO: PPP DA “ROTA LUND” (MG)
Fonte: Agência Minas. Disponível em:
http://www.agenciaminas.mg.gov.br/noticias/rota-das-grutas-peter-lund-e-uma-viagem-no-tempo/ Acessado em 26 de ago. 2013.
Estudo de caso disponível em https://www.insper.edu.br/wp-
content/uploads/2018/09/instituto-semeia-bases-investimento-imapcto-unidades-conservacao-brasileiras.pdf
Gruta de
MaquinéFonte:
Secretária de Turismo de
Minas Gerais. Sérgio
Mourão –Acervo Setur
MG
Gruta Rei do Mato
Fonte: Secretária de Turismo de
Minas Gerais. Acervo Setur MG
![Page 18: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/18.jpg)
“MENU DE MÉTRICAS”
Métrica
promissora
para análise
de impacto
![Page 19: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/19.jpg)
PPP DA ROTA TURÍSTICA “LUND”: PROPOSTA (INICIAL) DE REMUNERAÇÃO
Notas: Estimativa para uma visitação média de 249 mil visitantes.
A definição da Nota Final de Desempenho Social é resultante da avaliação sobre 18 indicadores de impacto em três grandes blocos: i) Manejo do Patrimônio Natural e Histórico Cultural; ii) Visitação; e iii) Relações com o entorno.
A Contraprestação Mensal (CP) é definida pela oferta realizada pelo concessionário em função da Nota Final de Desempenho; número de visitantes, ticket médio dos visitantes e deduções e compartilhamentos pré-estabelecidos pelo governo no edital.
Informações disponíveis em <http://www.ppp.mg.gov.br/projetos-ppp/projetos-em-elaboracao/rota-lund-1/aviso-de-consulta-publica-ppp-rota-lund>
(R$400.000)
(R$300.000)
(R$200.000)
(R$100.000)
R$0
R$100.000
R$200.000
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Con
trap
resta
ção M
en
sal
Nota de Desempenho Socioambiental
CP Positiva (governo paga ao concessionário)
CP Negativa (concessionário paga ao governo)
![Page 20: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/20.jpg)
EXERCÍCIO: QUE MÉTRICAS PODEM SER ESTABELECIDAS PARA PPP DE ILUMINAÇÃO PÚBLICA?
Pense em:• Métrica(s): indicador(es)
de impacto.• Forma de verificação de
adicionalidade.
![Page 21: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/21.jpg)
DO ACOMPANHAMENTO DE INDICADORES ATÉ A ANÁLISE DE IMPACTO
Indicadores
de resultados
com medição
de impacto
Indicadores de resultados
(acompanhamento de KPIs
ao longo do tempo)
Indicadores operacionais
(execução de atividades ou
produtos)
SUGESTÃO: comece
aos poucos, iniciando
com a organização de
dados operacionais e
depois KPIs
![Page 22: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/22.jpg)
Fonte: Insper Metricis. Guia de Avaliação de Impacto Socioambiental para Utilização em Negócios e Investimentos de Impacto: Guia Geral
com Foco em Verificação de Adicionalidiade. 2020.
NÍVEIS DE MEDIÇÃO DE IMPACTO
![Page 23: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/23.jpg)
GUIA METRICIS:
https://www.insper.edu.br/wp-content/uploads/2020/05/Guia_Metricis_Portugues_4ed.pdf
![Page 24: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/24.jpg)
OUTROS RECURSOS
BLOG “IMPACTO SOCIAL” NA EXAME
• Estudos e notícias sobre impacto social. https://exame.com/blog/impacto-social/
OFICINA DE IMPACTO
• Objetivo: Fomentar a prática de avaliação de impacto no Brasil por meio de troca de experiências e interações entre gestores e especialistas.
• Próxima reunião: 27/8/2020, das 9 às 12 h.
• Todos convidados! Possível também assistir remotamente. Interessados enviar e-mail para: Amanda Rufino [email protected]
![Page 25: GESTÃO DE IMPACTO SOCIAL · 2020. 6. 2. · desempenho dos alunos em testes padronizados de aprendizagem. Suponha que, AO MESMO TEMPO, o governo tenha implantado um programa para](https://reader033.vdocuments.pub/reader033/viewer/2022053109/607da74f4b9ae56a0e040088/html5/thumbnails/25.jpg)
25
insper.edu.br/nucleo-medicao-investimentos-de-impacto