avaliações de políticas sociais -...
Post on 07-Feb-2019
218 Views
Preview:
TRANSCRIPT
Avaliações de Políticas Sociais
Alexandro Rodrigues Pinto
1
Brasília, 10 de setembro de 2014
Quando usar uma avaliação de programa?
O que veremos nesta apresentação?
I - Conceitos de Avaliação
II - Classificação de Avaliação
III - Usos da avaliação
2
Definição mais formal:
“Investigação sistemática da
operação e dos resultados de um programa ou política, comparada com um conjunto de padrões implícitos ou explícitos, como meio de contribuir para o aperfeiçoamento do programa ou da política”
Weiss, C.H (1998, p.4)
Investigação sistemática
operação e dos resultados
padrões implícitos ou explícitos aperfeiçoamento
3
Definição mais formal:
“É o uso de métodos de pesquisas sociais para sistematicamente investigar, de forma adaptada ao ambiente político e organizacional, a efetividade de um programa de intervenção social, de forma a informar a ação social na melhoria das condições sociais ”
Rossi, P.H; Lipsey, M.W e Freeman, E. (2004, p.16)
4
Perguntas a serem Respondidas pela Avaliação de Programas:
• Qual a natureza e o escopo do problema ?
• Onde o problema está localizado?
• Quem, como e quanto são afetados?
• O problema ou seus efeitos justificam a criação, a modificação ou expansão de
um programa?
• Que opções de intervenções factíveis podem promover mitigação do
problema?
• Qual é a população alvo adequada para intervenção?
• A intervenção está atingindo a população alvo?
• A intervenção está sendo implementada de forma adequada?
• A intervenção está atingindo os objetivos traçados?
• Os benefícios ofertados valem os custos do programa ?
5
“...A avaliação é uma forma de pesquisa social aplicada,
sistemática, planejada e dirigida; destinada a identificar, obter e
proporcionar, de maneira válida e confiável, dados e informação
suficiente e relevante para apoiar um juízo sobre o mérito e o
valor dos diferentes componentes de um programa (tanto na
fase de diagnóstico, programação ou execução), ou de um
conjunto de atividades específicas que se realizam, foram
realizadas ou se realizarão, com o propósito de produzir efeitos e
resultados concretos. Visam comprovar a extensão e o grau em
que se deram essas conquistas, de forma tal que sirva de base
ou guia para uma tomada de decisões racionais e inteligentes
entre cursos de ação, ou para solucionar problemas e promover
o conhecimento e a compreensão dos fatores associados ao
êxito ou ao fracasso de seus resultados...”
AGUILAR e ANDER-EGG, 1994: 31-2 ).
6
“A avaliação é uma empreitada racional que acontece em um contexto político”
• Os políticas e os programas que são avaliados são resultados de
processos, debates e tensões políticos.
• Os resultados de uma avaliação deve para ser útil entrar no foco da
arena política, competindo com outras fontes que informam a tomada
de decisões
• A avaliação em si é uma instância política
(Weiss apud Rossi, 2004, p.19)
7
“Avaliar é o processo de determinar o mérito e valor das coisas, e a avaliação é o resultado desse processo. Avaliação não é a mera acumulação e sumarização de dados, que são claramente relevantes para o processo de tomada de decisão.
Em todos os contextos, a coleta e análise de dados que são necessários para a tomada de decisão, por mais difícil que seja, representa apenas uma das pernas dos elementos chaves da avaliação. Ausente o outro elemento e o e o procedimento para combina-los, falta elementos para qualificar o processo como avaliação.”
Scriven apud Rossi (2004, p.17).
8
“La evaluación nació el séptimo día de la Creación, cuando Dios miró todo lo que había creado y declaró ‘Es bueno.’
Con esa sola frase, Dios se convirtió en el primer evaluador del mundo. No obstante, la evaluación nacida en los cielos resultó insuficiente y demasiado subjetiva para algunos. Por lo tanto, al escuchar la evaluación de Dios (autoevaluación, por cierto), el diablo objetó e insistió ‘¿cómo sabe que es
bueno? ¿cómo lo midió? ¿con qué indicador juzgó la bondad de su creación? ¿con qué lo comparó?´
Y, así, nace la evaluación como la conocemos hoy -- ¡en los fuegos del infierno.”
(Karen Mokate, 2003)
10
Nivelamento de conceitos:
Monitoramento:
“Uma função contínua que se utiliza da coleta sistemática de dados de indicadores específicos para provê à gestão e aos steakholders com indicações acerca do progresso e atendimento de objetivos de um dado programa em andamento” (OECD, 2002)
Acompanhamento rotineiro de informações prioritárias sobre um programa e seus efeitos esperados.
Acompanhamento de custos e o funcionamento do programa
Provê informações que podem ser utilizadas para avaliação dos programas
Monitoramento
Clarear os objetivos do programa
Liga as atividades e seus insumos aos objetivos
Traduz objetivos em indicadores de performance e estabelece metas
Rotineiramente coleta dados desses indicadores e compara os resultados com as metas
Reportam progresso ao gerentes e os alertam sobre problemas
Avaliação
Analisa por que os resultados
pretendidos foram ou não atendidos
Investiga relações causais
Explora resultados inesperados
Possibilita um melhor entendimento
sobre o funcionamento do programa
Oferece recomendações para
melhoria dos programa
Adaptado de JUSEK, J. Z & RIST, R.C. Ten Steps to a
Results-based Monitoring and Evaluation System.
Washington, 2004. 11
• Monitoramento
Atividade de gestão
interna e contínua
Acontece durante a
implementação do
Programa ou Projeto
Avaliação
Atividade interna ou
externa
Pode acontecer antes,
durante ou após a
implantação de um
programa.
12
Diferenças
• Utilidade para o aprimoramento das políticas públicas
• Pergunta avaliativa focada no programa social
• Julgamento de Qualidade
• Local de ação
• Conflitos entre avaliadores e implementadores
• Publicação dos resultados
• Lealdade da avaliação
# # #
O que difere a avaliação de outras investigações sociais?
13
Similitudes
• Tentam descrever, entender a relação entre variáveis e traçar uma relação causal entre sequência de variáveis.
• Usam um conjunto de métodos de investigação
= = +
O que difere a avaliação de outras investigações sociais?
14
Data
Avaliações Classificação e Desenhos
Metodológicos
16
Com relação a intenção da Avaliação Formativa x Somativa
“Quando o cozinheiro prova a sopa, isso é uma avaliação formativa. Quando é o cliente que a prova, essa é uma avaliação somativa”
Michael Scriven
17
Com relação a intenção da Avaliação
Formativa Somativa
Determinar Valor ou
qualidade Determinar Valor ou
qualidade
Melhorar o programa Tomar decisões sobre o futuro
do programa ou sobre sua
adoção
Adminstradores e equipe
do programa
Adminsitradores e/ou
consumidores potenciais ou órgão
financiador
Avaliadores internos Avaliadores externos
Informações para equipe
do programa melhorá-lo
Informações sobre a
continuidade, ampliação,
redução ou finalização de um
programa 18
Com relação a intenção da Avaliação
Formativa Somativa
Que informações são
necessárias? Quando? Que evidência é necessária
para as principais decisões?
Diagnóstico Tomada de decisões
Às vezes informais,
frequente Válidas e confiáveis, não
frequente
Pequena Grande
O que tem funcionado?
O que precisa ser melhorado?
Como pode ser melhorado?
Quais foram os resultados?
Quem participou? Em que
condições? Com que treinamento?
Quanto custou? 19
Com relação a intenção da Avaliação
Ênfa
se
Rela
tiva
Vida do Programa
20
Em função de quem realiza a Avaliação: Externa e Interna
• Externa: realizada por avaliadores externos a organização
• Interna: avaliadores pertencem ao quadro da organização
21
Em função de quem realiza a Avaliação: Externa e Interna
“A avaliação deve considerar não somente o descobrimento de melhores programas para cumprir com os objetivos estabelecidos, mas também a própria alteração de objetivos...
Mas os homens que foram socializados para aceitar certos objetivos podem mostrar-se resistentes quanto a mudá-los. A resistência a mudança reveste, portanto, a forma de conservação dos objetivos socais. As dificuldades são multiplicadas quando se aprecia que os objetivos podem estar ligados a clientela - os pobres, os que trabalham ao ar livre, os lenhadores - aqueles com quem se identificam os membros da organização. Os objetivos da organização podem tê-los atraídos precisamente porque a veem como um meio de servir as pessoas a quem estimam. Portanto, podem considerar que as mudanças de objetivos são propostas para ‘trair‘ a clientela que desejam atender. Para eles, a avaliação se converte em inimiga do povo”
(Smith, 1981 apud Cohen e Franco, 2004, p.133)
22
Avaliação Externa x Interna
Sim
Não
Sim
Sim
Sim
Não
Não Não
Não
Adaptado de Whorthen, Sander e Fitzpatrick(2004, p. 290).
23
Avaliação Externa x Interna
• Confiança da equipe demandante
• Objetividade
• Compreensão do programa
• Potencial de utilização
• Autonomia
24
Avaliação Externa x Interna
• Maior probabilidade de ser imparcial
• Maior probabilidade de obter crédito externo
• Contratação de conhecimento especializado que não está disponível na equipe
• Avaliadores externos oxigenam a avaliação
• Maior confiabilidade do público interno
• Avaliadores externos menos preocupados com possíveis resultados negativos ou impopulares
25
Avaliação Externa x Interna
• Maior familiaridade com os modelos do programa
• Conhecem melhor os vários interessados na avaliação e suas conveniências, preocupações e influências
• Conhecem a história da entidade e as dinâmicas da tomada de decisão
• Continuidade após a avaliação -> defensor da conclusões
• Início mais rápido da avaliação, menor custo administrativo
• A instituição conhece os pontos forte e fracos dos avaliadores internos
26
Avaliação Externa x Interna
• Complementaridade:
– Os avaliadores externos: imparcialidade, conhecimento específico, novas visões sobre o programa. Tarefas sensíveis a tendenciosidade
– Os avaliadores internos: conhecimento sobre o programa, familiaridade com a organização, coleta de dados administrativos,
27
Em função da Metodologia
• O mundo consiste em “fatos sociais” observáveis, mensuráveis e
analisáveis
• Avaliador é um ser objetivo e externo ao objeto de estudo
• A avaliação é construída para testar uma hipótese derivada de uma teoria
social
• As hipóteses são normalmente quantitativa e avaliadas com teste de
significância estatística
• As relações de causa e efeito podem ser identificadas e estudadas
• As mudanças na vida das pessoas e em seus comportamentos podem
ser quantificadas e analisadas por métodos estatísticos confiáveis 28
Em função da Metodologia
• Apelo por metodologia experimental ou quasi-experimental
• Pesquisa estruturada (unidade de análise clara: pessoas, domicílios,
propriedades rurais etc)
• Observações estruturadas (operacionalizada por variáveis que podem ser
quantificadas):
Nutrição: medidas antropométricas
Segurança Alimentar: EBIA
Consumo alimentar: gastos
• Uso extensivo de questões pré-codificadas e fechadas
• Variáveis numéricas (variáveis inteiras) ou variáveis fechadas (ordinal ou
nominal)
29
Em função da Metodologia
30
Em função da Metodologia
31
Em função da Metodologia
Ida
de
0 - 5 anos
6 - 10 anos
11 - 15 anos
16 -20 anos
21 -30 anos
31 - 45 anos
46 -55 anos
56 -65 -anos
66 - 75 anos
> 75 anos
Moradia
Assistência Social
Serviço de Saúde Desenvolvimento Econômico
Justiça Educação
Sistemas
Comunitários
Cubo para Análise de Objetivos para Análise de
Programa
Adaptado de Worthen, Sanders e Fitzpatrick (2004, p.
138) 32
Em função da Metodologia
33
Em função da Metodologia
34
Em função da Metodologia
35
Em função da Metodologia
36
Em função da Metodologia
• Análise de consistência interna
• Variáveis chaves (ex:renda x escolaridade do chefe do
domicílio x posse de bens)
• Consistência lógica (ex: homem que declara está grávido)
• Verosimilhança
• Consistência externa (comparação com outras pesquisas,
censo demográfico etc)
37
Em função da Metodologia
• Possibilidade de generalização
• Representatividade estatística
• Possibilidade de estimar a
magnitude e a distribuição do
impacto
• Documentação clara do método
• Abordagem padronizada
• Controle estatístico de vieses e
fatores externos
• Podem não capturar diversos tipos
de informações
• Grupos de difícil alcance
(dificuldade em estimar os efeitos)
• Abordagem da pesquisa pode
alienar o respondente
• Longo prazo para ter resultados
• Redução a dados pode representar
um empobrecimento das
informações (realidade é muito
mais complexa)
38
Em função da Metodologia
• Construir a validade do instrumento
Alta confiabilidade
Baixa Validade
Baixa confiabilidade
Baixa Validade
Alta confiabilidade
Alta Validade
Adaptado de Babbie (2010, p.155) 39
Em função da Metodologia
• Problemas com a validade externa
• A amostra não cobre a população de interesse
• Mudanças no entorno do programa podem levar a resultados
diferentes
• Resultados do programa pode ter resultados em diferentes áreas
(urbano x rural etc)
• A atitude de agentes políticos ou policymakers pode alterar os
resultados do programa
• Influência sazonal
• As características da unidade de análise estudada não permite
comparação com outras amostras
• O desenho amostral não permite generalizações
Bamberger, Rugh e Mabry (2012, p.554) 40
Em função da Metodologia
• Descontextualizar a avaliação
• Não conseguir explicar os resultados
• Inflexibilidade dos desenhos tradicionais (experimentais e
quasi-experimentais)
• Amostragem
• Assegurar grupo controle
• Longo atraso na entrega dos resultados
• Dificuldade de generalizar para outras configurações
41
Em função da Metodologia
• O pesquisador faz parte do mundo social
• Reconhece a impossibilidade do distanciamento do objeto de estudo
• Muitas não partem de uma hipótese. Quando usadas são indutivas
• A variável chave é o significado atribuído as situações e os fenômenos
sociais
• Programa não podem ser estudados independentemente do seu contexto
• A mutiplicidade de variáveis que atuam sobre os fenômenos sociais
impedem que se estabeleça relações de casualidade
42
Em função da Metodologia
• Amostragem é intencional
• Menor número de pessoas entrevistada, maior profundidade
• O instrumento de coleta de dados pode ser modificado no campo
• Entrevistas
• Estruturadas
• Semiestruturadas
• Não estruturadas
• Grupo focais
• Observação
• Observação participante
• Registro fotográfico
• Análise de documentos e artefatos 43
Em função da Metodologia
44
Em função da Metodologia
45
Em função da Metodologia
• Flexibilidade na condução da
pesquisa
• Amostra nos objetos de alto
valor
• Foco holístico
• Múltiplas fontes permitem uma
compreensão mais completa do
fenômeno
• Relatórios descritivos
• Triangulação reforça a validade
dos achados
• Falta de clareza do desenho
pode frustrar os clientes
• Dificuldade de generalização
• Múltiplas perspectivas - difícil
encontrar consenso
• Métodos interpretativos muito
subjetivos
46
De acordo com a fase uma Política Pública
Definição da
Agenda
Formulação
Implementação Resultados
Demanda
47
Por que avaliar um programa?
“Avaliação é uma empreitada racional
que acontece por razões não racionais
ou, no mínimo, por razões não
informadas” (Weiss, 1998, p. 23)
48
Uma avaliação deve ser sempre realizada?
Condições nas quais uma avaliação não deve ser realizada:
Quando o programa tem pouca rotina ou pouca estabilidade
Quando não existe consenso entre os apoiadores do programa
sobre qual é o objetivo do programa
Quando os financiadores da avaliação ou gerentes do programa
impõe limites muito rígidos sobre o que deve ser avaliado
Quando não existe dinheiro ou tempo suficiente ou equipe
qualificada para realizar a avaliação
49
Uma avaliação deve ser sempre realizada?
Condições nas quais uma avaliação não deve ser
realizada:
Programa pouco relevante
Os resultados da avaliação não serão utilizados
A avaliação não tem como produzir informações úteis
e válidas
A avaliação é prematura para o estágio do programa
A propriedade da avaliação é duvidosa
50
Uma avaliação deve ser sempre realizada?
É preferível não ter a ter uma avaliação ruim.
“Uma ‘avaliação’ mal concebida ou mal executada
produz informações que, no melhor dos casos,
seriam enganosas e, no pior, absolutamente, falsas”
(Whorthen, Sander e Fitzpatrick, 2004, p. 44).
“Dados precários podem induzir os adminsitradores ao erro e
tranqüilizá-los com falsa segurança de pensar que as
informações corretas que receberam descrevem fielmente
suas atividades”
(Whorthen, Sander e Fitzpatrick, 2004, p. 277). 51
Entendendo a motivação da avaliação
“Determinar o propósito talvez seja a
decisão mais importante que o financiador
de uma avaliação vai tomar no decorrer de
um estudo. E compreender esse propósito
talvez seja a percepção mais importante
que o avaliador pode ter.”
(Whorthen, Sander e Fitzpatrick, 2004, p. 270-1).
52
Usos da Avaliação
53
54
55
56
57
Avaliando a necessidade de uma Avaliação
Pode realizar uma avaliação se o programa
tem:
Objetivos, efeitos (desejáveis e não
desejáveis) e necessidade de informações
bem definidos
Objetivos plausíveis
Uso que será dado as informações bem
definidos
58
Avaliando a necessidade de uma Avaliação
Etapas:
Esclarecer o objetivo da avaliação
Esclarecer o modelo ou teoria do programa
Contrastar : teoria, a implementação e meta
do programa
Contrastar: as diferentes abordagem
metodológica, expectativas da avaliação (escopo, tempo, recursos)
59
Avaliando a necessidade de uma Avaliação
Hierarquia de Avaliações
(Rossi, Lipsey e Freeman, 2007, p.80)
60
Conhecendo o Programa a
ser avaliado
Por que investir em conhecer o Programa?
• Desenvolver compreensão de contexto do ambiente
• Formular melhor as questões avaliativas
• Compreender os dados
• Interpretar as evidências
• Elaborar recomendações
• Auxilia na elaboração do relatório
• Para meta-análises posterior
Weiss (1998, p. 46-7) 61
Conhecendo o Programa a ser
avaliado
• Análise de contexto da avaliação
• Identificar grupos interessados na e
afetados pela avaliação
• Conhecendo a demanda do “cliente”
• Identificação e análise dos steakholders
• Construção da teoria do programa
62
Conhecendo o Programa a ser
avaliado Análise de contexto da avaliação
“Mas ainda existe a tendência lamentável de
responder ao ‘bebê chorão’ dirigindo os estudos
avaliatórios àqueles que criticam e vociferam ou
aos poderosos. E os aposentados sem filho em
idade escolar, só lembrados quando do aumento de
impostos com finalidade educacionais, é prudente
continuar a ignorá-los?”
(Whorthen, Sander e Fitzpatrick, 2004, p. 302).
63
Conhecendo o Programa a ser
avaliado
Identificar grupos interessados na e afetados pela
avaliação.
“Nenhum mecanismo procedimental parece capaz de
identificar - para não falar em representar - todo o
conjunto de usuários potenciais dos resultados da
avaliação ou das perguntas que eles vão levantar.
Mas, no curso normal das coisas, a representação
adequada dos interesses parece viável”
(Weiss, 1981,p.259)
64
Conhecendo o Programa a ser avaliado
Identificação de Grupos
interessados na Avaliação
Conhecer o Programa Identificação de Apoiadores e
Opositores
Identificar a necessidade
de e da Avaliação Fazer as perguntas
avaliativas adequadas
65
Conhecendo o Programa a ser avaliado
Não considerar os diversos interlocutores
interessados na avaliação na elaboração das
pergunta(s) avaliativa(s) :
• Pouca ou nenhuma compensação pelas despesas de
avaliação
• Foco míope da avaliação
• Perda de apoio e credibilidade
• Conclusões injustificadas
(Whorthen, Sander e Fitzpatrick, 2004, p. 342). 66
Conhecendo a demanda do Cliente
• Quem é o cliente da avaliação?
• Qual a motivação que originou a
solicitação de avaliação?
• Qual(is) a(s) pergunta(s) chave(s) que
é/são esperada(s) que a avaliação
responda?
• Qual o tempo e os recursos disponíveis
para realizar a avaliação?
67
Identificação e Análise dos Steakholders
Quem são os steakholders?
• Participantes
• Beneficiários diretos e indiretos
• Financiadores
• Burocracia
• Agências do executivo e legislativo
• Tomadores de decisões
• Comunidade e grupos de interesse
68
Identificação e Análise dos Steakholders
Por que fazer uma análise de Steakholders?
• Ampliar as perguntas avaliativas
• Identificar os grupos que podem influenciar a
avaliação
• Antecipar as influências
• Desenvolver estratégias para potencializar as
influências positivas e mitigar as negativas
(Imas e Rist, 2009, p.147)
69
Identificação e Análise dos Steakholders
(Whorthen, Sander e Fitzpatrick, 2004, p. 304)
Steakholders Para ações
políticas
Para tomar
decisões
operacionais
Para dar
contribuições
à avaliação
Para reagir Só por
interesse
Criadores do
programa
Financiadores
do Programa
Pessoal/órgão
que
identificaram a
necessidade
local
Identificando os Steakholders e investigando os seus
interesses na avaliação
70
Identificação e Análise dos Steakholders
(Imas e Rist, 2009, p.147)
Steakholders
Interesse no
projeto,
programa ou
política
Investigar o
potencial impacto
da avaliação nos
steakholders e dos
steakholders na
avaliação
Potenciais
estratégias para
obter suporte ou
mitigar oposição
•Extremamente
importante
•Importante
•Pouco importante
71
Identificação e Análise dos Steakholders
Pote
ncia
l d
e A
feta
r a
avalia
çã
o
Interesse na avaliação
Apoio Oposição
72
Conhecendo o Programa a ser Avaliado
Teoria do Programa e Marco Lógico
“É uma descrição (visual) de como uma
intervenção é suportada para entregar os
resultados desejados. Ela descreve a lógica
causal de como e por que um determinado
programa, projeto ou política está atingidos
os seus resultados esperados”
(Gertler et al., 2011, p.21)
73
Teoria do Programa
Insumos Atividades Produtos Resultados Impacto
Ambiente Externo
Ambiente
Político
Contexto
da Política
Quadro
Macroeconômic
o
Opinião
pública
Atores
externos
(Adaptado de Imas e Rist, 2009, p.152-3) 74
Teoria do Programa
• Ajuda a identificar os elementos críticos para o sucesso
do programa
• Ajuda a construir um entendimento comum sobre
Programa
• Produz uma base para avaliação
• Elege indicadores
• Identifica medidas para determinar o progresso de um
variável progresso de uma variável interveniente de que
os resultados dependem
• Identifica as pressupostos/teorias que suportam o programa
75
Teoria do Programa
Limitações
• É uma representação da realidade, não uma realidade
• Pode não incluir os efeitos além daqueles esperados
• Dificuldade de estabelecimento de causalidade
• Parte do pressuposto que a escolha da intervenção é a
mais correta.
• O que estamos fazendo é mesmo o mais correto?
76
Árvore de Problema
Causa 1 Causa 1I Causa III
Causa IV Causa V
Problema
Conseqüênci
a 1
Conseqüênci
a II
Conseqüênci
a III
Conseqüênci
a IV
Programa
Objetivo
Geral
Público
Alvo
Beneficiário
s
77
Teoria do Programa Modelo Lógico
• O modelo é uma representação acurada do programa?
• Os principais elementos estão bem definidos?
• Existe alguma lacuna lógica na descrição do programa?
• Os elementos são necessários e suficientes?
• As relações são plausíveis e consistentes?
• É realístico assumir que o programa irá resultar no atendimento dos objetivos pretendidos?
78
Teoria do Programa
Construindo o Modelo Lógico
• Revisão da literatura
• Entrevista com os responsáveis pelo
programa
• Oficinas de discussão
79
Teoria do Programa
Verificação de qualidade
• O modelo é uma representação acurada do
programa?
• Os principais elementos estão bem definidos?
• Existe alguma lacuna lógica na descrição do
programa?
• Os elementos são necessários e suficientes?
• As relações são plausíveis e consistentes?
• É realístico assumir que o programa irá resultar no atendimento dos objetivos pretendidos?
80
Teoria do Programa
“Uma cadeia de resultados provê um
mapa útil para selecionar os indicadores
que poderão ser utilizados no
monitoramento e/ou avaliação do
programa.”
(Gertler et al., 2011, p.27)
81
Teoria do Programa
Indicadores de Performance
• ESpecífico
• Mensurável
• Apropriada
• Realista
• Temporal
82
Teoria do Programa
Indicadores de Performance
• S
• M
• A
• R
• T
Indicadores de Performance
• ESpecífico
• Mensurável
• Apropriada
• Realista
• Temporal
83
Teoria do Programa
Indicadores de Performance
Elemento Descrição
Resultados esperados Obtido do desenho do programa e
da matriz lógica
Indicador (com a linha de base e
metas)
Derivado da matriz de resultado.
SMART
Fonte de dado Deve descrever as estratégias de
obtenção dos dados
Responsabilidades Quem é responsável pela coleta e
análise da qualidade dos dados?
84
Teoria do Programa
Indicadores de Performance
Elemento Descrição
Frequência dos dados Com que frequência os dados
estarão disponíveis
Análise e relatórios Frequência e métodos de análise e
responsabilidade pelos relatórios
Usuário final Quem irá receber as informações?
Qual o propósito será dado?
Riscos Quais os riscos assumidos na matriz de
monitoramento e avaliação? Como podem afetar a
qualidade dos dados?
Custos Que custos são previstos na coleta dos
dados. Quem suporta tais custos? 85
Ciclo de Avaliação
Adaptado de Vaitsman, J; Rodrigues, R.W. S.; Paes-Sousa, R. Brasília: UNESCO Management of Social Transformations, MDS, 2006. 77 p.
1. Discussão 2. Termo de Referência 3. Contratação
SAGI/SF
•Definição da avaliação a ser realizada
•Relevância do estudo proposto
SAGI/SF
•Elaboração do TOR pela SAGI
•Revisão do TOR pela SF
SPOA e/ou Órgão de Cooperação
Internacional
•Aprovação do TOR
•Elaboração de edital
•Contratação da instituição executora (IE)
que apresentar melhor projeto
4. Reunião/Definições importantes 5. Acompanhamento 6. Resultados Finais
SAGI/SF/IE
•Definição de questões relevantes para o
estudo
•Disponibilização dos dados necessários
para a realização da pesquisa
SAGI/IE
•Desenvolvimento dos instrumentos
de pesquisa
•Visitas ao campo
•Avaliação e aprovação de
relatórios parciais e do relatório final
SAGI/SF/IE
•Recomendações da avaliação (IE)
•Reuniões com os gestores
•Retroalimentação dos programas
7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados
SAGI/SF/IE
•Apresentação dos resultados finais ao
MDS
•Seminários abertos ao público externo
SAGI
•Cadernos de estudos
•Relatórios de pesquisa
•Livros
SAGI
•Envio dos arquivos dos microdados das
pesquisas para o CIS
SAGI = Secretaria de Avaliação e Gestão da Informação / SPOA=Secretaria de Planejamento , Orçamento e Administração
SF = Secretaria Finalística / IE= Instituição Executora / CIS = Consórcio de Informações Sociais
Pesquisas Realizadas 1) www.mds.gov.br/sagi
Pesquisas Realizadas
Pesquisas Realizadas
Pesquisas Realizadas
Mapeamento das Pesquisas em Andamento e Planejadas
Alexandro Pinto alexandro.pinto@mds.gov.br
Grato
94
top related