ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA – ENAPDFP - Coordenação de Formação de CarreirasCurso de Aperfeiçoamento para Especialista em Políticas Públicas e Gestão GovernamentalDisciplina 4: Monitoramento e Avaliação de Políticas Públicas I (20 h)Professora: Maria das Graças RuaPeríodo: dias 4, 5, 6, 7 e 11 de outubro de 2005.Horário: 8h30 às 12h30

Monitoramento e Avaliação de Políticas Públicas I

Outubro de 2005

Avaliação no Ciclo da Gestão Pública

Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:

Deve estar presente – como componente estratégico - desde o planejamento e formulação de uma intervenção, sua implementação (os conseqüentes ajustes a serem adotados) até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção indo até o controle

Conceitos BásicosAvaliação formal

é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade

Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critériosRequer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos, impactos obtidos

compreender como e porque foram obtidos ou não

permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos

proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política

viabilizar estratégias de responsabilizaçao e accountability

proporcionar “policy learning”

AvaliaAvaliaçãção X Monitoramentoo X Monitoramento

Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.

Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

Monitoramento: Objetivos

identificar mudanças parciais a partir da linha de base das metas;

controlar o cumprimento das metas estabelecidas

acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação

identificar erros e omissões na concepção do próprio projeto ou programa

proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa

proporcionar “policy learning”

Pode-se monitorar atividades, processos, resultados, impactos.

Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.

Monitoramento baseia-se principalmente nos dados da implementação (internos)

Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.

Pesquisa Avaliativa: procedimentos de coleta de dados primários:

Análise quantitativa:Censos e pesquisas por amostragem

probabilística e não probabilísticaquestionários aplicados por entrevistador ou auto-aplicáveis

Análise qualitativa:Entrevistas em profundidade, individuais ou em

grupos focais, semi-estruturadas ou não estruturadas

ObservaçãoAnálise documental (de informação e/ou de

conteúdo)

Tipologia (s) de Avaliação- Avaliação Jurídica ou de conformidade- Avaliação de situação, ambiental ou de

contexto- Avaliação de desempenho- Avaliação de processo- Avaliação de produto- Avaliação de impacto- Avaliação de qualidade - Avaliação de satisfação do usuário

Tipologia (s) de Avaliação- Avaliação Interna - Avaliação Externa- Avaliação Mista - Avaliação participativa- Avaliação ex-ante- Avaliação ex-post- Avaliação Somativa - Avaliação Formativa ou Retroalimentadora

Critérios para avaliação: Eficácia capacidade de produzir os resultados

esperadosEconomicidade capacidade de reduzir custos Eficiência elevação da produtividadeEfetividade capacidade de maximizar a eficácia e a

eficiênciaEquidade capacidade de contribuir para a redução de

assimetriasSustentabilidade capacidade de manter e/ou expandir

os ganhos obtidos, para além da intervençãoanálise custo-benefício, análise custo-efetividade.

Elementos Essenciais à AvaliaçãoCondições de Avaliabilidade

Programa:Objetivos e Metas especificados Indicadores e linhas de baseDados, registros do processoFontes de dados/meios de verificação Avaliação:Critérios estabelecidosAbordagens consistentes com a natureza

dos dados e do objeto de avaliação

Métodos/Modelos de Avaliação - Custo/Benefício e Custo/Efetividade- Meta-avaliação- Avaliação Experimental- Avaliação quasi-experimental: sincrônica

e diacrônica- Modelo causal: Marco Lógico(BID) ou

Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)

Métodos/Modelos de Avaliação

Modelo orientado pela teoria ou Teoria do Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente.

Métodos/Modelos de Avaliação

Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere-se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.

Métodos de Avaliação Participativa:Avaliação Independente de Objetivos –não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.

Métodos de Avaliação Participativa:Avaliação de Quarta Geração – focaliza as queixas,

interesses e reivindicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma.

Planejamento de um Sistema de M & A

1. Objetivo e periodicidade2. Usuários3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado

organizacional8. Estratégia de sustentabilidade9. Orçamento

1-Objetivo e periodicidade das avaliaObjetivo e periodicidade das avaliaçõçõeses

*Testar a estratégia inicial para gerar os resultadosmomento inicial do ciclo do programa (1-2 anos)

*Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados

momento intermediário do ciclo do programa (2-3 anos)

*Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições

momento final do programa: meados do último ano

2-Usuários: a quem se destina cada produto dosistema de M&A, conforme os objetivos definidos

3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc

4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas

5-Instrumentos e Mecanismos: Oficinas de Monitoramento; Visitas de Validação; Oficinas de Avaliação de Efeitos; Seminários de Exame Final

6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A

7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

8-Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários.

9-Orçamento

Desenho de uma Avaliação1-Usuário: a quem se destina a presente avaliação?2-Objetivo: o que o usuário deseja com a avaliação?3-Critérios da avaliação4-Indicadores e suas linhas de base5-Métodos e técnicas para a avaliação6-Informação necessária: que dados qualitativos e

quantitativos serão necessários, suas fontes e meios de verificação permitem validação

7-Métodos e período de coleta dos dados8-Métodos e técnicas de análise dos dados9-Limites e restrições da pesquisa avaliativa10-Equipe e orçamento

Desenho de um Monitoramento

1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos.

2. Periodicidade 3. Critérios questões gerais4. Dimensões focais perguntas específicas5. Indicadores e suas linhas de base6. Informações necessárias, fontes, bases de dados

e suas memórias7. Instrumentos e Mecanismos 8. Arranjo institucional 9. Estratégia de retroalimentação