avaliação no ciclo da gestão pública avaliação ferramenta que contribui para integrar as...
TRANSCRIPT
Avaliação no Ciclo da Gestão Pública
Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:
Deve estar presente – como componente estratégico - desde o planejamento e formulação de uma intervenção, sua implementação (os conseqüentes ajustes a serem adotados) até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção indo até o controle
Conceitos básicos:
PolíticaProgramaProjeto Ação Atividade ProcessoProduto Resultado EfeitoImpacto
Conceitos BásicosAvaliação formalé o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, produtos, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade
Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e critérios.
Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores.
Avaliação: objetivos geraisidentificar e mensurar os resultados, efeitos, impactos
obtidos
compreender como e porque foram obtidos ou não
permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos
proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política
viabilizar estratégias de responsabilizaçao e accountability
proporcionar “policy learning”
Avaliação X MonitoramentoAvaliação X Monitoramento
Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas.
Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.
Monitoramento: Objetivos
proporcionar informações para a tomada de decisão de intervir no projeto ou programa
acompanhar a execução de um Plano de Atividades para facilitar a eficiência e efetividade da sua correta implementação
identificar mudanças parciais a partir da linha de base das metas e controlar o cumprimento das metas estabelecidas
Monitoramento: Objetivos
identificar e corrigir erros e omissões na concepção do próprio projeto ou programa
corrigir distorções resultantes do projeto ou programa
proporcionar “policy learning”
Pode-se monitorar atividades, processos, resultados, impactos.
Monitoramento também é chamado de “avaliação em processo” quando incide sobre os processos de implementação das ações.
Monitoramento baseia-se principalmente nos dados da implementação (internos)
Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.
Pesquisa Avaliativa procedimentos de coleta de dados primários:
Análise quantitativa:Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados por entrevistador ou auto-aplicáveis
Pesquisa Avaliativa:
Análise qualitativa:Entrevistas em profundidade, individuais, coletivas ou em grupos focais, não estruturadas, semi-estruturadas ou estruturadas.
Observação
Análise documental (de informação e/ou de conteúdo)
Sistemática de monitoramento e avaliação:
é um conjunto articulado de monitoramento e diversos tipos de avaliação com foco e objetivos distintos, que não se replicam, mas são combinados de modo a se complementar uns aos outros.
é diferente do sistema informatizado de informações que apoia as atividades de gestão.
A importância de cada etapa do ciclo do projeto nos processos de avaliação
Diagnóstico do problema: define o foco do monitoramento e da avaliação e estabelece a linha de base Planejamento: define resultados (objetivos e metas) a serem alcançados e seus pressupostos
Implementação: define os cenários, atores relevantes e suas relações
Critérios para avaliação:
Eficácia capacidade de produzir os resultados esperados
Economicidade capacidade de reduzir custos
Eficiência relação custo-benefício
Efetividade capacidade de maximizar a eficácia e a eficiência
Critérios para avaliação:
Equidade capacidade de contribuir para a redução de assimetrias
Sustentabilidadecapacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção
Grande parte da qualidade do Planejamento, do Monitoramento e da Avaliação depende da utilização de indicadores.
Indicadores são sinais ou marcadores de alguma coisa; destinam-se a proporcionar evidência, sinalizar. Podem ser quantitativos ou qualitativos.
Indicadores servem para mostrar as tendências e/ou os resultados obtidos em uma área qualquer se um resultado está sendo alcançado ou não; se processos estão gerando os produtos pretendidos ou não; se uma intervenção está produzindo outras conseqüências além daquelas pretendidas.
Indicadores são sinais ou marcadores de alguma coisa. Podem ser quantitativos ou qualitativos.
Indicadores quantitativos são unidades de medida: são uma atribuição de números a objetos, acontecimentos ou situações, de acordo com certas regras.
Indicadores não são simplesmente dados: funcionam como uma balança que nos permite “pesar” os dados; ou uma régua, que nos permite “aferir” os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos das intervenções. Os dados alimentam os indicadores.
Conceito de Indicador: permite algumas variações que expressam os modos como são usados.
Podem ser expressos apenas como unidade/instrumento de medida
Podem ser expressos associados às metas que se pretende atingir com uma intervenção
Indicadores servem para aferir tanto resultados desejados (objetivos e metas), como outros objetos (processos, impactos inesperados, problemas, etc)
OS INDICADORES SERVEM PARA:
Possibilitar o estabelecimento e desdobramento das metas de uma intervenção;
Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de métricas-padrão e pela apuração dos desvios ocorridos com os indicadores;
Internalizar na organização pública as necessidades e expectativas dos cidadãos;
Mensurar resultados de acordo com os critérios adotados no monitoramento e na avaliação.
Embasar a análise crítica dos processos e resultados da intervenção;
Contribuir para a melhoria contínua dos processos organizacionais;
Viabilizar a análise comparativa do desempenho da organização em intervenções diversificadas; e do desempenho de diversas organizações atuantes em áreas ou ambientes semelhantes.
Quando se trata de medir mudanças (como é o caso de gênero e raça), os indicadores devem ser quantitativos e qualitativos, como por exemplo:Mudanças na matrícula escolar das meninas e das meninas negras
Indicadores Quantitativos Indicadores Qualitativos
Definição: unidade de medida quantitativa
Definição: documentos, julgamentos, percepções, etc
Método de coleta de dados: pesquisa por amostragem (probabilística ou não) ou censos, questionários; dados de registros administrativos, etc
Método de coleta de dados: grupos focais, entrevistas semi-estruturadas e não estruturadas, observação, etc
Exemplos: -Número de meninas matriculadas nas escolas dividido pelo número total de meninas em idade escolar. -Número de meninas negras matriculadas nas escolas dividido pelo número total de meninas negras em idade escolar. -Número de meninas matriculadas nas escolas dividido pelo número total de matrículas. -Número de meninas negras matriculadas nas escolas dividido pelo número total de alunos negros matrículados.
Exemplos: -Meninas, por raça, com projetos de vida diferentes das suas mães.-Ambições de trabalho e renda das Meninas, por raça.-Meninas, por raça, que exibem consciência dos seus direitos.