cegov - 2015 - mds
DESCRIPTION
Avaliação de Programas Sociais Caderno de EstudosAula 1TRANSCRIPT
-
INTRODUO PESQUISA DEAVALIAO DE PROGRAMAS
aula1
MDULO 1
CICLO DE CAPACITAO
MDS
curso 3Avaliao
Ministrio doDesenvolvimento Social
e Combate FomeSAGI
Secretaria de Avaliao e Gestoda Informao
-
EXPEDIENTE
Presidenta da Repblica Federativa do Brasil | Dilma RousseffVice-Presidente da Repblica Federativa do Brasil | Michel TemerMinistra do Desenvolvimento Social e Combate Fome | Tereza CampelloSecretrio Executivo | Marcelo CardonaSecretrio de Avaliao e Gesto da Informao | Paulo JannuzziSecretria Nacional de Assistncia Social | Denise ColinSecretrio Nacional de Segurana Alimentar e Nutricional | Arnoldo Anacleto de CamposSecretrio Nacional de Renda de Cidadania | Luis Henrique da Silva de PaivaSecretrio Extraordinrio de Erradicao da Pobreza | Tiago Falco
Secretaria de Avaliao e Gesto da InformaoSecretria Adjunta | Paula MontagnerDiretor de Monitoramento | Marconi Fernandes de SousaDiretor de Gesto da Informao | Caio NakashimaDiretora de Formao e Disseminao | Patrcia A. F. Vilas BoasDiretor de Avaliao | Alexandro Rodrigues Pinto
Brasil. Ministrio do Desenvolvimento Social e Combate Fome. Caderno de Estudos do Curso em Con-ceitos e Instrumentos para a Avaliao de Programas - Braslia, DF: MDS, Secretaria de Avaliao e Gesto da Informao; Secretaria Nacional de Assistncia Social, 2015. Verso 2 (Maro 2015).
93 p.
1.Polticas Pblicas 2. Avaliao. 3. Programas Sociais. I. Ministrio do Desenvolvimento Social e Combate Fome. II. Sistema nico de Assistncia Social. III. Poltica Nacional de Educao Permanente do SUAS.
2015 Ministrio do Desenvolvimento Social e Combate Fome.Todos os direitos reservados. Qualquer parte desta publicao pode ser reproduzida, desde que citada a fonte.Secretaria de Avaliao e Gesto da Informao (SAGI)Bloco A | 3 andar | Sala 307 | CEP 70046-900 | Braslia | DFTelefone: (61) 2030-1770 www.mds.gov.brCENTRAL DE RELACIONAMENTO DO MDS: 0800 707 2003
Universidade Federal do Rio Grande do Sul (UFRGS)Centro de Estudos Internacionais sobre Governo (CEGOV)
Campus do Vale, prdio 43322Av. Bento Gonalves, 9500CEP: 91.509-900 Porto Alegre RS Fone: (51) 3308-9860 www.ufrgs.br/cegov
Caderno de Estudos do Curso em Conceitos e Instrumentos para a Avaliao de Programas Termo de Cooperao UFRGS-MDS 01/2013
CONTEDO E EXECUO
Equipe CEGOV
Coordenao Geral | Aline Gazola HellmannContedo | Marlia Patta Ramos, Paulo de Martino Jannuzzi e Aline Gazola HellmannEquipe Tcnica | Ana Carolina Ribeiro Ribeiro, Bruno Sivelli, Gabriela Perin, Gianna Vargas Reis Salgado Dias, Gillian Cidade, Giordano Benites Tronco, Gustavo Conde Magarites, Joo Marcelo Conte Cornetet, Jlia da Motta, Thiago Borne Ferreira.
Equipe Tcnica MDS | Paulo de Martino Jannuzzi, Patricia A. F. Vilas Boas, Alexandro Pinto, Marconi Fernandes de Sousa, Caio Nakashima, Marcilio Marquesini Ferrari, Antonio de Castro, Michelle Stephanou, Maria de Jesus Rezende, Thais Kawashima, Renato Monteiro, Maria Cristina A. M. de Lima, Janine Cardoso Mouro Bastos, Katia Ozorio, Tarcsio da Silva Pinto, Marco Antonio Natalino, Luciana Sardinha, Dionara Barbosa, Jlio Cesar G. Fonseca, Carlos Henrique Araujo Santana, Davi Lopes Carvalho
Projeto grfico | Joana Oliveira de OliveiraDiagramao | Joana Oliveira de Oliveira, Liza Bastos Bischoff, Henrique Pigozzo da Silva, Gabriel Thier.
-
09CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
INTRODUO PESQUISA DE AVALIAO DE PROGRAMAS
Ol, gestor e gestora!
Nesta aula voc vai aprender sobre os principais aspectos da avaliao de programas a partir de uma srie de perguntas.
Boa aula!
1aula
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
acesse!
o que diz a norma?
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
OBJETIVOS DE APRENDIZAGEM
Nesta aula voc vai aprender:
O que um programa; O que so estudos avaliativos; Quais so os objetivos de uma pesquisa de avaliao; Quais so os principais tipos de avaliaes de programas existentes.
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
acesse!
o que diz a norma?
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
acesse!
o que diz a norma?
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
leituraobrigatria
JANNUZZI, Paulo De M. Sistema de Moni-toramento e Avalia-o de Programas Sociais: Revisitando Mitos e Recolocando Premissas para sua Maior Efetividade na Gesto. Revista Brasileira de Monito-ramento e Avaliao, n 5, p. 04-27, 2013.
-
10 CEGOV | UFRGS
SUMRIO DA AULA 1
O que um programa?
O que pesquisa de avaliao de programa?
Qual a diferena entre monitoramento e avaliao de programa?
Qual o objetivo da pesquisa de avaliao de programa?
A quem se destina uma pesquisa de avaliao de programa?
Como avaliar um programa?
a) Critrios de avaliao
b) Indicadores
c) Constrangimentos
Quais os tipos de avaliao existentes?
a) Segundo o agente que avalia
b) Segundo a natureza
c) Segundo o momento da avaliao
d) Segundo o objetivo da avaliao
Tipos de avaliao segundo o momento do ciclo: uma proposta integradora
10141617182020
20
VAITSMAN, Jeni; PAES-SOUSA, Rmulo. Avaliao de Programas e Profissionalizao da Gesto Pblica. Revista Brasileira de Monitoramento e Avaliao. n. 1, 2011. Disponvel em: http://aplicacoes.mds.gov.br/sagirmps/ferramentas/TemplateHTML/PDFs/Artigo_Revista/Avaliacao_de_programas_e_profissionalizacao_da_gestao_publica.pdf
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
O QUE UM PROGRAMA?
Programas so empreendimentos complexos, que envolvem a contratao de pessoal tcnico; disponibilidade de instrumentos; adequa-o de equipamentos pblicos; alocao de recursos monetrios; promo-o de capacitao, de forma coordenada no tempo e no territorio (JAN-NUZZI, 2014). Em relao a uma poltica, por exemplo, o programa tem um grau maior de objetivao e focalizao. Nele so definidas populao alvo, equipes tcnicas, recursos financeiros, etc. Um projeto, por sua vez, um instrumento para alcanar os objetivos de um programa, envolven-do um conjunto de operaes, limitadas no tempo, das quais resulta um produto final que contribui para a expanso ou aperfeioamento da ao do governo. Quando essas operaes se realizam de modo contnuo ou permanente, so denominadas de atividades ou aes (GARCIA, 1997).
212223232424
26
-
11CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
Dessa forma, podemos definir que:
POLTICA: o estgio onde as propostas de interveno na realidade ganham forma e estatuto, recebendo tratamentos for-mais mnimos, ao serem definidos metas, objetivos e recursos. As polticas transformam-se em programas quando explicitada a estratgia de implementao e, por uma ao de autoridade, so criadas as condies iniciais para sua implementao (SILVA; COS-TA, 2002).
PLANO: o conjunto de programas que buscam objetivos comuns. O plano ordena os objetivos gerais e os desagrega em objetivos especficos, que, por sua vez, sero os objetivos gerais dos programas. O plano organiza as aes programticas em uma seqncia temporal, de acordo com a racionalidade tcnica e as prioridades de atendimento (COHEN; FRANCO, 2004).
PROGRAMA: um conjunto de atividades organizadas para re-alizao de um objetivo, com cronograma e oramento espec-ficos. O programa busca reunir as condies necessrias para o alcance das metas estabelecidas.
PROJETO: instrumento para alcanar os objetivos de um progra-ma, envolvendo um conjunto de operaes, limitadas no tempo, das quais resulta um produto final que contribui para a expanso ou aperfeioamento da ao do governo. Quando essas opera-es se realizam de modo contnuo ou permanente, so denomi-nadas de ATIVIDADES (GARCIA, 1997).
Confira o exemplo a seguir:
Poltica: Poltica Nacional sobre Drogas.
Plano: Plano Integrado de Enfrentamento ao Crack e outras Dro-gas.
Qual era o problema? Disseminao do crack e outras drogas, com problemas relacionados ao seu consumo e ao trfico.
Qual era o objetivo? Ampliao e qualificao da rede de preven-o, acolhimento aos usurios de drogas e apoio aos seus familia-res nas reas da sade, assistncia social e nas escolas.
Qual eram as estratgias? Criao de leitos e unidades de atendi-mento, qualificao de profissionais.
Programas: Programa Crack, Possvel Vencer, Programa de Preveno do Uso de Drogas na Escola, Programa de Preveno na Comunidade, Consultorios na Rua.
O quadro 1 sintetiza os principais elementos de um programa:
1aula
-
12 CEGOV | UFRGS
PROGRAMAInstrumento de organizao da atuao governamental, que articula um conjunto de aes que
concorrem para um objetivo comum preestabelecido, mensurado por indicadores, visando a soluo de um problema, atendimento de necessidade ou demanda da sociedade, ou aproveitamento de
oportunidade.
Elemento Descrio Exemplo fictcio
DenominaoO nome deve traduzir os propositos do programa.
Podendo ser um nome fantasia que identifique claramente o programa.
CAPACITANDO EM M&A(outros exemplos: Cisternas; Luz
para todos; CapacitaSuas)
Diagnstico / Justificativa
Descrio sucinta do problema (ou demanda) que o programa tem por objetivo solucionar e sua con-tribuio esperada para o alcance das diretrizes de
governo e/ou dos objetivos setoriais.
A Poltica Nacional de Assistncia Social de 2004 determina a reali-zao de polticas estratgicas de Monitoramento e Avaliao, com
o intuito de aferir e aperfeioar os projetos existentes e contribuir
para seu planejamento futuro. No entanto, h um dficit de
capacidade estatal associada falta de pessoal qualificado para
a execuo das atividades de M&A. Pretende-se que o pro-
grama aumente a capacidade dos municpios em Monitorar e Avaliar a execuo dos progra-
mas sociais.
ObjetivoExpressa o resultado desejado em relao ao pbli-co-alvo descrevendo a sua finalidade, com conciso e preciso, sempre mensurvel por um indicador.
Expresso sempre por um verbo no infinitivo.
Capacitar 2.430 trabalhadores do SUAS, sendo 1500 em Indica-dores, 500 em monitoramento e 430 em avaliao de programas
sociais.
Publico-Alvo
Segmento da sociedade (pessoas, comunidades, ins-tituies, setores, etc) que possui em comum algum
atributo, necessidade ou potencialidade e qual se pretende atingir diretamente com os resultados
esperados pela execuo do programa.
243 mil trabalhadores municipais da assistncia social, atuantes
nos rgos da assistncia social: CRAS, CREAS, Conselhos e secre-
tarias.
Horizonte Temporal
Prazo de execuo do programa, podendo ser de natureza contnua ou temporria. Se for de natureza
temporria as datas de incio e trmino devem ser especificadas.
Anual
Data de Incio
Ms e ano do calendrio relativo ao incio do progra-ma. Vlido para programas de carter temporrio. mar/12
Data de Termino
Ms e ano do calendrio relativo ao trmino do pro-grama. Vlido para programas de carter temporrio. mar/14
Abrangencia Espacial
Define a rea de atuao do Programa: Estadual, Municipal, Regies administrativas do Estado;
Regies do pas; bairros etc.Nacional
Quadro 1- Elementos de um programa (continua)
-
13CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
Fonte: elaborao propria com base em So Paulo (2014). Estrutura de Programas e Aes. Manual do Usurio. Secretaria de Planejamento e Desenvolvimento Regional do Governo do Estado de So Paulo. s/d. Disponvel em .
Tipo Setorial - Multisetorial Setorial
Fatores de Risco
Registro das restries identificadas que podem colocar em risco o sucesso do programa.
1) (falta de) banda larga; 2) ausncia de apoio das chefias
dos gestores; 3) o gestor no ser liberado para cursar durante o perodo de trabalho; 4) falta de comprometimento pelo fato do
curso ser gratuto;
Gerente
Profissional capacitado, designado pelo Secretrio de Estado ou dirigente do Orgo, responsvel pelo programa, a quem compete, por exemplo, a) parti-cipar da elaborao do programa em todas as suas
fases, congruentes s diretrizes e objetivos estratgi-cos de Governo ou orgo; b) estabelecer as diretrizes
para o monitoramento e avaliao do programa.
Fulano de Tal
Quadro 1- Elementos de um programa (concluso)
Fonte: Ministrio da Sade (2005).
Figura 1 - Componentes de um programa
O programa pode estar baseado em um modelo logico, que uma ferramenta que auxilia a compreenso sobre como um programa funciona e quais indicadores podem ser utilizados para conferir se os ob-jetivos esto sendo atingidos. Relembrando os principais elementos do Modelo Logico (Figura 2):
1. Insumos/Recursos (inputs): recursos financeiros, humanos, materiais, tecnologicos e de informao utilizados no programa;
PROGRAMA
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
POLTICA
PROJETO
AO
Discusso eEspecicao do
Problema a avaliar
Elaborao doProjeto de Pesquisa
e/ou Termo deReferncia para
Contratao
Formao daequipe ou licitao/
contratao dainstituio de
pesquisa
Planejamento eRealizao dolevantamento
de campoSistematizao e
Discusso dosresultados
Produo doRelatrio-sntese
Aprofundamentoanaltico da pesquisapara ns de derivar
recomendaes
Anlise de viabilidade/
oportunidade derecomendaes
Aprimoramentodo programa
3
2
4
5
6
7
8
9
101
Servios de Organizaode dados
Percepo doProblema a avaliar
Reltrios automatizadosde informao
Levantamentos dedaods pela Web
Estudos de dadospela Web
Estudos tcnicos, compilao e meta-avaliaes
Oferta de Capacitaespara servios, presencial
ou distncia
Ferramentas de consultaa dados e mapas
Mapeamento de uxos,processos e arranjos
operacionais de programas
Pesquisa de avaliaode natureza exploratria
Estudos avaliativos com base de dados
secundrios
PLANO1
1aula
Na Figura 1, evidencia-se a vinculao do programa com a resolu-o ou mitigao de uma problemtica social que afeta determinado p-blico-alvo e seu desdobramento em atividades - servios - que resultaro em produtos e efeitos para este pblico, com resultados e impactos sobre a problemtica inicial.
videoteca
Para relembrar como se elabora um mo-delo logico, reveja o vdeo Monitoramen-to: Modelo Lgico
Disponvel em: https://youtu.be/zXzV3LzS3Ag?list=PL-TowxHmkqeM8m-pEYE-Ys_XzXWBgl-C9R7K
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
-
14 CEGOV | UFRGS
ateno!Os trs principais critrios que so ava-liados em programas so: eficincia no uso dos recursos, eficcia no atingimento dos objetivos e efetividade na mudana social proporcionada pelo programa (Draibe, 1999).
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
2. Atividades/Processo de Implementao: as aes e o tra-balho empregados e atravs dos quais as entradas (inputs), tais como os recursos financeiros, a assistncia tcnica e outros tipos de recursos, so mobilizados para produzirem resultados especficos;
3. Produtos (outputs): produtos e servios resultantes direta-mente das atividades do programa;
4. Resultados (outcomes): os efeitos de curto e mdio prazo ad-vindos dos resultados da interveno;
5. Impactos: efeitos de longo prazo do contexto econmico, so-ciocultural, institucional, ambiental, tecnologico e outros, em uma popu-lao ou grupo especifico, produzidos por um programa, direta ou indire-tamente, intencionalmente ou no.
Fonte: Ministrio da Sade (2005).
Figura 2 - Componentes do Modelo Logico
MINISTRIO DO PLANEJAMENTO. Almanaque do Pla-nejamento: Para Entender e Parti-cipar. Disponvel em: http://www.pla-nejamento.gov.br/secretarias/upload/Arquivos/noticias/sof/2012/121107_al-manaque_do_pla-nejamento.pdf
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
PROGRAMA
POLTICA
PROJETO
AO
AVALIAO DEDEMANDA
PROBLEMAS EDEMANDAS
SOCIAIS
AVALIAO DEEFICINCIA
AVALIAO DEIMPACTOS
AVALIAO DE DESENHO
AVALIAO DEPROCESSO
Percepo e deniodas questes pblicas
DEFINIO DE AGENDA
FORMULAODiagnstico edesenho deprogramas
Anlise de resultadose impactos
Deciso sobrecontinuidade
AVALIAOProduo e Oferta
dos servios
IMPLEMENTAO
INDICADORESDIGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
EFEITOS ESPERADOS
RECURSOS/INSUMOS
TRABALHO PREVISTO
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
1 2 3 4 5
AFETAM OPROGRAMA
FATORESPOLTICOS
FATORESAMBIENTAIS
FATORESECONMICOS
FATORES ORGANIZACIONAISE INSTITUCIOANAIS
CARACTERSTICASDO PBLICO ALVO
Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade
Um dos recursos:Consultas ao ms porCriana at 1 ano
Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica
Desdobramentosmais abrangentes
Melhora do nvelnutricional
Melhora do desempenho escolar
Economia futura em
gastos com sade
AVALIAO DE PROGRAMA
RECURSOSHUMANOS
CONSTRANGIMENTOSPOLTICOS
RECURSOSFINANCEIROS
TEMPOFALTA DE INFORMAOOU INFORMAO INTIL
OU DESORGANIZADA
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO
O QUE PESQUISA DE AVALIAO DE PROGRAMA1?
A avaliao de programas tem recebido diferentes definies na literatura especializada, segundo os diversos modelos conceituais, para-digmas teoricos e linhas de pesquisa da Cincia Poltica, Cincias Sociais, Economia e Administrao Pblica. Para este curso, utilizaremos uma defi-nio mais pragmtica e aplicada, proposta em Jannuzzi (2013), de acordo com a qual a avaliao refere-se ao conjunto de procedimentos tcni-cos para produzir informao e conhecimento, em perspectiva inter-disciplinar, para desenho ex-ante (prvio), implementao e validao ex-post (posterior) de programas e projetos sociais, por meio das dife-rentes abordagens metodolgicas da pesquisa social, com a finalidade de garantir o cumprimento dos objetivos de programas e projetos (efi-ccia), seus impactos mais abrangentes em outras dimenses sociais, ou seja, para alm dos pblicos-alvo atendidos (efetividade) e a custos condizentes com a escala e complexidade da interveno (eficincia).
(1) Esta seo reproduz parcialmente o artigo Avaliao de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. Paulo de Martino Jannuzzi. Publi-cado em Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.
-
15CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
Em outras palavras, a avaliao pode ser entendida como um le-vantamento consistente, sistemtico e replicvel de dados, informaes e conhecimentos para aprimoramento da interveno programtica, versando sobre: as caractersticas essenciais do contexto de atuao; os pblicos-alvo; o desenho; os arranjos de implementao; os custos de operao; os resultados de curto prazo; os impactos sociais e de mais lon-go prazo de um programa. Enfim, avaliao tem o objetivo de produzir evidncias, compilar dados e sistematizar informao e conhecimen-to que contribuam para o aperfeioamento de programas e projetos sociais, alm da consecuo de seus objetivos.
A definio de avaliao de programas tambm remete ne-cessidade de abordagem interdisciplinar na produo de informao e conhecimento sobre os problemas investigados. Pobreza, desigualdade, desempenho escolar e mortalidade infantil so questes sociais determi-nadas e influenciadas por uma srie de dimenses sociais mais amplas e estruturais, assim como de aspectos mais circunscritos e relacionados falta de efetividade de programas pblicos desenhados para o equacio-namento das mesmas.
Como foi visto, programas so empreendimentos complexos, que envolvem a contratao de pessoal tcnico; disponibilidade de ins-trumentos; adequao de equipamentos pblicos; alocao de recursos monetrios; promoo de capacitao, de forma coordenada no tempo e no territorio. Mapear, pois, as dimenses sociais mais relevantes formu-lao de um programa ou os problemas operacionais requer uma equipe de avaliadores com diferentes formaes acadmicas e profissionais.
Identificar o momento adequado de avaliar um programa um misto de tcnica, poltica e arte: avaliaes precoces podem colocar a per-der a legitimidade de um programa e projeto que ainda no teve tempo de se estruturar; avaliaes tardias podem comprometer recursos e esfor-os que poderiam ser usados de forma mais eficiente e eficaz na mitigao da problemtica social em questo. Se o programa e projeto produzem re-sultados e impactos, necessrio analisar os custos envolvidos na opera-cionalizao de suas atividades, equipamento e pessoal pois esta , certa-mente, uma informao fundamental para avaliar a sustentabilidade dos programas e projetos no futuro e em outros contextos (JANNUZZI, 2014).
Em uma perspectiva metodologica, os esforos de Avaliao po-dem se estruturar em quatro tipos de produtos (MDS, 2014):
1. Estudos avaliativos anlises com base em dados secun-drios ou compilao de artigos e trabalhos j realizados an-teriormente na temtica, com maior ou menor abrangncia;
2. Pesquisas de avaliao levantamentos primrios, quali ou quantitativos, desenhados com objetivos de produo de evidncias mais especficas necessrias ao aprimoramento da interveno;
3. Meta-avaliaes recenses (anlise crtica) sobre estudos avaliativos, pesquisas e experincias nacionais, subnacionais
1aula
JANNUZZI, Paulo de Martino. Avalia-o de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. Estudos em Avalia-o Educacional. So Paulo, v. 25, n. 58, p. 22-42, 2014. Disponvel em: http://www.fcc.org.br/pesquisa/publi-cacoes/eae/arqui-vos/1925/1925.pdf
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
-
16 CEGOV | UFRGS
e internacionais de programas e projetos implementados;
4. Relatorios-sntese de Avaliao e portais Web com informao mais sumria, na forma de indicadores em geral, para comuni-cao mais objetiva acerca de aspectos do diagnostico, imple-mentao e resultados do programa e projetos.
As avaliaes realizadas no mbito do MDS, especificamente, po-dem ser denominadas pesquisas de avaliao pois tratam-se de anlises pragmticas de caractersticas essenciais do contexto, pblicos-alvo, dese-nho, implementao, custos de operao, resultados de curto prazo, im-pactos sociais e de mais longo prazo de um programa. Assim, abrange os insumos acerca do programa que contribuem para seu aperfeioamento e a consecuo de seus objetivos.
QUAL A DIFERENA ENTRE MONITORAMENTO E AVALIAO DE PROGRAMA?
Acompanhamento ou monitoramento uma atividade geren-cial interna, realizada sistematicamente durante o perodo de execuo e operao, que visa saber como a interveno evolui ao longo do tempo. Faz uso de dados da gerncia do projeto sobre metas iniciais, indicadores e resultados associados aos programas. Por meio do monitoramento, por-tanto, gestores, pesquisadores ou outros agentes conseguem examinar como a implementao est sendo realizada, se est atingindo seus obje-tivos e/ou se est enfrentando algum tipo de problema que esteja interfe-rindo nas aes e processos e, por conseguinte, na consecuo dos objeti-vos previstos (FARIA, 2005; CUNHA, 2006). De posse dessas informaes, o monitoramento auxilia na recomendao dos ajustes necessrios ao plano e s condies operacionais e da correo dos rumos.
Por sua vez, a avaliao pode ser realizada antes, durante ou mes-mo algum tempo depois da implementao, dependendo do objetivo. Mas, ao contrrio do monitoramento, a avaliao no um processo con-tnuo. Trata-se de uma atividade pontual que tem a finalidade de subsidiar decises, apresentar recomendaes, prestar contas sociedade e extrair lies. Em ambos os instrumentos latente a funo de proviso de infor-maes sobre um determinado programa ou poltica governamental em todo o seu ciclo, inclusive o momento inicial de identificao do problema.
O fato que Monitoramento e Avaliao so processos analti-cos organicamente articulados, que se complementam no tempo, com o proposito de subsidiar o gestor pblico de informaes mais sintticas e tempestivas sobre a operao do programa resumidas em painis ou sis-temas de indicadores de monitoramento e informaes mais analticas sobre o funcionamento desse, levantadas nas pesquisas de avaliao. Tal
-
17CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
como termmetros, os indicadores de monitoramento podem apontar sinais de normalidade ou febre em pontos crticos do desenho opera-cional de programas, orientando tcnicos e gestores a tomarem decises cabveis de correo, e at mesmo contratarem pesquisas de avaliao ou exames clnicos, na metfora adotada para investigar as causas e a persistncia da febre, isto , do problema (JANNUZZI, 2014).
QUAL O OBJETIVO DA PESQUISA DE AVALIAODE PROGRAMA?
Pesquisas de avaliao servem para que se tenha um melhor en-tendimento do programa. Trata-se de atividade estratgica que propicia a compreenso das polticas e do Estado em ao, visando o seu apri-moramento (DRAIBE, 1997), beneficiando o Estado (seus gestores e tcni-cos), o usurio, os pesquisadores e, claro, a sociedade em geral.
Nesse sentido, uma pesquisa de avaliao no substitui o pro-cesso de tomada de deciso poltica, mas permite que as decises sejam tomadas de maneira mais consciente, de posse de informaes mais atu-alizadas, confiveis e teis.
Algumas das questes que as avaliaes respondem so:
Em que medida os objetivos propostos foram alcanados?
Como o programa funciona?
O que pensam os beneficirios e os gestores sobre o programa?
Quais os motivos que levam ou levaram a atingir ou no os re-sultados?
possvel caracterizar os principais objetivos da pesquisa de avaliao como sendo:
a melhoria do processo de tomada de deciso,
a alocao apropriada de recursos e
o aumento da responsabilidade da aes pblicas (transparn-cia na gesto)
Programas so avaliados basicamente porque decises tem que ser tomadas. Hipoteses e teses ajudam a sistematizar as motivaes para realizao de uma avaliao, como, por exemplo:
Para compreender melhor as diferenas entre Monitoramento e Avaliao, faa o exerccio Monitora-mento x Avaliao disponvel na pgina da Aula 1, no Moodle.
VIDEOTECAEXERCCIOS
GUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE
SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTASAVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
1aula
-
18 CEGOV | UFRGS
A Sagi disponibiliza os microdados das suas pesquisas. Acesse: http://aplicacoes.mds.gov.br/sagi/portal
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
A QUEM SE DESTINA UMA PESQUISA DE AVALIAO DE PROGRAMA?
De acordo com Faria (2005) os usurios potenciais da pesquisa avaliativa podem ser:
os financiadores do programa (e da propria avaliao),
os gerentes e encarregados de mais alto escalo,
os tcnicos e profissionais que lidam de maneira mais direta com os beneficirios, ou seja, os agentes encarregados da implementao,
os beneficirios,
os gerentes de programas similares e/ou de diferentes nveis go-vernamentais, preocupados em melhorar programas sob sua res-ponsabilidade,
os agentes do governo central,
os representantes de fundaes,
os interessados em conhecer projetos exitosos que meream fi-nanciamento,
os membros do legislativo engajados na melhoria de programas existentes ou na elaborao de novas propostas,
os cientistas sociais,
outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas,
Queremos mostrar Queremos saber (perguntas avaliativas)Que o pblico-alvo est sendo atendido. O pblico-alvo est sendo atendido?
Que os beneficirios esto satisfeitos com o programa.
Os beneficirios esto satisfeitos com o programa?
Que o programa est impactando positivamente em algum problema social. O programa fez alguma diferena real?
Que o programa vale a pena. O programa merece todo o recurso investido?
Que um programa ou tipo de abordagem de um problema melhor que outro. A nova interveno melhor que a antiga?
Que o programa precisa de mais recursos humanos ou financeiros. Como melhorar o programa?
Que os recursos humanos esto sendo bem utilizados.
Os recursos humanos fazem uso eficiente do seu tempo no trabalho?
Fonte: elaborao propria.
Quadro 2 - Sistematizao de questes de avaliao de acordo com o seu objetivo
-
19CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
as proprias organizaes que administram o programa avaliado ,
o pblico em geral ou a sociedade civil.
Um aspecto relevante, portanto, a propria divulgao dos resul-tados de pesquisas de avaliao, pois nada adianta avaliar se as conclu-ses no so publicizadas. Contudo, alguns fatores podem interferir na forma como so aproveitados os resultados da pesquisa de avaliao, tais como (FARIA, 2005):
a existncia de crenas e interesses conflitantes na organizao que gerencia o programa;
a ocorrncia de conflitos de interesses entre as distintas unida-des do programa;
as mudanas no pessoal encarregado (quando, por exemplo, os novatos tm prioridades diferentes daquelas vigentes no incio da avaliao);
a eventual inflexibilidade das regras e dos padres operacionais da organizao, que podem impedir a adoo das recomenda-es feitas quando da avaliao;
as mudanas nas condies externas, tais como cortes ora-mentrios e alteraes no ambiente poltico, que podem tornar impossvel para a organizao responder necessidade de mu-dana revelada pelos avaliadores.
Veremos mais sobre a questo da dissemi-nao dos resultados na aula 4.
VIDEOTECAEXERCCIOS
GUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE
SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTASAVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
1aula
ateno!Para que o conhecimento em M&A produzido alcance plateias mais abran-gentes, preciso tornar os produtos desenvolvidos relatorios, indicadores, estudos avaliativos compreensveis e atrativos para os diferentes pblicos usurios. No basta colocar disposio pblica na Internet as planilhas de dados e indicadores de programas e os extensos relatorios de pesquisas de avaliao realizados. Produo de dados no gera demanda por conheci-mento. necessrio desenvolver produtos customizados para os diferentes pblicos de tcnicos e gestores que se almeja atingir, adequando formato, contedo e complexidade. Deve-se investir na disseminao dos resultados na forma de palestras presenciais ou gravadas em multimdia para exibio em um portal especfico, que rene todo o material relacionado s pesquisas de avaliao, com recursos de consulta. Sumrios executivos de pesquisas de avaliao, fichas tcnicas de poucas pginas (one page paper) com os resulta-dos essenciais alm de grficos, mapas e relatorios descritivos com esses ele-mentos podem ter repercusso e atratividade maior que tabelas, painis de indicadores ou publicaes volumosas, com contedos impenetrveis para aqueles sem formao especializada na temtica tratada (JANNUZZI, 2013).
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUOOu seja, preciso cuidar para que os mtodos e estratgias de pro-
duo de informao e conhecimento se adequem em contedo, custos e tempestividade para atender as demandas de seus usurios. Especialmente apos o advento da Internet, h diferentes e criativas formas de comunicar mensagens simples e complexas para os mais diferentes tipos de leitores.
-
20 CEGOV | UFRGS
b
COMO AVALIAR UM PROGRAMA?
No processo de avaliao de um programa deve-se levar em con-ta o que se quer avaliar (critrios) e como avaliar (quais os indicadores usar), alm de estar ciente de que podem surgir dificuldades no caminho (constrangimentos). A seguir veremos esses aspectos em detalhe.
CRITRIOS DE AVALIAO: O QUE SE QUER AVALIAR?Para avaliar o desempenho de um programa necessrio definir
critrios de avaliao. A lista dos critrios que podem ser utilizados longa e a escolha de um, ou vrios deles, depende dos aspectos que se dese-ja privilegiar na avaliao. Segundo o manual da UNICEF (apud COSTA; CASTANHAR, 2003), os mais comuns so:
Eficincia: termo originado nas cincias econmicas que signi-fica a menor relao custo/benefcio possvel para o alcance dos objetivos estabelecidos no programa;
Eficcia: medida do grau em que o programa atinge os seus ob-jetivos e metas;
Impacto (ou efetividade): indica se o projeto tem efeitos (posi-tivos) no ambiente externo em que interveio, em termos tcnicos, econmicos, socioculturais, institucionais e/ou ambientais;
Sustentabilidade: mede a capacidade de continuidade dos efei-tos benficos alcanados atravs do programa social, apos o seu trmino;
Anlise custo-efetividade: similar ideia de custo de oportuni-dade e ao conceito de pertinncia; feita a comparao de formas alternativas da ao social para a obteno de determinados im-pactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo;
Satisfao do beneficirio: avalia a atitude do usurio em rela-o qualidade do atendimento que est obtendo do programa;
Equidade: procura avaliar o grau em que os benefcios de um programa esto sendo distribudos de maneira justa e compatvel com as necessidades do usurio.
INDICADORES: COMO MEDIR?A aplicao desses critrios requer formas especficas de opera-
cionalizao, os indicadores. De acordo com Jannuzzi (2001), um indicador um recurso metodologico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanas que esto se processando na mesma. Mais especificamente, em uma perspectiva pro-gramtica, o indicador social um instrumento operacional para moni-
a
-
21CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
toramento da realidade social, para fins de formulao e reformulao de polticas pblicas.
Conforme j visto nos Cursos de Indicadores e do Monitoramen-to, os indicadores podem ser classificados de acordo com sua empregabi-lidade no ciclo de formulao e avaliao de programa, conforme segue:
Fonte: Jannuzzi (2001).
Figura 3 - Classificao dos Indicadores
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
PROGRAMA
POLTICA
PROJETO
AO
AVALIAO DEDEMANDA
PROBLEMAS EDEMANDAS
SOCIAIS
AVALIAO DEEFICINCIA
AVALIAO DEIMPACTOS
AVALIAO DE DESENHO
AVALIAO DEPROCESSO
Percepo e deniodas questes pblicas
DEFINIO DE AGENDA
FORMULAODiagnstico edesenho deprogramas
Anlise de resultadose impactos
Deciso sobrecontinuidade
AVALIAOProduo e Oferta
dos servios
IMPLEMENTAO
INDICADORESDIGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
EFEITOS ESPERADOS
RECURSOS/INSUMOS
TRABALHO PREVISTO
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
1 2 3 4 5
AFETAM OPROGRAMA
FATORESPOLTICOS
FATORESAMBIENTAIS
FATORESECONMICOS
FATORES ORGANIZACIONAISE INSTITUCIOANAIS
CARACTERSTICASDO PBLICO ALVO
Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade
Um dos recursos:Consultas ao ms porCriana at 1 ano
Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica
Desdobramentosmais abrangentes
Melhora do nvelnutricional
Melhora do desempenho escolar
Economia futura em
gastos com sade
AVALIAO DE PROGRAMA
RECURSOSHUMANOS
CONSTRANGIMENTOSPOLTICOS
RECURSOSFINANCEIROS
TEMPOFALTA DE INFORMAOOU INFORMAO INTIL
OU DESORGANIZADA
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
PROGRAMA
POLTICA
PROJETO
AO
AVALIAO DEDEMANDA
PROBLEMAS EDEMANDAS
SOCIAIS
AVALIAO DEEFICINCIA
AVALIAO DEIMPACTOS
AVALIAO DE DESENHO
AVALIAO DEPROCESSO
Percepo e deniodas questes pblicas
DEFINIO DE AGENDA
FORMULAODiagnstico edesenho deprogramas
Anlise de resultadose impactos
Deciso sobrecontinuidade
AVALIAOProduo e Oferta
dos servios
IMPLEMENTAO
INDICADORESDIGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
EFEITOS ESPERADOS
RECURSOS/INSUMOS
TRABALHO PREVISTO
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
1 2 3 4 5
AFETAM OPROGRAMA
FATORESPOLTICOS
FATORESAMBIENTAIS
FATORESECONMICOS
FATORES ORGANIZACIONAISE INSTITUCIOANAIS
CARACTERSTICASDO PBLICO ALVO
Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade
Um dos recursos:Consultas ao ms porCriana at 1 ano
Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica
Desdobramentosmais abrangentes
Melhora do nvelnutricional
Melhora do desempenho escolar
Economia futura em
gastos com sade
AVALIAO DE PROGRAMA
RECURSOSHUMANOS
CONSTRANGIMENTOSPOLTICOS
RECURSOSFINANCEIROS
TEMPOFALTA DE INFORMAOOU INFORMAO INTIL
OU DESORGANIZADA
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
PROGRAMA
POLTICA
PROJETO
AO
AVALIAO DEDEMANDA
PROBLEMAS EDEMANDAS
SOCIAIS
AVALIAO DEEFICINCIA
AVALIAO DEIMPACTOS
AVALIAO DE DESENHO
AVALIAO DEPROCESSO
Percepo e deniodas questes pblicas
DEFINIO DE AGENDA
FORMULAODiagnstico edesenho deprogramas
Anlise de resultadose impactos
Deciso sobrecontinuidade
AVALIAOProduo e Oferta
dos servios
IMPLEMENTAO
INDICADORESDIGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
EFEITOS ESPERADOS
RECURSOS/INSUMOS
TRABALHO PREVISTO
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
1 2 3 4 5
AFETAM OPROGRAMA
FATORESPOLTICOS
FATORESAMBIENTAIS
FATORESECONMICOS
FATORES ORGANIZACIONAISE INSTITUCIOANAIS
CARACTERSTICASDO PBLICO ALVO
Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade
Um dos recursos:Consultas ao ms porCriana at 1 ano
Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica
Desdobramentosmais abrangentes
Melhora do nvelnutricional
Melhora do desempenho escolar
Economia futura em
gastos com sade
AVALIAO DE PROGRAMA
RECURSOSHUMANOS
CONSTRANGIMENTOSPOLTICOS
RECURSOSFINANCEIROS
TEMPOFALTA DE INFORMAOOU INFORMAO INTIL
OU DESORGANIZADA
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO
1aula
Recurso: quantidade de medicos por mil habitantes ou gasto monetrio per capita em saude
JANNUZZI, Paulo de Martino. Indicadores Sociais na Formulao e Ava-liao de Politicas Pblicas. Disponvel em: http://www.cedeps.com.br/wp-content/uploads/2011/02/INDICADORES-SOCIAIS-JANUZZI.pdf
MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Indicadores de Programas: Guia Metodolgico. Braslia: Ministrio do Planejamento, Oramento e Gesto - Secretaria de Planejamento e Investimentos Estra-tgicos, 2010.
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
+
+
acesse!
o que diz a norma?
+
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
AVALIAO FINAL
INTRODUO
CONSTRANGIMENTOSA realizao de uma pesquisa de avaliao de um programa pode
enfrentar constrangimentos/dificuldades de pelo menos quatro tipos principais:
Tempo: comum que se pense na avaliao quando o progra-ma j est em estgio avanado de execuo, deixando pouco tempo para o avaliador realizar o seu trabalho.
Recursos: muitas vezes o custo com a avaliao do programa no foi includa nos recursos do projeto original e a avaliao tem que ser adaptada a um valor menor do que o desejvel. A falta de recursos humanos qualificados tambm prejudica a execuo e o aproveitamento de pesquisas de avaliao.
Dados/Informao: ter a informao desde o incio do progra-ma importante para se observar as mudanas ocorridas na reali-dade que se quer observar mas frequentemente no est dispon-vel ao avaliador no momento oportuno ou de maneira completa,
c
Desdobramentos mais abrangentes Melhora do nvel nutricional Melhora do desempenho escolar Economia futura em gastos com saude
Resultado efetivo:taxa de morbidade oumortalidade infantil por causa especfica
Um dos recursos:consultas ao mes por criana ate 1 ano
INDICADOR-INSUMO INDICADOR-PRODUTOINDICADOR-PROCESSO INDICADOR-IMPACTO
-
22 CEGOV | UFRGS
Criterios Tipos
Quanto ao agente que as realiza
Externas
Internas
Mistas
Participativas
Quanto sua naturezaSomativas
Formativas
Quanto ao momento em que so realizadasEx ante
Ex post
Quanto ao problemaProcesso
Resultado/impacto
Fonte: elaborao propria.
Quadro 3 - Tipos de avaliao
organizada e til.
Polticos: para Weiss (1998), por exemplo, o interesse poltico dos altos executivos, mais focados na efetividade do programa, diferente do interesse dos gerentes, concentrados que esto com a estratgia de implementao, nas aes do dia a dia.
Fonte: elaborao propria.
Figura 4 - Constrangimentos para a avaliao de um programa
DADOS DOPROGRAMA
DADOSPOPULACIONAIS
IDENTIFICAO DO PROBLEMA E DA
MUDANA DESEJADA
DADOS PARA DESENVOLVIMENTO
DO PROGRAMA
INSUMOS(RECURSOS)
ATIVIDADES(INTERVENES,
SERVIOS)
PRODUTOS(EFEITOS
IMEDIATOS)
RESULTADOS(EFEITOS
INTERMEDIRIOS)
IMPACTOS(EFEITOS
FINALSTICOS)
PROGRAMA
POLTICA
PROJETO
AO
AVALIAO DEDEMANDA
PROBLEMAS EDEMANDAS
SOCIAIS
AVALIAO DEEFICINCIA
AVALIAO DEIMPACTOS
AVALIAO DE DESENHO
AVALIAO DEPROCESSO
Percepo e deniodas questes pblicas
DEFINIO DE AGENDA
FORMULAODiagnstico edesenho deprogramas
Anlise de resultadose impactos
Deciso sobrecontinuidade
AVALIAOProduo e Oferta
dos servios
IMPLEMENTAO
INDICADORESDIGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
EFEITOS ESPERADOS
RECURSOS/INSUMOS
TRABALHO PREVISTO
ATIVIDADES PRODUTOS RESULTADOS IMPACTOS
1 2 3 4 5
AFETAM OPROGRAMA
FATORESPOLTICOS
FATORESAMBIENTAIS
FATORESECONMICOS
FATORES ORGANIZACIONAISE INSTITUCIOANAIS
CARACTERSTICASDO PBLICO ALVO
Recurso: qualidade demdicos por mil habitantes ougasto monetrio per capita em sade
Um dos recursos:Consultas ao ms porCriana at 1 ano
Resultado efetivo:Taxa de morbidade oumortalidade infaltilpor causa especfica
Desdobramentosmais abrangentes
Melhora do nvelnutricional
Melhora do desempenho escolar
Economia futura em
gastos com sade
AVALIAO DE PROGRAMA
RECURSOSHUMANOS
CONSTRANGIMENTOSPOLTICOS
RECURSOSFINANCEIROS
TEMPOFALTA DE INFORMAOOU INFORMAO INTIL
OU DESORGANIZADA
INDICADOR - INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO INDICADOR-IMPACTO
Todos esses constrangimentos, juntos ou separados, afetam o de-senho da pesquisa de avaliao que ser executada.
QUAIS OS TIPOS DE AVALIAO EXISTENTES?
As avaliaes podem ser classificadas em vrios tipos, de acordo com diferentes critrios, tais como:
-
23CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
Na prtica, esses tipos de avaliao geralmente so combinados. Esses critrios sero explicados a seguir.
SEGUNDO O AGENTE QUE AVALIAAs avaliaes realizadas com base no agente que as realiza po-
dem ser de quatro tipos:
EXTERNA: Realizada por pessoas de fora da instituio responsvel pelo programa e por isso tende a ser mais isenta e objetiva.
H a possibilidade de comparao dos resultados obtidos com os de outros programas similares j analisados.
INTERNA: Realizada dentro e pela instituio responsvel pelo programa. Principais caractersticas:
Elimina uma possvel resistncia natural dos responsveis pelo programa a um avaliador externo;
Possibilita a reflexo e a aprendizagem, diante da observao dos proprios integrantes sobre o processo;
Permite uma melhor compreenso sobre as atividades realiza-das dentro da instituio;
Mas... pode perder sua objetividade, j que realizada por pes-soas que esto envolvidas na implementao do programa.
MISTA: Combina a avaliao externa com a interna. Permite com que os avaliadores externos tenham um contato estreito com a equipe respon-svel pelo programa.
PARTICIPATIVA: Prev a participao dos beneficirios no planejamento, execuo e avaliao do programa. utilizada principalmente para pe-quenos projetos.
SEGUNDO A NATUREZAQuanto sua natureza, as avaliaes podem ser formativas ou
somativas:
FORMATIVAS: So avaliaes relacionadas etapa de formulao do pro-grama, geralmente realizada por e para quem est diretamente envolvido com o programa. O objetivo fornecer os elementos para a realizao de correes necessrias nos procedimentos de implementao.
Quadro 3 - Tipos de avaliao
a 1aula
b
-
24 CEGOV | UFRGS
c
d
SOMATIVAS: Relacionadas anlise das etapas posteriores formulao do programa e realizadas quando o programa est sendo implementado ou apos a sua implementao. O objetivo verificar a efetividade do progra-ma e fazer o julgamento do seu valor geral.
A avaliao somativa contrasta com a avaliao formativa, que se concentra em maneiras de melhorar e reforar os programas em vez de ren-der juzo definitivo sobre a eficcia, efetividade ou eficincia, por exemplo. Em outras palavras, podemos dizer que quando o cozinheiro prova a sopa, uma avaliao formativa; quando o cliente prova a sopa, uma avaliao somativa.
SEGUNDO O MOMENTO DA AVALIAOPesquisas de avaliao devem fazer parte de todas as etapas do ci-
clo de toda e qualquer poltica pblica, mas podem ser agrupadas em dois tipos: antes (ex-ante) ou depois (ex-post) da implementao do programa.
EX ANTE: Realizada antes do incio do programa.
Visa dar suporte deciso de implementar ou no o programa e a ordenar os vrios projetos, segundo sua eficincia para alcanar os objetivos determinados. Seu elemento central o diagnostico, que auxilia na alocao dos recursos disponveis de acordo com os objetivos propostos.
EX POST: Realizada durante a execuo de um programa ou ao seu final, quando as decises so baseadas nos resultados alcanados.
Quando um programa est em execuo, julga-se se ele deve continuar ou no, com base nos resultados obtidos at o momen-to. Se sim, decide-se se ele deve manter a formulao original ou sofrer modificaes. Quando o programa j foi concludo, julga-se a pertinncia do uso futuro da experincia.
SEGUNDO O OBJETIVO DA AVALIAOA avaliao pode ser realizada, tambm, a partir de seus objetivos:
AVALIAR O PROCESSO DE IMPLEMENTAO: Realizada durante a implementao do programa.
Diz respeito dimenso de gesto.
-
25CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
uma avaliao periodica que procura detectar as dificuldades que ocorrem durante o processo.
Objetiva efetuar correes ou adequaes.
Serve de suporte para melhorar a eficincia operativa.
AVALIAR O PRODUTO/RESULTADO/IMPACTO: Procura verificar em que medida o programa alcana seus obje-tivos e quais so os seus efeitos (imediatos, de mdio prazo e de longo prazo).
Objetiva responder se o programa funcionou ou no. Para tanto, indaga-se se houve modificaes na situao-problema.
Serve de suporte para deciso sobre poltica, como continuao do programa e formulao de outros.
Segundo Figueiredo e Figueiredo (1986), tanto a avaliao de pro-cesso quanto a de produto podem chegar s seguintes concluses:
(i) O resultado esperado alcanado.
(ii) Um resultado no esperado produzido, sendo, porm, posi-tivo.
(iii) Resultados do tipo a) e b) ocorrem e so positivos no curto prazo, mas podem ser negativos no mdio e longo prazo.
(iv) O resultado esperado atingido no que se refere aos membros da populao alvo, isto , cada indivduo melhorou sua situao com a poltica pblica; no entanto, em mdio prazo, a categoria social a que estes indivduos pertencem, ou passam a pertencer, piora.
(v) O resultado esperado no alcanado e nenhum outro resul-tado produzido.
(vi) Um resultado no esperado ocorre, sendo, porm, negativo.
AVALIAR A EFICINCIA: A avaliao de eficincia remete a avaliao para consideraes de benefcio e custo dos programas. Anlise custo-benefcios.
1aula
-
26 CEGOV | UFRGS
TIPOS DE AVALIAO SEGUNDO O MOMENTO DO CICLO: UMA PROPOSTA INTEGRADORA
Analisando as diferentes tipologias de avaliao at aqui apre-sentadas, podemos perceber que muitas delas se sobrepem, o que pode criar alguma confuso. Com o objetivo de evitar essas imprecises, apre-sentaremos uma classificao que objetiva integrar diversos parmetros utilizados em outras tipologias, baseando-se do ciclo de programas como critrio para sua elaborao.
A classificao de acordo com o momento no ciclo apresenta 5 tipos possveis de avaliao (Jannuzzi, 2014a):
AVALIAO DE DEMANDA: Esse tipo de avaliao auxilia o Estado na identificao e mensurao dos problemas sociais en-frentados por uma determinada comunidade. A avaliao de de-manda colabora na formao da agenda governamental, dando subsdios para a definio de quais problemticas so prioritrias para serem combatidas por programas.
AVALIAO DE DESENHO: Antes da formulao de programa para mitigao ou equacionamento do problema social identifi-cado, em geral, so necessrios novos esforos de levantamentos de campo para aprofundamento do diagnostico das condies de vida, contexto econmico, restries ambientais, capacidade de gesto e oferta de servios. Alm disso, cabe tambm uma com-pilao de estudos j realizados na temtica, abordando determi-nantes do problema em questo e eventuais programas e proje-tos j idealizados. As avaliaes dessa natureza constituem o que se denomina Avaliao de desenho.
AVALIAO DE PROCESSO: Definidos os pblicos a atender e os arranjos operacionais do programa preciso coloc-lo em ao, realizando as atividades planejadas e identificando proble-mas na oferta, na regularidade e qualidade dos servios por meio de pesquisas de Avaliao de processo. Essa avaliao realizada durante a implementao, para verificar se o programa est sendo colocado em prtica da maneira planejada.
AVALIAO DE RESULTADO OU IMPACTO: Apos a implemen-tao do programa, as demandas de informao e conhecimento voltam-se para a Avaliao de resultados e impactos do progra-ma. Trata-se de momento de investigao mais exaustiva sobre os diversos componentes de uma interveno, abordando no ape-nas o cumprimento dos seus objetivos, mas seus impactos sociais mais abrangentes. Cabe nesse momento avaliar se a interveno conseguiu provocar mudanas na realidade social que a originou, considerando a complexidade do seu desenho, alm da gravida-de da questo social enfrentada.
-
27CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
Fonte: elaborao propria com base em Jannuzzi, 2012.
Figura 5 - Tipos de Avaliao
Sistema de Dados e Indicadores para o Diagnstico
Painel de Indicadores para Monitoramento
Dados e Indicadores de Pesquisa de Avaliao
Avaliao deImpactos
INIF E OD GEA N A DD A
SA
DN
AM
ED
OATNEMELPMI
FORM
ULA
O
AV
ALIAO
Percepo e definio das questes pblicas
Diagnstico e desenho de programasProblemas e
Demandas sociais
Anlise de resultadose impactos
Deciso sobre continuidade Produo eOferta dos Servios
Avaliao deDesenho
Avaliao deProcesso
Avaliao deEficincia
Avaliao deDemanda
INDICADORESDIAGNSTICO
INDICADORESSNTESE
SISTEMA DEINDICADORES
MONITORAMENTO
AVALIAO DE EFICINCIA: As avaliaes de eficincia, ou cus-to-efetividade, tambm so realizadas apos a implementao do programa. O custo-efetividade das intervenes a relao entre valor gasto para produzir unidades de resultados e os impactos do programa em um perodo de tempo e territorio especficos. Em outras palavras, esse tipo de avaliao estuda a adequao entre o custo do programa tendo em vista o resultado obtido. Avaliaes dessa natureza so fundamentais para avaliar a sustentabilidade dos programas e projetos no futuro e em outros contextos.
A figura a seguir sintetiza cada um dos tipos de avaliao e seu momento no ciclo da poltica pblica:
Na proxima aula veremos brevemente como surge, por que surge e como se d o desenvolvimento das atividades de avaliao de progra-mas no Brasil.
-
28 CEGOV | UFRGS
REFERNCIAS
COHEN, Ernesto; FRANCO, Rolando. Avaliao de Projetos Sociais. Petropolis: Vozes, 2004.
COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de Programas Pblicos: Desafios Conceituais e Metodologicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992, set/out 2003.
CUNHA, Carla da. Avaliao de Polticas Pblicas e Programas Governamentais: Tendncias Recentes e Experincias no Brasil. Trabalho elaborado durante o curso The Theory and Operation of a Modern National Economy, ministrado na George Washington University, no mbito do Programa Minerva, em 2006.
DRAIBE, Snia M. Uma Nova Institucionalidade das Polticas Sociais? Reflexes a Proposito da Experincia Latino-Americana Recente de Reformas dos Programas Sociais. So Paulo em Perspectiva, v. 11, n. 4, p. 03-15, 1997.
FARIA, Carlos. A Poltica da Avaliao de Polticas Pblicas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 50, p. 97-169, out 2005.
Programa um conjunto de atividades organizadas para realiza-o de um objetivo, com cronograma e oramento especficos;
Estudos de avaliao so uma anlise pragmtica de caractersticas essenciais do contexto, pblicos-alvo, desenho, implementao, custos de operao, resultados de curto prazo, impactos sociais e de mais longo prazo de um programa, enfim, insumos acerca do programa que contri-buam para seu aperfeioamento e a consecuo de seus objetivos;
Existem 3 objetivos principais de uma pesquisa de avaliao de programa: a melhoria do processo de tomada de deciso, a alocao apropriada de recursos e o aumento da responsabilidade das aes p-blicas (transparncia na gesto);
Existem diversos usurios potenciais de uma pesquisa de avaliao. Dentre eles esto os beneficirios dos programas, gestores pblicos de diferentes nveis, organizaes da sociedade, cientistas sociais, dentre outros;
Existem vrios tipos de pesquisas de avaliao, destacando-se a perspectiva integradora que utiliza o ciclo de um programas para ela-borar sua classificao.
NESTA AULA VOC APRENDEU QUE
VIDEOTECAEXERCCIOSGUIA DE ESTUDOS
BIBLIOTECASOBRE O MOODLE SOBRE O CURSO
leia
saiba
acesse!
o que diz a norma?
FERRAMENTAS AVALIAO FINALVIDEOS TUTORIAIS
-
29CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO
1aula
FIGUEIREDO, Marcus; FIGUEIREDO, Argelina M. Avaliao Poltica e Avaliao de Polticas: Um Quadro de Referncia Teorica. Anlise e Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.
GARCIA, Ronaldo. Avaliao de Aes Governamentais: Pontos para um Comeo de Conversa. Braslia: IPEA, 1997.
JANNUZZI, Paulo de Martino. Indicadores Sociais no Brasil: Conceitos, Fontes de Dados e Aplicaes. Campinas: Alnea: 2001.
JANNUZZI, Paulo de Martino. Avaliao de Programas Sociais: Conceitos e Referenciais de Quem a Realiza. In: Estudos em Avaliao Educacional. So Paulo, v. 25, n. 58, p. 22-42, mai/ago 2014.
JANNUZZI, Paulo de Martino. Indicadores, Painis de Monitoramento e Pesquisas de Avaliao como Instrumentos para Aprimoramento de Programas e Projetos Sociais. 2012.
JANNUZZI, Paulo de Martino. A produo de Informao e Conhecimento para Aprimoramento das Polticas e Programas de Desenvolvimento Social: Princpios, Conceitos e Caracterizao das Pesquisas de Avaliao Realizadas pela SAGI/MDS de 2011 a 2014. In: MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Cadernos de Estudos: Desenvolvimento Social em Debate, Braslia, n. 16, 2014a.
JANNUZZI, Paulo de Martino. Sistema de Monitoramento e Avaliao de Programas sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gesto. Revista Brasileira de Monitoramento e Avaliao, v. 1, p. 04-27, 2013.
MINISTRIO DA SADE. Manual da Oficina de Capacitao em Avaliao com Foco na Melhoria do Programa DST-AIDS. Braslia: Assessoria de Monitoramento e Avalio, 2005.
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Avaliao de Polticas Pblicas: Reflexes Acadmicas Sobre o Desenvolvimento Social e o Combate Fome Vol. 1: Introduo e Temas Transversais. Braslia: Secretaria de Avaliao e Gesto da Informao - SAGI, 2014.
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME. Estudo Tcnico - Monitoramento e Avaliao de Programas Sociais no Brasil: Apontamentos Conceituais, Consideraes Metodologicas e Reflexes Sobre as Prticas. Braslia: Secretaria de Avaliao e Gesto da Informao - SAGI, n. 7, 2013.
SILVA, Pedro; COSTA, Nilson. A Avaliao de Programas Pblicos: Reflexes Sobre a Experincia Brasileira (Relatorio Tcnico). Braslia: IPEA-BID, 2002.
WEISS, Carol. Evaluation: Methods for Studying Programs & Policies. London: Prentice Hall, 1998.