Ministério da saúde
Brasília – dF2009
Hanseníase: MonitoraMento e avaliaçãoManual de Capacitação em M&a – Caderno do Participante
© 2009 Ministério da saúde.todos os direitos reservados. é permitida a reprodução parcial ou total desta obra, desde que citada a fonte e que não seja para venda ou qualquer fim comercial.a responsabilidade pelos direitos autorais de textos e imagens desta obra é da área técnica.a coleção institucional do Ministério da saúde pode ser acessada na íntegra na Biblioteca virtual em saúde doMinistério da saúde: http://www.saude.gov.br/bvs
série F. Comunicação e educação em saúde
tiragem: 1ª edição – 2009 – 5.000 exemplares
elaboração, distribuição e informações:Ministério da saúde secretaria de vigilância em saúde departamento de vigilância epidemiológicaorganização: Programa nacional de Controle da Hanseníase Produção: núcleo de Comunicaçãoendereço: setor Comercial sul, Quadra 4, edifício Principal, Bloco a, 3º andarCeP: 72304-000, Brasília – dFE-mails: [email protected] [email protected] page: http://www.saude.gov.br/svs
Instituições parceiras:Fundação oswaldo Cruz escola nacional de saúde Pública sérgio aroucadepartamento de endemias samuel Pessoa laboratório de avaliação de situações endêmicas regionais av. leopoldo Bulhões, 1480 – 6º andar, ManguinhosE-mail: [email protected] Home page: www.ensp.fiocruz.br/laser
Baseado em material traduzido e adaptado de:Monitoring & evaluation Capacity Building for Program improvementField Guide – version 1 – december 2003Global aids Program – Centers for disease Control and Prevention – orC Macroresponsável: Programa nacional de dst/aids – assessoria de Monitoramento e avaliação
Coordenação geral: Maria leide W. de oliveiradanusa Fernandes Benjamim
Coordenação para texto e editoração: Maria rita Coelho dantas
Assessoria de conteúdo: Maria aparecida de assis Patroclo – laser/ensp/Fiocruz; elizabeth Moreira dos santos – laser/ensp/Fiocruz; Marly Marques da Cruz – laser/ensp/Fiocruz; sonia natal – laser/ensp/Fiocruz
impresso no Brasil / Printed in Brazil
Ficha Catalográfica_________________________________________________________________________________________________________
Brasil. Ministério da saúde. secretaria de vigilância em saúde. departamento de vigilância epidemiológica. Hanseníase : monitoramento e avaliação : manual de capacitação em M&a : caderno do aluno / Ministério da saúde, secretaria de vigilância em saúde, departamento de vigilância epidemiológica. – Brasília : Ministério da saúde, 2009. 75 p. : il. color. – (série F. Comunicação e educação em saúde)
1. Hanseníase. 2. Gestão do trabalho e da educação em saúde. 3. Capacitação. i. título. ii. série.
CdU 616-002.73_________________________________________________________________________________________________________
Catalogação na fonte – Coordenação-Geral de documentação e informação – editora Ms – os 2009/0226
Títulos para indexação:serão encaminhados posteriormente, pois está sendo feita a tradução.
Colaboração: andréa Pacheco amorim Gastaldello – secretaria estadual da saúde/rJ/UFrJ; adgine Ferreira dantas – secretaria estadual de saúde/Pa; astrid rodrigues navas Zamora – Gt Hansen/PB; Carmelita ribeiro de oliveira – secretaria estadual de saúde/ro; Clarissa Cotrim dos anjos – Gthansen/ses/al; Conceição de Maria soares de assis –sesus/são luís; egon luiz rodrigues daxbacher – Gt hansen/ses/rJ; elzeny Gama Carlos – secretaria Municipal de vitória/es; José eduardo de Pinho andrade – nlr Brasil; Kédman trindade Mello – ses/rJ; léa Márcia Melo da Costa – ses/Ma; Maria ana a. leboeuf – assessora técnica do PnCH; Maria aparecida de Faria Grossi – ses/MG; Maria Célia dalvi Brunelli sales – secretaria Municipal de vitória/es; Maria da Conceição Cavalcante Magalhães – sGPl/se/Ms; Maria elizabeth lovera – Gthansen/ses/Pr; Maria de Jesus Freitas de alencar – ses/ro/UFC; Maria Jesus nasser viana – ses/Ms; Maria de lourdes de Queiroz – ses/Mt; Maria Madalena – ses/dF; Marilda andrade – secretaria estadual da saúde/rJ; Milde do r. B. a. Cavalcante – sMs/recife; nadia s. nogueira Pimentel – FWaM/aM; olga Maria alencar – daB/sMs (luziânia/Go); rachel tebaldi tardin – sMs/rJ; rejane P. almeida – Gt Hansen/ses/Pe; roseane Pereira de deus – ses/dF; shirlei C. Moreira – assessora técnica do PnCH; sonia Maria Ferreira da silva – ses/Ma; thais Coutinho de oliveira – assessora técnica do PnCH
Projeto gráfico e editoração: eduardo trindade
Revisão: denise Goulart
Fotos: arquivo PnCH
Sumário
Apresentação ................................................................................................... 5
Introdução ....................................................................................................... 7
Apoio didático ................................................................................................. 9
Referências ....................................................................................................... 73
Para saber mais ................................................................................................ 75
5
Apresentação
este manual de capacitação em monitoramento e avaliação (M&a) expressa o empenho dessa coordenação em institucionalizar esses processos de gestão, possibilitando a qualificação de profissionais de saúde inseri-dos nas diferentes instâncias gerenciais das atividades de controle da hanseníase no país.
o monitoramento das ações em andamento para a melhoria do programa de controle da hanseníase se antecede à necessidade de avaliar de forma sistemática o grau de implementação do mesmo. a gestão municipalizada e descen-tralizada das ações de diagnóstico e tratamento da hanseníase, acompanhando o aumento de cobertura da atenção básica, vem diversificando as demandas para a incorporação de novas tecnologias, adequadas a cada nível de comple-xidade. da mesma forma, a multiplicidade de fontes de insumos relacionadas aos diferentes parceiros envolvidos.
nesse sentido, o objetivo deste manual é proporcionar uma prática pedagógica que ofereça conteúdos e habilida-des técnicas que permitam que as pessoas capacitadas incorporem as práticas de monitoramento e avaliação no seu cotidiano, institucionalizando-as. além disso, objetiva que essa capacitação viabilize e fomente o processo de qualificação desses profissionais para atuarem futuramente como multiplicadores, além de contribuírem de forma ativa para o sucesso das intervenções propostas.
as oficinas já realizadas nas regiões mais endêmicas do país – norte, nordeste e centro-oeste – foram responsáveis por um contingente de cerca de 470 participantes, com seleção de 46 monitores. Muito ainda tem de se realizar para ampliar a cobertura para todas as áreas geográficas com necessidade de implementar o desempenho de seus planos municipais de controle da hanseníase. espera-se, portanto, a reprodução dessas oficinas de capacitação, bem como a consolidação de processos dinâmicos e contínuos de monitoramento, com avaliações pontuais e adequações pertinentes.
esses manuais, do monitor e do aluno, resultam de um esforço conjunto de técnicos especializados do Ministério da saúde e da Fiocruz, por meio do Programa nacional de Controle da Hanseníase e do laser, da escola nacional de saúde Pública. além disso, recebeu a contribuição de técnicos regionais e locais, que foram os primeiros parti-cipantes dessas oficinas. a todos esses nossos parceiros, os nossos agradecimentos.
Gerson Pennasecretário de vigilância em saúde
Maria Leide W. de OliveiraCoordenadora do PnCH
7
Introdução
esta oficina faz parte do esforço para institucionalizar o monitoramento e avaliação (M&a) e possibilitar de forma mais efetiva a qualificação em M&a de profissionais inseridos nas atividades de controle da hanse-níase no país.
o objetivo desta oficina é operacionalizar uma prática pedagógica que propicie a reflexão e ofereça aos seus participantes conteúdos e habilidades técnicas que os capacite para iniciar a institucionalização dos processos de monitoramento e avaliação de programas. além disso, tem-se como propósito viabilizar e fomentar o proces-so de qualificação de técnicos que também possam ser multiplicadores da oficina, de acordo com as recomen-dações nacionais e internacionais para o campo de M&a.
a oficina foi estruturada para uma carga horária de no mínimo 16 (dezesseis) horas, embora a mesma possa ser adapta-da de acordo com a necessidade e a realidade local, não devendo, entretanto, ser reproduzida em menos de 16 horas.
a proposta pedagógica baseia-se na problematização que requer sucessivas aproximações com o objeto temático por meio de idas e vindas.
Para a realização da oficina, utiliza-se um conjunto de slides e o manual do aluno, que servem como guia para o processo de ensino-aprendizagem. Faz parte do conjunto de materiais didáticos o manual do professor, que é um caderno de apoio que visa nortear o trabalho de problematização e oferecer textos e bibliografias de suporte para o monitor da oficina.
esta oficina não tem a pretensão de ser considerada como um modelo pronto e acabado, mas oferece um conjunto de materiais didáticos de capacitação e apoio para o desenvolvimento operacional da prática de monitoramento e avaliação, que se caracteriza como ferramenta para o amadurecimento na identificação e uso de indicadores de M &a adequados a cada realidade, havendo expectativas de que possa contribuir para a construção de um sistema nacional de M&a.
Cabe mencionar que a elaboração deste material reúne técnicos da Fiocruz, por meio da escola nacional de saúde Pública (ensP), do Ministério da saúde, por meio do Programa nacional de Controle da Hanseníase (PnCH), e de um conjunto de técnicos brasileiros inseridos no programa que durante a testagem colaboraram de forma inestimável para esta versão.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
10
AnotAçõeS
SLIDE 02
Planejamento das Atividades de Controle do Programa de Hanseníase
Diagnóstico situacional
Estratégias de intervenção
AvaliaçãoMonitorização
Fonte: Manual de normas do Programa de Controle de Hanseníase, 2002.
Apoio didático
11
AnotAçõeS
SLIDE 03
Provérbios
Como cada provérbio se relaciona
com Monitoramento e Avaliação?
Exercício 1
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
12
AnotAçõeS
SLIDE 04
Conceitos de Monitoramento
“elaboração e análise de mensurações rotineiras, através das quais seja possível detectar mudanças no ambiente ou no estado de saúde de comunidades” (last, 1988).
“Coleta de dados, análise regular dos dados e ampla disseminação dos dados a todos que deles necessitem” (WaldMan, 1998).
“análise continuada dos sistemas de informação, acompanhando procedimentos, produtos e situações de saúde” (HartZ, 2000).
Apoio didático
13
AnotAçõeS
SLIDE 05
Conceito de Avaliação
“avaliação é a coleta sistemática de dados sobre atividades, características e efeitos de programas para uso de interessados, de forma a reduzir incertezas, melhorar a efetividade e tomar decisões com respeito ao que aquele programa está fazendo, quais são seus resultados e como pode ser ajustado” (Patton, 1990).
“avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção, um serviço ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisão” (ContandrioPoUlos et al, 1997).
“Evaluation is not to prove it is to improve” (W. J. KelloGG FoUndation, 1998).
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
14
AnotAçõeS
SLIDE 06
Melhoria do programa
Os Usos da Avaliação
Compartilhamentodo conhecimento
produzido com parceiros
Prestação de contas(accountability)
Apoio didático
15
AnotAçõeS
SLIDE 07
Relação entre Situação Real e Intervenções
Situação real
intervenções são ações organizadas para mudar uma dada realidade e podem se estruturar sob a forma de:
Políticas•
Programas•
Projetos•
Intervenções
Problemas de saúde Efeitos
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
16
AnotAçõeS
SLIDE 08
Níveis e Objetos de M&A
sistema
estabelecimentos
serviços
ações
tecnologias
Políticas, programas e projetos
Fonte: Paim, 1993.
Apoio didático
17
AnotAçõeS
SLIDE 09DurAção Do ExErCíCio: 30 MinutoS.Excercício desenvolvido para construir uma compreensão sobre M&A.
Definições e terminologias
Leia a descrição da intervenção e responda cada questão
classificando se a atividade que está sendo realizada
é de Monitoramento ou de Avaliação.
Exercício 2
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
18
InStruçõeS
Leia a descrição da intervenção abaixo e responda cada questão, classificando se a atividade é de monitora-mento ou de avaliação.
A intervenção
A intervenção para descentralização das ações do Pro-grama de Hanseníase em um estado incluiu um dia de campanha para detecção de casos de hanseníase e durante a mesma treinar médicos(as), enfermeiro(as) e agentes comunitários de saúde (ACS). Durante as campanhas foram treinadas todas as categorias pro-fissionais das equipes de Saúde da Família e de uni-dades básicas.
Os resultados esperados eram: aumento da descoberta de casos novos, recuperação de casos em abandono de tratamento e capacitação dos profissionais para desen-volverem ações do Programa de Hanseníase.
QueStõeS
1. O número de casos detectados nas campanhas foi comparado com o número de casos novos estima-dos para o ano e verificou-se que durante as cam-panhas foram detectados 30% do total de casos estimados para o ano.
2. Através da lista de freqüência, identificou-se que, no primeiro semestre, 90 profissionais comparece-
ram ao treinamento durante as campanhas, de um total esperado de 170. No segundo semestre, 65 profissionais participaram do treinamento durante as campanhas.
3. Após dois anos de campanha analisaram-se os in-dicadores: percentual de casos novos com grau 0 de incapacidade, percentual de casos novos MB e percentual de comunicantes de casos novos exami-nados. Foi feita análise em comparação com dados dos 5 anos anteriores à intervenção e os resultados encontrados demonstraram que os achados eram insuficientes para um padrão pactuado como ade-quado. Após essa análise, desenvolveram-se inves-tigações para explicar por que os resultados não alcançaram o padrão adequado.
4. O serviço de epidemiologia da unidade básica de re-ferência está fazendo acompanhamento para verifi-car se os ACS estão notificando os casos suspeitos identificados em visitas domiciliares.
5. Com a implantação do PSF e descentralização das ações, os ACS, durante o cadastro das famílias, perguntavam a um dos moradores em cada do-micílio o que era hanseníase. Na fase seguinte ao cadastro foram realizadas ações educativas, incluindo a distribuição de folhetos com sinais e sintomas da doença, fixação de cartazes em pon-tos estratégicos e palestras em igrejas. Seis meses após as ações educativas foram refeitas entrevis-
tas em domicílios selecionados aleatoriamente para identificar possíveis mudanças na opinião dos moradores.
6. Com a descentralização do programa para as equi-pes de Saúde da Família, a regional propôs a verifi-cação trimestral do número de blister em estoque, das condições de armazenamento e do prazo de validade para remanejamento oportuno dos medi-camentos, a fim de evitar o desperdício.
7. A secretaria estadual de saúde solicitou à univer-sidade local comparar os coeficientes de detecção geral e em menores de 15 anos de idade, entre mu-nicípios que adotaram e municípios que não adota-ram a intervenção, buscando identificar as razões para as diferenças encontradas.
8. Em um dos municípios, durante a verificação dos achados de campanha, identificou-se que 20% dos casos novos de hanseníase eram portadores de hi-pertensão arterial e que 70% deles não faziam tra-tamento por desconhecerem o diagnóstico. Essas informações serviram de subsídio para pactuação de ações integradas.
9. No acompanhamento da sustentabilidade da inter-venção, identificou-se que foi aprovada pela Câmara de Vereadores de alguns municípios, dotação orça-mentária específica para a realização de campanhas e treinamento de profissionais de saúde.
Exercício 2 M&A – Definições e terminologias
Apoio didático
19
AnotAçõeS
SLIDE 10
Monitoramento
O que é Monitoramento?
acompanha rotineiramente informações prioritárias sobre um programa e •seus efeitos esperados.
acompanha os custos e o funcionamento do programa.•
Provê informações que podem ser utilizadas para a avaliação de programa.•
Melhora o programa e subsidia decisões de forma rápida e oportuna.•
Busca, em geral, responder perguntas como, por exemplo:
os achados indicam possibilidade de alcançar produtos e resultados •planejados?
Que estratégias/medidas devem ser adotadas para redirecionar a interven-•ção e ajustar os problemas verificados, garantindo a sustentabilidade de atividades promissoras?
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
20
AnotAçõeS
SLIDE 11
O que é Avaliação?
é um processo sistemático de coleta de informações sobre as atividades, •as características e os efeitos de um programa, respondendo a uma per-gunta avaliativa.
determina o mérito ou valor do programa e explica a relação entre ele •e seus efeitos considerando os contextos (político, econômico, cultural, sóciodemográfico, organizacional etc.).
é usada para julgar, embasar o planejamento, reestruturar o programa •com foco na sua melhoria por meio de decisões gerenciais pertinentes.
Avaliação
Apoio didático
21
AnotAçõeS
SLIDE 12
Relações entre M&A
AvaliaçãoMonitoramento
Monitoramento
AvaliaçãoMonitoramento
Avaliação
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
22
AnotAçõeS
SLIDE 13
Exercício 3
Classificar os indicadores/medidas,
marcando "x" na coluna apropriada.
DurAção Do ExErCíCio: 20 MinutoS. uM progrAMA tEM VárioS CoMponEntES: inSuMoS, proDutoS, rESuLtADoS E iMpACtoS. o ExErCíCio 3 foi DESEnVoLViDo pArA introDuzir A DiSCuSSão SobrE AS DEfiniçõES DE CADA uM DESSES CoMponEntES.
Apoio didático
23
itens insumo AtividAde Produto resultAdo imPActo
Número de exames dermatológicos realizados no programa.
Incidência e prevalência de dermatoses na população.
Profissionais de saúde existentes que serão alocados nas unidades e módulos de Saúde da Família para descentralização das ações.
Financiamento existente para descentralização.
Mudanças na representação social da hanseníase.
Número de kits distribuídos para teste de sensibilidade.
Realização de capacitações técnicas.
Número de unidades de saúde com o programa implantado após capacitação.
Desempenho dos profissionais no exame dermato-neurológico, avaliação de incapacidade e acompanhamento de tratamento.
Realização de ações educativas em comunidades.
Realização de campanhas semestrais para busca ativa de casos novos.
Número de cartilhas de prevenção de incapacidade distribuídas.
Esperança de vida ao nascer.
Taxa de cura de hanseníase.
Reinserção social do portador de hanseníase.
Unidade de saúde previamente existente.
Práticas profissionais adotadas.
Número de cartilhas de autocuidados distribuídas.
exercício 3 classifique os itens abaixo, marcando um "X" na coluna apropriada
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
24
AnotAçõeS
SLIDE 14
terminologias de Monitoramento e Avaliação
são os recursos necessários e disponíveis para uso no programa. incluem recursos financeiros, humanos, materiais e informações.
exemplos:
recursos financeiros específicos para o programa.•
Pessoal técnico para exame dermato-neurológico.•
análise de séries históricas para planejar a estimativa de número •de casos novos a serem detectados.
Procedimentos pelos quais os insumos são mobilizados visando à obtenção dos efeitos esperados.
exemplos:
treinar agentes comunitários para triagem de suspeitos.•
realizar teste de sensibilidade em lesões suspeitas.•
Insumos
Atividades
Apoio didático
25
AnotAçõeS
SLIDE 15
terminologias de Monitoramento e Avaliação
são os efeitos da intervenção nas populações-alvo. os resultados incluem vários tipos de efeitos, podendo considerar quantidades e qualidades (conhecimentos, atitudes, comportamentos).
exemplos:
Percentual de contatos examinados.•
Qualidade das ações de controle da hanseníase.•
Percentual de cura.•
Percentual de pacientes que comunicaram o diagnóstico à família.•
são as conseqüências imediatas da mobilização dos insumos por meio das atividades do programa.
exemplos:
número de pacientes com testes de sensibilidade realizados.•
número de usuários avaliados em campanhas.•
número de casos suspeitos referidos por agentes comunitários de saúde.•
Produtos
resultados
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
26
AnotAçõeS
SLIDE 16
terminologias de Monitoramento e Avaliação
referem-se aos efeitos de intervenções que são mensurados na população geral. raramente são atribuídos a uma única intervenção, a um único programa ou projeto.
exemplos:
incidência de hanseníase em menores de 15 anos de idade.•
Coeficiente de prevalência de hanseníase inferior a 1/10.000 habitantes.•
Grau de estigma em relação à hanseníase na população em geral.•
Impactos
Apoio didático
27
AnotAçõeS
SLIDE 17
Processo/implementação
Componentes de um Programa
Dados para desenvolvimento
do programa
Dados do programa Dados populacionais
Identificação do problema
e da mudança desejada
Insumos Atividades Produtos Resultados Impactos
recursos intervenções e serviços
efeitos imediatos
efeitos intermediários
efeitos finalísticos
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
28
AnotAçõeS
SLIDE 18
Exercício 4
Definições e terminologias
Classifique se as atividades de monitoramento e avaliação
do exercício 2 estão relacionadas com insumos, atividades,
produtos, processos, resultados ou impactos.
o objEtiVo Do ExErCíCio 4 é fixAr oS ConCEitoS EM M&A DoS DiVErSoS CoMponEntES DE MoDELo LógiCo DE uM progrAMA.
Apoio didático
29
Instruções
Classifique cada atividade de monitoramento ou ava-liação, de insumo, produto, resultado ou impacto.
A intervenção
A intervenção para descentralização das ações do Pro-grama de Hanseníase em um estado incluiu um dia de campanha para detecção de casos de hanseníase e durante a mesma treinar médicos(as), enfermeiro(as) e agentes comunitários de saúde (ACS). Durante as campanhas foram treinadas todas as categorias pro-fissionais das equipes de Saúde da Família e de uni-dades básicas.
Os resultados esperados eram: aumento da des-coberta de casos novos, recuperação de casos em abandono de tratamento e capacitação dos profis-sionais para desenvolverem ações do Programa de Hanseníase.
Questões
1. O número de casos detectados nas campanhas foi comparado com o número de casos novos estima-dos para o ano e verificou-se que durante as cam-panhas foram detectados 30% do total de casos estimados para o ano.
2. Através da lista de freqüência, identificou-se que, no primeiro semestre, 90 profissionais comparece-
ram ao treinamento durante as campanhas, de um total esperado de 170. No segundo semestre, 65 profissionais participaram do treinamento durante as campanhas.
3. Após dois anos de campanha analisaram-se os in-dicadores: percentual de casos novos com grau 0 de incapacidade, percentual de casos novos MB e percentual de comunicantes de casos novos exami-nados. Foi feita análise em comparação com dados dos 5 anos anteriores à intervenção e os resultados encontrados demonstraram que os achados eram insuficientes para um padrão pactuado como ade-quado. Após essa análise desenvolveram-se inves-tigações para explicar por que os resultados não alcançaram o padrão adequado.
4. O serviço de epidemiologia da unidade básica de referência está fazendo acompanhamento para ve-rificar se os ACS estão notificando os casos suspei-tos identificados em visitas domiciliares.
5. Com a implantação do PSF e descentralização das ações, os ACS, durante o cadastro das famí-lias, perguntavam a um dos moradores em cada domicílio o que era hanseníase. Na fase seguinte ao cadastro foram realizadas ações educativas, incluindo a distribuição de folhetos com sinais e sintomas da doença, fixação de cartazes em pontos estratégicos e palestras em igrejas. Seis meses após as ações educativas foram refeitas entrevistas em domicílios selecionados aleato-
riamente para identificar possíveis mudanças na opinião dos moradores.
6. Com a descentralização do programa para as equi-pes de Saúde da Família, a regional propôs a veri-ficação trimestral do número de blister, das con-dições de armazenamento e do prazo de validade para remanejamento oportuno dos medicamentos, a fim de evitar o desperdício.
7. A secretaria estadual de saúde solicitou à univer-sidade local comparar os coeficientes de detecção geral e em menores de 15 anos de idade, entre municípios que adotaram e municípios que não adotaram a intervenção, buscando identificar as razões para as diferenças encontradas.
8. Em um dos municípios, durante a verificação dos achados de campanha, identificou-se que 20% dos casos novos de hanseníase eram portadores de hi-pertensão arterial e que 70% deles não faziam tra-tamento por desconhecerem o diagnóstico. Essas informações serviram de subsídio para pactuação de ações integradas.
9. No acompanhamento da sustentabilidade da in-tervenção, identificou-se que foi aprovada pela Câmara de Vereadores de alguns municípios, dotação orçamentária específica para a realiza-ção de campanhas e treinamento de profissio-nais de saúde.
Exercícios 4 M&A – Definições e terminologias
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
30
AnotAçõeS
SLIDE 19
terminologias de Monitoramento e Avaliação
acompanhamento de informação sobre insumos ou recursos e sobre produtos resultantes das atividades do programa, considerando se as informações indicam possibilidade de alcançar produtos e resultados planejados.
Responde questões do tipo:
Insumo
Qual o número de profissionais disponíveis para o programa?•
Qual o número de • blisters necessários para suprir a demanda de medica-mentos para pacientes da área?
Produto
Qual o número de profissionais treinados?•
Qual o número de • blisters distribuídos?
Monitoramento de insumo/
produto
Apoio didático
31
AnotAçõeS
SLIDE 20
terminologias de Monitoramento e Avaliação
é abordada, usualmente, como equivalente à análise de implantação/implementação.
Complementa o monitoramento de insumos, atividades e produtos com uma dimensão explicativa, viabilizando a compreensão dos contextos que podem afetar o programa.
Responde a questões sobre o grau de implementação e fornece explicações sobre os achados, como sugerido a seguir:
a intervenção foi implementada conforme o planejado? •
Quais as possíveis explicações para os achados?•
exemplos:
todas as famílias foram cadastradas?•
Que fatores explicam os resultados do cadastramento?•
Qual o percentual da população que compareceu à campanha?•
Que fatores dificultaram ou facilitaram o acesso no dia da campanha? •
Avaliação de processo
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
32
AnotAçõeS
SLIDE 21
Modelo para Análise da Implementação
A Bautonomia técnica, gerencial, financeira
e política
Contexto organizacional
integralidade, acesso e qualidade das ações de saúde
Grau de implementação
Controle de riscos •e danos
satisfação do usuário•
Efeitos
Compromisso político•
vulnerabilidade social•
outros recursos e/ou •programas sociais
Componente externo
Modelo teórico ou Lógico dos Programas
Apoio didático
33
AnotAçõeS
SLIDE 22
terminologias de Monitoramento e Avaliação
acompanhamento das informações relacionadas aos efeitos esperados do •programa.
Usualmente é relacionado à população-alvo em um período de tempo, tais •como curto e médio prazos.
Responde a questões do tipo:
o efeito esperado ocorreu?•
o comparecimento à campanha implicou a descoberta de casos novos? •
Houve recuperação de casos em abandono de tratamento?•
exemplo:
Qual o percentual de casos confirmados dentre os casos suspeitos detecta-•dos por agentes comunitários de saúde?
Monitoramento de resultado
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
34
AnotAçõeS
SLIDE 23
terminologias de Monitoramento e Avaliação
Contempla ou aborda as explicações sobre as razões pelas quais as ativida-•des do programa alcançaram ou não os seus efeitos na população-alvo.
enfatiza as relações causais entre intervenção e efeito.•
Responde a questão do tipo:
a intervenção explica os efeitos esperados?•
exemplo:
as campanhas foram responsáveis pela variação no percentual de casos •novos detectados? Como?
Avaliação de resultado
Apoio didático
35
AnotAçõeS
SLIDE 24
terminologias de Monitoramento e Avaliação
refere-se, usualmente, ao acompanhamento das tendências epidemiológicas da doença.
Responde a questões do tipo:
a taxa de detecção/incidência de hanseníase mudou no período considerado?•
a taxa de incidência tem evoluído conforme o esperado?•
exemplo:
acompanhamento sistemático da evolução da taxa de incidência de hanse-•níase (vigilância epidemiológica da hanseníase).
Monitoramento de impacto
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
36
AnotAçõeS
SLIDE 25
terminologias de Monitoramento e Avaliação
análise das relações entre as tendências epidemiológicas da doença e os programas de controle e outros fatores associados.
Responde a questões do tipo:
Quanto do efeito se deve à intervenção?•
exemplo:
Quanto da variação na taxa de detecção/incidência de hanseníase foi devi-•da às campanhas?
Avaliação de impacto
Apoio didático
37
AnotAçõeS
SLIDE 26
Modelo Lógico de Interação
ProdutosResultados
de curto prazoResultados
intermediários
Insumos do programa estadual
Insumos do programa
federal
Insumos do programa municipal
Outros insumos
Programa
Programa
Programa
Programa
Programa
Programa
Programa
Programa
Impactos
Interfaces
Parcerias governamentais
Parcerias multisetoriais
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
38
AnotAçõeS
SLIDE 27
terminologias de Avaliação
é realizada durante todo o processo de planejamento e execução do •programa.
visa ao aprendizado e à construção de alternativas para a melhoria do •programa.
Responde questões do tipo:
Como a intervenção pode ser modificada para atingir os seus produtos e •resultados?
existem melhores soluções que aquelas propostas pelo programa? •
Como os componentes deste programa se relacionam entre si?•
Avaliação formativa
Apoio didático
39
AnotAçõeS
SLIDE 28
terminologias de Avaliação
Usualmente realizada para prover aos gestores ou aos usuários julgamento sobre pertinência ou mérito de um programa.
Responde questões do tipo:
o programa é efetivo? •
o programa deve continuar?•
Usualmente realizada para prover aos gestores ou aos usuários julgamento sobre a conformidade de um programa às normas ou padrão ouro prescritos.
Responde questões do tipo:
o programa segue as normas prescritas?•
Avaliação somativa
Avaliação normativa
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
40
AnotAçõeS
SLIDE 29
terminologias de Avaliação
Relação entre avaliação formativa e somativa em um programa
Avaliação formativa
Avaliação somativa
vida do programa
Ênfa
se re
lativ
a
Apoio didático
41
AnotAçõeS
SLIDE 30
Relação entre Avaliação, Planejamento, Implementação e Resultado
estudos de avaliabilidade•
diagnóstico de situação•
Monitoramento de insumos •
atividades e produtos•
avaliação de processo•
Monitoramento de resultados•
avaliação de resultado•
Monitoramento de impacto•
avaliação de impacto•
Planejamento Implementação e efeitos operacionais Efeitos finalísticos
ESSE SLiDE AprESEntA AS rELAçõES EntrE A AVALiAção, o pLAnEjAMEnto E A ExECução Do progrAMA, E ExEMpLifiCA SituAçõES ConCrEtAS DE AVALiAção noS VárioS MoMEntoS DESSAS rELAçõES.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
42
AnotAçõeS
SLIDE 31
Implicações do Desconhecimento de como uma Intervenção foi Implementada
Planejamento
??????????
Efeitos
Apoio didático
43
AnotAçõeS
SLIDE 32
níveis do esforço em M&A
núm
ero
de p
roje
tos
M&A: Expectativas Realistas
todos os níveis Maioria dos níveis
Considerar relação com a execução
do programa
Alguns níveis
Considerar a possibilidade de identificar efeitos
sobre população-alvo
Poucos níveis
Considerar a possibilidade de identificar efeitos
na população geral
Monitoramento de insumos, atividades
e produtos
avaliação de processoM&a de resultado M&a de impacto
Adaptado de rehle/rugg M&e Pipeline Model, FHI 2001.
Pipeline de M&A
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
44
AnotAçõeS
SLIDE 33
Componentes do Modelo Lógico do Programa
1 2 3 4 5
Recursos/insumos Atividades Produtos Resultados Impactos
trabalho previsto efeitos esperados
Identificação do problema
Apoio didático
45
AnotAçõeS
SLIDE 34
Análise de situação
Análise de intervenções
de estratégias conhecidas
necessidade dos atoresAnálise de recursosPlanos de
colaboração
FinanciamentostécnicosMateriais
InstalaçõesSuprimentos
treinamentosAções educativas
tratamentosCampanhas
nº de técnicos treinadosnº de participantes
em ações educativasnº de blisters distribuídos
nº de usuários atendidos em campanhas
nº de casos suspeitos identificados
em campanhasnº de casos novos
descobertos em campanhas
% de técnicos habilitados nas ações de controle
% de participantes/ total esperado
% de blisters distribuídos/pacientes em tratamento% da população atendida
em campanhas% de casos suspeitos/total atendidos nas campanhas% de casos confirmados/suspeitos na campanha
% de casos novos segundo grau de incapacidade
Incidência e prevalência de
hanseníaseestigma
Incidência em menores de 15 anos
Concessão de benefícios do InSS por incapacidade
exeMPloS: reAlIzAr: reDuzIr:
Diagnóstico e planejamento
Insumos (recursos)
Atividades (intervenções,
serviços)
Produtos (efeitos imediatos)
Resultados(efeitos intermediários)
Impactos (efeito acumulado/
longo prazo)
Processo/Implementação
Dados para desenvolvimento
do programa
Dados do programa Dados populacionais: saúde, sóciocomportamentais
InForMAçõeS
Modelo Lógico do Programa de Hanseníase
Além de monitorar dados, alguns programas realizam avaliações de processo e de resultado.
EStE SLiDE MoStrA A priMEirA ViSuALizAção Do EnCADEAMEnto LógiCo DoS CoMponEntES Do progrAMA, DEtALhADo poStEriorMEntE no MoDELo LógiCo.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
46
AnotAçõeS
SLIDE 35
Definição de Modelo Lógico
é uma maneira visual e sistemática de apresentar as relações entre inter-•venção e efeito.
é uma representação da racionalidade do programa, freqüentemente apre-•sentado como um fluxograma, um mapa ou uma tabela, que explicita a seqüência de passos que conduzem aos resultados do programa.
Ele deve incluir:
as relações entre os recursos necessários para operacionalizar o programa. •
as atividades planejadas e as mudanças ou resultados que o programa •pretende alcançar.
Modelo lógico
Apoio didático
47
AnotAçõeS
SLIDE 36
Identificação do problema: casos novos de hanseníase têm algum grau de incapacidade demonstrando que a detecção não é precoce.
Insumos Atividades Produtos Resultados Impactos
Financiamento governamental
e outros
Sistema de informação
Material para capacitação técnica
equipes para descentralização
do programa
Cartazes e folderes
Cartilhas para orientar tratamento
e prevenção de incapacidades
Kits diagnóstico, tratamento e prevenção de incapacidades
Sistema de referência nível 2º/ 3º e 4º estruturado
treinar equipes de unidade e Saúde da
Família para diagnosticar e tratar, para ações de promoção, prevenção,
triagem em comunidade e uso de sistema
de informação
Disponibilizar material didático, inclusive normas
realizar supervisões do programa
Disponibilizar material para mobilização
comunitária
Disponibilizar material educativo para pacientes
Disponibilizar material para diagnóstico
e tratamento
referenciar pacientes
nº de treinamentos
realizados
nº de profissionais
treinados
nº casos novos identificados
nº casos novos em tratamento
nº supervisões realizadas
nº de áreas mobilizadas
nº de ações educativas realizadas
nº de casos em tratamento
nº de casos referidos
Desempenho dos técnicos no diagnóstico precoce,
avaliação de incapacidade, acompanhamento de tratamento e uso de
sistema de informação conforme normas
Desempenho dos ACS nas ações de promoção,
prevenção e triagem em comunidade
Aumento do nível de descentralização
das ações
Aumento do grau de informação da população
Aumento da adesão ao tratamento
Melhoria da qualidade do programa
Aumento das taxas de cura
redução das taxas
de abandono
redução do grau de
incapacidades físicas
Alteração significativa
do coeficiente de incidência
redução do estigma
na população em geral
Modelo Lógico de Implementação da Detecção Precoce de Casos de Hanseníase
o MoDELo LógiCo inCLui A DESCrição DoS CoMponEntES E AS rELAçõES EntrE CADA uM DELES, uSuALMEntE ExprESSAS no MoDELo por MEio DE SEtAS.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
48
AnotAçõeS
SLIDE 37
Por que usar Modelos Lógicos?
ilustra a consistência lógica interna do programa, contribuindo para iden-•tificar lacunas e resultados não realísticos.
envolve os atores e promove a comunicação sobre o programa entre finan-•ciadores, executores, membros da comunidade e outros atores, inclusive avaliadores.
Focaliza a avaliação do programa ao identificar as questões avaliativas •apropriadas e os dados relevantes necessários.
Comunica o propósito fundamental do programa, evidenciando, de manei-•ra explícita, os produtos e resultados esperados do programa.
Contribui para o monitoramento do progresso do programa ao fornecer •um plano claro de acompanhamento, de forma que os sucessos possam ser reproduzidos e os problemas, evitados.
vantagens do modelo lógico
Apoio didático
49
AnotAçõeS
SLIDE 38
Limitações do Modelo Lógico
é uma representação da realidade, não a realidade.•os programas não são lineares. »
normalmente, não inclui efeitos, além daqueles inicialmente esperados.•
Há dificuldade do estabelecimento da causalidade.•Muitos fatores influenciam os efeitos. »
Parte do pressuposto que a escolha da intervenção é a mais correta.•não leva em conta a pergunta: o que estamos fazendo é o mais correto? »
limitações
AS inStruçõES DEStA páginA São ExtEnSiVAS AoS SLiDES 39 E 40.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
50
AnotAçõeS
SLIDE 39DurAção Do ExErCíCio: 30 MinutoS. o objEtiVo Do ExErCíCio 5 é ConStruir uM MoDELo LógiCo pArA A VigiLânCiA DE ContAtoS.
Exercício 5
Construa o modelo lógico para vigilância de contatos
de hanseníase utilizando os cartões disponibilizados.
Apoio didático
51
AnotAçõeS
SLIDE 40
Objetivos e Metas
estabelece, de forma geral e abrangente, as intenções e os efeitos esperados do programa, orientando o seu desenvolvimento. explicita a mudança que a intervenção pretende alcançar.
estabelecem quantitativamente os efeitos esperados em um tempo deter-minado. devem ser específicas, viáveis e mensuráveis.
Conjunto de eventos ou ações concretas que, coletivamente, contribuem para alcançar o objetivo geral.
objetivo geral
objetivos específicos
Metas
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
52
AnotAçõeS
SLIDE 41
Exemplos de Objetivos e Metas
Objetivo específico:examinar contatos registrados de casos novos e antigos em tratamento de hanseníase.
Metaao final do primeiro ano do projeto, metade dos contatos registra-dos de casos novos e antigos em tratamento no início da interven-ção deverão ter sido examinados.
ProDuto
nº de contatos de casos antigos e
novos examinados.
Objetivo específico:implantar estratégias educativas para que o portador de hanseníase comunique o diagnóstico a seus familiares.
Meta ao final do segundo ano do projeto, 90% dos casos novos e antigos em tratamento no início da intervenção deverão ter participado de reuniões educativas para a comunicação do diagnóstico à família.
reSultADo
Percentual de casos novos e antigos
que participaram de reuniões educativas
para comunicar o diagnóstico
à família.
Apoio didático
53
AnotAçõeS
SLIDE 42
Estratégia SMARt de Definição de Metas
eSPeCíFICA: identifica eventos ou ações concretas que ocorrerão. a meta especifica claramente o que deve ser alcançado, onde e o quanto?
MenSurável: Quantifica os recursos, as atividades e a mudança. a meta é mensurável?
AProPrIADA: relaciona logicamente o problema identificado com os efeitos desejáveis. a meta se relaciona com o que o programa se propõe a realizar?
ReAlIStA: dimensiona realisticamente a adequação entre os recursos disponíveis e o plano de implementação.
a meta é alcançável dada a disponibilidade de recursos e experiência?
teMPorAlIDADe: especifica um prazo no qual a meta será alcançada. a meta especifica quando ela será alcançada?
EStE é uM DoS ConCEitoS MAiS iMportAntES DESSA ofiCinA.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
54
AnotAçõeS
SLIDE 43
Exemplos de Metas SMARt
ao final do primeiro ano do projeto, metade dos contatos registrados de casos novos e antigos em tratamen-to no início da intervenção deverão ter sido examinados.
ao final do segundo ano do projeto, 90% dos casos novos e antigos em tratamento no início da intervenção deverão ter participado de reuniões educativas para a comunicação do diagnóstico à família.
eSPeCíFICA: a meta especifica claramente o que deve ser alcançado, onde e o quanto?
MenSurável: a meta é mensurável?
AProPrIADA: a meta se relaciona com o que o programa se propõe a realizar?
ReAlIStA: a meta é alcançável dada a disponibilidade de recursos e experiência?
teMPorAlIDADe: a meta especifica quando ela será alcançada?
Apoio didático
55
AnotAçõeS
SLIDE 44
Exercício 6
Definição de metas SMARt
Escreva três metas SMArt relacionadas com
a vigilância de contatos de hanseníase.
DurAção Do ExErCíCio: 20 MinutoS.o objEtiVo Do ExErCíCio 6 é fixAr o ConCEito DA MEtA SMArt, LEVAnDo oS pArtiCipAntES A rEfLEtir SobrE uMA SituAção ConCrEtA.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
56
Exercício 6 Desenvolvendo metas SMARt
Considerando informações sobre os mecanismos de transmissão da hanseníase, estudos científicos e observações empíricas consideram que a vigilância de contatos é atividade-chave para prevenção e diagnóstico precoce de casos novos. o modelo lógico previsto para implementação desta intervenção está descrito a seguir. a avaliação desta implementação também deve ser considerada. você deve elaborar metas para a intervenção que possam captar o processo, resultado e impacto.
identificação do problema
estudos epidemiológicos longitudinais identificam maior risco de hanseníase entre comunicantes domiciliares do que na •população em geral.
insumos local com privacidade e iluminação natural.•Profissionais com capacitação técnica. •livro de registro de contatos. •vacina BCG.•seringas, agulhas. •Kit para teste de sensibilidade. •Geladeira para armazenamento exclusivo de vacinas. •
atividades identificar contatos a serem examinados. •realizar exame dermato-neurológico em contatos. •diagnosticar casos novos e iniciar tratamento.•identificar contatos indenes para vacinação. •aplicar vacina BCG em contatos indenes. •
Produtos número de contatos identificados.•número de contatos examinados.•número de contatos doentes.•número de contatos indenes. •número de contatos indenes vacinados. •
resultados % de contatos examinados. •% de contatos doentes em tratamento. •% de contatos indenes.•% de contatos indenes que receberam BCG.•aumento do número de casos com diagnóstico precoce. •redução da incidência de formas multibacilares. •
impacto redução do coeficiente geral de incidência. •
Apoio didático
57
RELACIONE tRêS MEtAS PARA EStE PROGRAMA vERIfIqUE SE ESSAS MEtAS SEGUEM O CRItéRIO SMARt
ProDuto
eSpecífca
Mensurável
Apropriada
Realista
Temporalidade
reSultADo
eSpecífca
Mensurável
Apropriada
Realista
Temporalidade
IMPACto
eSpecífca
Mensurável
Apropriada
Realista
Temporalidade
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
58
AnotAçõeS
SLIDE 45ViMoS Até Aqui A utiLizAção Do MoDELo LógiCo pArA o pLAnEjAMEnto.A pArtir DE AgorA DiSCutirEMoS CoMo ESSA fErrAMEntA poDE SEr uSADA no M&A.
Utilizando Modelos Lógicos para Avaliação
Modelo teórico de avaliação
Apoio didático
59
AnotAçõeS
SLIDE 46
Modo de Pensar Avaliativo
existe uma diferença?essa diferença é aceitável?
Como explicar essa diferença?
nível de implementação
nível de desempenho
intervenção
efeitos na população-alvo
Planejado
Executado
Planejado
Alcançado
Modelo operacional
Modelo teórico
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
60
AnotAçõeS
SLIDE 47
Matriz de Avaliação de Programa
Contexto
planejado executado
indicadores padrões mérito
insumos
atividades
produtos
Descrição
valor
Con
tIn
gÊn
CIA
S
CongruÊnCIAS
Matriz de descrição
Matriz de julgamento
AdAptAdo de StAke 1973.
EnfAtizE quE o MoDELo tEóriCo DA AVALiAção é CoMpoSto DE trêS MAtrizES intEgrADAS: A MAtriz DESCritiVA Do progrAMA, A DE CoMpArAção ou AnáLiSE E A DE juLgAMEnto.AproVEitE ESSE MoMEnto pArA rELEMbrAr A DifErEnçA EntrE AVALiAção E MonitorAMEnto.
Apoio didático
61
AnotAçõeS
SLIDE 48
Ou seja...
Existe uma diferença?(descrever + comparar)
Como explicar essa diferença?(descrever + analisar)
Essa diferença é aceitável?(comparar + negociar padrões + julgar + explicar)
ESSE SLiDE SintEtizA oS prinCipAiS pontoS DiSCutiDoS noS SLiDES AntEriorES.
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
62
AnotAçõeS
SLIDE 49
Exemplo de Modelo Operacional de Avaliação de Intervenção para Detecção Precoce de Caso de Hanseníase
Lógica da intervenção: a mobilização da população para reconhecimento dos sinais e sintomas de hanseníase motiva casos suspeitos a participarem das campanhas; as equipes de saúde da Família e agentes comunitários treinados fazem busca ativa de casos em domicílios; os pacientes participantes de ações educativas comunicam o diagnóstico aos familiares que procuram espontaneamente os serviços. a descentralização das ações de controle e integração com a rede básica facilita o acesso. o treinamento de profissionais e a disseminação da informação para a população contribui para a descoberta precoce de casos novos, aumento nas taxas de cura, alterando a incidência da doença.
Profissionaistreinados
Profissionaistreinados
realizar campanhas
Campanhas realizadas
Insumos Atividades Produtos Resultados Impactos
realização de duas campanhas no ano
600 pessoas examinadas
45 casos confirmados
45 casos novos
iniciando tratamento
30 casos novos
iniciando tratamento
100% de taxa de cura
80% de taxa de cura
alteração significativa
na incidência de hanseníase
alteração da incidência da
hanseníase não foi significativa
realização de uma campanha no ano
400 pessoas examinadas
30 casos confirmados
ESSE SLiDE MoStrA uM ExEMpLo DE MoDELo tEóriCo pArA AVALiAção DE AtiViDADES pLAnEjADAS nA intErVEnção.
Apoio didático
63
AnotAçõeS
SLIDE 50
Relação entre os Componentes de um Modelo Lógico, as Metas e as Perguntas Avaliativas
Modelo lógico
Meta
Perguntas de monitoramento
e avaliação
o quê e como medir
Profissionais treinados
realização no 1º ano da intervenção de uma campanha no ano
400 pessoas examinadas
30 casos novos confirmados
30 casos novos
iniciaram tratamento
80% de taxa de cura
A alteração na incidência de hanseníase
não foi significativa
realizar durante 10 anos 2 campanhas no ano e examinar 600 pessoas a cada ano
os 45 casos novos descobertos em cada ano deverão iniciar tratamento
e 100% receberem alta por cura
Alteração significativa da incidência de hanseníase
Quantas campanhas foram realizadas no ano em curso e quantas pessoas foram examinadas? (monitoramento)
Por quê? (avaliação)
Quantos casos foram diagnosticados, iniciaram tratamento e tiveram alta por cura? (monitoramento)
Por quê? (avaliação)
Indicadores Método e fonte de coleta de dados
nº de campanhas realizadas
Análise de documentosFonte: relatórios de campanhas
nº de usuários examinados
Análise de documentosFonte: relatórios de campanhas
Facilidades/ obstáculos
entrevistasFonte: gerentes/gestores
Indicadores Método de coleta de dados
nº casos novos Análise documentalFonte: livro de registro de casos
nº de casos novos em tratamento
Análise documentalFonte: prontuários
nº altas por cura Análise documentalFonte: prontuários
Motivos abandono entrevistas Fonte: pacientes
Insumos Atividades Produtos Resultados Impactos
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
64
AnotAçõeS
SLIDE 51
Exercício 7
Com base no modelo lógico:
a) Analise se as metas descritas são SMArt.
b) Elabore perguntas de monitoramento e avaliação.
c) Descreva o que será medido e como será medido.
Definição da pergunta de
monitoramento e avaliação
DurAção Do ExErCíCio: 20 MinutoS.o objEtiVo DESSE ExErCíCio é rEforçAr o ConCEito DE MEtA SMArt E EStiMuLAr o pArtiCipAntE A DESEnVoLVEr toDA A SEqüênCiA quE LigA AS pErguntAS DE MonitorAMEnto ou DE AVALiAção àS forMAS DE rESponDê-LAS, inCLuinDo oS MEioS DE VErifiCAção E oS inDiCADorES.
Apoio didático
65
AnotAçõeS
SLIDE 52
Exercício 7
Insumos Atividades Produtos Resultados Impactos
ao final de 2 anos, 100% dos municípios
deverão ter implantado vigilância de contatos em unidades com o programa
ao final de cinco anos, 75% dos contatos de casos antigos e novos
registrados no início da intervenção deverão ter sido examinados e 100%
dos indenes vacinados com BCG
alteração significativa
no coeficiente de incidência ao final de
5 anos
Meta
Profissionais capacitados
Kit para teste de sensibilidade
Geladeira, seringas, agulhas e
vacina BCG
realizar exame
dermato- neurológico de contatos
aplicar BCG em contatos
indenes
número de contatos de casos novos e
antigos examinados
número de contatos indenes vacinados
número de casos confirmados em
tratamento
Percentual de casos
novos pauci e multibacilares
alteração do coeficiente
de incidência
Modelo lógico
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
66
AnotAçõeS
SLIDE 53
Etapas na Prática da Avaliação
Comprometa os atores estratégicosPessoas envolvidas ou afetadas, pessoas necessárias à sustentabilidade do programa •e usuários primários da avaliação (stakeholders).
Descreva a intervençãodefina com clareza o problema, necessidades, estágio do programa, contexto, re-•cursos e modelo lógico (articulando atividades a efeitos esperados).
Descreva o desenho da avaliaçãoPropósitos, questões, foco, usos, abordagem, métodos, acordos, usuários poten-•ciais dos achados da avaliação.
Acumule evidências com credibilidadeQualidade dos indicadores e das fontes de coleta de dados.•
Justifique as conclusõesPadrões, análise/síntese, interpretação, julgamento e recomendações.•
garanta o uso e compartilhe as lições aprendidasdesenho, preparação, retroalimentação, seguimento e disseminação. •
ESSE SLiDE SintEtizA AS prinCipAiS EtApAS prátiCAS DA AVALiAção.
Apoio didático
67
AnotAçõeS
SLIDE 54
Pré-requisitos de Avaliabilidade
existe a vontade de realizar avaliação?•
as pessoas que irão utilizar os resultados da avaliação foram identificadas?•
existe um modelo lógico descrevendo a implementação e os efeitos esperados?•
as perguntas avaliativas foram identificadas?•
existe a intenção de usar os resultados da avaliação?•
as informações necessárias estão definidas?•
os dados necessários estão disponíveis ou sua coleta é factível?•
os recursos para a avaliação estão assegurados?•
os procedimentos para coleta, manuseio e análise de dados foram desenvolvidos?•
existe uma estratégia para difundir e utilizar os resultados da avaliação?•
Not ready
Ready to evaluate!
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
68
AnotAçõeS
SLIDE 55
Pré-requisitos para uma Avaliação de Resultado
o programa é sustentável?•
o programa foi implementado de acordo com o plano estabelecido?•
o programa vem sendo desenvolvido com níveis de estabilidade aceitáveis?•
o programa atinge um número suficiente de pessoas?•
o programa tem sido executado com a intensidade suficiente?•
Apoio didático
69
AnotAçõeS
SLIDE 56
Padrões de Avaliação das Avaliações
Etapas da Avaliação
gara
nta o
uso
e co
mpa
rtilhe
as
liçõe
s ap
rend
idas
Comprometa os atores estratégicos
Descreva a
intervenção
com credibilidadeAcumule evidências
conclusõesJustifique as
exeqüibilidade
Propriedade
Acurácia
utilidade
desen
ho d
a av
alia
ção
Descr
eva
o
Padr
ões p
ara uma "boa" avaliação
Ministério da SaúdeHanseníase: Monitoramento e Avaliação
70
AnotAçõeS
SLIDE 57
Como Avaliar uma Avaliação? (Meta-avaliação)
utilidadea avaliação atende às necessidades de informação dos usuários intencionais?•
exeqüibilidadetodos os passos necessários foram executados e dentro de um custo aceitável?•
Propriedadedurante o processo avaliativos, os princípios legais, éticos, técnicos e de respeito •ao bem-estar dos envolvidos ou afetados pela avaliação foram observados?
Acuráciaos resultados divulgados são tecnicamente válidos?•
obSErVE quE oS CritérioS DEVEM rEfLEtir A SinguLAriDADE DA AVALiAção propoStA E o ContExto EM quE ELA oCorrE.
Apoio didático
71
AnotAçõeS
SLIDE 58
Avaliação da Oficina
Que bom que...
Que pena que...
Que tal se...
73
Centers For disease Control and Prevention (CdC). Framework for Program evaluation in Public Health. MMWr, [s.l.], 17 sept., v. 48, p. 1-40, 1999.
______. Global AIDS Program Monitoring and evaluation Capacity Building for Program improvement Field Guide. atlanta, 2003.
ContrandrioPoUlos, andré-Pierre et al. a avaliação na Área da saúde: conceitos e métodos. in: avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. rio de Janeiro: Fiocruz, 1997.
HartZ, Z. M. a. (org.). Avaliação de Saúde: dos Modelos Conceituais à Prática na análise de implantação de Programas. rio de Janeiro: Fiocruz, 1997.
HartZ, Z. M. a. avaliação dos Programas de saúde: Perspectivas teórico-Metodológicas e Políticas institucionais. Ciência & Saúde Coletiva, [s.l.], v. 4, n. 2, p. 341-353, 1999.
______. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulgação em Saúde para Debate, rio de Janeiro, n. 21, p. 29-35, dez. 2000.
institUto Fonte. Introdução à Avaliação de Programas Sociais. são Paulo: instituto Fonte, 2004. (Coletânea de textos).
Joint CoMMittee on standards For edUCational evalUation. The Program Evaluation Standards. 2nd ed. thousand oaks: sage, 1994.
last, J. M. A Dictionary of Epidemiology. new York: oxford University Press, 1988.
Medina, M. G. et al. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. in: HartZ, Zulmira; vieira-da-silva l. M. (org.) Avaliação em Saúde: dos Modelos teóricos à Prática na avaliação de Programas e sistemas de saúde. salvador: edUFBa; rio de Janeiro: Fiocruz, 2005. p. 41-63.
Patton, M. Q. Qualitative Evaluation and Research Methods. newbury Park. sage Publications, 1990
______. Evaluation Methods. Hardcover: sage Publications, 2001.
______. Qualitative Research & Evaluation Methods. 3rd ed. thousand-oaks: sage Publications, 2002.
PosavaC, e.; CareY, r. G. Program Evaluation: Methods and Case studies. 6th ed. Upper saddle river: Prentice-Hall, 2003.
rUGG, d.; Mills, s. development of an integrated Monitoring and evaluation Plan. in: reHle, t. et al. (ed.). Evaluating Programs for HIV/Aids Prevention and Care in Developing Countries. arlington: Family Health international, 2000.
staKe, r. the Countenance of educational evaluation. in: WortHen, B. r.; sanders, J. r. Educational Evaluation: theory and Practice. California: Wadsworth Publishing Company, 1973.
W. K. KelloGG FoUndation. Evaluation Handbook. retrieved January, 1998.
______. Logic Model Development Guide: logic Models to Bring together Planning, evaluation & action. Battle Creek, Mi: W. K. Kellogg Foundation, 2001.
WaldMan, e. a. Usos da vigilância e da Monitorização em saúde Pública. Informe Epidemilógico do SUS, [s.l.], v. 7, n. 3, p. 7-26, jul./set. 1998.
WortHen, B. r.; sanders, J. r.; FitZPatriCK, J. l. Program Evaluation: alternative approaches and Practical Guidelines. 2nd ed. United states: longman, 1997.
Sites consultados:ellen taylor-Powell. [200-]. disponível em: <http://www.uwex.edu/ces/pdande/evaluation/evalpresentations.html>. acesso em: 16. jun. 2004.
CdC evaluation Working Group. [200-]. disponível em: <http://www.cdc.gov/eval/resources.htm#logic> acesso em: 26 out. 2004.
Referências
75
aMeriCan evalUation assoCiation. Guiding Principles for Evaluators. Fairhaven: eval, 2004.
anKer, M. et al. rapid evaluation Methods (reM) of Health services Performance: methodological observations. in: tHe Use of essential drugs. Geneva: WHo, 1992. (technical report series, n. 825).
Brasil. Ministério da saúde. Avaliação na Atenção Básica em Saúde: caminhos da institucionalização. Brasília, 2005. 36 p.
______. Ministério da saúde. Monitor Aids: sistema de Monitoramento de indicadores do Programa nacional de dst e aids. Brasília: Ministério da saúde, 2004. 100 p. il.
ContrandrioPoUlos, andré-Pierre. avaliando a institucionalização da avaliação. Ciência e Saúde Coletiva, rio de Janeiro, v. 11, n. 3, jul./set., 2006.
FelisBerto, eronildo. Monitoramento e avaliação na atenção Básica: novos horizontes. in: inForMes técnico-institucionais. Rev. Bras. Saúde Matern. Infant., recife, v. 4, n. 3, p. 317-321, jul./set., 2004.
Ferreira, Helder; Cassiolato, Martha; GonZaleZ, roberto. Como Elaborar Modelo Lógico de Programa: um roteiro básico. Brasília: ipea, 2007.
HartZ, Zulmira Maria de araújo. Princípios e Padrões em Meta-avaliação: diretrizes para os programas de saúde. Ciência & saúde Coletiva, [s.l.], v. 11, n. 3, p. 733-738, 2006.
MaCinKo, James; GUanais, Frederico C.; soUZa, Maria de Fátima Marinho de. evaluation of the impact of the Family Health Program on infant Mortality in Brazil, 1990-2002. J. Epidemol. Community Health, [s.l.], v. 60, p. 13-19, 2006.
Medina, M. G. et al. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. in: HartZ, Zulmira; vieira-da-silva, l. M. (org.). Avaliação em saúde:
dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. salvador: edufba; rio de Janeiro: Fiocruz, 2005. p. 41-63.
natal, sonia et al. avaliação do Programa de Controle da tuberculose: estudo de casos na amazônia legal. Bol. Pneumol. sanit., [s.l.], v. 12, n. 2, p. 91-109, 2004.
neMes, Maria inês Battistella et al. avaliação da Qualidade da assistência no Programa de aids: questões para a investigação em serviços de saúde no Brasil. Cad. Saúde Pública, rio de Janeiro, v. 20, p. 5310-5321, 2004. suplemento 2.
santos, elizabeth Moreira dos; natal, sonia; CrUZ, Marly. Dimensão Técnico-operacional: curso de especialização em avaliação de Programas de Controle de Processos endêmicos, com ênfase em dst/Hiv/aids. rio de Janeiro: abrasco, 2007. p. 7-10.
santos, iná s. et al. avaliação da eficácia do aconselhamento nutricional dentro da estratégia do aidPi (oMs/UniCeF). Rev. Bras. Epidemiol., [s.l.], v. 5, n. 1, 2002.
viCtoria, Cesar G. avaliando o impacto de intervenções em saúde. Rev. Bras. Epidemiol., [s.l.], v. 5, n. 1, 2002.
WortHen, Blaine r.; sanders, James r.; FitZPatriCK, Jody l. Como avaliar avaliações: curso de especialização em avaliação de Programas de Controle de Processos endêmicos, com ênfase em dst/Hiv/aids. in: ______. Avaliação de Programas: Concepções e Práticas. são Paulo: Gente, 2004. p. 21-31.
Para saber mais