sano montenegro 2013 as tecnicas de avaliacao da ef 9706
DESCRIPTION
programasTRANSCRIPT
-
Desenvolvimento em Questoeditora uniju ano 11 n. 22 jan./abr. 2013
artigo
p. 35-61
as tcnicas de avaliao da eficincia, eficcia e efetividade na gesto Pblica e sua relevncia para o Desenvolvimento social e das aes Pblicas
Hironobu Sano1 Mrio Jorge Frana Montenegro Filho2
resumo
A necessidade crucial de mais eficincia, eficcia e efetividade (3Es) das aes governamentais est intrinsecamente relacionada questo do desenvolvimento, pois suas possibilidades so, muitas vezes, cerceadas devido aos limites que surgem quando os atores envolvidos na gesto pblica no esto comprometidos com estes conceitos, resultando em impactos negativos na vida de todos os cidados. Da a demanda por uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza quanto a indicadores de desempenho no setor pblico. Assim, o presente artigo tem por objetivo apresentar sete propostas de utilizao dos citados indicadores (3Es) na gesto pblica, visando o desenvolvimento das polticas sociais. As principais concluses deste estudo so sobre a relevncia dos conceitos apresentados (3Es) para o desenvolvimento social, a importncia da comparao de desempenhos, a necessidade de adoo de mais de um mtodo que seja eficiente, eficaz e efetivo e o carecimento de convencer e capacitar os envolvidos.
Palavras-chave: Avaliao. Polticas pblicas. Eficincia. Eficcia. Efetividade.
1 Doutor em Administrao Pblica e governo pela Fundao Getlio Vargas/SP. [email protected]
2 Mestrando do Programa de Ps-Graduao em Administrao (PPGA) da Universidade Federal do Rio Grande do Norte (UFRN). [email protected]
-
the evaluation techniQues of efficiency, efficacy anD effecti-veness in Public management anD its relevance for the social
DeveloPment anD Public action
abstract
The crucial need for more effectiveness, efficiency and efficacy (3Es) of the governmental actions is inextricably related to development, because its chances are often curtailed when the actors involved in public administration are not committed to 3Es concepts, resulting in limitations and negative impacts on all citizens lives. Hence, the demand for a systematic, continuous and effective evaluation that is hindered by a lack of clarity on performance indicators in the public sector. Thus, this paper presents seven proposals of 3Es indicators use in public administration to develop social policies. The main conclusions of this study are: a) the relevance of the concepts presented (3Es) for social development; b) the importance of perform evaluation benchmarking; c) the need to adopt more than one efficient, effective and efficacious method and d) convince and empower those involved.
Keywords: Evaluation. Public policy. Efficiency. Effectiveness. Efficacy.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
37desenvolvimento em Questo
A necessidade crucial de mais eficincia, eficcia e efetividade
(3Es) das aes governamentais est intrinsecamente relacionada ques-
to do desenvolvimento social, pois suas possibilidades so, muitas vezes,
cerceadas, devido aos limites que surgem quando os atores envolvidos na
gesto pblica no esto comprometidos com estes conceitos, resultando
em impactos negativos na vida de todos os cidados. Da a demanda por
uma avaliao sistemtica, contnua e eficaz que esbarra na falta de clareza
quanto a indicadores de desempenho no setor pblico. Surge, ento, um
dilema sobre qual deve ser o foco e qual metodologia utilizar, problema que
persiste apesar dos diversos estudos e discusses. Este aspecto destacado
por vrios autores, entre eles Costa e Castanhar (2003), ao referirem-se ao
emaranhado conceitual que ainda prevalece.
Devido diversidade de indicadores de resultados, sero abordados
aqueles relacionados aos trs principais critrios de desempenho: 3Es. Sua
relevncia destacada por vrios autores, dentre eles Antico e Jannuzzi
([2006?], p. 19), ao afirmarem que a avaliao de um programa pblico
requer indicadores que possam dimensionar o grau de cumprimento dos
objetivos dos mesmos (eficcia), o nvel de utilizao de recursos frente aos
custos em disponibiliz-los (eficincia) e a efetividade social. Tambm
observvel que a maior parte dos dez desafios para uma reinveno da gesto
pblica, destacados por Marini (2008), est implicitamente relacionada com
os conceitos dos 3Es, sendo quatro explicitamente: o da contratualizao
de resultados, o da melhoria da eficincia operacional, o da reinveno do
controle e o do comprometimento das pessoas.
Diante do exposto, o presente artigo tem por objetivo apresentar
propostas de utilizao dos 3Es na gesto pblica. Considerando que o
assunto tratado bastante vasto e dinmico, a pretenso deste texto
contribuir para a melhoria da gesto pblica, apresentando mais detalha-
damente apenas uma dentre as vrias propostas pesquisadas, das quais seis
so sumariamente apresentadas, destacando alguns importantes conceitos
relacionados temtica. Assim, no campo das iniciativas ser abordada a
-
Hironobu sano mrio Jorge frana montenegro filho
38 Ano 11 n. 22 jan./abr. 2013
adaptao do Balanced Scorecard, metodologia de medio e avaliao do
desempenho empresarial para a rea pblica proposta por Ghelman (2006), o
Quadro Lgico apresentado por Pfeiffer (2006), a construo de um sistema
de indicadores introduzido por Jannuzzi e Patarra (2006), os indicadores de
eficincia para rgos pblicos propostos por Garcia (2008), as auditorias de
desempenho realizadas pelos Tribunais de Contas estudadas por Oliveira
(2008), o modelo de gesto orientada para resultados de Minas Gerais es-
tudado por Lemos (2009) e a Transparncia Oramentria Municipal via
Internet sugerida por Pires (2010).
A importncia deste artigo observvel em constataes como a de
Frey (2000, p. 229), ao afirmar que a fase da avaliao imprescindvel para
o desenvolvimento e a adaptao contnua das formas e instrumentos de ao
pblica. Alm de ser respaldada por pesquisas como a de Ghelman (2006),
ao concluir que, apesar de a questo da eficincia fazer parte do discurso de
melhora da gesto pblica, sendo inclusive um princpio constitucional que
rege a administrao pblica, a quase totalidade das organizaes pesquisadas
no possuam indicadores que tratassem desta questo.
O artigo divide-se em quatro partes. Inicia abordando a avaliao
focada nos 3Es, como primeiro tpico do referencial terico utilizado. A se-
gunda parte contm uma breve apresentao de alguns conceitos relevantes
sobre indicadores, como suas propriedades, tcnicas, crticas, relevncia e
desafios. A terceira parte est subdividida em dois tpicos, sendo no primeiro
exemplificadas, resumidamente, em razo das limitaes de tamanho do
artigo, seis propostas de utilizao dos indicadores de desempenho (3Es) na
gesto pblica, enquanto no segundo tpico foi analisada uma stima pro-
posta, com mais profundidade que as anteriores, por ser a mais abrangente
dentre as pesquisadas. Por fim, conclui-se sobre a relevncia dos conceitos
apresentados para o desenvolvimento social, a importncia da comparao
de desempenhos, a necessidade de adoo de mais de um mtodo que sejam
eficientes, eficazes e efetivos, e o carecimento de convencer e capacitar os
envolvidos alm de sugerir futuros trabalhos.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
39desenvolvimento em Questo
avaliao: eficincia, eficcia e efetividade (3es)
A temtica da avaliao bastante ampla, da a necessidade de deli-
mitao dos principais critrios que se deseja estudar diante dos infindveis
questionamentos que podem ser elaborados na etapa de avaliao. Optou-se,
assim, pelos trs mais tradicionais, usados e fundamentais: os 3Es, segundo
autores como Carvalho (2001) e Harmon e Mayer (1999) ao versarem sobre a
eficincia e eficcia na administrao pblica. Sua relevncia tambm pode
ser observada quando Sulbrandt (1993) agrupa as experincias avaliativas de
programas em trs metodologias bsicas: a) avaliao de metas (eficcia); b)
avaliao de impacto (efetividade); e c) avaliao do processo (eficincia).
Por seu turno, Jannuzzi e Patarra (2006) destacam a importncia do moni-
toramento dos programas segundo o raciocnio insumo-processo-resultado-
impacto, que pode ser realizado com os 3Es, conforme ilustrado na Figura
a seguir, inclusive para os insumos envolvidos, avaliando sua influncia em
cada uma das trs etapas:
Figura 1 Fluxograma da avaliao
Fonte: Elaborado pelos autores, 2012.
A Lei n 11.653/2008 corrobora as perspectivas anteriormente apre-
sentadas ao estabelecer que a gesto do Plano Plurianual de 2008 a 2011
observar os princpios de eficincia, eficcia e efetividade na avaliao dos
seus programas (Brasil, 2008).
Diante das vrias definies existentes dos 3Es, algumas delas
inclusive contraditrias entre si, faz-se necessrio explicitar que os concei-
tos adotados neste artigo so os de Washington Souza (2008), nos quais a
efetividade percebida mediante a avaliao das transformaes ocorridas
a partir da ao; a eficcia resulta da relao entre metas alcanadas versus
metas pretendidas e a eficincia significa fazer mais com menos recursos.
-
Hironobu sano mrio Jorge frana montenegro filho
40 Ano 11 n. 22 jan./abr. 2013
Estas definies esto alinhadas a vrias outras largamente utilizadas, entre
elas as do manual Guide for monitoring and evaluation do Unicef, apresentadas
no texto de Costa e Castanhar (2003), e do Tribunal de Contas da Unio
(TCU), presentes no texto de Ghelman (2006).
Vale ressaltar que a efetividade est relacionada ao impacto social que
procura identificar os efeitos produzidos sobre uma populao-alvo de um
programa social. Por seu turno, avaliar o impacto social mensurar o real
valor de um investimento social. O que torna sua avaliao indispensvel
o fato de que, caso o impacto social no seja o esperado, poder-se- repla-
nejar a atuao (Fontes, 2005). A principal dificuldade, porm, garantir a
vinculao entre as aes do programa e as mudanas percebidas. A eficcia,
por sua vez, propicia que as instituies avaliadas respondam s presses por
transparncia, demonstrando que resultados esto sendo alcanados.
A mensurao da eficincia de uma ao social pode ser realizada de
vrias formas e a falta de parametrizao gera diversas dvidas sobre quais
aes so mais eficientes. A eficincia tambm no pode ser avaliada olhando-
se apenas para os aspectos internos da organizao, devendo-se voltar para
a globalidade das demais organizaes (Arajo et al., 2008). Ou seja, no
se deve apenas avaliar se houve desperdcios ou desvios dos recursos, mas
tambm comparar a eficincia alcanada com a de outras organizaes que
podem vir a se tornar benchmarkers. Segundo Marinho e Faanha (2001, p.
6), avaliao pressupe comparao. Vale destacar, ainda, que a busca
pela eficincia implica uma melhor utilizao dos recursos, resultando no
combate corrupo.
Com relao ao aspecto histrico da eficincia, sua presena ob-
servada tanto no surgimento da teoria da administrao quanto na teoria
da administrao pblica. , importante lembrar, todavia, que a sua busca,
imbuda numa cultura racional burocrtica, desvinculada de interferncias
morais, resultou no genocdio dos judeus e dos ciganos em Auschwitz, sm-
bolo, poca da 2 Guerra, da modernidade e cientificamente organizada,
que se utilizava das tcnicas mais eficazes (Lwy, 2011).
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
41desenvolvimento em Questo
Tambm se entende pertinente situar os 3Es nas trs fases de um
processo avaliativo: a que antecede o incio do projeto (ex-ante), estando
vinculada s clssicas etapas de diagnstico e formulao do programa social;
a que ocorre durante a etapa de constituio (pari-pasu) e a que se sucede
ao (ex-post), na etapa de avaliao propriamente dita (Jannuzzi, 2005).
Estas relaes so sintetizadas no Quadro a seguir.
Quadro 1 Os 3Es nas trs fases da avaliao
IndicadorFASEEx-ante Pari-pasu Ex-post
Eficincia Estimativa baseada em iniciativas com-parveis. Pouco uti-lizada.
Comparao entre o que foi previsto e o que se est rea-lizando. Utilizada principalmente no controle oramen-trio.
Comparao com iniciativas similares ou com o planejado. Mais utilizada.
Eficcia Baseada em inicia-tivas comparveis. Pouco utilizada.
Acompanhamen-to da realizao das metas propos-tas.
Verificao se as me-tas propostas foram atingidas.
Efetividade Expectativa base-ada em iniciativas similares. Pouco utilizada.
Avaliaes par-ciais ao trmino das etapas de um programa.
Vinculao das mu-danas, caso tenham ocorrido as aes empreendidas. Mais utilizada e recomen-dada.
Fonte: Elaborado pelos autores, 2012.
Finalmente, preciso destacar que a avaliao sistemtica, contnua e
eficaz uma ferramenta gerencial poderosa, fornecendo aos formuladores e
gestores de polticas pblicas condies para aumentar a eficincia e efetivi-
dade dos recursos aplicados. Faz-se necessrio, portanto, o desenvolvimento
de um conjunto harmnico e sistemtico de indicadores que abranjam os
3Es e suas inter-relaes, tema a ser tratado no prximo tpico.
-
Hironobu sano mrio Jorge frana montenegro filho
42 Ano 11 n. 22 jan./abr. 2013
indicadores
Lemos (2009) afirma haver um consenso de que todo monitoramento e avaliao baseiam-se em indicadores que auxiliam nas tomadas de deciso, permitindo um melhor desempenho, a formulao de um oramento mais racional e uma prestao de contas mais clara e objetiva.
Costa e Castanhar (2003, p. 987) indicam que:
O grande desafio para a disseminao da prtica da avaliao de projetos no setor pblico , sem dvida, encontrar formas prticas de mensurar o desempenho e fornecer ao responsvel pela gesto dos programas sociais, bem como para os demais atores envolvidos, informaes teis para a avaliao sobre os efeitos de tais programas, necessidade de correes, ou mesmo da inviabilidade do programa.
O desafio em questo esbarra na falta de consenso a respeito da de-finio de indicadores sociais. Situao diferente a do setor privado, em que seus indicadores j so consagrados, sendo, muitos deles, inclusive, internacionalmente utilizados. Ocorre o mesmo em outros setores menos preocupados com as questes sociais e mais focados em suas respectivas especialidades e indicadores. Por exemplo, o setor econmico elege o Pro-duto Interno Bruto (PIB) como um indicador da gerao de riqueza, ao passo que o setor agrcola toma como parmetro de produtividade as toneladas de gros por safra, enquanto o judicirio baseia-se no nmero de processos por juiz para alocar seus recursos, entre outros. Tentar-se- contribuir para a superao deste desafio, destacando algumas informaes relevantes sobre indicadores para polticas pblicas. Para um maior aprofundamento, porm, faz-se necessria a consulta aos artigos citados.
Antico e Jannuzzi (2006) detalham em seu artigo os tipos, proprieda-des e fontes de indicadores para cada uma das quatro etapas (diagnstico, formulao, instituio e avaliao) do ciclo de avaliao de polticas pbli-cas. Alertam, tambm, sobre os bolses de iniquidades escondidos pelos indicadores que refletem as mdias municipais. Alm disso, demonstram as
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
43desenvolvimento em Questo
etapas de construo de indicadores multicritrios, que podem ser utilizados
para programas intersetoriais. Exemplificam, igualmente, um Painel de
Indicadores de Monitoramento, considerado como uma ferramenta prag-
mtica. Por fim, escrevem brevemente (dois pargrafos) sobre a Anlise
Envoltria de Dados (DEA), sendo necessria a leitura complementar de
obras especficas para sua utilizao. Sobre a efetividade, sugerem o em-
prego de indicadores de diferentes naturezas e propriedades, na tentativa
de captar as mudanas ocorridas, alertando para a necessidade de avaliaes
qualitativas e da lentido do impacto, quando o marco zero no trgico ou
os recursos no so expressivos.
J Costa e Castanhar (2003) apresentam no seu texto informa-
es importantes para a elaborao de um sistema de avaliao, inclusive
exemplificando-o.
Por seu turno, Guimares e Jannuzzi (2005) advertem, em sua anlise
crtica, sobre os problemas decorrentes do emprego de indicadores sintticos
(mdia de vrios indicadores simples). Eles afirmam que, por mais abran-
gentes que esses indicadores tentem ser, alguns inclusive compostos por 38
indicadores simples, como o ndice de Qualidade de Vida Urbana (IQVU),3
no devem ser interpretados como um reflexo fiel e absoluto da realidade.
mtodos de avaliao de desempenho na gesto pblica: os 3es como indicadores
Exemplificando seis diferentes propostas
Por serem apresentados de forma bastante resumida, com objetivos
meramente exemplificativos, torna-se indispensvel a leitura dos seis textos
a seguir referenciados para o seu pleno entendimento.
3 Mais informaes sobre o IQVU disponveis em: .
-
Hironobu sano mrio Jorge frana montenegro filho
44 Ano 11 n. 22 jan./abr. 2013
1) Balanced Scorecard
Pelo j comentado fato do setor privado possuir mais ferramentas,
conhecimentos e histrico na utilizao de indicadores, muitos estudiosos
tentam adaptar ferramentas empresariais s necessidades pblicas. parte
as crticas sobre estas adaptaes, Ghelman (2006) tambm apresenta um
modelo adaptado do Balanced Scorecard aos preceitos de uma nova gesto
pblica moderna e focada nos resultados, preservando, segundo o autor, as
especificidades da rea pblica. Dentre as adaptaes, o autor conclui pela
necessidade das medidas de desempenho nas dimenses da: a) eficincia,
visando otimizao dos recursos dos contribuintes; b) eficcia, por meio
da melhoria da qualidade dos servios; e c) efetividade, buscando orientar
as aes pblicas para o atendimento ao cidado. Assim, facilmente ob-
servvel o uso de todos os 3Es, alm da preocupao com o monitoramento
sistemtico dos resultados.
O autor tambm justifica a utilizao conjunta dos 3Es ao afirmar que
a busca isolada pela eficincia, reduzindo custos e/ou aumentando a produ-
tividade, pode comprometer a qualidade do servio. Mesmo ofertando um
servio com eficincia e eficcia no h garantias do alcance da efetividade
com a conquista da transformao desejada, citando inclusive exemplos.
Sobre a efetividade, o autor tambm conclui que, ao consider-la como
um dos aspectos medidos pelo modelo proposto, permite-se um aumento
do controle social decorrente da possibilidade de avaliao do desempenho
organizacional. Para que o cidado seja um indutor da melhoria da quali-
dade do servio pblico, porm, faz-se necessria a disponibilizao destas
informaes de forma fcil e inteligvel, caso contrrio sua participao ser
cerceada.
Partindo da premissa de que o Estado fator fundamental para o
desenvolvimento, o autor estabelece a contribuio do seu modelo a partir
do aperfeioamento dos instrumentos de gesto. So feitas, contudo, algumas
ressalvas, como o fato de este modelo no poder ser aplicado diretamente em
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
45desenvolvimento em Questo
todos os rgos pblicos, mas apenas naqueles que possuem um planejamen-
to estratgico estruturado e uma forte cultura de medio do desempenho
organizacional. Vale frisar que o modelo desconsidera as especificidades
de cada rgo pblico e, por isso, deve ser adaptado s especificidades de
cada instituio.
2) Quadro lgico
Pfeiffer (2006) apresenta a metodologia do Quadro Lgico (QL) criada
para demonstrar a efetividade dos projetos de cooperao internacional, ou
seja, ao contrrio da anteriormente apresentada na proposta anterior, ela
no possui elementos da lgica empresarial. Sua matriz fornece respostas a
questes intimamente associadas aos 3Es, tais como:
Qual o seu propsito e quais as mudanas a serem alcanadas?
Como se pretende produzir melhorias?
Como possvel identificar o alcance das melhorias e mudanas?
Logo, no se pode negar que o desafio na elaborao de um QL
selecionar e combinar, adequadamente, os processos que sero capazes
de gerar os resultados desejados de forma eficiente. Esta relao pode ser
visualizada na Figura 2.
Figura 2 Eficincia e efetividade no QL
Fonte: Pfeiffer, 2006.
-
Hironobu sano mrio Jorge frana montenegro filho
46 Ano 11 n. 22 jan./abr. 2013
Assim, define-se o xito do projeto j na fase do seu planejamento,
suprindo a falta de clareza e unanimidade da literatura especializada sobre
como defini-lo. O QL tambm permite um acompanhamento sistemtico
e uma avaliao mais simples e objetiva, ao relacionar cada resultado e
objetivo a um indicador vinculado a uma fonte de comprovao, conforme
ilustrado a seguir.
Figura 3 Estrutura do QL
Fonte: Pfeiffer, 2006.
Sendo o QL apenas um instrumento de gerncia de projetos, faz-se
necessria, para sua eficcia, sua integrao num sistema mais amplo de
gerenciamento, adaptando-o s especificidades de cada projeto. Constata-
se, ainda, ser ele um mapa que orienta as equipes e os gerentes, alm de
tambm apresentar-se como um acordo entre os interessados sobre os rumos
do projeto e os compromissos assumidos.
Ressalte-se que, por no ser de fcil domnio, recomendvel a utiliza-
o de especialistas ou a capacitao terica e prtica para seu emprego, tendo
em vista que ele evolui na mesma proporo da concretizao dos projetos.
3) entidades de fiscalizao
Oliveira (2008) destaca que as Entidades de Fiscalizao Superior,
como os Tribunais de Contas, esto sendo cada vez mais demandadas para
realizar trabalhos qualitativos, abrangendo os 3Es. Estas auditorias so de-
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
47desenvolvimento em Questo
nominadas operacionais ou de desempenho e buscam avaliar as organizaes
pblicas em aspectos como eficincia, economicidade, eficcia e efetividade.
O referido autor apresenta o impacto da incluso das auditorias de efetividade
no rol das tradicionais atribuies destes tribunais em verificar a regularidade
das contas pblicas, focando os aspectos legais, oramentrios, contbeis,
financeiros e patrimoniais, realizadas via auditoria de conformidade. Os
principais seriam a necessidade de diversificao dos seus profissionais,
juntamente com novas rotinas, e sem esquecer o aspecto poltico, uma vez
que os resultados podem suscitar questionamentos de natureza poltica.
O trabalho apresenta os tipos de auditorias de desempenho, dentre
as quais constam a de eficincia e a de efetividade de programas, j pratica-
das em pases como Austrlia, Frana, Alemanha, Holanda, Sucia, Reino
Unido e Estados Unidos. A primeira tem por objetivo examinar as funes
organizacionais, os processos e os elementos de um programa para avaliar se
os seus insumos esto sendo otimizados, focando principalmente os custos.
Ela no implica reformulao radical da misso, do papel e da estratgia
dos rgos de auditoria, alm do fato da eficincia ser considerada um valor
fundamental por unanimidade (Oliveira, 2008, p. 40). J a de efetividade
examina o impacto do programa, e sua realizao afetaria o papel, a estratgia
e a misso, que se tornaria mais ampla e abstrata, das entidades de fisca-
lizao. Estas mudanas ocorreriam pelo fato de esta modalidade ser mais
complexa, no tendo um modelo rgido e padronizado como as auditorias
de conformidade, exigindo, assim, um amplo domnio de conhecimentos
multidisciplinares.
No se pode deixar de observar que, por mais significativos que sejam
os achados identificados durante uma auditoria operacional, as recomen-
daes para melhoria do desempenho da organizao auditada no sero
completamente institudas, caso esta no disponha de recursos suficientes
para o atendimento das sugestes realizadas. Como se pode ver, a capacidade
contributiva das recomendaes para a melhoria da gesto pblica pode ser
limitada pela ausncia de diversos recursos, tais como humanos, financeiros,
-
Hironobu sano mrio Jorge frana montenegro filho
48 Ano 11 n. 22 jan./abr. 2013
polticos ou tcnicos. Sobre este ltimo, e diante da constatao do autor a respeito da necessidade de emprego de modelos analticos na etapa de planejamento das auditorias, artigos como o presente buscam contribuir para a formao de um referencial terico acessvel.
4) Planilhas
Garcia (2008) prope a adoo de duas planilhas para avaliao da efi-cincia na gesto pblica. A apresentada na Figura 4 possui nove indicadores relacionados gesto oramentria, financeira e patrimonial, aos processos de aquisio, ao ndice de inovao, a iniciativas sociais e aos servios prestados. Sendo o alcance a tais informaes restrito, seu preenchimento s poderia ser realizado por algum com amplo acesso, como o gestor do rgo.
Figura 4 Planilha para avaliao da eficincia na gesto
Fonte: Garcia, 2008.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
49desenvolvimento em Questo
A segunda planilha, apresentada na Figura 5, empregada para gerar o indicador Servios Prestados presente na primeira. Ela deve ser preen-chida pelos cidados, usurios ou beneficirios dos servios prestados pelo rgo pblico. composta por 32 indicadores relacionados a servios pela Internet, ao atendimento prestado, s instalaes, ao processo de solicitao do servio, resoluo do problema e ao ps-atendimento.
Figura 5 Planilha para avaliao da eficincia nos servios prestados
Fonte: Garcia, 2008.
-
Hironobu sano mrio Jorge frana montenegro filho
50 Ano 11 n. 22 jan./abr. 2013
O autor peca ao no explicitar como os indicadores propostos so
elaborados e ao no distinguir outros conceitos relacionados a eles, tais como
eficcia, efetividade e qualidade. Logo, vrios indicadores referem-se mais ao
grau de qualidade da prestao do servio da entidade do que propriamente
a sua eficincia (quantidade de servio x recursos).
5) estado para Resultados
O trabalho de Lemos (2009) investiga se o modelo de gesto do Es-
tado de Minas Gerais, conduzido pelo programa Estado para Resultados,
orientado para resultados, nos moldes do modelo de gesto desenvolvido
pelo Banco Interamericano de Desenvolvimento (BID) juntamente com
o Centro Latino-Americano de Administrao para o Desenvolvimento
(Clad). A autora concluiu que a gesto estadual passou a ser orientada para
resultados, caracterizando-se por uma cultura e um instrumental de gesto
orientados a melhorar a eficcia, eficincia, produtividade e efetividade no
uso dos recursos do Estado para melhorar os resultados de desempenho
das organizaes e dos servidores pblicos (p. 34). Com isso, a estratgia
adotada permitiria a reformulao da gesto estadual, com novos valores e
princpios, obtendo, no longo prazo, uma nova cultura comportamental do
setor pblico mineiro, voltado para o desenvolvimento da sociedade com
critrios objetivos para se medir o desempenho dos resultados das aes
governamentais (p. 47).
Ao introduzir a problemtica do seu estudo, a autora aponta como
tendncia uma gesto pblica, provedora de servios, orientada para o alcance
de resultados de desenvolvimento, sendo o seu garantidor, alm de comentar
que nas ltimas dcadas o Estado vem desempenhando um papel-chave
na criao de condies para o bem-estar social. Posteriormente, cita a dis-
ciplina administrao para o desenvolvimento, surgida na dcada de 60,
com a finalidade de gerar uma administrao mais eficiente, efetiva e eficaz,
capaz de criar os meios administrativos necessrios para o desenvolvimento
poltico, econmico e social. Ademais, afirma que, para a instituio de uma
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
51desenvolvimento em Questo
nova administrao para o desenvolvimento, faz-se necessrio o estabeleci-
mento de relaes claras entre os resultados das polticas e seus indicadores
de eficcia e efetividade. A concepo de estratgias efetivas, que resultem
em desenvolvimento, tambm tida como central na governana da Nova
Gesto Pblica.4
Por fim, a autora afirma ser fundamental, neste modelo de gesto,
o fornecimento de informaes significativas e em tempo real sociedade
sobre o desempenho do setor pblico, aspecto este que ser tratado na
anlise seguinte.
6) Tom Web
Pires (2010) prope a adoo da Transparncia Oramentria Mu-
nicipal via Internet (TOM Web), que consiste na prestao de contas
(accountability) pela Internet, disponibilizando em tempo real informaes
pormenorizadas sobre sua execuo oramentria e financeira. Seu foco so
os municpios, tendo em vista que os Estados e principalmente o governo
federal j adotam ferramentas similares. O autor defende que a transparncia
possibilitada por essa ferramenta um pr-requisito da eficincia nas novas
formas de governar.
Ele introduz sua Monografia manifestando a expectativa de que, com
a adoo do modelo proposto, haver mais transparncia nos municpios
brasileiros devido reduo das assimetrias informacionais entre governan-
tes e governados, ampliando assim as oportunidades para que a cidadania
se constitua numa alavanca para governos locais mais eficientes, efetivos,
eficazes e responsivos, necessrios ao desenvolvimento socioeconmico e
reduo das desigualdades no pas (Pires, p. 4).
4 Originou-se das mudanas ocorridas nas administraes pblicas de pases como a Inglaterra, em 1976. Focada em resultados, busca aumentar a eficincia, a eficcia e a efetividade das aes pblicas.
-
Hironobu sano mrio Jorge frana montenegro filho
52 Ano 11 n. 22 jan./abr. 2013
O TOM Web definido como um modo de gerir a arrecadao e sua
destinao, prestando contas, por meio de relatrios peridicos, via websites,
deixando claros prazos, decises, resultados e riscos, nas fases de planejamen-
to, aprovao, execuo e avaliao. Esta modalidade respaldada pela Lei
Complementar 131/09, que cria a obrigatoriedade de publicao das contas
pblicas em tempo real, via Internet, para todos os entes da federao, com
prazo at 2013 para os municpios de at 50.000 habitantes.
Operacionalmente, o TOM Web seria um link no site de cada prefei-
tura, contendo documentos, informaes e dados relevantes sobre o plane-
jamento oramentrio, a sua execuo e as compras pblicas. O aprofunda-
mento do contedo das informaes dar-se-ia de acordo com a profundidade
da navegao empreendida pelo usurio, podendo manter-se superficial,
atendendo assim tanto a demanda de especialistas quanto de leigos. O seu
contedo deve ser consistente, completo e organizado, apresentando docu-
mentos integrais e tecnicamente bem-elaborados, regularmente atualizados
e que oferea condies de acesso fcil para qualquer usurio.
O autor relaciona os documentos considerados por ele bsicos e ne-
cessrios como ponto de partida para elaborao do contedo e sugere que
sejam disponibilizados canais de comunicao e materiais didticos, como
glossrios e textos de fcil compreenso.
anlise da avaliao de programas sociais
O texto Indicadores para Diagnstico, Monitoramento e Avaliao
de Programas Sociais no Brasil, de Jannuzzi e Patarra (2006), foi escolhido
como o principal objeto de estudo, entre todos os pesquisados, pela sua
clareza na apresentao das ideias, facilidade de leitura e por abranger os
mais relevantes conceitos relacionados temtica pesquisada.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
53desenvolvimento em Questo
Os autores manualizaram as informaes e conceitos fundamentais
para a avaliao de programas sociais, a seguir descritos, como o processo
de construo de um sistema de indicadores, os quadros de avaliao da
aderncia dos indicadores s propriedades desejveis e a taxonomia dos
indicadores. Tambm destacam que os indicadores permitem a operaciona-
lizao de conceitos abstratos, possibilitando, assim, seu monitoramento e
aprofundamento da investigao acadmica, inclusive alertando para os casos
de indicadores que adquirem o status de conceito e para as desvantagens e
vantagens na utilizao de indicadores sintticos. Mostram quais indicado-
res, e suas respectivas propriedades e fontes, so requeridos em cada uma
das quatro etapas do ciclo de formulao e avaliao de programas sociais.
Discorrem sobre a necessidade de combinao de indicadores em programas
intersetoriais devido aos vrios objetivos envolvidos e possibilidade de
utilizao da anlise multicritrio.
Ensinam que o processo de construo de um sistema de indicado-
res sociais inicia-se com a determinao do objetivo do programa. A seguir,
delineiam-se quais aes sero necessrias a sua realizao. Posteriormente,
escolhem-se dados e estatsticas que possam acompanhar cada uma das
aes, informando a eficincia no uso dos recursos, a eficcia no cumpri-
mento das metas e a efetividade das mudanas. Defendem que a escolha
dos indicadores deve ser pautada pela adeso s propriedades desejadas (os
autores sugerem 12). Por fim, concluem ser necessrio, na etapa de for-
mulao dos programas, prever a organizao de procedimentos de coleta
e tratamento de informaes especficas e confiveis em todas as fases do
ciclo de implementao, que possam permitir a construo dos indicadores
de monitoramento desejados (Januzzi; Patarra, 2006, p. 52).
Assim, o importante que a escolha dos indicadores baseie-se em uma
avaliao crtica das suas propriedades e no se paute simplesmente pela
tradio de uso. Os indicadores devem ser especficos e sensveis. Deve-se
-
Hironobu sano mrio Jorge frana montenegro filho
54 Ano 11 n. 22 jan./abr. 2013
buscar avaliar os impactos sobre os determinados grupos da populao por
meio de indicadores subjetivos, empregando-se estratgias metodolgicas
avaliativas de natureza qualitativa.
Sobre a eficincia, os autores sugerem analis-la a partir dos recursos
alocados utilizando a tcnica da Anlise Envoltria de Dados (DEA). Deriva-
da dos mtodos de pesquisa operacional, a DEA permitiria a identificao das
unidades de operao mais eficientes. Considerando as condies estruturais
de operao, ela leva em conta como os recursos, expressos pelos indicado-
res de insumo, so usados para gerar os resultados finais, representados por
indicadores de resultado como a eficcia e efetividade.
Acerca da eficcia, os citados autores destacam sua vinculao aos
objetivos finais dos programas pblicos, sendo expressa pela categoria de
indicadores-resultado, requeridos na ltima etapa do ciclo, que se inicia com
o diagnstico, passa pela formulao e efetivao, findando com a avaliao.
Ressaltam que suas propriedades permitem a identificao de boas prticas
e dficits sociais e que as pesquisas amostrais e os registros administrativos
so sua fonte de dados predominante.
Por fim, relativamente efetividade, destacada a dificuldade
de vinculao da poltica pblica mudana ocorrida. Por isso, o grande
desafio relacionado a este indicador reside na obteno de dados vlidos
que informem o alcance dos resultados e seu impacto social. Da ser
desejvel a opinio da populao atendida pelo programa, por fornecer
indcios da efetividade social. Alm disso, advertem ser questionvel a
utilizao de indicadores sintticos na avaliao da efetividade social,
posto que, por combinarem vrias medidas, no possvel vincular
uma transformao especfica como efeito direto de um determinado
programa.
Visando a facilitar a compreenso pelos leitores do contedo exposto,
elaborou-se o seguinte quadro comparativo com breves comentrios acerca
dos modelos apresentados:
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
55desenvolvimento em Questo
Quadro 2 Comparativo entre os modelos
Modelo Vantagens Desvantagens Pode induzir o desen-volvimento ao:
Sistema de indicadores
Possibi l idade de acompanhamento da eficincia no uso dos recursos, a eficcia no cumprimento das metas e a efetividade das mudanas.
Dificuldade de vincula-o da poltica pblica mudana ocorrida.
Fornecer informaes sobre o uso dos recursos pblicos, o cumprimen-to dos compromissos governamentais e a mudana na vida dos cidados.
B a l a n c e d Scorecard
Monitoramento sis-temtico dos resul-tados.
Dificuldades de moti-vao dos funcionrios pblicos para um desem-penho por resultados.
Direcionar o foco de toda gesto pblica para a realizao de efetivas mudanas sociais.
Quadro L-gico
Relaciona cada resul-tado e objetivo a um indicador.
Necessidade de especia-listas por no ser de fcil domnio.
Demonstrar com clareza quais so as mudanas desejadas.
Entidades de Fiscali-zao
Experincia em au-ditorias e indepen-dncia funcional.
Conflitos resultantes de possveis diferentes con-cluses sobre os aspectos subjetivos da efetividade das aes.
Necessidade de um am-plo domnio de conhe-cimentos multidiscipli-nares.
Ampliarem seu papel de fiscalizao introdu-zindo a efetividade no rol de suas auditorias operacionais.
Planilhas Fcil estabelecimen-to e entendimento.
Desconsidera os aspectos da eficcia e efetividade.
Permitir que os cidados avaliem a qualidade e eficincia dos servios pblicos prestados.
Estado para Resultados
Abrange os 3Es. Difcil aceitao pelos executantes (servidores pblicos).
No avalia a coerncia dos indicadores entre si.
Mudar a cultura vigente de baixa eficincia, efe-tividade e eficcia dos servios pblicos.
TOM Web Fomento a transpa-rncia e eficincia no uso dos recursos municipais.
Desconsidera os aspectos da eficcia e efetividade.
Facilitar a fiscalizao da aplicao dos recur-sos municipais.
Fonte: Elaborado pelos autores, 2012.
-
Hironobu sano mrio Jorge frana montenegro filho
56 Ano 11 n. 22 jan./abr. 2013
Vale salientar que h dificuldade, especialmente nos pases da
Amrica Latina, de formar coalizes capazes de equacionar minimamente
polticas pblicas capazes de impulsionar o desenvolvimento e promover a
incluso social de grande parte da populao (Souza, 2006). Assim, pode-se
deduzir que esta falta de equacionamento reflita-se em dificuldade, obs-
curidade e desacordo quanto avaliao de tais polticas. Logo, em relao
s informaes contidas na coluna, Pode induzir o desenvolvimento ao,
estas derivam dos trabalhos aos quais se referem, sendo sintetizadas para
manuteno da esttica do quadro anterior, e no confirmam a existncia
de uma relao entre mudanas sociais e os modelos propostos. So apenas
apresentadas possibilidades cuja comprovao carece de estudos posteriores
e especficos para cada modelo. Esclarece-se tambm que o Estado con-
siderado apenas um dos trs principais atores sociais, ao lado do mercado e
da sociedade e, portanto, suas aes dependem dos demais segmentos para
que o desenvolvimento social ocorra.
Considere-se ainda que nenhum dos modelos apresentados pode ser
visto como uma panaceia, devendo ser consideradas as caractersticas das
aes desenvolvidas e as peculiaridades da organizao executante, buscan-
do sempre a mais apropriada metodologia avaliativa. Nesse sentido alerta
Arretche (1998, p. 30), ao afirmar que o uso adequado dos instrumentos
de anlise e avaliao so fundamentais para que no se confunda opes
pessoais com resultados. Tambm deve ser levado em considerao o alerta
de Lowi (1992, p. 1), que every regime tends to produce a politics consonant
with itself 5, ou seja, os modelos de avaliao, seus indicadores e a utilizao
dos seus resultados tende a variar de acordo com as caractersticas da gesto
em vigor.
Por fim, quanto s trs fases da avaliao anteriormente apresentadas
na discusso sobre Avaliao: eficincia, eficcia e efetividade (3Es), cabe
situar os modelos apresentados em cada uma delas no quadro seguinte.
5 Traduo livre dos autores: Cada regime tende a produzir sua prpria poltica.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
57desenvolvimento em Questo
Quadro 3 Os modelos nas trs fases da avaliao
MODELOFASEEx-ante Pari-pasu Ex-post
Sistema de indicadores
Abrange. Abrange. Abrange.
B a l a n c e d Scorecard
Pode abranger no mo-mento do planejamen-to estratgico.
Pode abranger. Abrange.
Quadro L-gico
Estimula a avaliao ao determinar com clareza os objetivos.
Possibilita por ser uma ferramenta de acompa-nhamento.
Abrange.
Entidades de Fiscalizao
No abrange. Apenas em situaes es-pecficas e sob deman-da.
Abrange.
Planilhas No abrange. No abrange. Abrange.Estado para Resultados
Pode abranger. Abrange. Abrange.
TOM Web No abrange. Possibilita ao disponibili-zar informaes.
Possibilita ao disponibilizar informaes.
Fonte: Elaborado pelos autores, 2012.
consideraes finais
Sendo o objetivo deste artigo apenas compilar algumas propostas de
utilizao dos indicadores de desempenho (3Es) na gesto pblica, d-se por
atingido o seu propsito de disponibilizar aos gestores pblicos, num formato
acessvel, de fcil consulta e entendimento, vrios mtodos de avaliao, con-
tribuindo assim com o constante aperfeioamento das nossas polticas pblicas.
Sendo elas uma das principais indutoras do desenvolvimento nacional e regional,
a consequncia direta do seu contnuo aprimoramento a melhoria na qualidade
de vida de toda a populao. Da a relevncia de estudos como este.
Ao adotarem-se os 3Es como parmetros para uma boa gesto pblica,
faz-se necessria tambm a constante avaliao de alternativas para obteno
de melhores resultados, pois a simples comparao com os efeitos da prpria
-
Hironobu sano mrio Jorge frana montenegro filho
58 Ano 11 n. 22 jan./abr. 2013
ao governamental pode ocultar ineficincias, ineficcias e pouca efetivida-
de, quando confrontados a outros programas. Tal necessidade decorrente do
fato de os indicadores de desempenho serem relativos, requerendo sempre
um padro ou um objetivo para comparao, que poder ser absoluto (me-
tas do prprio programa), normativo (relativo a outro programa), histrico
(resultados anteriores), terico (hiptese) ou negociado (acordo).
So vrias as experincias e propostas existentes, cada uma com diferentes graus de complexidade e aplicabilidade, sendo algumas comple-
mentares entre si. A prpria diversidade e complexidade da administrao
pblica inviabiliza a adoo de um nico mtodo, sendo necessria a adoo
de metodologias j testadas e reconhecidas ou a escolha, parcimoniosa e
criteriosa, das que indicam possuir o desempenho desejado e a consistncia
nos seus resultados. Diante desta variedade, importante buscar mtodos
de baixo custo de instalao e manuteno (eficientes), que possibilitem o
atendimento do maior nmero de metas (eficazes) e que realmente contri-
buam para as transformaes desejadas (efetivos).
Como muitos outros campos da Administrao, a busca por con-sensos necessrios construo de modelos de avaliao de desempenho
amplamente aceitos ocorrer com as contribuies prticas e tericas,
como, por exemplo, o levantamento de sete experincias realizado neste
artigo. Enquanto persistirem as dificuldades operacionais e conceituais, as
metodologias de avaliao carecero de uma prvia estrutura particular de
referncia, alm do convencimento e capacitao dos envolvidos.
Tambm lcito dizer que os observatrios de polticas pblicas
constituem-se em dinmicos instrumentos de avaliao. Dentre os exis-
tentes foram identificados o Observatrio das Metrpoles, que rene 159
pesquisadores e trabalha com 14 metrpoles e uma aglomerao urbana, e o
Observatrio da Cidadania (2009), criado em 1995, que acompanha os avan-
os e retrocessos em relao a diversas metas de desenvolvimento social e
idealiza estabelecer, no mbito da sociedade civil, mecanismos permanentes
de monitoramento e avaliao.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
59desenvolvimento em Questo
Finalmente, sugere-se que futuros trabalhos busquem analisar
outras metodologias de avaliao da eficincia, eficcia e efetividade na
gesto pblica, tais como a atuao e os impactos dos observatrios.
referncias
ANTICO, C.; JANNUZZI, P. M. Indicadores e a gesto de polticas pblicas. [2006?]. Dispo-
nvel em: . Acesso em: 7 jan. 2011.
ARAJO, D. A. et al. Organizaes sem fins lucrativos e a gesto estratgica: um estudo
da eficincia operacional pelo modelo de anlise da competitividade do Instituto
Alemo de Desenvolvimento IAD. 2008. Disponvel em: [http://www.anpad.org.
br/evento.php?cod_evento_edicao=33]. Acesso em: 11 fev. 2011.
ARRETCHE, M. T. S. Tendncias no estudo sobre avaliao. In: RICO, E. M.
Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez. 1998.
BRASIL. Lei n 11.653, de 7 de abril de 2008. Dirio Oficial da Unio, Braslia, DF,
n 67, tera-feira, 8 de abril de 2008. Seo 1, p. 5.
CARVALHO, M. C. B. Avaliao de projetos sociais. In: VILA, C. M. Gesto de
projetos sociais. 3. ed. So Paulo: AAPCS, 2001.
COSTA, F. L.; CASTANHAR, J. C. Avaliao de programas pblicos: desafios
conceituais e metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, v. 37
n. 5, p. 969-992, set./out. 2003.
FONTES, M. A validao e avaliao de impacto social. 2005. Disponvel em: . Acesso em: 30 jul. 2009.
FREY, K. Polticas pblicas: um debate conceitual e reflexes referentes prtica
da anlise de polticas pblicas no Brasil. Planejamento e Polticas Pblicas, Braslia,
n. 21, p. 211-259, jan./jun. 2000.
GARCIA, R. L. M. Eficincia em rgos pblicos: uma proposta de indicadores. 2008.
Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.
-
Hironobu sano mrio Jorge frana montenegro filho
60 Ano 11 n. 22 jan./abr. 2013
GHELMAN, S. Adaptando o Balanced Scorecard aos preceitos da nova gesto pblica. Niteri. 2006. Dissertao (Mestrado em Sistema de Gesto pela Qualidade Total) Universidade Federal Fluminense, 2006.
GUIMARES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas apli-caes em polticas pblicas: uma anlise crtica. Revista Brasileira de Estudos Urbanos e Regionais, [s.l.], v. 7, n. 1, p. 73-85, maio 2005.
HARMON, M. M.; MAYER, R. T. Teora de la Organizacin para la Administracin Pblica. Mxico: Fondo de Cultura Econmica, 1999.
JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico, Braslia, v. 56, n. 2, p. 137-160, abr./jun. 2005.
JANNUZZI, P. M.; PATARRA, N. L. Manual para capacitao em indicadores sociais nas polticas pblicas e em direitos humanos. So Paulo: Oficina Editorial, 2006.
LEMOS, C. S. Gesto pblica orientada para resultados: avaliando o caso de Minas Gerais. 2009. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2009.
LOWI, T. J. The State in Political Science: How We Become What We Study. The American Political Science Review, Washington, v. 86, n. 1, p. 1-7, jan./mar. 1992.
LWY, M. Barbrie e modernidade no sculo XX. 2011. Disponvel em: . Acesso em: 22 maio 2012.
MARINHO, A.; FAANHA, L. O. Programas sociais: efetividade, eficincia e eficcia como dimenses operacionais da avaliao. Rio de Janeiro: Ipea. 2001.
MARINI, C. Um declogo da boa gesto pblica: os desafios de um Estado para re-sultados. 2008. Disponvel em: . Acesso em: 18 mar. 2011.
OBSERVATRIO DA CIDADANIA. Dilogos sobre violncia e segurana pblica: razes e urgncias. Rio de Janeiro: Ibase, 2009.
OLIVEIRA, R. V. Auditoria operacional: uma nova tica dos tribunais de contas auditarem a gesto pblica, sob o prisma da eficincia, economicidade, eficcia e efetividade, e o desafio de sua consolidao no TCE/RJ. 2008. Dissertao (Mestrado em Administrao Pblica) FGV, Rio de Janeiro, 2008.
-
As TcnicAs de AvAliAo dA eficinciA, eficciA e efeTividAde nA GesTo PblicA e suA RelevnciA PARA o desenvolvimenTo sociAl e dAs Aes PblicAs
61desenvolvimento em Questo
PFEIFFER, P. O quadro lgico: um mtodo para planejar e gerenciar mudanas. In: GIACOMONI, J.; PAGNUSSAT, J. L. Planejamento e oramento governamental. Braslia: Enap, 2006.
PIRES, V. A. (2010). Transparncia oramentria municipal via Internet (TOM Web) no contexto do revigoramento democrtico e republicano: uma proposta. Disponvel em: . Acesso em: 15 abril 2011.
SOUZA, C. Polticas pblicas: uma reviso da literatura. Sociologias, Porto Alegre, n. 16, p. 20-45, jul./dez. 2006.
SOUZA, W. J. Responsabilidade social corporativa e Terceiro Setor. Braslia: Universidade Aberta do Brasil, 2008.
SULBRANDT, J. La evaluacin de los programas sociales: una perspectiva crtica de los modelos usuales. In: KLIKSBERG, B. Pobreza: un tema impostergable. Mxico: Fondo de Cultura Econmica, 1993.