manual de auditoria operacional€¦ · 3.5.8 o que a análise vai permitir dizer 3.6 programa de...

TRIBUNAL DE CONTAS DO DISTRITO FEDERAL

BRASIacuteLIA

2007

MANUAL DE AUDITORIA

OPERACIONAL

e-DOC FEF23134Proc 102092019-e

Documento assinado digitalmente Para verificar as assinaturas acesse wwwtcdfgovbrautenticidade e informe o e-DOC FEF23134

II



I

MANUAL DE AUDITORIA

OPERACIONAL



II



III

COORDENACcedilAtildeO

Luiz Geneacutedio Mendes Jorge

ELABORACcedilAtildeO

Divisatildeo de Acompanhamento e Auditoria da 5ordf ICE


QUINTA INSPETORIA DE CONTROLE EXTERNO ndash 5ordf ICE

Praccedila do Buriti Edifiacutecio Presidente Costa e Silva ndash Anexo 4ordm andar

CEP 70075-901 ndash Brasiacutelia (DF)

Tel 0 xx (61) 3314-2150 2266 2156

e-mail ice5tcdfgovbr

DISTRITO FEDERAL (BRASIL) Tribunal de Contas (TCDF)

Manual de Auditoria Operacional-- Brasiacutelia 5ordf ICE 2007

58p

1 Auditoria Operacional Controle Administrativo

CDU 6576



IV

COMPOSICcedilAtildeO DO TRIBUNAL - 2007

CONSELHEIROS

PAULO CEacuteSAR DE AacuteVILA E SILVA ndash PRESIDENTE

ANILCEacuteIA LUZIA MACHADO ndash VICE-PRESIDENTE

RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO

MANOEL PAULO DE ANDRADE NETO

ANTONIO RENATO ALVES RAINHA

AUDITOR

JOSEacute ROBERTO DE PAIVA MARTINS

PROCURADORES DO MINISTEacuteRIO PUacuteBLICO DE CONTAS

CLAacuteUDIA FERNANDA DE OLIVEIRA PEREIRA ndash PROCURADORA-GERAL

MAacuteRCIA FERREIRA CUNHA FARIAS

DEMOacuteSTENES TRES ALBUQUERQUE

INAacuteCIO MAGALHAtildeES FILHO



MANUAL DE AUDITORIA OPERACIONAL


5

SUMAacuteRIO

1 INTRODUCcedilAtildeO

2 FASES DA AUDITORIA OPERACIONAL

3 PLANEJAMENTO

31 Planejamento da Anaacutelise Preliminar

32 Coleta e Registro de Dados e Informaccedilotildees

33 Anaacutelise Preliminar do Objeto da Auditoria

34 Criteacuterios de Auditoria

35 Matriz de Planejamento

351 Questotildees de Auditoria

352 Informaccedilotildees Requeridas

353 Fontes de Informaccedilatildeo

354 Estrateacutegias Metodoloacutegicas

3541 Estudo de Caso

3542 Pesquisa

3543 Delineamento Experimental

3544 Delineamentos Quase-Experimentais

3545 Delineamentos Natildeo-Experimentais

355 Meacutetodos de Coleta de Dados

356 Meacutetodos de Anaacutelise de Dados

357 Limitaccedilotildees

358 O Que a Anaacutelise Vai Permitir Dizer

36 Programa de Auditoria





6

4 EXECUCcedilAtildeO DA AUDITORIA

41 Matriz de Achados

411 Achados de Auditoria

412 Anaacutelises e Evidecircncias

413 Causas

414 Efeitos

415 Boas Praacuteticas

416 Recomendaccedilotildees

417 Benefiacutecios Esperados

5 RELATOacuteRIO DE AUDITORIA

51 Sumaacuterio

52 Resumo

53 Introduccedilatildeo

531 Visatildeo Geral do Objeto e Antecedentes

532 Objetivos e Escopo da Auditoria

533 Procedimentos e Estrateacutegias Metodoloacutegicas


54 Toacutepicos sobre os Resultados da Auditoria

55 Anaacutelise dos Comentaacuterios do Gestor

56 Conclusatildeo

57 Proposta de Encaminhamento

58 Anexos

6 PLANO DE ACcedilAtildeO E MONITORAMENTO

7 REFEREcircNCIAS BIBLIOGRAacuteFICAS


Dando continuidade agrave poliacutetica deste Tribunal de Contas em estabelecer diretrizes e normas especiacuteficas atinentes ao processo de fiscalizaccedilatildeo no acircmbito de suas competecircncias institucionais apresenta-se o presente Manual de Auditoria Operacional criado a partir da experiecircncia da Quinta Inspetoria de Controle Externo na realizaccedilatildeo de trabalhos dessa natureza e de estudos realizados em diversos documentos e publicaccedilotildees de outros tribunais de contas especialmente no Manual de Auditoria Governamental do Tribunal de Contas do Estado da Bahia ndash TCEBA e no Manual de Auditoria de Natureza Operacional do Tribunal de Contas da Uniatildeo ndash





7

TCU

Em relaccedilatildeo ao Manual de Auditoria Governamental do TCEBA verificou-se que em sua elaboraccedilatildeo foram consultados diversos manuais guias e outras publicaccedilotildees de organismos nacionais e internacionais a saber do General Accounting Office ndash GAO (Estados Unidos) do National Audit Office ndash NAO (Reino Unido) do Office of the Auditor General ndash OAG (Canadaacute) da Organizaccedilatildeo Internacional de Entidades Fiscalizadoras Superiores ndash INTOSAI do Tribunal de Contas de Portugal do Tribunal de Contas da Uniatildeo bem como do BIRD ndash Banco Internacional para a Reconstruccedilatildeo e o Desenvolvimento e do BID ndash Banco Interamericano de Desenvolvimento

Por seu turno no acircmbito do Projeto de Cooperaccedilatildeo Teacutecnica TCUReino Unido foram desenvolvidos diversos textos sobre teacutecnicas de auditoria consubstanciados nos Guias de Teacutecnicas de Auditoria que satildeo empregadas na realizaccedilatildeo de auditorias de natureza operacional naquele Tribunal Esses Guias complementam este Manual servindo de material de referecircncia durante a realizaccedilatildeo das auditorias conforme a aplicaccedilatildeo que cada trabalho requer Satildeo eles

Guia de Teacutecnica de Auditoria ldquoMarco Loacutegicordquo

Guia de Teacutecnica de Auditoria ldquoMatriz RECIrdquo

Guia de Teacutecnica de Auditoria ldquoAnaacutelise SWOTrdquo

Guia de Teacutecnica de Auditoria ldquoAnaacutelise Stake Holderrdquo

Guia de Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo

Guia de Teacutecnica de Auditoria ldquoMapa de Processosrdquo

Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo

Guia de Teacutecnicas de Entrevistas para Auditorias

Orientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoria

Especial atenccedilatildeo mereceu o toacutepico que trata da fase de Planejamento contemplando meacutetodos e teacutecnicas de coleta e registro de dados para a anaacutelise do objeto da auditoria Foi incorporado ao presente trabalho texto do Manual de Auditoria de Natureza Operacional do TCU (2000) sobre Matriz de Planejamento

A fase de Execuccedilatildeo dedica ecircnfase agrave elaboraccedilatildeo da Matriz de Achados descrevendo cada elemento resultante do desenvolvimento dos achados de auditoria No que concerne agrave elaboraccedilatildeo do Relatoacuterio de Auditoria foram realccedilados dentre outros aspectos abordados os seus componentes o processo de discussatildeo e a cientificaccedilatildeo do auditado

Por fim o Monitoramento tratado na uacuteltima parte deste Manual menciona os procedimentos destinados a verificar a implementaccedilatildeo das recomendaccedilotildees pelo auditado tendo o Plano de Accedilatildeo como importante referecircncia para esta fase

A Auditoria Operacional avalia a accedilatildeo governamental compreendendo





8

a implementaccedilatildeo de programas a execuccedilatildeo de projetos e atividades a gestatildeo de sistemas e a administraccedilatildeo de oacutergatildeos e entidades tendo em vista a utilizaccedilatildeo econocircmica dos recursos puacuteblicos a eficiente geraccedilatildeo de bens e serviccedilos o cumprimento das metas programadas e o efetivo resultado das poliacuteticas governamentais

A terminologia para esse tipo de auditoria natildeo eacute consenso entre as diversas Entidades Fiscalizadoras Superiores ainda que o objetivo e o escopo sejam semelhantes Dentre as variadas denominaccedilotildees entre sinocircnimos e modalidades podem ser destacadas Auditoria de Desempenho Administrativa de Gestatildeo de Otimizaccedilatildeo de Recursos e de Resultados

No Brasil o Tribunal de Contas da Uniatildeo adota o conceito de Auditoria de Natureza Operacional ndash Anop abrangendo duas modalidades Auditoria de Desempenho Operacional que trata dos aspectos de economia eficiecircncia e eficaacutecia e Avaliaccedilatildeo de Programa que busca examinar a efetividade dos programas e projetos governamentais

O enfoque da Auditoria Operacional nos moldes adotados pelo Tribunal de Contas do Distrito Federal ndash TCDF deriva da assunccedilatildeo do conceito elaborado pela INTOSAI e assemelha-se agravequele referente agrave Auditoria de Natureza Operacional do TCU pois abrange as dimensotildees consideradas naquelas duas modalidades Auditoria de Desempenho Operacional (economicidade eficiecircncia e eficaacutecia) e Avaliaccedilatildeo de Programa (efetividade)

Transcreve-se a seguir o conceito de Auditoria Operacional da INTOSAI constante da publicaccedilatildeo Diretrizes para Aplicaccedilatildeo de Normas de Auditoria Operacional (2005) uma traduccedilatildeo de International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standard and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience pelo TCEBA

A auditoria operacional eacute um exame independente da eficiecircncia e da eficaacutecia das atividades dos programas e dos organismos da Administraccedilatildeo Puacuteblica prestando a devida atenccedilatildeo agrave economia com o objetivo de realizar melhorias

Note-se que independentemente da amplitude do seu escopo a Auditoria Operacional pode ter como objeto sistemas atividades projetos programas de governo oacutergatildeos ou entidades da administraccedilatildeo puacuteblica Apesar de natildeo haver referecircncia expliacutecita no conceito da INTOSAI sobre o exame da efetividade a avaliaccedilatildeo dessa dimensatildeo do desempenho no tipo de auditoria em tela eacute assumida inequivocamente quando essa organizaccedilatildeo descreve as questotildees baacutesicas da auditoria operacional nas quais se inclui qual o resultado ou o impacto da accedilatildeo governamental

A seguir apresenta-se o conceito de Auditoria Operacional considerado por este Tribunal de Contas resultado de adaptaccedilotildees daquele apresentado pela INTOSAI

A Auditoria Operacional eacute a avaliaccedilatildeo de atividades projetos programas e accedilotildees governamentais bem como de entidades e





9

oacutergatildeos puacuteblicos quanto a aspectos de economicidade eficiecircncia eficaacutecia e efetividade com o objetivo de contribuir para o melhor desempenho da gestatildeo puacuteblica

Nas auditorias em programas de governo a abordagem deve ser ampla e sistecircmica com vistas a avaliar os processos utilizados na sua implementaccedilatildeo o desempenho obtido as metas alcanccediladas e o impacto junto aos beneficiaacuterios

A partir da aplicaccedilatildeo deste Manual e da evoluccedilatildeo das atividades do proacuteprio Tribunal de Contas do Distrito Federal seratildeo necessaacuterios ajustes e aprimoramentos ao conteuacutedo deste texto ao longo do tempo como a introduccedilatildeo de novos meacutetodos e procedimentos de auditoria advindos da experiecircncia na realizaccedilatildeo de auditorias operacionais





10


A Auditoria Operacional no TCDF estaacute dividida em trecircs fases delimitadas em funccedilatildeo da rotina processual do Tribunal quais sejam Planejamento Execuccedilatildeo e Monitoramento

O Planejamento compreende a determinaccedilatildeo dos objetivos da auditoria do escopo do alcance dos criteacuterios da metodologia empregada dos periacuteodos e datas da execuccedilatildeo e dos recursos necessaacuterios Durante o Planejamento a equipe de auditoria coleta e analisa as informaccedilotildees sobre o objeto da auditoria com o intuito de conhececirc-lo e de compreender seu funcionamento o que possibilitaraacute a definiccedilatildeo das questotildees que deveratildeo ser respondidas na etapa seguinte

Eacute na fase de Planejamento que se procede agrave avaliaccedilatildeo da exequumlibilidade da auditoria proposta a partir de uma visatildeo ampla do seu objeto Como resultado dessa avaliaccedilatildeo a equipe deveraacute ser capaz de opinar sobre a viabilidade do trabalho e indicar as dimensotildees do desempenho que deveratildeo ser abordadas delimitar os objetivos definir a metodologia a ser utilizada elaborar as questotildees e explicitar os criteacuterios da auditoria O principal produto dessa etapa eacute a Matriz de Planejamento para as auditorias propostas que se mostrarem viaacuteveis

A Execuccedilatildeo consiste no desenvolvimento dos trabalhos de campo tendo por base os objetivos e criteacuterios estabelecidos no planejamento De fato todas as fases de uma auditoria integram sua execuccedilatildeo em sentido lato Todavia aqui pretende-se designar com este termo o levantamento de provas e de evidecircncias suficientes ao juiacutezo que se pretende fazer com base nos objetivos nos criteacuterios e na metodologia selecionada durante o Planejamento culminando com a elaboraccedilatildeo da Matriz de Achados e do Relatoacuterio com o qual se procedem aos registros da auditoria para a comunicaccedilatildeo dos seus resultados ao Plenaacuterio e posteriormente agrave sociedade

A fase de Monitoramento tem o propoacutesito de verificar se as recomendaccedilotildees e determinaccedilotildees aprovadas pelo Plenaacuterio e encaminhadas aos responsaacuteveis foram implementadas Ressalte-se que os resultados do Monitoramento podem se converter em insumos para a afericcedilatildeo da efetividade da proacutepria auditoria a partir da verificaccedilatildeo do grau de adoccedilatildeo das providecircncias recomendadas e dos efeitos produzidos





11

3 PLANEJAMENTO

As auditorias operacionais satildeo precedidas de uma etapa que envolve a escolha de aacutereas em que a atuaccedilatildeo do Controle Externo possa contribuir para a melhoria da gestatildeo nos aspectos da economicidade da eficiecircncia da eficaacutecia e da efetividade Essa fase eacute o planejamento estrateacutegico que consiste na seleccedilatildeo de aacutereas relevantes de auditoria e de possiacuteveis objetos para a anaacutelise preliminar

O planejamento estrateacutegico pode se efetivar a partir da determinaccedilatildeo de aacutereas das quais se faraacute a seleccedilatildeo estrateacutegica de objetos de auditoria que deve ser focada sobretudo em objetivos institucionais ou por meio do estabelecimento de criteacuterios de seleccedilatildeo tais como possibilidade de agregar valor relevacircncia de problemas ou aacutereas problemaacuteticas e riscos envolvidos Uma possibilidade que deve ser considerada para consecuccedilatildeo dessa etapa eacute a adoccedilatildeo de uma matriz de risco que contemple todos os criteacuterios eleitos pelo Tribunal associada a uma seleccedilatildeo estrateacutegica o que consiste em uma abordagem mista

Os trabalhos indicados em decorrecircncia do planejamento estrateacutegico tecircm seu iniacutecio com a fase de Planejamento da Auditoria cujo preacute-requisito baacutesico deve ser o conhecimento e a compreensatildeo do seu objeto Portanto nessa fase deve-se obter uma visatildeo ampla do oacutergatildeo entidade sistema atividade projeto ou programa de governo auditado capaz de fornecer elementos suficientes para estabelecer os passos a serem seguidos na fase de execuccedilatildeo

Deve-se preliminarmente coletar e analisar as informaccedilotildees sobre o objeto da auditoria Essa anaacutelise deve ser conduzida de forma sistematizada utilizando-se sempre que possiacutevel modelos analiacuteticos especiacuteficos Como exemplos citam-se as Teacutecnicas de Auditoria a seguir cujos guias referenciados neste Manual devem ser consultados sempre que necessaacuterio Marco Loacutegico Matriz RECI Anaacutelise SWOT Anaacutelise Stake Holder Indicadores de Desempenho Mapa de Produtos Mapa de Processos Benchmarking e Teacutecnica de Entrevista

A fase de Planejamento engloba a realizaccedilatildeo das seguintes atividades

a) planejamento da anaacutelise preliminar

b) identificaccedilatildeo de relaccedilotildees de responsabilidade

c) realizaccedilatildeo da coleta e anaacutelise de dados

d) definiccedilatildeo dos criteacuterios de auditoria

e) identificaccedilatildeo das fontes de criteacuterios

f) definiccedilatildeo das questotildees de auditoria

g) elaboraccedilatildeo da Matriz de Planejamento

h) elaboraccedilatildeo do programa de auditoria


O passo inicial de uma auditoria operacional deve ser a elaboraccedilatildeo de um plano para o levantamento da auditoria contendo a anaacutelise preliminar do seu objeto com base nos paracircmetros especificados no PGA (Plano Geral de Accedilatildeo) ou na solicitaccedilatildeo especiacutefica caso se trate de auditoria natildeo-programada A





12

complexidade do objeto e a amplitude do escopo da auditoria determinaratildeo em que medida as informaccedilotildees deveratildeo ser detalhadas O Plano de Anaacutelise Preliminar deveraacute conter os seguintes elementos

a) delimitaccedilatildeo e descriccedilatildeo preliminar do objeto da auditoria

b) proposta de objetivo e escopo

c) equipe designada

d) prazos para realizaccedilatildeo do levantamento e planejamento da auditoria e periacuteodo estimado para a realizaccedilatildeo das proacuteximas fases da auditoria (Execuccedilatildeo Relatoacuterio)

e) recursos materiais e financeiros necessaacuterios (equipamentos veiacuteculos etc)

f) fontes de informaccedilatildeo para a anaacutelise do objeto da auditoria

g) estrateacutegia de coleta e anaacutelise de dados com indicaccedilatildeo dos modelos analiacuteticos a serem utilizados

h) cronograma da coleta e anaacutelise de dados com indicaccedilatildeo dos responsaacuteveis

Os planos podem sofrer alteraccedilotildees durante o levantamento de informaccedilotildees e devem ser sistematicamente atualizados uma vez que nesta etapa o conhecimento acerca do objeto da auditoria eacute incipiente Desse modo durante a sua implementaccedilatildeo o Plano de Anaacutelise Preliminar deve ser acompanhado e sempre que necessaacuterio revisado pelo coordenador da equipe

Para a realizaccedilatildeo desta etapa deveratildeo ser utilizadas fontes de informaccedilotildees que permitam alcanccedilar o conhecimento do objeto a ser auditado suas atividades-chave sistemas e controles Devem ser identificados os objetivos do projeto ou programa de governo atividade entidade ou oacutergatildeo a ser auditado seus recursos humanos financeiros e tecnoloacutegicos estrutura organizacional serviccedilos de apoio etc

O conhecimento necessaacuterio do objeto da auditoria eacute alcanccedilado por meio de informaccedilotildees colhidas de fontes que incluem a legislaccedilatildeo e regulamentos publicaccedilotildees documentos elaborados pela proacutepria Administraccedilatildeo e de informaccedilotildees extraiacutedas de procedimentos teacutecnicos aplicados pela equipe de auditoria como entrevistas questionaacuterios etc

Listam-se a seguir as fontes de informaccedilatildeo mais usuais na consecuccedilatildeo desta etapa

leis e regulamentos

manuais rotinas e procedimentos

relatoacuterios gerenciais e operacionais planos e relatoacuterios de oacutergatildeos de controle interno

informaccedilotildees e arquivos de outras auditorias





13

avaliaccedilotildees realizadas por terceiros

entrevistas e discussotildees com funcionaacuterios-chave e gestores

documentos correlatos da Administraccedilatildeo

publicaccedilotildees externas internas e materiais de orientaccedilatildeo

informaccedilotildees disponiacuteveis na Internet

orccedilamentos e suas alteraccedilotildees

observaccedilotildees do ambiente de trabalho

A equipe de auditoria deve racionalizar os esforccedilos consultando as informaccedilotildees jaacute disponiacuteveis e arquivadas como as oriundas de auditorias anteriores Ademais as informaccedilotildees coletadas nesta fase devem ser arquivadas para servir de base para a realizaccedilatildeo das outras fases e para trabalhos posteriores

Nas auditorias em programas de governo e nas de amplo escopo a equipe deve tentar coletar os dados sobre desempenho fundamentais para a avaliaccedilatildeo da economicidade eficiecircncia eficaacutecia e efetividade A despeito de sua importacircncia as informaccedilotildees sobre desempenho nem sempre satildeo geradas Mesmo quando estatildeo disponiacuteveis devem ser avaliadas cautelosamente para que sua utilizaccedilatildeo alcance conclusotildees confiaacuteveis

Considerando que as informaccedilotildees sobre desempenho ocupam posiccedilatildeo de destaque neste tipo de trabalho sendo fundamentais para a avaliaccedilatildeo dos aspectos da economicidade eficiecircncia eficaacutecia e efetividade do objeto da auditoria deve-se proceder agrave seleccedilatildeo cuidadosa dos procedimentos a utilizar na coleta e na anaacutelise de dados

Vaacuterios fatores podem influenciar a qualidade dos indicadores de desempenho Os mais usuais satildeo subjetividade de indicadores qualitativos necessidade de cesta de indicadores para acompanhar a eficiecircncia e efetividade do programa efeito de fatores exoacutegenos no desempenho do programa indicadores desenvolvidos a partir de objetivos mal definidos e dificuldade de incorporar aspectos qualitativos aos indicadores de desempenho

Para que um indicador possa desempenhar seu papel a contento na auditoria eacute necessaacuterio que ele seja praacutetico mensuraacutevel expresso em termos quantitativos e qualitativos e temporalmente bem situado Outros aspectos que devem ser avaliados quando da utilizaccedilatildeo de indicadores de desempenho em auditoria operacional satildeo a suficiecircncia e a adequaccedilatildeo dos procedimentos de coleta de dados sobre desempenho a validade e a completude dos indicadores a viabilidade deles em termos da relaccedilatildeo custo-benefiacutecio e a utilizaccedilatildeo desses indicadores no processo de tomada de decisatildeo Este assunto eacute tratado de forma mais detalhada no Guia ldquoIndicadores de Desempenho e Mapa de Produtosrdquo referenciado neste Manual


Durante as fases de Planejamento e de Execuccedilatildeo a coleta de dados e informaccedilotildees assume importacircncia fundamental no processo de auditoria e deve ser





14

cercada de cuidados especiais O registro das informaccedilotildees deve ser criterioso para permitir o correto entendimento do objeto da auditoria e a formaccedilatildeo de provas que respaldem os achados de auditoria Listam-se a seguir alguns meacutetodos para a coleta de dados e informaccedilotildees relativas agrave anaacutelise preliminar do objeto da auditoria

observaccedilatildeo direta e entrevista ndash podem ser empregados em conjunto no caso em que a entrevista ocorre no proacuteprio ambiente do oacutergatildeo ou programa em avaliaccedilatildeo A entrevista pode ser precedida de visita para observaccedilatildeo das accedilotildees executadas e do funcionamento do oacutergatildeo ou programa Os registros dessas observaccedilotildees podem servir de subsiacutedios para outros meacutetodos de coleta caso necessaacuterio Eacute aconselhaacutevel a participaccedilatildeo de mais de um integrante da equipe na entrevista revezando-se nas tarefas de perguntar e de anotar as informaccedilotildees passadas pelo gestor

questionaacuterio ndash meacutetodo de coleta estruturado que pode ser uacutetil no levantamento de aspectos relevantes do objeto da auditoria transmitidos por atores envolvidos diretamente nos problemas avaliados

inspeccedilatildeo fiacutesica ndash consiste na verificaccedilatildeo ldquoin locordquo de uma dada situaccedilatildeo

Todas as accedilotildees da equipe no decorrer da auditoria devem ser cuidadosamente registradas e documentadas Para isso devem ser utilizadas ferramentas apropriadas para a descriccedilatildeo dos fatos de interesse e para o registro das informaccedilotildees relevantes colhidas durante os trabalhos de auditoria Alguns meacutetodos de registro de informaccedilotildees satildeo listados a seguir

relatoacuterios das reuniotildees e observaccedilotildees ndash descriccedilotildees detalhadas dos contatos estabelecidos com os gestores e dos procedimentos e situaccedilotildees examinados

fluxogramas ndash representaccedilotildees graacuteficas (diagramas) do funcionamento do ciclo de transaccedilotildees descrevendo a sequumlecircncia loacutegica das operaccedilotildees facilitando a visualizaccedilatildeo do processo em anaacutelise e evitando o risco de interpretaccedilotildees divergentes

questionaacuterios ndash apesar de serem considerados meacutetodos de coleta de informaccedilotildees tambeacutem funcionam como meacutetodo de registro ao documentar as respostas obtidas

mista ndash combina de forma positiva a documentaccedilatildeo descritiva com a fluxograacutefica

Os dados e as informaccedilotildees coletados devem ser organizados de tal modo que facilitem a sua utilizaccedilatildeo O TCU elaborou guias sobre modelos analiacuteticos adotados por este Tribunal que complementam o presente Manual arrolados na introduccedilatildeo


Coletadas as informaccedilotildees sobre o objeto da auditoria deveraacute ser





15

realizada a anaacutelise de dados com o intuito de proporcionar adequada avaliaccedilatildeo preliminar do objeto da auditoria Essa anaacutelise deveraacute levar agrave compreensatildeo da estrutura do objeto permitindo a elaboraccedilatildeo das questotildees que deveratildeo nortear as investigaccedilotildees ao mesmo tempo em que seratildeo explicitados os criteacuterios de auditoria e as respectivas fontes Ao teacutermino da anaacutelise a equipe poderaacute decidir pela viabilidade do trabalho proposto e pelas dimensotildees do desempenho que seratildeo investigadas

A anaacutelise preliminar deveraacute identificar as unidades administrativas as relaccedilotildees de responsabilidade as atividades principais funccedilotildees sistemas em operaccedilatildeo e a adequaccedilatildeo desses elementos ao objeto da auditoria Deve-se dar especial atenccedilatildeo agrave estrutura loacutegica do objeto a partir de seus principais componentes e mecanismos resultados e efeitos tendo por base os objetivos propostos Tambeacutem se reveste de importacircncia fundamental nessa etapa a avaliaccedilatildeo dos sistemas de controle que deve emergir da descriccedilatildeo das atividades-chave da administraccedilatildeo e das relaccedilotildees de responsabilidade existentes

Na Auditoria Operacional em programa eacute fundamental saber de que forma se pretende alcanccedilar os objetivos fixados Para tanto faz-se necessaacuterio entender as premissas teoacutericas em que o programa se baseia ou seja como determinadas accedilotildees promoveratildeo os produtos que se deseja endereccedilar aos beneficiaacuterios

As principais informaccedilotildees que devem ser utilizadas pela equipe na anaacutelise preliminar do objeto da auditoria encontram-se arroladas no documento ldquoOrientaccedilatildeo Geral para a Anaacutelise Preliminar do Objeto da Auditoriardquo desenvolvido pelo Tribunal de Contas da Uniatildeo citado na introduccedilatildeo deste Manual

Apoacutes a anaacutelise preliminar se o trabalho proposto se mostrar exequumliacutevel o produto final desta fase da auditoria seraacute a elaboraccedilatildeo do Programa de Auditoria do qual a Matriz de Planejamento seraacute parte integrante a ser submetido ao Plenaacuterio por meio do relatoacuterio do levantamento da auditoria

Caso a auditoria natildeo se mostre viaacutevel a equipe deveraacute fundamentar detalhadamente a sugestatildeo de arquivamento a ser encaminhada ao Plenaacuterio Tambeacutem poderaacute ser sugerido com a devida fundamentaccedilatildeo outro tipo de trabalho sobre o objeto indicado ou ainda outro momento para a realizaccedilatildeo da auditoria nos termos do programa ou da solicitaccedilatildeo


Os criteacuterios de auditoria satildeo conceituados como ldquopadrotildees utilizados para determinar se uma dada condiccedilatildeo satisfaz ou supera o esperadordquo (GAO 1994b p67 apud TCU 2000 p26) Satildeo paracircmetros balizadores da avaliaccedilatildeo das praacuteticas administrativas bem assim dos resultados apresentados por programas governamentais Verificar se o criteacuterio estaacute sendo atendido consiste na coleta de evidecircncias de auditoria que satildeo as provas obtidas pela equipe de auditoria para embasar suas conclusotildees

Sempre que possiacutevel como referecircncia a equipe deve utilizar praacuteticas ou criteacuterios de administraccedilatildeo geralmente aceitos ou estipulados em normas e regulamentos Na ausecircncia destes os criteacuterios de auditoria seratildeo fixados pela





16

equipe de auditoria ou buscados de fontes externas agrave Administraccedilatildeo Nesse caso seraacute avaliada a necessidade de serem discutidos com o auditado e com especialistas para fins de validaccedilatildeo de sua aplicaccedilatildeo

A tiacutetulo ilustrativo destacam-se como possiacuteveis criteacuterios de acordo com as Normas de Auditoria Governamental do GAO objetivos ou metas estabelecidas pela legislaccedilatildeo ou regulamento ou fixados pela Administraccedilatildeo padrotildees desenvolvidos tecnicamente opiniotildees de especialistas desempenho em periacuteodos anteriores e desempenho de entidades similares no setor puacuteblico eou privado

A definiccedilatildeo dos criteacuterios de auditoria deve ser suficientemente clara para permitir a comunicaccedilatildeo inequiacutevoca entre os envolvidos no trabalho (equipe de auditoria e gestores) e a delimitaccedilatildeo precisa dos objetivos e do escopo da auditoria Por fim os criteacuterios devem orientar a coleta de dados com o intuito de se levantarem as evidecircncias relevantes


A partir deste toacutepico ateacute o 358 apresentam-se a estrutura e o conteuacutedo da Matriz de Planejamento de Auditoria modelo adotado pelo TCU incorporando integralmente o texto desenvolvido no Manual de Auditoria de Natureza Operacional daquela Corte de Contas com pequenas adaptaccedilotildees

A Matriz de Planejamento eacute uma esquematizaccedilatildeo das informaccedilotildees relevantes do planejamento de uma auditoria com o propoacutesito de auxiliar na elaboraccedilatildeo conceitual do trabalho e na orientaccedilatildeo da equipe na fase de execuccedilatildeo Eacute uma ferramenta de auditoria que torna o planejamento mais sistemaacutetico e dirigido facilitando a comunicaccedilatildeo de decisotildees sobre metodologia entre a equipe e os superiores hieraacuterquicos e auxiliando na conduccedilatildeo dos trabalhos de campo

A Matriz de Planejamento eacute um instrumento flexiacutevel e o seu conteuacutedo pode ser atualizado ou modificado pela equipe agrave medida que o trabalho de auditoria progride

Os seguintes elementos compotildeem a Matriz de Planejamento de Auditoria

questotildees de auditoria

informaccedilotildees requeridas

fontes de informaccedilatildeo

estrateacutegias metodoloacutegicas

meacutetodos de coleta de dados

meacutetodos de anaacutelise de dados

limitaccedilotildees

o que a anaacutelise vai permitir dizer

Embora os itens da Matriz de Planejamento sejam apresentados sequumlencialmente a definiccedilatildeo das questotildees de auditoria e a escolha das estrateacutegias





17

metodoloacutegicas apropriadas acontecem simultaneamente confrontando-se cada questatildeo com as possiacuteveis estrateacutegias metodoloacutegicas


A questatildeo de auditoria eacute o elemento central na determinaccedilatildeo do direcionamento dos trabalhos de auditoria das metodologias e teacutecnicas a serem adotadas e dos resultados que se pretende atingir

Ao formular as questotildees e quando necessaacuterio as subquestotildees de auditoria a equipe estaacute ao mesmo tempo estabelecendo com clareza o foco de sua investigaccedilatildeo e os limites e dimensotildees que deveratildeo ser observados durante a execuccedilatildeo dos trabalhos

Nesse sentido a adequada formulaccedilatildeo das questotildees de auditoria eacute fundamental para o sucesso da auditoria em programas uma vez que teraacute implicaccedilotildees nas decisotildees quanto aos tipos de dados que seratildeo coletados agrave forma de coleta que seraacute empregada agraves anaacutelises que seratildeo efetuadas e agraves conclusotildees que seratildeo obtidas

Na elaboraccedilatildeo das questotildees de auditoria deve-se levar em conta os seguintes aspectos

clareza e especificidade

uso de termos que possam ser definidos e mensurados

viabilidade investigativa (possibilidade de ser respondida)

articulaccedilatildeo e coerecircncia (o conjunto das questotildees elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado)

O tipo de questatildeo a ser formulada teraacute uma relaccedilatildeo direta com a natureza da resposta e o tipo de informaccedilatildeo que constaraacute do relatoacuterio Nesse sentido o GAO classifica as questotildees de auditoria em trecircs tipos1 questotildees descritivas questotildees normativas e questotildees avaliativas (ou de impacto ou de causa-e-efeito) a seguir comentadas

a) Questotildees descritivas

Satildeo questotildees do tipo ldquoQuemrdquo ldquoOnderdquo ldquoQuandordquo ldquoO quecircrdquo Satildeo formuladas de maneira a fornecer informaccedilotildees relevantes sobre o objeto da auditoria e em grande parte devem ser respondidas durante a fase de planejamento da auditoria Exemplo de questatildeo descritiva ldquoComo funciona o programardquo

1 O NAO considera ainda um 4ordm tipo de questatildeo as exploratoacuterias destinadas a explicar eventos especiacuteficos os

desvios em relaccedilatildeo ao desempenho padratildeo e as razotildees de ocorrecircncia de um determinado resultado Satildeo perguntas do tipo ldquoPor que e como tal coisa aconteceurdquo Neste Manual considerou-se que as perguntas exploratoacuterias estatildeo associadas a perguntas do tipo descritivo ou normativo jaacute que em ambos os casos o auditor deve investigar as causas do fenocircmeno descrito ou do desempenho observado valendo-se dos meacutetodos investigativos apropriados





18

b) Questotildees normativas

Satildeo aquelas que tratam de comparaccedilotildees entre o desempenho atual e aquele estabelecido em norma padratildeo ou meta tanto de caraacuteter qualitativo quanto quantitativo Abordam o que deveria ser e usualmente satildeo perguntas do tipo ldquoO programa tem alcanccedilado as metas previstasrdquo

A abordagem metodoloacutegica empregada nesses casos eacute a comparaccedilatildeo com criteacuterios previamente identificados e as teacutecnicas de mensuraccedilatildeo de desempenho

c) Questotildees avaliativas (ou de impacto ou de causa-e-efeito)

Geralmente as questotildees avaliativas referem-se agrave efetividade de um programa e vatildeo aleacutem das questotildees descritivas e normativas mdash ldquoAs metas foram atingidasrdquo ou ldquoQuantas pessoas foram atendidas pelo programardquo mdash para enfocar o que teria ocorrido caso o programa ou a atividade natildeo tivesse sido executada Em outras palavras uma questatildeo avaliativa quer saber que diferenccedila caso tenha havido alguma fez a intervenccedilatildeo governamental para a soluccedilatildeo do problema identificado O escopo da pergunta abrange tambeacutem os efeitos natildeo esperados positivos ou negativos provocados pelo programa Exemplo de questatildeo de causa-e-efeito ou de impacto ldquoOs efeitos observados podem ser atribuiacutedos ao programardquo

As questotildees avaliativas como veremos quase sempre requerem estrateacutegias metodoloacutegicas bastante complexas envolvendo modelos experimentais com grupos de controle anaacutelises estatiacutesticas sofisticadas de causa e efeito (regressatildeo) e modelagem (simulaccedilatildeo) Esse tipo de estudo pode trazer resultados reveladores mas em funccedilatildeo do tipo de pesquisa envolvida eacute oneroso e de demorada implementaccedilatildeo

A formulaccedilatildeo da questatildeo de auditoria eacute um processo interativo o qual depende fundamentalmente das informaccedilotildees obtidas na fase de planejamento e daquilo que se quer saber

Embora natildeo exista um meacutetodo faacutecil para se chegar agraves questotildees de auditoria o NAO sugere uma abordagem estruturada para a formulaccedilatildeo da questatildeo de auditoria baseada no meacutetodo cartesiano de soluccedilatildeo de problemas (NAO 1997 p 11-5 apud TCU 2000 p 49)

1ordm passo ndash Descreva o ldquoproblemardquo

Com base nas informaccedilotildees propiciadas pelo planejamento da auditoria assim como nos criteacuterios definidos e nas condiccedilotildees observadas pela equipe deve-se especificar o problema que seraacute enfocado pela auditoria

Uma vez que na maior parte dos casos as solicitaccedilotildees de auditoria satildeo formuladas de maneira geneacuterica ou muito abrangente o trabalho da equipe consistiraacute em definir o escopo e expressar de forma clara e objetiva o problema que nortearaacute todo o esforccedilo de concepccedilatildeo e execuccedilatildeo da auditoria usando para isso as informaccedilotildees obtidas na fase de levantamento preliminar

2ordm passo ndash Explore as questotildees





19

O problema deve ser subdividido em partes que natildeo se sobreponham Cada parte por sua vez poderaacute ser subdividida em subquestotildees

3ordm passo ndash Estabeleccedila hipoacuteteses

A equipe deve fazer um brainstorm para identificar possiacuteveis hipoacuteteses de soluccedilatildeo dos problemas identificados A seguir deve-se estabelecer uma hierarquia de hipoacutetesesquestotildees e subquestotildees relacionadas a cada um deles como na figura abaixo

HIERARQUIA DE HIPOacuteTESESQUESTOtildeES E SUBQUESTOtildeES

Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2

4ordm passo ndash Teste suas hipoacuteteses

Identifique as hipoacutetesesquestotildees de difiacutecil resposta e considere como as dificuldades podem ser contornadas Confronte as questotildees com os recursos disponiacuteveis para a realizaccedilatildeo da auditoria definidos em termos de custo prazos de execuccedilatildeo e pessoal alocado

5ordm passo ndash Elimine as questotildees natildeo essenciais

Descarte questotildees desprovidas de potencial para melhorar o desempenho ou que natildeo tenham soluccedilatildeo viaacutevel Portanto os criteacuterios para a escolha ou exclusatildeo de determinada questatildeo satildeo a relevacircncia das conclusotildees que poderatildeo ser alcanccediladas e a factibilidade da estrateacutegia metodoloacutegica requerida para respondecirc-la de forma satisfatoacuteria

Priorize as questotildees e decida quais devem ser estudadas Lembre-se que as questotildees devem ser sucintas e sem ambiguumlidades

6ordm passo ndash Avalie o impacto financeiro da questatildeo

Sempre que possiacutevel deve-se demonstrar o impacto financeiro e o meacutetodo a ser empregado para garantir economia de recursos

7ordm passo ndash Elabore uma proposta de trabalho detalhada

Aleacutem das informaccedilotildees relativas agrave equipe ao cronograma e aos custos das atividades a serem desenvolvidas cada questatildeo formulada deve dar origem a uma matriz de planejamento de auditoria





20

Uma vez definidas as questotildees de auditoria formuladas pela equipe seratildeo o ponto de partida e orientaratildeo todo o trabalho de investigaccedilatildeo Observe-se que as questotildees abordaratildeo aspectos voltados para a economicidade eficiecircncia eficaacutecia ou efetividade da accedilatildeo governamental


Apoacutes formuladas as questotildees de auditoria e os seus desdobramentos (as subquestotildees) seraacute necessaacuterio identificar as informaccedilotildees requeridas para respondecirc-las e suas respectivas fontes

Para se determinar o tipo de informaccedilatildeo que se pretende obter na coleta de dados os termos-chave empregados na questatildeo de auditoria devem ser definidos e suas dimensotildees ou variaacuteveis identificadas Por exemplo ao formular uma questatildeo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do niacutevel de ensino deve-se definir o que se entende por ldquomelhoria do niacutevel de ensinordquo identificando-se as dimensotildees envolvidas nesse conceito Pode-se considerar entre outras variaacuteveis o nuacutemero de aprovaccedilotildees por seacuterie ou a reduccedilatildeo da evasatildeo escolar

A tarefa de traduzir conceitos abstratos em variaacuteveis mensuraacuteveis definindo indicadores apropriados eacute indispensaacutevel para que se possa medir o alcance dos objetivos perseguidos pela administraccedilatildeo

As informaccedilotildees coletadas e usadas para suportar os achados de auditoria de desempenho operacional ou de avaliaccedilatildeo de programa satildeo consideradas evidecircncias e podem assumir as seguintes formas (ANAO 1992 p 110-3 apud TCU 2000 p 53)

fiacutesica dados coletados a partir da observaccedilatildeo direta podendo ser representados por fotografias mapas graacuteficos ou outras representaccedilotildees pictograacuteficas

oral declaraccedilotildees geralmente obtidas em entrevistas ou pesquisas com usuaacuterios ou beneficiaacuterios da iniciativa governamental bem como com especialistas gestores ou membros da equipe teacutecnica encarregada

documental dados registrados em papel ou meio magneacutetico (em geral os mais empregados em trabalhos de auditoria)

analiacutetica informaccedilotildees geradas a partir de outras evidecircncias geralmente envolvendo caacutelculos comparaccedilotildees ou siacutenteses

Eacute recomendaacutevel o uso de mais de um tipo de evidecircncia de forma a fortalecer as conclusotildees finais

As evidecircncias fiacutesicas obtidas a partir da observaccedilatildeo de pessoas eventos ou condiccedilotildees materiais existentes sempre que constituiacuterem elementos criacuteticos para o alcance dos objetivos da auditoria devem ser corroboradas Por esse motivo as observaccedilotildees diretas devem ser feitas por no miacutenimo dois membros da equipe de auditoria de preferecircncia acompanhados de representantes do auditado Caso a equipe considere necessaacuterio deve-se preparar uma descriccedilatildeo detalhada das





21

condiccedilotildees observadas e solicitar a anuecircncia formal do representante do auditado

Da mesma forma as evidecircncias orais normalmente obtidas em entrevistas natildeo satildeo provas conclusivas devendo ser sustentadas por evidecircncias documentais Nos casos em que as declaraccedilotildees do entrevistado forem criacuteticas para a auditoria e natildeo for possiacutevel obter documentaccedilatildeo comprobatoacuteria deve-se tentar obter do mesmo a confirmaccedilatildeo formal das suas declaraccedilotildees em um resumo ou minuta da entrevista

A confiabilidade e a relevacircncia da evidecircncia oral satildeo funccedilotildees da posiccedilatildeo do conhecimento da especializaccedilatildeo e da idoneidade do entrevistado ou seja da sua credibilidade Algumas vezes a resposta do entrevistado a uma pergunta especiacutefica pode revelar ambiguumlidade contaminando outros elementos do depoimento e dessa forma comprometendo a confiabilidade de todo o seu testemunho

Em resumo sempre que possiacutevel os depoimentos e outros registros considerados criacuteticos para a auditoria devem ser corroborados por evidecircncias documentais

Cabe acrescentar que a confiabilidade das evidecircncias documentais fornecidas pelo sistema de controle do oacutergatildeo auditado mdash por exemplo os demonstrativos contaacutebeis mdash dependeraacute do regular funcionamento desse sistema A relevacircncia da prova documental por sua vez deve ser analisada em relaccedilatildeo ao objetivo da auditoria Nesse sentido a existecircncia de um manual de procedimentos por si soacute natildeo garante que ele esteja sendo empregado pelo auditado


As fontes de informaccedilatildeo podem ser primaacuterias ou secundaacuterias As fontes primaacuterias satildeo aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados Por exemplo entrevistas realizadas diretamente com os beneficiaacuterios de um programa ou registros e anotaccedilotildees originaacuterios de uma visita da equipe agraves instalaccedilotildees de um projeto Por seu turno as fontes secundaacuterias satildeo aquelas coletadas e sistematizadas terceiros como por exemplo (GAO 1994a p 32 apud TCU 2000 p 55)

registros administrativos em papel ou em meio magneacutetico

estudos e pesquisas existentes

legislaccedilatildeo normas ou procedimentos

documentos oficiais como memorandos ofiacutecios etc

Os principais problemas ligados agrave utilizaccedilatildeo de dados secundaacuterios satildeo os seguintes (GAO 1994a p 33 apud TCU 2000 p 55)

a forma de coleta pode natildeo ter sido adequada

os controles internos podem natildeo ser confiaacuteveis

os dados podem ter sofrido manipulaccedilatildeo

os dados podem natildeo representar as variaacuteveis selecionadas para anaacutelise






22

Neste ponto da elaboraccedilatildeo do projeto de auditoria em programas a equipe de auditoria deve especificar a estrateacutegia metodoloacutegica a ser adotada ou seja os meacutetodos de investigaccedilatildeo requeridos pelas questotildees ou subquestotildees formuladas

Eacute importante considerar que a estrateacutegia metodoloacutegica estaacute diretamente relacionada com a qualidade teacutecnica das evidecircncias que podem ser obtidas o que por sua vez influiraacute na confiabilidade das conclusotildees do trabalho

Qualquer que seja a estrateacutegia metodoloacutegica a ser adotada cada questatildeo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as conclusotildees ou achados de auditoria criteacuterio condiccedilatildeo causa e efeito

Nas questotildees ligadas agrave economicidade agrave eficiecircncia e agrave eficaacutecia os elementos citados acima podem ser assim definidos (GAO 1994a p 212-217 apud TCU 2000 p 56)

a) Criteacuterio o padratildeo ou indicador usado para determinar se o programa2 atinge excede ou estaacute aqueacutem do desempenho esperado O criteacuterio provecirc o contexto para se compreender os resultados da auditoria A equipe sempre que for possiacutevel deve incluir no projeto de auditoria os criteacuterios a serem adotados Ademais ao selecionar os criteacuterios a equipe deve cuidar para que sejam razoaacuteveis factiacuteveis e adequados agrave mateacuteria sob exame Alguns exemplos de criteacuterios

objetivos ou metas fixados por lei por regulamento ou pela administraccedilatildeo

normas ou padrotildees estabelecidos

opiniotildees de especialistas

desempenho anterior

desempenho de instituiccedilotildees similares nacionais ou estrangeiras

b) Condiccedilatildeo a situaccedilatildeo existente identificada e documentada durante os trabalhos

c) Causa as razotildees do mau ou bom desempenho observado

d) Efeito as reais consequumlecircncias da diferenccedila constatada pela auditoria entre condiccedilatildeo e criteacuterio

Consequumlentemente nessas questotildees a definiccedilatildeo da estrateacutegia metodoloacutegica deve levar em conta os seguintes aspectos

comparaccedilotildees entre condiccedilatildeo e criteacuterio

escopo do estudo (ex nuacutemero de pessoas registros instalaccedilotildees ou aacutereas geograacuteficas selecionadas)

periacuteodo da observaccedilatildeo (ex as observaccedilotildees seratildeo coletadas em

2 A partir do presente item os termos ldquoprogramardquo e ldquoobjeto da auditoriardquo seratildeo tratados como equivalentes

indicando programas projetos atividades oacutergatildeos e entidades governamentais





23

determinado ponto ou periacuteodo no tempo ou em vaacuterias ocasiotildees diferentes)

Jaacute nas questotildees ligadas agrave efetividade os elementos identificados anteriormente podem ser assim definidos

a) Criteacuterio a natureza ou magnitude do impacto esperado com a implementaccedilatildeo do programa

b) Condiccedilatildeo a situaccedilatildeo verificada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria verificada sem essa implementaccedilatildeo

c) Causa o programa que estaacute sendo avaliado A suposiccedilatildeo fundamental eacute que o programa eacute responsaacutevel pelas mudanccedilas observadas A estrateacutegia metodoloacutegica escolhida buscaraacute assegurar mediante evidecircncias plausiacuteveis que nenhum outro fator aleacutem do programa eacute responsaacutevel pelos efeitos constatados Ou seja a investigaccedilatildeo deve ser planejada de forma a eliminar ou controlar fatores exoacutegenos que podem estar influenciando os resultados observados (eliminaccedilatildeo de interpretaccedilotildees alternativas)

d) Efeito as mudanccedilas positivas ou negativas nas condiccedilotildees reais que podem ser identificadas e atribuiacutedas ao programa Trata-se assim da diferenccedila entre a situaccedilatildeo observada apoacutes a implementaccedilatildeo do programa e a situaccedilatildeo que provavelmente seria observada sem essa implementaccedilatildeo

Por conseguinte nesses casos eacute quase sempre necessaacuterio comparar observaccedilotildees sobre beneficiaacuterios ou clientes do programa auditado com observaccedilotildees sobre pessoas natildeo afetadas pelo programa em questatildeo Naturalmente o escopo e o periacuteodo em que seratildeo realizadas as observaccedilotildees tambeacutem devem ser especificados

Examinadas as questotildees de auditoria agrave luz dos elementos definidos acima a equipe deve decidir sobre a estrateacutegia metodoloacutegica mais adequada para responder cada questatildeo Conveacutem relembrar que cada subquestatildeo deve ser tratada de per si isto eacute para cada subquestatildeo a ser examinada deve-se estabelecer uma estrateacutegia metodoloacutegica especiacutefica

As estrateacutegias metodoloacutegicas mais utilizadas satildeo

Estudo de Caso

Pesquisa

Delineamento Experimental

Delineamentos Quase-Experimentais

Delineamentos Natildeo-Experimentais

3541 Estudo de Caso

O estudo de caso eacute a estrateacutegia metodoloacutegica mais amplamente utilizada pelas Entidades de Fiscalizaccedilatildeo Superior ndash EFS com maior tradiccedilatildeo em auditorias de desempenho como o GAO (EFS dos EUA) o OAG (EFS do Canadaacute) o NAO (EFS do Reino Unido) e o ANAO (EFS da Austraacutelia) aleacutem de outras Nos trabalhos desenvolvidos por essas EFS os estudos de caso satildeo frequumlentemente complementados por outras estrateacutegias metodoloacutegicas como a pesquisa e a utilizaccedilatildeo de dados existentes





24

Segundo o GAO

ldquoUm estudo de caso eacute um meacutetodo para conhecer uma situaccedilatildeo complexa baseado em uma compreensatildeo abrangente da situaccedilatildeo obtida a partir da ampla descriccedilatildeo e anaacutelise da mesma considerada como um todo e no seu contextordquo3 (GAO 1990 p14 apud TCU 2000 p 59)

O primeiro elemento (situaccedilatildeo complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influecircncias podem interagir natildeo-linearmente tornando impossiacutevel isolar os efeitos das variaacuteveis sob estudo

O segundo (compreensatildeo abrangente) indica que os estudos de caso visam obter uma representaccedilatildeo a mais completa possiacutevel do que estaacute acontecendo e do porquecirc

O terceiro (ampla descriccedilatildeo e anaacutelise) envolve o emprego de informaccedilotildees ricas e completas provenientes de vaacuterias fontes particularmente de observaccedilotildees diretas Ademais a anaacutelise eacute ampla comparando dados de diferentes tipos de fontes por meio do meacutetodo denominado ldquotriangulaccedilatildeordquo

As principais caracteriacutesticas do estudo de caso satildeo

mais adequado para responder a questotildees normativas e descritivas

uso preferencial da abordagem qualitativa na coleta e anaacutelise de dados

natildeo-utilizaccedilatildeo de amostragem probabiliacutestica

anaacutelise concomitante agrave coleta de dados

Poreacutem esse meacutetodo apresenta algumas limitaccedilotildees quais sejam

natildeo eacute usado em geral para responder a perguntas avaliativas ou de causa-e-efeito

pode ter custo elevado e necessitar de muito tempo para sua implementaccedilatildeo

natildeo permite generalizaccedilotildees das conclusotildees alcanccediladas para todo programa exceto quando o nuacutemero de casos ou situaccedilotildees for suficientemente grande e diversificado

Com base em suas possiacuteveis aplicaccedilotildees esse meacutetodo pode ser classificado da seguinte maneira (GAO 1990 p 31-52 apud TCU 2000 p 60)

a) Ilustrativo objetiva acrescentar exemplos reais e detalhados a outras informaccedilotildees sobre o programa

b) Exploratoacuterio voltado para a geraccedilatildeo de hipoacuteteses que seratildeo investigadas posteriormente

c) Caso criacutetico examina uma situaccedilatildeo especialmente relevante ou serve

3 Os grifos indicam os elementos-chave da definiccedilatildeo





25

como um teste-criacutetico para afirmaccedilotildees feitas acerca do programa

d) Implementaccedilatildeo de programa investiga diferentes experiecircncias de implementaccedilatildeo geralmente de forma normativa

e) Efeitos do programa examina relaccedilotildees de causalidade geralmente envolvendo o exame de vaacuterios casos e utilizando meacutetodos de anaacutelise de dados proacuteprios de estudos de caraacuteter qualitativo

f) Cumulativo reuacutene descobertas provenientes de vaacuterios estudos de caso para responder a uma questatildeo de auditoria seja descritiva normativa ou de causa-e-efeito

A seleccedilatildeo dos casos a serem estudados eacute um aspecto criacutetico em estudo de caso Os criteacuterios de escolha satildeo variados e estatildeo relacionados ao tipo de questatildeo que se pretende responder Uma vez que o emprego de amostragem probabiliacutestica geralmente natildeo eacute factiacutevel o propoacutesito do estudo deve guiar a escolha dos casos

Frequumlentemente trabalha-se com um ou poucos casos Entretanto quando se pretende tirar conclusotildees para o programa como um todo deve-se trabalhar com um nuacutemero maior de casos de forma a refletir a variabilidade operacional do programa O quadro mostrado a seguir relaciona os principais criteacuterios de seleccedilatildeo de casos





26

PRINCIPAIS CRITEacuteRIOS DE ESCOLHA EMPREGADOS EM ESTUDO DE CASO

CRITEacuteRIOS DE SELECcedilAtildeO QUESTOtildeES QUE PODEM SER RESPONDIDAS

Conveniecircncia Na situaccedilatildeo selecionada por facilitar a coleta de dados o que estaacute acontecendo e por quecirc

Finalidade

Casos extremos O que estaacute acontecendo nos extremos O que explica tais diferenccedilas

Melhores casos Que circunstacircncias satildeo responsaacuteveis pela eficaacutecia do programa

Piores casos Por que o programa natildeo estaacute funcionando

Agrupamento Como diferentes tipos de programas se comparam entre si

Caso Representativo Em situaccedilotildees escolhidas para representar importantes variaccedilotildees como se comporta o programa e por quecirc

Caso Tiacutepico Em uma situaccedilatildeo tiacutepica o que estaacute acontecendo e por quecirc

Interesse especial Em uma situaccedilatildeo especialmente relevante o que estaacute acontecendo e por quecirc

Probabilidade(a) O que estaacute acontecendo no programa como um todo e por quecirc

Fonte GAO 1990 p 23 apud TCU 2000 p 42 Nota (a) o criteacuterio probabiliacutestico escolhe casos aleatoriamente contudo a amostra selecionada natildeo precisa ser representativa

Em estudo de caso a coleta de informaccedilotildees tem as seguintes caracteriacutesticas

ecircnfase no aspecto qualitativo da informaccedilatildeo ainda que sejam coletados dados quantitativos

utilizaccedilatildeo de entrevistas natildeo-estruturadas ou estruturada com perguntas abertas e observaccedilatildeo direta

utilizaccedilatildeo de muacuteltiplas fontes de dados

As principais vantagens do estudo de caso podem ser assim resumidas

permite uma anaacutelise detalhada do programa em exame

permite formular hipoacuteteses para serem testadas em estudos de maior amplitude

evidencia os aspectos fortes e fracos da operacionalizaccedilatildeo do programa em exame

3542 Pesquisa

Amplamente aplicada em avaliaccedilatildeo de programa a pesquisa eacute uma estrateacutegia metodoloacutegica que permite obter informaccedilotildees de caraacuteter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais quanto aos resultados esperados





27

Essa estrateacutegia eacute muito empregada nas auditorias de desempenho realizadas pelo GAO NAO OAG e outras EFS Frequumlentemente eacute utilizada em conjunto com estudos de caso como suporte para as anaacutelises de caraacuteter qualitativo tiacutepicas dessa uacuteltima estrateacutegia Em geral a sua utilizaccedilatildeo permite

obter informaccedilotildees descritivas de uma populaccedilatildeo ampla

conhecer opiniotildees e pontos-de-vista dos beneficiaacuterios ou dos executores do programa

estabelecer relaccedilotildees causais em situaccedilotildees particulares

Ademais a pesquisa pode ser utilizada na realizaccedilatildeo de estudos exploratoacuterios na fase de levantamento de auditoria

Como meacutetodo estruturado de coleta de dados a pesquisa visa generalizar para toda a populaccedilatildeo informaccedilotildees obtidas a partir de uma amostra4 Para garantir essa generalizaccedilatildeo a amostra deve refletir as caracteriacutesticas da populaccedilatildeo-alvo Qualquer deficiecircncia do meacutetodo amostral utilizado deve ser levada em conta na interpretaccedilatildeo dos resultados da pesquisa e ser devidamente relatada

Nesse sentido satildeo consideradas fontes potenciais de erros (GAO 1994a p 333 apud TCU 2000 p 63)

erro amostral se uma amostra eacute muito pequena haacute uma grande chance de que natildeo reflita as caracteriacutesticas da populaccedilatildeo da qual foi extraiacuteda (meacutetodos estatiacutesticos podem ser utilizados para estimar o tamanho da amostra e dessa forma controlar o presente tipo de erro)

erros natildeo-amostrais baixa taxa de resposta erros de mensuraccedilatildeo resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausecircncia na amostra selecionada de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa)

As vantagens dessa estrateacutegia podem ser assim resumidas

obtenccedilatildeo de dados uniformes de uma grande quantidade de elementos pesquisados

generalizaccedilatildeo para a populaccedilatildeo de achados ou conclusotildees obtidas a partir de uma amostra

tratamento de dados disponiacuteveis (registros)

exame de programas que envolvam muitos oacutergatildeos e entidades

comparaccedilatildeo com programas similares desenvolvidos por outros oacutergatildeos ou entidades

As desvantagens normalmente apontadas satildeo a longa duraccedilatildeo das pesquisas e a necessidade de conhecimentos em aacutereas especiacuteficas como teacutecnicas de amostragem de elaboraccedilatildeo de formulaacuterio de coleta de dados e tratamento estatiacutestico de dados entre outras

4 A pesquisa que tem como objetivo todos os membros de uma populaccedilatildeo eacute denominada censo





28

Na realizaccedilatildeo de uma pesquisa a coleta uniforme de dados eacute fundamental para viabilizar o tratamento estatiacutestico das informaccedilotildees coletadas Por isso satildeo utilizadas entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionaacuterios enviados pelo correio Essas entrevistas podem ser aplicadas face-a-face ou por telefone O exame de registros administrativos e a observaccedilatildeo direta satildeo meios alternativos de coleta de dados

Em relaccedilatildeo ao momento de realizaccedilatildeo da pesquisa pode-se ter

corte temporal5 o levantamento de informaccedilotildees eacute feito em um uacutenico ponto no tempo

painel o levantamento de informaccedilotildees eacute feito em dois ou mais pontos

No segundo caso eacute possiacutevel conhecer a dinacircmica temporal do programa avaliado e aferir mudanccedilas em fatos atitudes e opiniotildees Tambeacutem eacute possiacutevel verificar se dois fatores aparentemente relacionados mantecircm relaccedilotildees de causa-e-efeito


O delineamento experimental eacute uma estrateacutegia metodoloacutegica que visa testar hipoacuteteses A sua concepccedilatildeo baacutesica corresponde aos experimentos realizados em laboratoacuterio amplamente utilizados nas pesquisas das aacutereas meacutedica e agriacutecola

Essa estrateacutegia eacute empregada quando se pretende identificar uma relaccedilatildeo de causalidade ou na avaliaccedilatildeo do impacto de um programa quando se deseja verificar a relaccedilatildeo causal entre as variaacuteveis do domiacutenio do programa e os efeitos observados Por exemplo quando se quer saber se um projeto de qualificaccedilatildeo profissional de fato aumenta as chances de inserccedilatildeo no mercado de trabalho dos trabalhadores desempregados

O delineamento experimental eacute considerado portanto a estrateacutegia mais adequada para responder agraves questotildees de impacto ou de causa-e-efeito pois permite controlar os efeitos natildeo atribuiacuteveis ao programa identificando assim seus resultados liacutequidos

Em um delineamento experimental para verificar se um programa eacute a causa de determinado efeito selecionam-se dois grupos de unidades de pesquisa (pessoas escolas hospitais etc)

o grupo experimental ou de tratamento que seraacute exposto ao programa

o grupo de controle que natildeo seraacute exposto

As diferenccedilas observadas nos resultados obtidos por esses grupos com algumas qualificaccedilotildees poderatildeo ser atribuiacutedas agrave presenccedila do programa

O procedimento exposto acima para ser considerado um experimento em sentido estrito requer que as unidades de pesquisa em ambos os grupos sejam

5 ldquoCross-sectionrdquo na liacutengua inglesa





29

selecionadas de forma randocircmica ou aleatoacuteria Isto eacute qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo Isso visa fortalecer o viacutenculo causal garantindo que a maioria dos fatores natildeo manipulados pelo programa e que poderiam influenciar os seus resultados estaacute uniformemente distribuiacuteda entre os dois grupos Dessa forma apenas os efeitos do programa explicariam as diferenccedilas observadas

No caso da avaliaccedilatildeo de um projeto de qualificaccedilatildeo profissional a seleccedilatildeo randocircmica faria com que caracteriacutesticas individuais que podem aumentar ou diminuir a possibilidade de obtenccedilatildeo de um novo emprego fossem uniformemente distribuiacutedas pelos grupos de tratamento e de controle

Logo duas caracteriacutesticas definem os experimentos em sentido estrito

existecircncia de grupo de controle

designaccedilatildeo randocircmica de unidades de pesquisa para os grupos de tratamento e de controle

Conveacutem notar ainda que a fim de preservar a integridade do experimento o pesquisador deve se assegurar de que cada grupo manteraacute a mesma composiccedilatildeo ao longo do experimento

Em relaccedilatildeo aos momentos nos quais as variaacuteveis selecionadas satildeo mensuradas os experimentos podem adotar preacute e poacutes-testes ou apenas poacutes-testes Isto eacute a mensuraccedilatildeo eacute realizada antes e depois da implementaccedilatildeo do programa ou apenas depois Esquematicamente as duas opccedilotildees correspondem aos diagramas mostrados abaixo





30

DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM PREacute E POacuteS-TESTES

GRUPOS

PERIacuteODOS DE MENSURACcedilAtildeO

preacute poacutes

DE TRATAMENTO R O X O

DE CONTROLE R O O

Fonte FITZ-GIBBON amp MORRIS 1987 p 56 apud TCU 2000 p 46 Notaccedilatildeo R designaccedilatildeo randocircmica

X programa ou tratamento O teste de mensuraccedilatildeo

DIAGRAMA DO DELINEAMENTO EXPERIMENTAL COM POacuteS-TESTE

GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O



A designaccedilatildeo randocircmica para os grupos de tratamento e de controle natildeo se confunde com a teacutecnica de amostragem aleatoacuteria O primeiro procedimento visa fortalecer a inferecircncia causal assegurando validade interna agraves interpretaccedilotildees enquanto o segundo tem como objetivo a generalizaccedilatildeo dos resultados amostrais para toda a populaccedilatildeo assegurando portanto validade externa agrave investigaccedilatildeo

Em que pese ser o delineamento experimental a estrateacutegia mais rigorosa no trato de questotildees que envolvem inferecircncia causal admite-se que dificilmente pode ser aplicado por instituiccedilotildees de controle externo uma vez que a seleccedilatildeo randocircmica requer que as equipes de auditoria controlem o processo de seleccedilatildeo dos participantes do programa auditado o que em geral eacute uma prerrogativa de seu gestor Mesmo assim essa estrateacutegia deve ser conhecida pelas equipes pois funciona como uma referecircncia criacutetica para avaliar a fragilidade potencial das inferecircncias causais apontadas pelas outras estrateacutegias


A realizaccedilatildeo do delineamento experimental envolve dificuldades de ordem tanto praacutetica tratados no subitem anterior como eacutetica (ex excluir do programa um grupo de beneficiaacuterios em potencial para que operem como grupo de controle) Por essa razatildeo foram desenvolvidas estrateacutegias metodoloacutegicas alternativas

Existem muitas situaccedilotildees em que natildeo eacute possiacutevel recorrer agrave





31

randomizaccedilatildeo mas nas quais haacute grupos de controle disponiacuteveis Assim os grupos de comparaccedilatildeo satildeo selecionados com base na disponibilidade e na oportunidade As estrateacutegias utilizadas nesses casos satildeo menos robustas do que os experimentos de campo Quanto maiores forem as diferenccedilas iniciais entre os grupos de tratamento e de controle mais ambiacuteguas seratildeo as conclusotildees alcanccediladas Para minimizar esse problema deve-se selecionar grupos que sejam tatildeo equivalentes quanto possiacutevel ou seja grupos que possam ser comparados Para se garantir a equivalecircncia entre os grupos eacute essencial aplicar um preacute-teste destinado a verificar as diferenccedilas preexistentes e dessa forma permitir a interpretaccedilatildeo e o controle dos resultados do estudo

Os delineamentos quase-experimentais mais citados satildeo

grupos natildeo-equivalentes com preacute e poacutes-testes

seacuteries temporais com grupo de controle

seacuteries temporais sem grupo de controle

No primeiro caso (grupos natildeo-equivalentes com preacute e poacutes-testes) o delineamento tem as mesmas caracteriacutesticas de um delineamento experimental exceto pelo fato de que os grupos natildeo satildeo equivalentes ou seja os grupos natildeo foram formados por designaccedilatildeo randocircmica Nesse caso o preacute-teste eacute essencial para verificar se inicialmente os grupos de controle e de tratamento satildeo comparaacuteveis

A limitaccedilatildeo desse modelo eacute que a seleccedilatildeo dos grupos pressupotildee o conhecimento de todas as variaacuteveis relevantes que podem influenciar o resultado do programa o que por sua vez eacute o objetivo da investigaccedilatildeo O diagrama para esse delineamento estaacute indicado a seguir

DIAGRAMA DO DELINEAMENTO ldquoGRUPOS NAtildeO-EQUIVALENTES COM PREacute E POacuteS-TESTESrdquo

GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O

Fonte FITZ-GIBBON amp MORRIS 1987 p 58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento

O teste de mensuraccedilatildeo Linha Pontilhada designaccedilatildeo natildeo-randocircmica dos grupos

No segundo caso (seacuteries temporais com grupo de controle) realiza-se uma seacuterie de mensuraccedilotildees antes e depois da implementaccedilatildeo do programa Essa opccedilatildeo eacute adequada quando se deseja obter uma perspectiva de longo prazo do programa

Um fator negativo que deve ser considerado eacute o grande nuacutemero de mensuraccedilotildees a serem realizadas e consequumlentemente o enorme volume de dados a serem analisados Comparativamente esse delineamento eacute considerado mais eficaz que o anterior por ser capaz de controlar a maior parte das ameaccedilas agrave





32

validade interna

Na hipoacutetese de a equipe de auditoria querer comparar dois programas um dos programas operaraacute como grupo de controle enquanto que o outro operaraacute como grupo de tratamento O diagrama desse delineamento consta do quadro abaixo

DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS COM GRUPO DE CONTROLErdquo

GRUPOS


1 2 3 4 5 6

DE TRATAMENTO O O O X O O O

DE CONTROLE O O O O O O



No terceiro caso (seacuteries temporais sem grupo de controle) a mensuraccedilatildeo eacute realizada em intervalos regulares de tempo antes e depois da implementaccedilatildeo do programa com o mesmo grupo de unidades de pesquisa O proacuteximo quadro conteacutem o diagrama do presente delineamento

DIAGRAMA DO DELINEAMENTO ldquoSEacuteRIES TEMPORAIS SEM GRUPO DE CONTROLErdquo

GRUPO


1 2 3 4 5 6


Fonte FITZ-GIBBON amp MORRIS 1987 p58 apud TCU 2000 p 48 Notaccedilatildeo X programa ou tratamento

O teste de mensuraccedilatildeo

Dispondo-se graficamente os dados obtidos pode-se verificar se o programa ao ser implementado provocou qualquer alteraccedilatildeo nas tendecircncias observadas isto eacute se teve ou natildeo impacto sobre a populaccedilatildeo Nesse caso a fragilidade do delineamento reside no fato de que natildeo haacute controle sobre variaacuteveis externas ao programa ou variaacuteveis de contexto natildeo sendo possiacutevel portanto isolar os efeitos legitimamente imputaacuteveis ao programa

Uma variaccedilatildeo desse delineamento eacute a comparaccedilatildeo entre os dados do programa (apoacutes a implementaccedilatildeo) obtidos em intervalos regulares de tempo e a projeccedilatildeo estatiacutestica de dados da situaccedilatildeo anterior ao programa Nesse caso as mudanccedilas provocadas pelo programa satildeo identificadas como a diferenccedila entre as





33

condiccedilotildees existentes e aquilo que poderia ter ocorrido (projeccedilatildeo de tendecircncia) caso o programa natildeo tivesse sido implementado6

Independentemente da seacuterie temporal ter ou natildeo um grupo de controle as mensuraccedilotildees podem ser realizadas de dois modos diferentes

com as mesmas unidades de pesquisa (seacuteries temporais longitudinais)

com o mesmo tipo de unidades de pesquisa isto eacute a cada mensuraccedilatildeo as unidades de pesquisa podem natildeo ser as mesmas mas devem possuir as mesmas caracteriacutesticas (seacuteries temporais de grupos sucessivos)


Muitas vezes eacute impossiacutevel utilizar ateacute mesmo delineamentos quase-experimentais Nesse caso os delineamentos natildeo-experimentais mais comumente empregados satildeo

antes-e-depois

somente depois com grupo de comparaccedilatildeo

A fragilidade inerente a esses delineamentos eacute o fato de que natildeo haacute controle sobre explicaccedilotildees alternativas ou seja as mudanccedilas observadas podem ter sido causadas por variaacuteveis natildeo associadas ao programa Quando a coleta de dados eacute executada adequadamente estudos dessa natureza oferecem valiosas informaccedilotildees sobre o programa Entretanto apresentam problemas consideraacuteveis quando o objetivo eacute estabelecer um juiacutezo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribuiacutedos Assim quando se tratar de uma avaliaccedilatildeo de programa esses delineamentos devem ser adotados em conjunto com outras estrateacutegias metodoloacutegicas

A caracteriacutestica do delineamento do tipo antes-e-depois eacute trabalhar apenas com a populaccedilatildeo-alvo do programa realizando duas mediccedilotildees uma antes e outra apoacutes a implementaccedilatildeo do programa O diagrama correspondente consta do quadro abaixo

DIAGRAMA DO DELINEAMENTO ldquoANTES-E-DEPOISrdquo

GRUPO


preacute poacutes

DE TRATAMENTO O X O



6 Por exemplo pode-se comparar a projeccedilatildeo de taxas de criminalidade com as taxas existentes apoacutes a

implantaccedilatildeo de um programa de prevenccedilatildeo agrave criminalidade (HATRY 1981 p30)





34

Uma vez que haacute apenas um grupo a ser monitorado deve-se buscar o maior nuacutemero possiacutevel de informaccedilotildees aleacutem de uma descriccedilatildeo detalhada do programa de suas caracteriacutesticas operacionais e das suas bases teoacutericas

Outra maneira de minimizar a fragilidade do presente delineamento eacute separar as informaccedilotildees por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caracteriacutesticas Dessa forma eacute possiacutevel saber para que tipo de unidade o programa parece funcionar melhor ou pior Nessa situaccedilatildeo dois tipos de tratamento estatiacutestico podem ser utilizados

comparaccedilatildeo dos resultados meacutedios de vaacuterias categorias usando testes estatiacutesticos

verificaccedilatildeo da correlaccedilatildeo entre as caracteriacutesticas individuais e os resultados observados

O segundo tipo (somente depois com grupo de comparaccedilatildeo) consiste basicamente em realizar apenas uma mediccedilatildeo apoacutes a implementaccedilatildeo do programa e comparaacute-la com informaccedilotildees de um grupo natildeo coberto pelo programa cuja populaccedilatildeo deve ser tatildeo similar aos beneficiaacuterios do programa a ser avaliado quanto possiacutevel Uma vez que nesse caso natildeo eacute possiacutevel dispor de dados de um preacute-teste como no caso do delineamento quase-experimental torna-se especialmente difiacutecil distinguir as diferenccedilas preexistentes daquelas derivadas da implementaccedilatildeo do programa


Uma vez definida a estrateacutegia metodoloacutegica a ser empregada deve-se especificar na Matriz de Planejamento de Auditoria o meacutetodo de coleta de dados que seraacute adotado Os meacutetodos mais utilizados satildeo entrevista questionaacuterio enviado pelo correio observaccedilatildeo direta e utilizaccedilatildeo de dados secundaacuterios

Ao se optar por um meacutetodo de coleta de dados deve-se considerar primeiramente a conveniecircncia de que sejam utilizados instrumentos que obedeccedilam ou natildeo a um padratildeo preacute-elaborado (estruturado) Entre as vantagens de um instrumento estruturado de coleta de dados destacam-se as seguintes (GAO 1994a p 336 apud TCU 2000 p 73)

atinge um maior nuacutemero de pessoas

possibilita a comparaccedilatildeo das respostas

permite anaacutelise estatiacutestica

possibilita a generalizaccedilatildeo das conclusotildees no caso de amostras aleatoacuterias

As desvantagens normalmente apontadas satildeo (GAO 1994a p 337 apud TCU 2000 p 73)

satildeo demorados o desenvolvimento e o preacute-teste

requer conhecimento especializado

eacute difiacutecil garantir o rigor das informaccedilotildees prestadas

As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionaacuterios enviados pelo correio





35

O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstacircncias relacionadas a seguir (GAO 1994a p 338 apud TCU 2000 p 74)

o entrevistado deve ser identificado

o entrevistado apresenta baixo niacutevel educacional

a reaccedilatildeo do entrevistado deve ser observada

as perguntas abordam questotildees delicadas ou complexas que precisam ser esclarecidas

a ordem das perguntas deve ser controlada

Contudo consideraccedilotildees de caraacuteter administrativo podem sugerir o uso de questionaacuterios enviados pelo correio os quais apresentam as seguintes vantagens (GAO 1994a p 338 apud TCU 2000 p 74)

baixo custo

natildeo haacute necessidade de entrevistadores e de treinamento

natildeo haacute necessidade de deslocamento de pessoal

pode-se obter informaccedilatildeo de uma amostra numerosa e dispersa

A Teacutecnica de Auditoria ldquoTeacutecnicas de Entrevista para Auditoriasrdquo (TCU 1998) traz orientaccedilotildees detalhadas sobre como conduzir os diversos tipos de entrevistas e sobre a coleta de dados estruturada

A observaccedilatildeo direta por sua vez eacute um meacutetodo bastante empregado em investigaccedilatildeo cientiacutefica principalmente em estudos antropoloacutegicos Fonte valiosa de informaccedilotildees tanto em auditoria de desempenho operacional como em avaliaccedilatildeo de programa esse meacutetodo requer treinamento e preparaccedilatildeo especiacutefica em por exemplo teacutecnicas de anotaccedilatildeo de campo bem como capacidade de concentraccedilatildeo e percepccedilatildeo seletiva O observador treinado deve ser capaz de conferir exatidatildeo validade e confiabilidade agraves informaccedilotildees coletadas

A observaccedilatildeo direta eacute muito empregada em avaliaccedilotildees de programa do tipo qualitativo como estudos de caso As vantagens desse meacutetodo podem ser assim resumidas (PATTON 1987 p 72-4 apud TCU 2000 p 75)

permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa

permite que o observador use a abordagem indutiva (ao testemunhar os fatos as impressotildees e opiniotildees do observador dependeratildeo menos de percepccedilotildees preacutevias sobre o programa)

permite que um observador treinado perceba aspectos que escapam aos participantes rotineiramente envolvidos com o programa

pode captar aspectos do programa sobre os quais os participantes natildeo desejam falar numa entrevista por ser um tema delicado ou embaraccediloso

traz para a anaacutelise as percepccedilotildees do proacuteprio observador que ao serem confrontadas com as percepccedilotildees dos entrevistados fornecem uma visatildeo mais completa do programa estudado





36

permite que o observador forme impressotildees que extrapolem o que eacute possiacutevel registrar mesmo nas mais detalhadas anotaccedilotildees de campo e que podem auxiliar na compreensatildeo do programa e dos seus participantes

Por fim as estrateacutegias metodoloacutegicas analisadas anteriormente trataram quase sempre da obtenccedilatildeo de dados novos pela equipe de auditoria Uma vez que a coleta de dados eacute um procedimento caro e demorado deve-se considerar a possibilidade de que sejam utilizados dados jaacute existentes

As fontes de dados disponiacuteveis sejam sistemas gerenciais existentes sejam pesquisas realizadas anteriormente devem ter sido identificados no levantamento de auditoria Dependendo da questatildeo a ser investigada essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos

A utilizaccedilatildeo de dados jaacute existentes requer cuidados especiais por parte da equipe de auditoria Entre as questotildees a serem levantadas destacam-se as seguintes (ANAO 1992 p 103 apud TCU 2000 p 76)

Que tipo de dado estaacute disponiacutevel Ele se adapta agrave questatildeo que se pretende investigar

Os dados estatildeo completos e o periacuteodo de abrangecircncia eacute suficiente para a anaacutelise

De que forma o dado estaacute armazenado Quais as limitaccedilotildees relativas agrave forma dos dados e quais as dificuldades existentes para a sua obtenccedilatildeo

Que atividades de coleta satildeo realizadas regularmente Foi realizada coleta de dados com objetivo especiacutefico

Haacute outras fontes relevantes de dados para o tema a ser investigado

Eacute fundamental levar em conta que qualquer problema relativo agrave utilizaccedilatildeo de dados jaacute existentes e agraves suas possiacuteveis limitaccedilotildees deve constar como ressalva agraves conclusotildees finais do Relatoacuterio de Auditoria

O relacionamento existente entre os meacutetodos de coleta de dados tratados acima e as estrateacutegias metodoloacutegicas consta do quadro mostrado a seguir





37

SINOPSE DAS ESTRATEacuteGIAS METODOLOacuteGICAS

ESTRATEacuteGIA METODOLOacuteGICA

TIPOLOGIA MEacuteTODO DE SELECcedilAtildeO DA

AMOSTRA MEacuteTODO DE COLETA DE

DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico

implementaccedilatildeo do programa

efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento

casos representativos

casos tiacutepicos

interesse especial

probabiliacutestico

entrevista

questionaacuterio enviado pelo correio

dados secundaacuterios

observaccedilatildeo direta

Pesquisa corte temporal

painel probabiliacutestico


entrevista estruturada

Delineamento Experimental com preacute e poacutes-testes

com poacutes-teste probabiliacutestico ou natildeo

teste


Delineamentos

Quase-Experimentais




probabiliacutestico ou natildeo

teste



Delineamentos

Natildeo-Experimentais

antes-e-depois



teste







38


Entenda-se por meacutetodo de anaacutelise de dados o modo como satildeo organizados os dados coletados e as relaccedilotildees que se pretende estabelecer entre as variaacuteveis selecionadas para responder agraves questotildees de auditoria A descriccedilatildeo do meacutetodo em questatildeo eacute parte fundamental do projeto de auditoria em programas e deve portanto constar da Matriz de Planejamento de Auditoria

Geralmente o meacutetodo de anaacutelise de dados eacute um procedimento interativo isto eacute define-se uma primeira versatildeo na fase de planejamento e agrave medida que a auditoria progride o meacutetodo eacute refinado

Os meacutetodos utilizados para organizar as informaccedilotildees coletadas variam de acordo com os procedimentos adotados na coleta de dados

No caso de questionaacuterios enviados pelo correio ou entrevistas estruturadas pode-se gerar uma base de dados e dar tratamento estatiacutestico agraves informaccedilotildees coletadas Atualmente com os recursos da informaacutetica essas tarefas foram muito facilitadas tanto em termos de caacutelculo quanto em termos de representaccedilatildeo graacutefica

Nas entrevistas abertas anotaccedilotildees de campo ou material impresso como relatoacuterios estudos de caso ou pesquisas a equipe depara-se com uma grande quantidade de informaccedilotildees as quais devem ser sistematizadas para que seu conteuacutedo possa ser interpretado Nessa situaccedilatildeo o meacutetodo que deve ser adotado eacute a anaacutelise de conteuacutedo que consiste em um conjunto de procedimentos empregados para organizar a informaccedilatildeo em um formato padronizado permitindo realizar inferecircncias com base nas caracteriacutesticas do material escrito ou registrado

A essecircncia da anaacutelise de conteuacutedo eacute a especificaccedilatildeo de categorias de anaacutelise criadas a partir da identificaccedilatildeo de temas padrotildees ou variaacuteveis relacionadas agrave questatildeo de auditoria A informaccedilatildeo contida no texto eacute entatildeo organizada com base nas categorias preestabelecidas Esse procedimento natildeo segue um padratildeo riacutegido e depende da criatividade intuiccedilatildeo e experiecircncia da equipe de auditoria para que seja identificado o que eacute relevante e significativo nas informaccedilotildees coletadas Podem ser desenvolvidos formatos simples para sumariar informaccedilotildees ou contar a frequumlecircncia de determinados itens de anaacutelise ou complexos para dar conta de tendecircncias ou variaccedilotildees sutis nas informaccedilotildees coletadas

Os requisitos miacutenimos para a criaccedilatildeo de categorias passiacuteveis de codificaccedilatildeo estatildeo relacionados abaixo (GAO 1989 p 12 apud TCU 2000 p 79)

as categorias devem ser completas de tal forma que todas as informaccedilotildees consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas

as categorias devem ser mutuamente exclusivas ou seja nenhum item de anaacutelise pode ser classificado em mais de uma categoria

Embora a anaacutelise de conteuacutedo seja muito empregada em estudos de caraacuteter qualitativo como estudos de caso pode-se codificar as categorias de anaacutelise e dar tratamento estatiacutestico ao material coletado





39

Ainda sobre estudos de caraacuteter qualitativo satildeo utilizados mais alguns meacutetodos de anaacutelise de dados quais sejam (PATTON 1987 p 155-64 apud TCU 2000 p 79)

a) Triangulaccedilatildeo uso de diferentes meacutetodos de pesquisa eou de coleta de dados para estudar a mesma questatildeo com o objetivo de fortalecer as conclusotildees finais podendo assumir as formas a seguir indicadas

coletar dados de diferentes fontes sobre a mesma questatildeo

utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados

utilizar muacuteltiplos meacutetodos de pesquisa para estudar a mesma questatildeo

utilizar teorias diferentes para interpretar os dados coletados

b) Teacutecnicas especiacuteficas para o tratamento de dados envolvendo muacuteltiplas situaccedilotildees (matriz de categorias apresentaccedilatildeo graacutefica de dados tabulaccedilatildeo de frequumlecircncias de diferentes eventos ordenaccedilatildeo cronoloacutegica dos dados para anaacutelise de seacuteries temporais e tabulaccedilotildees complexas para checar relaccedilotildees)

c) Interpretaccedilotildees alternativas uma vez formulada uma interpretaccedilatildeo a partir das principais relaccedilotildees identificadas na anaacutelise deve-se buscar interpretaccedilotildees alternativas caso natildeo sejam encontradas evidecircncias substantivas que sustentem essas interpretaccedilotildees reforccedila-se a confianccedila na interpretaccedilatildeo originalmente formulada

d) Caso negativo relacionado ao item anterior trata-se de identificar as situaccedilotildees que natildeo seguem a interpretaccedilatildeo principal ou corrente em razatildeo de circunstacircncias especiacuteficas e que por isso mesmo funcionam como ldquoexceccedilotildees (casos negativos) que confirmam a regrardquo e que ajudam a esclarecer os limites e as caracteriacutesticas da interpretaccedilatildeo principal

A efetividade dos procedimentos tratados acima apoacuteia-se firmemente na honestidade intelectual do investigador que deve despender na busca de casos negativos ou de evidecircncias que decircem sustentaccedilatildeo agraves hipoacuteteses alternativas o mesmo esforccedilo empregado na construccedilatildeo da interpretaccedilatildeo principal

Alguns meacutetodos analiacuteticos tecircm sido desenvolvidos para examinar questotildees relativas ao processo de gestatildeo organizacional e inserem-se portanto no contexto das auditorias operacionais

A verificaccedilatildeo das metas de desempenho por exemplo eacute um aspecto essencial de uma auditoria em programas Entretanto durante o levantamento de auditoria a equipe pode constatar que inexiste um sistema de indicadores de desempenho ou que os existentes satildeo inadequados para medir o desempenho do objeto da auditoria Nesse caso cabe agrave equipe desenvolver indicadores de desempenho e havendo facilidade de obtenccedilatildeo de dados durante os trabalhos de





40

campo empregaacute-los para avaliar o desempenho do objeto da auditoria

Quando os dados natildeo estiverem disponiacuteveis a equipe deve propor recomendaccedilatildeo no sentido de que os gestores passem a manter bases de dados confiaacuteveis para caacutelculo dos indicadores de desempenho

A Teacutecnica de Auditoria ldquoIndicadores de Desempenho e Mapa de Produtosrdquo (TCU 2000) aleacutem de trazer informaccedilotildees baacutesicas sobre indicadores e sua utilizaccedilatildeo na avaliaccedilatildeo do desempenho da gestatildeo apresenta de maneira praacutetica a teacutecnica de elaboraccedilatildeo do mapa de produtos a partir do qual satildeo identificados os produtos-chave associados agraves atividades desenvolvidas pelo objeto da auditoria

Uma outra teacutecnica de anaacutelise que tambeacutem vem sendo empregada pelas EFS o benchmarking baseia-se em comparaccedilotildees de desempenho para identificar e disseminar boas praacuteticas de gestatildeo O Guia de Teacutecnica de Auditoria ldquoBenchmarkingrdquo trata das caracteriacutesticas baacutesicas e da aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas aleacutem de apresentar trecircs modalidades de benchmarking organizacional ou estrateacutegico de desempenho e de processo

Ainda no campo das auditorias de desempenho operacional o mapa de processo eacute uma ferramenta analiacutetica que permite agrave equipe em conjunto com os gerentes e teacutecnicos identificar oportunidades para racionalizar e aperfeiccediloar processos de trabalho O Guia de Teacutecnica de Auditoria ldquoMapa de Processordquo traz orientaccedilotildees baacutesicas sobre a elaboraccedilatildeo do mapa de processo e a aplicabilidade dessa teacutecnica aos trabalhos de auditoria em programas

Na anaacutelise da estrateacutegia organizacional duas ferramentas podem ser uacuteteis a anaacutelise SWOT e a anaacutelise RECI A primeira estaacute voltada para a identificaccedilatildeo dos fatores que representam pontos fortes e fracos da gestatildeo e dos fatores externos que podem representar oportunidades e ameaccedilas para o desenvolvimento organizacional O objetivo dessa anaacutelise eacute apontar estrateacutegias organizacionais que fortaleccedilam os aspectos positivos e minimizem os negativos A segunda procura identificar as superposiccedilotildees e duplicaccedilotildees de funccedilotildees em relaccedilatildeo a uma mesma organizaccedilatildeo ou programa ou entre diferentes organizaccedilotildees ou programas A teacutecnica consiste em montar uma matriz relacionando para cada funccedilatildeo identificada os agentes ou departamentos responsaacuteveis os executores os que satildeo consultados e os que devem ser informados





41


Nesse elemento da Matriz de Planejamento a equipe de auditoria deve especificar as limitaccedilotildees inerentes agrave estrateacutegia metodoloacutegica adotada agraves caracteriacutesticas das informaccedilotildees que se pretende coletar e agraves condiccedilotildees operacionais de realizaccedilatildeo dos trabalhos

Quanto agrave estrateacutegia metodoloacutegica deve-se considerar que natildeo haacute uma estrateacutegia oacutetima ou ideal mas apenas aquela que dadas as circunstacircncias melhor se adapta agrave questatildeo que se pretende investigar A equipe de auditoria deve estar atenta agraves interpretaccedilotildees alternativas que a estrateacutegia metodoloacutegica empregada deixa em aberto e deve buscar por meio da anaacutelise refutar tais interpretaccedilotildees

Assim ao se optar por uma estrateacutegia metodoloacutegica eacute indispensaacutevel apontar as limitaccedilotildees que lhe satildeo inerentes seja do ponto de vista do poder explicativo seja em relaccedilatildeo agraves possibilidades de generalizaccedilatildeo dos resultados do estudo7

Quanto agraves informaccedilotildees que se pretende utilizar na anaacutelise eacute importante mencionar que tipo de problema espera-se encontrar tanto em relaccedilatildeo agrave dificuldade de acesso aos dados como em relaccedilatildeo agrave sua qualidade e confiabilidade Ademais devem ser citadas as limitaccedilotildees de ordem operacional envolvendo a disponibilidade de recursos humanos eou materiais os quais de alguma forma podem comprometer o resultado final dos trabalhos


Esse elemento da Matriz de Planejamento de Auditoria estaacute intrinsecamente relacionado com o anterior pois o que se espera obter da anaacutelise estaacute naturalmente condicionado pelas limitaccedilotildees previamente identificadas

O propoacutesito dessa informaccedilatildeo eacute restabelecer o objeto inicial da questatildeo de auditoria ou seja esclarecer precisamente quais conclusotildees ou resultados pretende-se alcanccedilar com a estrateacutegia metodoloacutegica adotada

Assim deve-se registrar por exemplo se as conclusotildees alcanccediladas permitiratildeo responder integralmente agraves questotildees de auditoria se seraacute possiacutevel fazer afirmaccedilotildees conclusivas sobre o objeto da auditoria e se as conclusotildees limitar-se-atildeo aos casos examinados ou se seraacute possiacutevel generalizaacute-las Esses esclarecimentos satildeo necessaacuterios para que se tenha noccedilatildeo jaacute na fase de planejamento do que se pode esperar do esforccedilo que seraacute empreendido pela equipe e dos recursos que seratildeo alocados no desenvolvimento do trabalho

A seguir eacute apresentado um exemplo de matriz de planejamento

7 Uma boa auditoria levaraacute em conta as limitaccedilotildees existentes em outras palavras ldquo a qualidade teacutecnica de um

estudo ou meacutetodo pode ser determinada pela comparaccedilatildeo entre o que foi realizado e o que era possiacutevel realizarrdquo (GAO 1991 p 8 apud TCU 2000 p 57)





42

MATRIZ DE PLANEJAMENTO

PROBLEMA DE AUDITORIA A Constituiccedilatildeo Federal considera a educaccedilatildeo um direito social e estabelece que o ensino seraacute ministrado com base entre outros nos princiacutepios de igualdade de condiccedilotildees para o acesso e permanecircncia e da garantia de padratildeo de qualidade A adequaccedilatildeo das instalaccedilotildees fiacutesicas das escolas certamente contribui para a garantia desse padratildeo de qualidade Desse modo pretende-se com esse trabalho avaliar as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas do Distrito Federal bem como avaliar a eficiecircncia a eficaacutecia e a equumlidade das atividades de manutenccedilatildeo e de reforma dessas escolas

Questatildeo de Auditoria Informaccedilatildeo Requerida Fonte de

Informaccedilatildeo Estrateacutegias

Metodoloacutegicas

Meacutetodo de Obtenccedilatildeo de

Dados

Meacutetodo de Anaacutelise de

Dados Limitaccedilotildees

O que a anaacutelise vai permitir dizer

1) Em que medida as condiccedilotildees das instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs podem ser consideradas satisfatoacute-rias

Condiccedilotildees das instalaccedilotildees das escolas da amostra quanto aos seguintes itens

Condiccedilatildeo da Pintura externa

Funcionamento da Rede hidraacuteulica da Rede eleacutetrica e dos Esgotos

Qualidade dos Pisos

Condiccedilotildees dos Telhados

Estrutura e pintura das paredes das salas de aula

Condiccedilotildees das carteiras cadeiras mesas e da lousa

Condiccedilotildees dos Bebedou-ros e dos Sanitaacuterios

Condiccedilotildees da quadra de esportes e do parque de diversatildeo

Instalaccedilotildees fiacutesicas das escolas da rede puacuteblica de ensino do Distrito Federal

Pesquisa estatiacutestica

Observaccedilatildeo direta

Registro foto-graacutefico das instalaccedilotildees

Anaacutelise estatiacutestica

Tempo neces-saacuterio para inspecionar as escolas

Se as condiccedilotildees das instalaccedilotildees das escolas da rede puacuteblica de ensino do Distrito Federal satildeo satisfatoacuterias

Se as condiccedilotildees das escolas variam em funccedilatildeo da DRE





43


O passo final da fase de Planejamento apoacutes a conclusatildeo da Matriz de Planejamento eacute a elaboraccedilatildeo do Programa de Auditoria que trata da descriccedilatildeo dos procedimentos de auditoria que seratildeo realizados para a consecuccedilatildeo dos objetivos propostos indicando a sequumlecircncia loacutegica das atividades que seratildeo executadas na fase seguinte

A partir do conhecimento do objeto da auditoria adquirido na anaacutelise preliminar considerando os pontos fortes e fracos do controle interno o programa de auditoria estabelece a relaccedilatildeo loacutegica entre os procedimentos nele elencados os objetivos e os criteacuterios fixados para servir de guia para a execuccedilatildeo dos trabalhos Permite ainda a alocaccedilatildeo de meios e fixa os prazos adequados agrave execuccedilatildeo das atividades necessaacuterias agrave obtenccedilatildeo das evidecircncias dos achados de auditoria

O Programa de Auditoria tambeacutem se constitui em ferramenta de controle para os coordenadores e supervisores de auditoria sobre a execuccedilatildeo dos procedimentos pela equipe Na sua elaboraccedilatildeo devem ser considerados os seguintes itens

objetivo da auditoria

periacuteodo de realizaccedilatildeo dos exames

escopo ou alcance do exame


criteacuterios de auditoria

estrateacutegias metodoloacutegicas a serem utilizadas (estudo de caso pesquisa outras)

meacutetodos e teacutecnicas de obtenccedilatildeo de dados (entrevistas questionaacuterio observaccedilatildeo direta dados secundaacuterios outros)

meacutetodos e teacutecnicas de anaacutelise de dados (estatiacutestica anaacutelise qualitativa anaacutelise de conteuacutedo outros)

pessoal teacutecnico envolvido incluindo a utilizaccedilatildeo de especialistas

cronograma das atividades

material necessaacuterio e

estimativa de custos





44


A Execuccedilatildeo eacute a fase na qual satildeo aplicados os procedimentos de auditoria para coletar as evidecircncias isto eacute as provas que sustentaratildeo o juiacutezo que se faraacute sobre o problema investigado Pode-se dizer que essa fase consiste essencialmente em examinar as situaccedilotildees existentes e confrontaacute-las com os criteacuterios definidos

Nessa fase eacute que se concentram os trabalhos de campo com avaliaccedilatildeo aprofundada dos controles e sistemas de informaccedilotildees e aplicaccedilatildeo de teacutecnicas de auditoria com vistas a levantar evidecircncias suficientes e confiaacuteveis para responder as questotildees de auditoria formuladas durante a fase de Planejamento

O Programa de Auditoria deve nortear os procedimentos de auditoria Os exames as provas seletivas as entrevistas a aplicaccedilatildeo de questionaacuterios os testes e as amostragens devem seguir o cronograma e o encadeamento loacutegico estipulado no programa considerados os riscos envolvidos a amplitude e o escopo dos trabalhos necessaacuterios agrave obtenccedilatildeo dos elementos probatoacuterios as evidecircncias de auditoria

As evidecircncias devem conter informaccedilotildees pertinentes suficientes e adequadas para permitir que a equipe opine conclusivamente sobre os aspectos do objeto considerados relevantes Podem ser classificadas de acordo com os procedimentos utilizados para coletaacute-las Assim pode-se dizer de evidecircncia fiacutesica documental testemunhal e analiacutetica Deve-se levar em conta que a mesma evidecircncia obtida por procedimentos diferentes geralmente proporciona maior grau de confiabilidade e convencimento

De todo modo a equipe deve estar segura de que terceiros alcanccedilariam as mesmas conclusotildees a partir das evidecircncias coletadas avaliando a cada momento a necessidade de provas adicionais para garantir essa seguranccedila





45


A Matriz de Achados eacute uma forma de organizaccedilatildeo das informaccedilotildees correspondentes aos achados de auditoria O desenvolvimento dos achados de auditoria consiste em levantar evidecircncias suficientes para a emissatildeo de juiacutezo sobre o objeto da auditoria por meio da comparaccedilatildeo entre a situaccedilatildeo observada e os criteacuterios fixados Associam-se aos achados suas causas e seus efeitos culminando com a indicaccedilatildeo das recomendaccedilotildees necessaacuterias para sanar os desvios encontrados

A organizaccedilatildeo desses elementos em forma de matriz facilita a visualizaccedilatildeo dos resultados da auditoria e a estruturaccedilatildeo loacutegica da anaacutelise das informaccedilotildees levantadas na fase de execuccedilatildeo

Os seguintes elementos compotildeem a Matriz de Achados

Achados de Auditoria

Anaacutelises e Evidecircncias

Causas

Efeitos

Boas Praacuteticas

Recomendaccedilotildees

Benefiacutecios Esperados

A seguir seratildeo apresentadas breves consideraccedilotildees sobre os elementos dessa matriz


Os achados de auditoria satildeo situaccedilotildees observadas no decorrer da auditoria que natildeo satisfazem os criteacuterios fixados Se o criteacuterio for uma lei por exemplo o achado de auditoria corresponderaacute agrave situaccedilatildeo de ilegalidade ou seja situaccedilatildeo que natildeo atende agrave lei

Considerando que os exames satildeo orientados para responder as questotildees de auditoria os achados estaratildeo diretamente ligados agraves questotildees elaboradas no planejamento da auditoria Portanto a primeira coluna da Matriz de Achados (achados de auditoria) eacute decorrente da tentativa de resposta agrave primeira coluna da Matriz de Planejamento (questotildees de auditoria) Outros achados observados durante a realizaccedilatildeo dos trabalhos tambeacutem deveratildeo ser reportados mesmo que natildeo relacionados agraves questotildees desde que se mostrem relevantes

Esses fatos observados pela equipe devem ser significativos e relevantes visto que fundamentaratildeo as conclusotildees e recomendaccedilotildees Os achados devem ser suficientes e completos para amparar a emissatildeo de juiacutezo Tambeacutem devem ser objetivos e fortemente embasados em evidecircncias as quais deveratildeo estar devidamente registradas em papeacuteis de trabalho de modo a exercer suficiente poder de convencimento


As evidecircncias satildeo o conjunto de fatos devidamente coletados e registrados ao longo da auditoria por meio de observaccedilotildees inspeccedilotildees entrevistas





46

exames de documentos entre outros procedimentos de auditoria que se constituem em material probante dos achados Satildeo os elementos que comprovam que a situaccedilatildeo encontrada estaacute em desacordo com os criteacuterios Para dar sustentaccedilatildeo aos achados de auditoria esses elementos devem ser suficientes adequados e pertinentes

A reuniatildeo de evidecircncias necessaacuterias para amparar os achados de auditoria iniciaraacute jaacute na fase de planejamento e seu registro criterioso contribuiraacute para fortalecer as conclusotildees e embasar o conteuacutedo do Relatoacuterio Algumas evidecircncias resultam de anaacutelises de fatos dados e informaccedilotildees Nesses casos devem ser registradas na Matriz de Achados as evidecircncias e a anaacutelise que as consubstanciou

413 Causas

Na elaboraccedilatildeo da Matriz de Achados registram-se em coluna proacutepria as origens dos fatos consignados como achados de auditoria isto eacute a causa da diferenccedila entre a situaccedilatildeo encontrada e como deveria ser As causas representam pois a origem da divergecircncia entre a situaccedilatildeo e o criteacuterio A identificaccedilatildeo precisa das causas eacute crucial para a elaboraccedilatildeo de recomendaccedilotildees adequadas e construtivas

Listam-se a seguir as causas mais comuns observadas na praacutetica da auditoria ressaltando tratar-se de rol meramente exemplificativo

insuficiecircncia de recursos humanos materiais eou financeiros

ausecircncia de conhecimento teacutecnico e de capacitaccedilatildeo

comunicaccedilatildeo interna deficiente

tempo insuficiente para a realizaccedilatildeo de tarefas

dolo desinteresse resistecircncia agrave mudanccedila

negligecircncia ou descuido

ausecircncia de segregaccedilatildeo de funccedilotildees e delegaccedilatildeo de autoridade

falta de rodiacutezio de funcionaacuterios

controle interno ineficiente

planejamento inadequado ou inexistente

normas inadequadas inexistentes obsoletas ou impraticaacuteveis

desobediecircncia consciente agraves normas

414 Efeitos

Os efeitos satildeo as consequumlecircncias advindas da diferenccedila entre a condiccedilatildeo e o criteacuterio entre ldquoo que eacuterdquo e ldquoo que deveria serrdquo Satildeo as situaccedilotildees indesejadas desencadeadas pela inadequaccedilatildeo da situaccedilatildeo considerada em desacordo com os criteacuterios De modo mais direto satildeo as consequumlecircncias geradas pelo achado de auditoria

Na descriccedilatildeo dos efeitos deve-se levar em consideraccedilatildeo que

as causas e os efeitos estatildeo interrelacionados

a relaccedilatildeo causa e efeito deve estar suficientemente clara para que a equipe possa elaborar recomendaccedilotildees praacuteticas e significativas





47

os efeitos podem estar circunscritos a setores isolados ou atuar de forma mais abrangente constituir fatos isolados ou interferir no sistema como um todo

os efeitos podem ultrapassar a aacuterea sob anaacutelise


Nesse item devem ser apontadas as atuaccedilotildees que mereccedilam ser seguidas Satildeo consideradas boas praacuteticas aquelas identificadas no acircmbito do objeto da avaliaccedilatildeo ou fora dele que possam ser aplicadas integralmente ou com adaptaccedilotildees para melhorar o desempenho do programa da atividade ou da instituiccedilatildeo sob avaliaccedilatildeo

Natildeo se trata de registrar os casos que simplesmente atendam o padratildeo esperado previsiacutevel normal Mas as abordagens que possam agregar valor Que comparativamente com o objeto da avaliaccedilatildeo tenham apresentado melhor desempenho e que possam servir de padratildeo para melhoraacute-lo considerando sempre os aspectos da legalidade e os criteacuterios aceitaacuteveis de desempenho

416 Determinaccedilotildees e Recomendaccedilotildees

As Determinaccedilotildees e Recomendaccedilotildees satildeo sugestotildees pugnadas pela equipe de auditoria para a regularizaccedilatildeo da situaccedilatildeo inadequada quando aplicaacutevel A recomendaccedilatildeo corresponde agrave accedilatildeo demandada do gestor para compatibilizar o desempenho da administraccedilatildeo com os criteacuterios estipulados e se baseia na relaccedilatildeo de causa e efeito apontada no desenvolvimento do achado Deve ser elaborada para suprimir as causas do achado de auditoria

Ao formular uma recomendaccedilatildeo deve-se considerar que em momento posterior a sua implementaccedilatildeo seraacute avaliada Portanto a equipe deve evitar proposiccedilotildees geneacutericas que natildeo possam ter mensuraccedilatildeo objetiva do seu grau de implementaccedilatildeo A recomendaccedilatildeo deveraacute ser elaborada de maneira que as accedilotildees dos gestores direcionadas ao seu atendimento sejam inequiacutevocas gerando produtos facilmente identificaacuteveis e avaliaacuteveis qualitativa e quantitativamente

Assim as recomendaccedilotildees poderatildeo contribuir de modo mais efetivo para o aprimoramento do objeto da auditoria Tambeacutem devem ser sugeridas pela equipe de auditoria determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante


Neste elemento da Matriz de Achados deve-se registrar o que se espera como consequumlecircncia da implementaccedilatildeo das recomendaccedilotildees Em uacuteltima instacircncia poder-se-ia pensar que os benefiacutecios esperados seriam a reversatildeo do achado de auditoria mas de fato o que se pretende com este elemento eacute descrever analiticamente as alteraccedilotildees de aspectos especiacuteficos da situaccedilatildeo encontrada decorrentes da intervenccedilatildeo recomendada

Uma vez que a implementaccedilatildeo das recomendaccedilotildees deve gerar produtos objetivamente avaliaacuteveis os Benefiacutecios Esperados estatildeo relacionados diretamente agraves transformaccedilotildees que esses produtos promoveratildeo na situaccedilatildeo





48

analisada Um exemplo de matriz de achados eacute mostrado a seguir





49

MATRIZ DE ACHADOS E RECOMENDACcedilOtildeES

QUESTAtildeO 1 Em que medida as instalaccedilotildees fiacutesicas das escolas puacuteblicas das diversas DREs do Distrito Federal podem ser consideradas satisfatoacuterias

Achados Principais Anaacutelises e Evidecircncias Causas Efeitos Boas

Praacuteticas Recomendaccedilotildees Benefiacutecios Esperados

Pequena parcela das escolas (cerca de 16) apresenta instalaccedilotildees fiacutesicas em condiccedilotildees satisfatoacuterias A maioria das unidades entre-tanto carece de reforma reparos e natildeo estaacute em condiccedilotildees satisfatoacuterias sendo que uma parcela consideraacutevel estaacute em situaccedilatildeo ruim ou peacutessima

Ao finaliniacutecio de cada ano letivo eacute realizado serviccedilo paliativo de pintura na grande maioria das escolas muitos por iniciativa e custeio da proacutepria escola serviccedilos estes que contribuem para mascarar a real situaccedilatildeo das instalaccedilotildees fiacutesicas

Realizaccedilatildeo de levantamento estatiacutestico (vistoria numa amostragem aleatoacuteria de 61 escolas ou cerca de 10 da populaccedilatildeo) com vistas agrave avaliaccedilatildeo de itens das instalaccedilotildees fiacutesicas A partir dos levantamentos in loco calcularam-se os Percentuais Ponderados de Itens Avaliados Negativamente (PPIAN) A

meacutedia dos PPIAN das amostras foi de 2075 com desvio padratildeo de 1119 A partir dos dados amostrais considerando uma distribuiccedilatildeo normal dos PPIAN amostrais pode-se inferir que na semana que antecedeu o iniacutecio das aulas

Somente 1685 das escolas estavam em boas condiccedilotildees (abaixo de 10 de

avarias) o que equivale a 102 escolas

Cerca de 4791 das escolas (290 escolas) apresentavam necessidade moderada de reparos (PPIAN de 10 a

25)

3096 das escolas (187 escolas) estavam necessitando de muitos reparos (PPIAN

maior que 25 e menor ou igual a 40)

428 das escolas (26 escolas) estavam em condiccedilotildees precaacuterias (PPIAN superior

a 40)

Por ocasiatildeo das visitas da equipe foi constatado que muitas escolas haviam sido pintadas em data recente e que outras tantas estavam com o serviccedilo de pintura em andamento

Manutenccedilatildeo insuficiente ou ineficiente

Grande nuacutemero de escolas que natildeo dispotildeem de dependecircncias necessaacuterias ao desenvolvimento das atividades previstas na grade curricular

Natildeo-realizaccedilatildeo de atividades escolares curriculares em razatildeo da ausecircncia de dependecircncias especiacute-ficas requeridas e diminuiccedilatildeo da quali-dade do processo de ensino-aprendizagem

Desestiacutemulo profissio-nal do corpo docente e por consequumlecircncia queda do desempe-nho escolar dos alunos

Elaborar e apresentar em prazo fixado plano de recuperaccedilatildeoadaptaccedilatildeo das instalaccedilotildees fiacutesicas das escolas

Segregar da rotina dos serviccedilos de manutenccedilatildeo o planejamento e execuccedilatildeo das reformas e construccedilatildeo de novas escolas

Estabelecer cronograma de reformasadaptaccedilatildeo das escolas sem prejuiacutezo da disponibilizaccedilatildeo dos serviccedilos de manutenccedilatildeo que devem estar agrave disposiccedilatildeo das escolas quando houver solici-taccedilatildeo comprovada a necessidade

Escolas com instala-ccedilotildees adequadas e recuperadas e em condiccedilotildees satisfatoacuterias

Condiccedilotildees satisfatoacuterias dos recursos fiacutesicos agrave disposiccedilatildeo da comuni-dade escolar

Melhoria das condiccedilotildees de trabalho do corpo docente e do desem-penho escolar dos alunos





50


O Relatoacuterio de Auditoria eacute a descriccedilatildeo dos trabalhos e exames realizados dos fatos relevantes apurados com base em evidecircncias concretas e das conclusotildees recomendaccedilotildees e opiniotildees da equipe de auditoria

O Relatoacuterio deveraacute incluir apenas informaccedilotildees relevantes achados e conclusotildees amparados por evidecircncias suficientes pertinentes e adequadas devidamente documentadas nos papeacuteis de trabalho A credibilidade da auditoria aumenta significativamente quando as evidecircncias satildeo apresentadas com isenccedilatildeo Ademais para que o Relatoacuterio seja convincente eacute necessaacuterio que os resultados da auditoria correspondam a seus objetivos que os achados sejam desenvolvidos de maneira persuasiva que as recomendaccedilotildees sejam pertinentes e que as conclusotildees sejam condizentes com os fatos expostos

O Relatoacuterio de Auditoria deve ser composto no miacutenimo dos seguintes elementos

51 Sumaacuterio

Segundo a ABNT o sumaacuterio eacute a enumeraccedilatildeo das principais divisotildees seccedilotildees e outras partes de um documento na mesma ordem que a mateacuteria nele se sucede

O sumaacuterio deveraacute fornecer ao leitor visatildeo geral do conteuacutedo do Relatoacuterio com a indicaccedilatildeo das paacuteginas dos diversos assuntos relatados que devem ser claramente indicados nos tiacutetulos das seccedilotildees e capiacutetulos

52 Resumo

No resumo deve ser apresentada descriccedilatildeo dos principais toacutepicos do Relatoacuterio tais como o objeto da auditoria o objetivo e o escopo dos trabalhos os principais resultados e as recomendaccedilotildees pugnadas

O resumo tem a finalidade de passar informaccedilotildees sucintas sobre o resultado da auditoria em especial dos aspectos mais relevantes destacando os principais achados de auditoria e as respectivas recomendaccedilotildees


Este toacutepico deve discorrer sobre os antecedentes da auditoria objetivos escopo estrateacutegia metodoloacutegica da auditoria e limitaccedilotildees Esses itens podem constituir tiacutetulos separados ou agrupados nos casos em que o tamanho e a complexidade do objeto da auditoria permitirem


Aqui deve-se fazer a descriccedilatildeo detalhada e contextualizada do objeto da auditoria capaz de evidenciar a relevacircncia do trabalho proposto

A aplicaccedilatildeo de modelos descritivos como os de Marco Loacutegico Insumo-Produto eou Condiccedilotildees Ambientes efetuada na fase de planejamento da





51

auditoria deve ser registrada neste toacutepico

Nos antecedentes devem ser apresentados fatos que possam auxiliar o leitor a situar a problemaacutetica abordada no contexto mais geral da Administraccedilatildeo Para isso podem ser utilizados relatos de publicaccedilotildees e reportagens veiculadas na miacutedia bem como mencionar outros processos de interesse aleacutem de resultados de auditorias e inspeccedilotildees anteriores ou correlatas


O problema e as questotildees de auditoria enunciados de forma clara e objetiva expressam os objetivos e podem delimitar o escopo da auditoria aleacutem de permitir avaliar os seus resultados A descriccedilatildeo dos objetivos deve contemplar a natureza do trabalho e os limites da auditoria Para evitar equiacutevocos eacute conveniente citar todos os aspectos abordados na avaliaccedilatildeo e tambeacutem todos os que natildeo foram abordados

O escopo da auditoria deve ser claramente explicitado e compreende a abrangecircncia dos trabalhos os locais e as instituiccedilotildees visitados todas as atividades e as aacutereas que foram objeto de exame praacuteticas sistemas e controles avaliados e o periacuteodo de abrangecircncia das avaliaccedilotildees efetuadas


Eacute de fundamental importacircncia informar detalhadamente as estrateacutegias metodoloacutegicas e os meacutetodos de coleta e anaacutelise de dados empregados no levantamento das evidecircncias de auditoria e no desenvolvimento dos achados e recomendaccedilotildees Faz-se necessaacuterio tambeacutem apontar os procedimentos adotados para estabelecer os criteacuterios de auditoria citando as fontes utilizadas

Deve-se informar a teacutecnica de amostragem utilizada e a justificativa para sua escolha sempre que os achados eou conclusotildees basearem-se em exame amostral Os meacutetodos estatiacutesticos ou outras abordagens quantitativas de obtenccedilatildeo e anaacutelise de dados devem ser detalhados


Devem ser relatadas as restriccedilotildees aos procedimentos de auditoria e ao exame de aacutereas ou atividades que afetaram ou limitaram a formaccedilatildeo de juiacutezo e a elaboraccedilatildeo de recomendaccedilotildees As limitaccedilotildees podem decorrer de fatores ligados ao objeto da auditoria agrave estrateacutegia metodoloacutegica ao alcance ou ao escopo dos trabalhos Podem compreender a dificuldade de obtenccedilatildeo de dados e a confiabilidade de informaccedilotildees coletadas


Nessa parte do Relatoacuterio satildeo apresentados os pontos significativos que foram detectados na Execuccedilatildeo da auditoria O desenvolvimento dos achados de





52

auditoria compreendendo as evidecircncias e o encadeamento loacutegico entre causa e efeito as boas praacuteticas identificadas as respectivas recomendaccedilotildees e os benefiacutecios esperados devem compor o conteuacutedo do que representa o corpo do Relatoacuterio Trata-se pois de exprimir a Matriz de Achados de forma natildeo resumida

As questotildees de auditoria satildeo respondidas neste toacutepico que pode ser dividido em capiacutetulos que correspondam a cada questatildeo ou ainda ordenado por achados que abordem temas correlatos De qualquer modo deve-se preferencialmente ordenar os temas ou questotildees por ordem decrescente de importacircncia dos assuntos abordados

Este toacutepico deve enfatizar a avaliaccedilatildeo do desempenho apontando as causas e os efeitos das deficiecircncias observadas Deve-se indicar se os casos de desempenho insuficiente estatildeo relacionados a aspectos operacionais ou agrave concepccedilatildeo do objeto da auditoria Tambeacutem se faz necessaacuterio apontar as deficiecircncias causadas por fatores que natildeo estatildeo sob a governanccedila do gestor

As atuaccedilotildees dos gestores julgadas positivas pela equipe de auditoria devem ser relatadas juntamente com as deficiecircncias Aleacutem de conferir equiliacutebrio agrave avaliaccedilatildeo a divulgaccedilatildeo de tais realizaccedilotildees pode servir para o aprimoramento do desempenho de outras organizaccedilotildees programas atividades ou accedilotildees

As recomendaccedilotildees contidas nos relatoacuterios devem estar dirigidas ao aprimoramento do objeto da auditoria Tambeacutem devem constar desta parte do Relatoacuterio determinaccedilotildees acerca do cumprimento de normas mdash leis e regulamentos mdash quando o descumprimento detectado nos trabalhos de auditoria se mostrar relevante

Deve-se registrar ainda no Relatoacuterio os casos em que natildeo for possiacutevel apresentar recomendaccedilotildees apropriadas apontando as causas da impossibilidade e o trabalho necessaacuterio agrave sua formulaccedilatildeo


O gestor deve ser cientificado do conteuacutedo do Relatoacuterio por meio de versatildeo inicial a ele endereccedilada oficialmente objetivando verificar a adequaccedilatildeo e fundamentaccedilatildeo dos achados e recomendaccedilotildees Deve ser solicitada a apresentaccedilatildeo de esclarecimentos e justificativas sobre os fatos apontados pela equipe de auditoria em prazo compatiacutevel com a dificuldade decorrente da complexidade dos assuntos abordados

Ao final o Relatoacuterio deveraacute conter as consideraccedilotildees da equipe sobre a suficiecircncia das justificativas e esclarecimentos apresentados pelo gestor

56 Conclusatildeo

A conclusatildeo deve representar o juiacutezo da equipe sobre os resultados da auditoria Satildeo as consideraccedilotildees da equipe sobre cada achado relevante de forma resumida acrescidas das recomendaccedilotildees e possiacuteveis melhorias que poderatildeo ser conseguidas ao implementaacute-las As informaccedilotildees contidas neste toacutepico devem decorrer do conteuacutedo exposto ao longo do Relatoacuterio





53


A proposta de encaminhamento consiste na posiccedilatildeo que a juiacutezo da equipe de auditoria deve ser adotada pelo Tribunal incluindo as recomendaccedilotildees e determinaccedilotildees propostas a partir dos achados de auditoria

Deve constar na proposta de encaminhamento a sugestatildeo de que o Tribunal fixe prazo ao auditado para apresentar Plano de Accedilatildeo para a implementaccedilatildeo das recomendaccedilotildees aprovadas e determine ao jurisdicionado a indicaccedilatildeo de grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilotildees acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Por fim a sugestatildeo para que o Plenaacuterio designe a equipe de auditoria para proceder ao monitoramento da implementaccedilatildeo dessas accedilotildees

58 Anexos

Nesse toacutepico devem ser acostados os documentos textos esquemas fotografias e outros instrumentos que completem eou detalhem os argumentos desenvolvidos no corpo do Relatoacuterio e que se fossem apresentados no texto principal aumentariam sobremaneira seu tamanho Deve-se anexar apenas os documentos relevantes que melhorem o entendimento e reforcem o poder de convencimento do Relatoacuterio Demais documentos devem ser arquivados como papeacuteis de trabalho e dependendo da importacircncia para trabalhos futuros permanecer em pasta permanente do oacutergatildeo ligado ao objeto da auditoria





54


O Relatoacuterio de Auditoria deve conter recomendaccedilatildeo especiacutefica para que o gestor elabore e apresente em prazo determinado pelo Tribunal Plano de Accedilatildeo para implementar as recomendaccedilotildees apontadas bem assim que indique grupo de contato de auditoria que seraacute responsaacutevel pelo intercacircmbio de informaccedilatildeo acerca da elaboraccedilatildeo e da execuccedilatildeo do referido plano Isso garantiraacute a possibilidade de se monitorar o objeto auditado apoacutes o encerramento dos trabalhos Esse expediente tenderaacute a aumentar a efetividade da auditoria que teraacute seus efeitos estendidos para aleacutem do momento da avaliaccedilatildeo permitindo acompanhar as mudanccedilas de rumo e as correccedilotildees demandadas

O Plano de Accedilatildeo deve conter cronograma para a implementaccedilatildeo de todas as medidas saneadoras a serem adotadas baseadas nas recomendaccedilotildees aprovadas pelo Tribunal preferencialmente com metas e prazos negociados previamente entre a equipe de auditoria e o gestor

Desse modo o Plano de Accedilatildeo permitiraacute que o Tribunal exerccedila objetivamente o Monitoramento tempestivo das medidas saneadoras necessaacuterias agrave efetiva implementaccedilatildeo de suas recomendaccedilotildees de modo a garantir a eficaacutecia da auditoria

Assim a equipe de auditoria designada para proceder ao monitoramento aqui referido ficaraacute encarregada de estabelecer todos os procedimentos necessaacuterios agrave afericcedilatildeo do grau de implementaccedilatildeo das recomendaccedilotildees cujos resultados deveratildeo ser reportados ao Relator do processo





55


GAO ndash US General Accounting Office Government Auditing Standards (Yellow Book) Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo TCEBA 1994

HATRY Harry P WINNIE Richard E FISK Donald M Practical Program Evaluation for State and Local Governments 2ordf ed The Urban Institute Press Washington DC 1981

INTOSAI ndash International Organization of Supreme Audit Institutions INTOSAI ndash Implementation guidelines for performance auditing standards and guidelines for performance auditing based on INTOSAIrsquos Auditing Standards and practical experience Traduccedilatildeo de Inaldo da Paixatildeo Santos Arauacutejo e Cristina Maria Cunha Guerreiro TCEBA 2005

________ Auditing of Efficiency ndash Audit Guide Part I II Traduccedilatildeo Curso de Francecircs Le Lycceacute Salvador Tribunal de Contas do Estado da Bahia 1995

SILVA Pedro Luiz Barros COSTA Nilson do Rosaacuterio Modelo de Avaliaccedilatildeo de Programas Puacuteblicos Reflexotildees sobre a Experiecircncia Brasileira - Relatoacuterio Teacutecnico Brasiacutelia 2002

TCEBA ndash Tribunal de Contas do Estado da Bahia Manual de Auditoria Governamental Salvador 2000

TCU ndash Tribunal de Contas da Uniatildeo Manual de Auditoria de Natureza Operacional Brasiacutelia 2000

________ Anaacutelise RECI Brasiacutelia 2001

________ Anaacutelise Stakeholder Brasiacutelia 2002

________ Anaacutelise SWOT e Verificaccedilatildeo de Risco Brasiacutelia 2003

________ Benchmarking Brasiacutelia 2000

________ Indicadores de Desempenho e Mapa de Produtos Brasiacutelia 2000

________ Mapa de Processos Brasiacutelia 2000

________ Marco Loacutegico Brasiacutelia 2001

________ Teacutecnicas de Entrevista para Auditorias Brasiacutelia 1998



II



I

MANUAL DE AUDITORIA

OPERACIONAL



II



III









Tel 0 xx (61) 3314-2150 2266 2156




58p


CDU 6576



IV


CONSELHEIROS



RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO



AUDITOR











5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55



















I

MANUAL DE AUDITORIA

OPERACIONAL



II



III









Tel 0 xx (61) 3314-2150 2266 2156




58p


CDU 6576



IV


CONSELHEIROS



RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO



AUDITOR











5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55



















II



III









Tel 0 xx (61) 3314-2150 2266 2156




58p


CDU 6576



IV


CONSELHEIROS



RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO



AUDITOR











5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55



















III









Tel 0 xx (61) 3314-2150 2266 2156




58p


CDU 6576



IV


CONSELHEIROS



RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO



AUDITOR











5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55



















IV


CONSELHEIROS



RONALDO COSTA COUTO

MARLI VINHADELI

JORGE CAETANO



AUDITOR











5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















5

SUMAacuteRIO



3 PLANEJAMENTO










3541 Estudo de Caso

3542 Pesquisa













6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















6





413 Causas

414 Efeitos





51 Sumaacuterio

52 Resumo








56 Conclusatildeo


58 Anexos









7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















7

TCU




















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















8














9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















9








10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















10











11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















11

3 PLANEJAMENTO




















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















12




c) equipe designada










leis e regulamentos








13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55





















13



















14

















15














16






















17




















18

















19





Problema

Hipoacutetese 3 ou

Questatildeo 3

Hipoacutetese 1 ou

Questatildeo 1

Hipoacutetese 2 ou

Questatildeo 2

Subquestatildeo 1

Subquestatildeo 2

Subquestatildeo 1

Subquestatildeo 2














20

















21






















22









desempenho anterior















23










Estudo de Caso

Pesquisa




3541 Estudo de Caso






24

Segundo o GAO























25











26




Finalidade


















3542 Pesquisa






27






















28




















29












30


GRUPOS


preacute poacutes


DE CONTROLE R O O




GRUPOS


poacutes

DE TRATAMENTO R X O

DE CONTROLE R O












31









GRUPOS


preacute poacutes

DE TRATAMENTO O X O

DE CONTROLE O O









32

validade interna



GRUPOS


1 2 3 4 5 6







GRUPO


1 2 3 4 5 6










33







antes-e-depois





GRUPO


preacute poacutes

DE TRATAMENTO O X O









34






















35








baixo custo
















36
















37





DADOS

Estudo de Caso

ilustrativo

exploratoacuterio

caso criacutetico


efeitos do programa

cumulativo

conveniecircncia

finalidade

casos extremos

melhores casos

piores casos

agrupamento


casos tiacutepicos

interesse especial

probabiliacutestico

entrevista










teste


Delineamentos

Quase-Experimentais





teste



Delineamentos


antes-e-depois



teste







38
















39

















40











41

















42





Metodoloacutegicas


Dados








Qualidade dos Pisos


















43





















44











45







Causas

Efeitos

Boas Praacuteticas














46



413 Causas















414 Efeitos









47

















48






49












25)




a 40)
















50





51 Sumaacuterio



52 Resumo












51

















52










56 Conclusatildeo






53




58 Anexos






54










55



















manual de auditoria operacional€¦ · 3.5.8 o que a análise vai permitir dizer 3.6 programa de...

Documents