plano de controlo e avaliação da qualidade censos 2011 ......a metodologia associada ao controlo e...

34
Plano de Controlo e Avaliação da Qualidade Censos 2011 - Controlo do Processo Produtivo - Gabinete dos Censos Setembro 2010 Versão 1

Upload: others

Post on 03-Mar-2021

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

Plano de Controlo e Avaliação da Qualidade Censos 2011

- Controlo do Processo Produtivo -

Gabinete dos Censos

Setembro 2010 Versão 1

Page 2: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

1

Índice 1. Introdução .................................................................................................................................. 3 2. Objectivos .................................................................................................................................. 6 3. Metodologia ............................................................................................................................... 6 4. Recursos Humanos ................................................................................................................... 8

4.1 Recrutamento e selecção .................................................................................................... 9 Fase 1 – Selecção dos candidatos mediante ficha de colaborador....................................... 9 Fase 2 - Selecção dos candidatos mediante teste de pré-selecção.................................... 10

4.2 Formação .......................................................................................................................... 11 5. Trabalho de Campo - Distribuição e Recolha .......................................................................... 14

5.1 Controlo do Trabalho de Campo ....................................................................................... 15 Âmbito da reinquirição......................................................................................................... 16 Desenho da amostra ........................................................................................................... 16 Dimensão da amostra ......................................................................................................... 16 Âmbito da recolha ............................................................................................................... 16 Modo de recolha ................................................................................................................. 16 Perguntas de Reinquirição .................................................................................................. 17 Organização e Meios .......................................................................................................... 18 Procedimentos e avaliação dos resultados ......................................................................... 18

5.2 Sistema de Indicadores de Alerta ...................................................................................... 20 Metodologia ......................................................................................................................... 20 Organização e Meios .......................................................................................................... 21 Procedimentos e avaliação dos resultados ......................................................................... 21

6. Tratamento de Dados .............................................................................................................. 24 6.1 Modelo de Tratamento de Dados ...................................................................................... 24

Organização e Meios .......................................................................................................... 25 6.2 Sub-processos de tratamento de dados ............................................................................ 26

6.2.1 Recolha e Processamento dos Dados (sub-processo externo) .................................. 27 Preparação dos questionários ............................................................................................. 27 Digitalização ........................................................................................................................ 27 Processamento ................................................................................................................... 28 6.2.2 Tratamento dos Dados (sub-processo interno) .......................................................... 30 Correcções Automáticas ..................................................................................................... 30 Cálculo e Especialização .................................................................................................... 30

Page 3: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

2

Nota Prévia Este documento tem como principal objectivo identificar os principais processos e sub-processos

que deverão ser alvo de procedimentos de controlo e avaliação nos Censos 2011. Visa,

sobretudo, apresentar a conceptualização e operacionalização em torno de cada um dos

processos e dos seus sub-processos ao nível do que se pretende operacionalizar e medir para

controlar e avaliar. Este documento reúne os vários contributos resultantes das operações

experimentais de preparação para os Censos 2011.

Page 4: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

3

1. Introdução No contexto actual das organizações existe uma orientação para a qualidade. Esta encontra-se

explícita a vários níveis da dinâmica organizacional, desde o aperfeiçoamento e a procura de

ganhos de eficiência ao nível de procedimentos internos até às mensagens e imagens de

orientação para a qualidade que são desenvolvidas e transmitidas pelas organizações.

Uma orientação para a qualidade pressupõe mudança. Incrementar a qualidade implica um

investimento num ciclo permanente de avaliação, de introdução de melhorias, e de reavaliação a

vários níveis que concorrem para a produção de determinado serviço ou produto. A qualidade,

neste sentido, tem sido globalmente definida como fitness for use (e.g. Juran e Gryna, 19801).

Isto é, a qualidade associada à usabilidade e adequabilidade de determinado serviço ou produto

para consumo. Apesar da simplicidade associada a esta definição, a qualidade consiste num

conceito multidimensional (Biemer e Lyberg, 20032).

Existem várias dimensões que concorrem para a avaliação da qualidade de determinado serviço,

produto, ou organização. Veja-se a título ilustrativo as dimensões de qualidade definidas ao nível

do Eurostat no que diz respeito à produção estatística:

Dimensão Descrição

Relevância As estatísticas europeias são relevantes na medida em que satisfazem as necessidades dos utilizadores

Precisão e Fiabilidade

As estatísticas europeias devem representar a realidade de uma forma precisa e fiável (deve garantir que o valor estimado se aproxima do valor populacional, controlando erros amostrais e não amostrais)

Oportunidade e Pontualidade As estatísticas europeias devem ser divulgadas de forma actual e pontual.

Coerência e Comparabilidade

As estatísticas europeias devem ser consistentes internamente e ao longo do tempo, e comparáveis entre regiões e países; deve ser possível combinar e utilizar conjuntamente os dados relacionados provenientes de diferentes fontes

Acessibilidade e Clareza

As estatísticas europeias devem ser apresentadas de forma clara e compreensível, divulgadas de uma forma adequada e conveniente, disponíveis e acessíveis de forma imparcial, acompanhadas da metainformação e outra informação para apoio à interpretação dos resultados.

Fonte: Código de Conduta para as Estatísticas Europeias (INE), com base na “Comunicação da Comissão Europeia ao Parlamento Europeu e ao Conselho, de 25 de Maio de 2005, sobre a independência, a integridade e a responsabilidade das autoridades estatísticas nacionais e comunitária”.

1 Juran, J. M., e Gryna, Jr, F. M. (1980). Quality Planning and Analysis (2ªed). Nova Iorque: McGraw-Hill. 2 Biemer, P. e Lyberg. L. (2003). Introduction to Survey Quality. Haboken, NJ: Wiley & Sons.

Page 5: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

4

No contexto da produção estatística a abordagem implementada tem sido orientada, portanto,

numa perspectiva multidimensional, admitindo que a qualidade de um indicador estatístico reside

na sua adequabilidade para utilização (fit for use).

No quadro da produção estatística, indicadores de precisão (erros, desvios ou variâncias) não

constituem a única dimensão a ter em conta, é preciso a leitura de outros indicadores que

permitam aferir sobre a qualidade dos procedimentos associados às diferentes fases de uma

operação estatística. Neste âmbito, a perspectiva de controlo de processos permite desenvolver

e implementar uma lógica de monitorização on-going, com base em métodos, ferramentas e

indicadores de aferição da qualidade.

A perspectiva de controlo de processos tem como premissa que dados fiáveis resultam de

processos precisos e adequados (Biemer e Lyberg, 2003), o que implica a implementação de

mecanismos e indicadores de qualidade associados a processos-chave, e seus sub-processos,

passíveis de monitorização ao longo do processo de produção.

Os recenseamentos da habitação e da população (censos) constituem a maior e mais

dispendiosa operação estatística que um país pode levar a cabo. Os seus resultados permitem

obter um retrato no tempo e no espaço sobre a estrutura e as características do edificado e da

população, importante não só para um conhecimento aprofundado sobre a realidade do país

(relevante ao nível da construção, implementação e avaliação de estruturas, equipamentos e

políticas públicas), mas também enquanto fonte de informação privilegiada para diferentes tipos

de utilizadores (administração central, autoridades locais, investigadores, jornalistas, público em

geral…).

Ao nível da produção estatística, o output dos censos estende-se para além da divulgação de

dados e indicadores estatísticos. Estes constituem também o ponto de partida para a construção

de uma base de informação de referência para a realização de outras operações estatísticas de

cariz amostral3.

Deste modo, o desenvolvimento de um programa de controlo e avaliação da qualidade constitui

uma etapa importante e indispensável na preparação de uma operação censitária. Para os

3 De acordo com a legislação de enquadramento dos Censos 2011 (artigo 3º do Decreto-Lei nº 226/2009, de 14 de Setembro).

Page 6: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

5

Censos 2011 pretende-se implementar mecanismos que permitam detectar falhas e aspectos

que devem ser melhorados no decorrer da própria operação, bem como quantificar os diferentes

tipos de erros que inevitavelmente têm lugar num recenseamento – A perfect census is

impossible; errous inevitably occur4.

Deste modo, e à semelhança do que foi implementado nos Censos 2001, o programa de controlo

e avaliação da qualidade a implementar nos Censos 2011 compreende duas principais áreas de

actuação:

- Controlo do processo produtivo

- Inquérito de Qualidade

O presente documento apresenta o programa previsto ao nível do controlo do processo

produtivo, assente numa metodologia de identificação, monitorização e avaliação dos processos

identificados como fundamentais na realização de um recenseamento, com vista a assegurar os

padrões de qualidade e de isenção que devem pautar este tipo de operações estatísticas.

Neste seguimento, a estratégia definida pelo GC conta com a colaboração de uma equipa

externa de consultores5, tendo em vista o desenvolvimento de um quadro de acções objectivas,

que se traduzam em indicadores mensuráveis, idóneos e transparentes, e que, por

consequência, permitam avaliar imparcialmente a qualidade dos processos procedimentos

implementados e dos dados obtidos.

Deste modo, o presente plano de controlo e avaliação da qualidade, na sua vertente sobre o

controlo do processo produtivo, resulta do trabalho em colaboração com a equipa de consultores

e reúne os outputs resultantes das operações experimentais de preparação dos Censos 2011.

4 US Census Bureau, 1985, p.1. 5 A acompanhar o GC no âmbito do controlo e avaliação da qualidade na sua vertente do controlo do processo produtivo está uma equipa de investigadores do ISCTE – IUL.

Page 7: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

6

2. Objectivos

Pretende-se nos Censos 2011 implementar procedimentos de avaliação e controlo do processo

produtivo com vista a obter um conjunto de indicadores mensuráveis sobre a adequabilidade e

performance associadas aos processos-chave de concretização desta operação.

3. Metodologia

A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na

identificação e controlo de processos chave que garantem um bom andamento dos trabalhos no

terreno e a qualidade da informação recolhida.

Neste sentido, salientam-se como processos chave para o controlo de avaliação da qualidade do

processo produtivo os seguintes:

1) Recursos Humanos

2) Trabalho de Campo - Distribuição e Recolha

3) Tratamento dos Dados

A orientação estratégica associada a cada um destes processos tem sido desenvolvida

recorrendo à ferramenta Balanced Scorecard6 (BSC). Esta constitui uma ferramenta de gestão

que permite operacionalizar a visão e os objectivos estratégicos associados a determinado

processo e, simultaneamente, definir indicadores mensuráveis de acompanhamento. A sua

estrutura e modelo de definição apresentam-se, neste sentido, úteis à implementação de um

modelo de avaliação da qualidade assente numa lógica de controlo de processos.

Assim, para cada processo-chave foi definida uma perspectiva de enquadramento estratégico, à

qual se encontram ancorados objectivos, acções, indicadores e respectivas metas e tolerâncias

de avaliação. Mais concretamente os mapas desenvolvidos operacionalizam as seguintes

etapas:

6 O Balanced Scorecard foi desenvolvido em 1992 por Kaplan e Norton (Harvard Business School) enquanto uma metodologia de avaliação e gestão de desempenho das organizações, tendo sido posteriormente aplicada também a uma orientação de gestão estratégica.

Page 8: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

7

Seguidamente, apresenta-se de forma detalhada os processos-chave a avaliar de acordo o

modelo BSC.

Etapa 1 – Enquadramento Estratégico

Apresenta a estratégia e orientação global associadas a cada processo no sentido dos resultados

que se pretendem alcançar.

Etapa 2 – Objectivos

Define os objectivos que são determinantes para alcançar os resultados esperados em termos

estratégicos.

Etapa 3 – Indicadores

Traduz a operacionalização dos objectivos. Devem obedecer a um conjunto de princípios para

que cumprem a sua função de acompanhamento e monitorização do processo. Concretamente:

- devem ser claros, concisos e mensuráveis;

- devem ser fáceis de obter ao longo processo, por via por exemplo de uma aplicação

informática;

- devem ser coerentes e traduzir quantitativamente a visão e os objectivos associados ao

processo em avaliação;

- a unidade de medida deve ser claramente identificada (números absolutos,

percentagens, médias, etc.).

A cada indicador deve estar associada uma meta / tolerância que traduz o desempenho que se

pretende alcançar, bem como aquele considerado como mínimo aceitável. Os indicadores cujo

outcome não corresponde à margem de tolerância estabelecida devem ser reavaliados no

sentido de melhorias a introduzir no processo.

Etapa 4 – Acções

Define o conjunto de acções (actividades e/ou materiais) necessárias para pôr em prática os

objectivos e, consequentemente, aferir os indicadores estabelecidos para a sua monitorização.

Page 9: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

8

4. Recursos Humanos

Garantir que cada um dos níveis intervenientes da estrutura executiva dispõe dos requisitos e

capacidades exigidas para o exercício capaz da sua função constitui um ponto fulcral para

assegurar a correcta execução dos procedimentos, que se traduzem, em última instância, na

obtenção de resultados de qualidade.

Uma das principais etapas iniciais de preparação dos Censos 2011 consiste em reunir um

elevado número de colaboradores que permitam a execução da operação no terreno. Tratando-

se de um recenseamento convencional, isto é, com levantamento exaustivo de todas as

unidades estatísticas operacionalizado através de uma metodologia de recolha assente na

distribuição porta-a-porta, a figura do recenseador, a par do coordenador e subcoordenador de

freguesia, constitui a grande “massa” de recursos necessários para a sua implementação. Está

previsto, neste sentido, o recrutamento de cerca de 20 000 recenseadores e 5 000

coordenadores e subcoordenadores de freguesia.

O recrutamento e selecção, no que respeita a este nível da estrutura executiva prevista para os

Censos 2011, apresenta-se, deste modo, fundamental e determinante para a concretização e o

bom andamento da operação. Neste sentido, pretende-se para os Censos 2011:

Objectivos:

• Melhorar o processo de recrutamento e selecção do pessoal de modo a garantir o

recrutamento de candidatos com o perfil exigido

• Garantir que os colaboradores compreendem correctamente o seu enquadramento

no cumprimento dos trabalhos, ao nível de funções, tarefas e procedimentos

• Minimizar a taxa de rotatividade (desistência) dos recenseadores

• Identificar os pontos críticos do processo

Page 10: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

9

Neste contexto, identificam-se dois principais sub-processos de intervenção e avaliação:

1) Recrutamento e selecção

2) Formação

4.1 Recrutamento e selecção

O recrutamento e selecção constituem uma das etapas iniciais de preparação dos trabalhos no

terreno. A concretização de uma operação como o recenseamento à população e à habitação

exige a mobilização de um elevado número de recursos humanos, que aos diferentes níveis da

estrutura executiva prevista, garantem a concretização dos trabalhos e os padrões de qualidade

exigidos a uma operação desta envergadura. Este sub-processo é organizado em duas

principais fases:

Fase 1 – Selecção dos candidatos mediante ficha de colaborador

Nesta fase são reunidos os principais elementos do perfil dos candidatos, mediante ficha de

colaborador, com o principal objectivo de perceber até que ponto existe uma correspondência

entre o perfil dos candidatos e o perfil pretendido, devendo esta ser quantificável por área

geográfica (freguesia). Idealmente, deverão passar à fase de selecção os candidatos que

reúnem o perfil exigido para o exercício de uma determinada função.

Para os recenseadores, o perfil definido para função compreende as seguintes habilitações e

competências:

- Idade mínima: 18 anos até 31 de Dezembro de 2010

- Habilitações literárias mínimas ao nível do 3º ciclo do ensino básico (9º ano)

- Experiência em recolha de dados, de preferência recentemente

- Conhecimentos de informática e de internet na óptica do utilizador

- Disponibilidade de tempo em horário adequado à função

- Conhecimentos da área geográfica de trabalho

Page 11: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

10

Esta primeira fase resulta na obtenção de um sistema de hierarquização dos candidatos com

base na definição de uma escala de pontuação e de uma ponderação diferenciada para os

diferentes critérios do perfil, que permitirá atribuir uma nota quantitativa a cada um dos

candidatos consoante o preenchimento dos requisitos associados ao perfil exigido. São

seleccionados aqueles que apresentam uma pontuação mais elevada (por ordem decrescente

até perfazer o número de pessoas necessárias).

Dado o elevado número de intervenientes necessários para a função de recenseador, nem

sempre o matching entre o perfil “ideal” e o perfil “real”será passível de concretização, pelo que

estas situações deverão ser quantificadas, por freguesia.

Fase 2 - Selecção dos candidatos mediante teste de pré-selecção

Uma segunda fase assenta na aplicação de um teste de pré-selecção aos candidatos. Este teste

poderá ser aplicado dentro de duas perspectivas.

a) no caso de o número de candidatos com potencial de selecção exceder o número de

vagas necessárias (situações de empate);

b) nos casos em que uma avaliação mais precisa das competências dos candidatos se

revela necessária.

Este teste de pré-selecção tem um carácter individual e resulta numa nota quantitativa que

permite hierarquizar os candidatos por ordem decrescente. São considerados para selecção

aqueles que apresentam melhores resultados.

No global, o processo de recrutamento e selecção deverá ter em conta uma margem superior ao

número efectivo de candidatos necessários para a posterior fase de formação. Concretamente, a

margem prevista corresponde a 20%. Caso alguma desistência tenha lugar, ou algum formando

revele um desempenho menos adequado na apreensão dos conhecimentos e procedimentos

transmitidos na formação, a sua substituição não implicará repetir o processo de recrutamento e

selecção e de formação, para encontrar mais candidatos.

Page 12: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

11

4.2 Formação

A formação dos vários intervenientes constitui uma etapa de crucial importância na preparação

de uma operação como os Censos. Esta permite dotar todos os intervenientes dos principais

conteúdos, tarefas e procedimentos que estão subjacentes ao exercício das suas funções, e

procurando garantir a sua estandardização e homogeneidade.

O modelo de formação deve ser pensado tendo em conta a estrutura executiva que subjaz a

operação, nomeadamente em termos de economia e eficiência de recursos. O método

pedagógico7 a implementar deve ter em conta a natureza dos conteúdos a veicular, o perfil dos

formandos, o tipo de recursos disponíveis, quer em termos materiais e audiovisuais, quer em

termos de tempo, conforme a figura 1 sistematiza:

7 Por método pedagógico entende-se o modo de gestão da rede de relações e de transmissão de conhecimento entre formando e formador.

Acções

• Identificar perfis dos colaboradores mediante ficha de colaborador

• Definir modelo de hierarquização dos candidatos consoante o seu perfil (definição de

um sistema de pontuação com ponderação)

• Elaborar e implementar o teste de pré-selecção

Indicadores

• Nº total de candidatos / nº de recenseadores necessários, por freguesia

• % de candidatos seleccionados a recenseador com pelo menos 11º ano, por freguesia

• % de candidatos seleccionados a recenseador com conhecimentos de informática, por

freguesia

• % de candidatos seleccionador a recenseador com experiência em recolha de dados,

por freguesia

• % de candidatos com nota positiva no teste de pré-selecção, por freguesia

Page 13: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

12

Figura 1

A aquisição de conhecimentos no que se refere aos principais procedimentos e tarefas constitui

o principal objectivo do programa de formação a implementar nos Censos 2011. Pretende-se que

os colaboradores adquiram os conhecimentos e competências necessários ao nível do

enquadramento da operação, dos principais procedimentos e tarefas a desempenhar no

exercício da sua função de modo a que possam executar de forma adequada, rigorosa e

exaustiva.

Desta forma, o mapa de planeamento estratégico para este processo, e os seus dois sub-

processos, prevê-se que seja o seguinte:

Acções

• Elaborar programa de formação e documentação de apoio (manuais, powerpoints,

exercícios)

• Elaborar e implementar ficha de avaliação técnica (versão A e B)

Formando

(Aprendizagem)

Formador

(Ensino)

Saber

(Programa de Formação)

Método Pedagógico

1. Conteúdos

2. Perfil

3. Meios

Formando

(Aprendizagem)

Formador

(Ensino)

Saber

(Programa de Formação)

Método Pedagógico

1. Conteúdos

2. Perfil

3. Meios

Indicadores

• % de formandos com avaliação ≥ 80% no final da acção de formação

• % de recenseadores que mantém até ao final da operação, por freguesia

Page 14: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

13

Mapa 1 – Processos associados aos Recursos Humanos Enquadramento estratégico

Objectivos Indicadores Metas / tolerância

Acções Outputs

���� Aumentar a confiança nos resultados finais

���� Aumentar a qualidade do produto final minimizando os erros

���� Facilitar a resposta maximizando a taxa global de resposta

���� Melhorar o processo de

recrutamento e selecção do pessoal de modo a garantir o recrutamento de candidatos com o perfil exigido

���� Garantir que os colaboradores compreendem correctamente o seu enquadramento no cumprimento dos trabalhos, ao nível das funções, tarefas e procedimentos

���� Minimizar a taxa de rotatividade (desistência) dos recenseadores

���� Identificar os pontos críticos do processo

Recrutamento e Selecção 1) Nº total de candidatos / nº de

recenseadores necessários por freguesia 2) % de candidatos seleccionados a

recenseador com pelo menos 11º ano, por freguesia

3) % de candidatos seleccionados a recenseador com conhecimentos de informática, por freguesia

4) % de candidatos seleccionados a recenseador com experiência em recolha de dados, por freguesia

5) % de candidatos com nota positiva no teste de pré-selecção, por freguesia

120% / 10% 100% / 30% 70% / 20% 60% / 20% 100% / 10%

1) Identificar perfis dos

colaboradores mediante ficha de colaborador

2) Definir modelo de hierarquização dos candidatos

3) Elaborar e implementar o teste de selecção

1) SCTC – Ficha de

colaborador 2) SCTC – Notas teste

Selecção 3) SCTC – Ficha de

colaborador (habilitações, competência informáticas e de recolha de dados)

Formação 1) % de formandos com avaliação ≥ 80% no

final da acção de formação 2) % de recenseadores que se mantêm até

ao final da operação, por freguesia

100% / 10% 80% / 10%

1) Elaborar programa de

formação e documentação de apoio

2) Elaborar e implementar ficha de avaliação técnica

1) SCTC – Notas Fichas de

Avaliação Técnica 2) SCTC – Lista

Recenseadores que não concluíram o trabalho por freguesia

Page 15: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

14

5. Trabalho de Campo - Distribuição e Recolha O processo distribuição e recolha constitui a etapa de operacionalização da operação censitária

no terreno. É nesta fase que todo o material necessário ao processo de recolha é distribuído até

ao nível local de actuação e organização da recolha (freguesia) de modo a que seja

posteriormente distribuído à população. Nesta fase de distribuição o tempo constitui uma variável

importante, uma vez que tudo deve estar “a postos” para possibilitar a resposta por parte da

população tendo em conta o momento censitário. É nesta fase que se garante igualmente um

elemento fundamental do recenseamento, nomeadamente, a cobertura correcta e exaustiva de

todas as unidades estatísticas. Constituem, neste sentido, como principais objectivos a alcançar

neste processo:

O recenseador constitui o elemento fundamental e fulcral neste processo da operação uma vez

que é da sua responsabilidade todos os procedimentos que lhe estão associados. Para os

Censos 2011, os recenseadores terão de compatibilizar procedimentos de distribuição e recolha

que articulam dois modos de resposta (papel + internet).

A possibilidade de resposta pela internet (prevista apenas para alojamentos familiares clássicos

de residência habitual ocupados por uma única família) depende da entrega, por parte do

recenseador, de um envelope com os códigos de autenticação (Código de identificador de

acesso e Código de acesso PIN) e o código de alojamento inscrito pelo recenseador no

questionário de alojamento familiar em papel (composto por 17 dígitos). Uma vez introduzidos os

códigos de entrada e o código de alojamento é possível aceder à área reservada ao

preenchimento do questionário online. A par do sistema e-censos, foi desenvolvido um sistema

Objectivos:

• Cumprir os prazos de distribuição do material de apoio aos recenseadores

• Cumprir os prazos de distribuição e recolha dos questionários à população

• Minimizar a taxa de erros no preenchimento dos questionários

• Detectar e corrigir em tempo real eventuais desvios

• Identificar os pontos críticos do processo

Page 16: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

15

de notificação via SMS que permite informar o recenseador dos questionários submetidos por

esta via.

Nesta etapa, o recenseador assume a realização de procedimentos centrais para a realização da

operação no terreno, nomeadamente:

- distribuir a documentação necessária à resposta por parte da população, que inclui

questionários em papel e envelope e-censos;

- inscrever o código de alojamento no questionário de alojamento familiar – este código

permite a identificação única do alojamento e encontra-se ancorado ao sistema de

notificação via SMS;

- organizar o processo de recolha, compatibilizando as respostas pela internet (via

notificação SMS) e os questionários a recolher em papel.

Os sub-processos associados à distribuição e recolha compreendem o acompanhamento e

monitorização do trabalho de campo com um enfoque, por um lado, no cumprimento de

procedimentos e tarefas por parte do recenseador, e, por outro lado, nos resultados obtidos, a

partir da implementação de um sistema de indicadores de alerta para as unidades estatísticas

alojamento e indivíduo. Estes são sub-processos interdependentes cujo output positivo se traduz

em resultados de qualidade no que concerne a uma correcta e exaustiva cobertura das unidades

estatísticas a recensear.

5.1 Controlo do Trabalho de Campo

No que corresponde a este sub-processo, para além de indicadores de acompanhamento e de

monitorização ao nível do cumprimento dos prazos de distribuição e recolha, prevê-se a

implementação de procedimentos de controlo individual do trabalho do recenseador por via de

um modelo de reinquirição a uma amostra de alojamentos, com base numa segunda observação

de um conjunto pré-definido de questões.

Page 17: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

16

Âmbito da reinquirição

O modelo de reinquirição deve abranger os dois modos de recolha previstos - a recolha em

papel e através da internet.

Desenho da amostra

A amostra de alojamentos que irão ser alvo de reinquirição no âmbito do processo de controlo de

trabalho deve abranger todos os recenseadores. Assim, o estrato de selecção deverá

corresponder à secção, tendo em conta que esta constitui a unidade geográfica alocada ao

recenseador. O processo de selecção da amostra deverá garantir aleatoriedade na selecção dos

alojamentos, e para esse efeito os alojamentos serão seleccionados a partir de um intervalo

sistemático de selecção de alojamentos dentro de cada secção (

Dimensão da amostra

Propõe-se que sejam reinquiridos 5% dos alojamentos (papel + internet) correspondentes à área

de trabalho do recenseador (secção).

Âmbito da recolha

Pretende-se que sejam alvo de supervisão as unidades estatísticas correspondentes aos

alojamentos familiares. No caso da resposta pela internet só são abrangidos alojamentos

familiares clássicos de residência habitual de uma só família, pelo que só estes poderão ser alvo

de supervisão.

Modo de recolha

Uma vez que o controlo individual do trabalho de campo pretende incidir na avaliação do

desempenho do recenseador, propõe-se que o modo de recolha do processo de reinquirição

seja feito mediante contacto directo e pessoal (reinquirição face a face) o que exige uma nova

deslocação aos alojamentos seleccionados, ou por telefone (reinquirição telefónica).

Page 18: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

17

Perguntas de Reinquirição – Censos 2011 P1 – Forma de ocupação do alojamento □ Residência habitual □ Uso sazonal ou residência secundária Vago □ Para venda □ Para arrendar □ Para demolir □ Outros casos

P2 – Quantas pessoas residiam habitualmente neste alojamento no dia 21 de Março (incluindo o próprio)?

______ Nº de pessoas

P3 – Pode indicar-me o número de divisões do seu alojamento? (não inclua a cozinha, casas de banho, corredores, despensas, marquises, varandas e outras divisões com menos de 4m2. Divisões afectas exclusivamente a actividades económicas não devem ser contabilizadas) _____ Nº de divisões

Perguntas de Reinquirição

O questionário de reinquirição dos alojamentos que responderam em papel e pela internet

pretende avaliar se o recenseador cumpriu correctamente a tarefa de distribuição e recolha dos

questionários e se a informação recolhida é consistente ou se pelo contrário revela

inconsistências recorrentes que comprometam as dimensões de cobertura e qualidade de

conteúdo.

Foi ponderado um número reduzido de questões a incluir, por razões de sobrecarga estatística,

privilegiando-se a inclusão de questões de resposta directa e que tenham associado um bom

Índice de Consistência Global (ICG)8.

Propõe-se o mesmo conjunto de perguntas que já foi implementado e testado nas operações

experimentais de preparação para os Censos 2011:

8 O Índice de Consistência Global para as questões propostas para reinquirição, de acordo com os dados publicados do Inquérito de Qualidade, Censos 2001, é:

a) ICG Forma de Ocupação = 97,33 b) ICG Nº de Ocupantes = 94,25 c) ICG Nº de Divisões = 72,62

Page 19: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

18

Idealmente, o questionário de reinquirição deverá ser aplicado à pessoa que procedeu ao

preenchimento do questionário. Contudo, no caso da pessoa que procedeu ao preenchimento do

questionário não se encontrar disponível, tal não deve ser impeditivo de proceder à reinquirição a

outro elemento da família.

Organização e Meios

O processo de controlo individual a partir de entrevistas de reinquirição (papel + internet) deverá

ter lugar durante o período de recolha (previsto para ter lugar entre 21 de Março e 24 de Abril), e

deverá ser efectuado pelos Coordenadores e Subcoordenadores de Freguesia, que dispõem dos

seguintes instrumentos auxiliares:

- Listagens de alojamentos (resumos subsecção e secção / capa de edifício)

- Ficha de Registo de Controlo de Trabalho de Campo

- Mapa de Controlo de Trabalho de Campo

Procedimentos e avaliação dos resultados

O coordenador / subcoordenador de freguesia deverá assegurar a realização do controlo

individual do trabalho de campo, constituindo esta uma das suas funções.

Deverá seleccionar a amostra de alojamentos a reinquirir e proceder à respectiva reinquirição

mediante questionário de reinquirição, procedendo ao respectivo preenchimento de ficha e mapa

de controlo de trabalho de campo.

O preenchimento da ficha de controlo do trabalho de campo permitirá fazer a confrontação entre

a informação obtida na primeira observação (resposta ao questionário censos) e aquela obtida

na segunda observação (resposta ao questionário de reinquirição). O contacto pessoal directo ou

telefónico com o alojamento permitirá igualmente perceber se algum procedimento por parte do

recenseador não foi correctamente efectuado ou a existência de fraude (preenchimento via papel

ou internet não efectuado pelo alojamento).

Page 20: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

19

Caso o coordenador / subcoordenador se depare com uma situação de fraude (por exemplo, o

alojamento não recebeu visita do recenseador, não foram deixados questionários, nem envelope

e-censos, e existir uma resposta do alojamento) deve primeiramente apurar a situação com o

recenseador e em caso de confirmação, proceder ao seu afastamento e substituição, garantindo,

idealmente, um controlo exaustivo da área afecta àquele recenseador e proceder a respectivos

ajustamentos e correcções.

Nas situações em que o coordenador / subcoordenador se depare com um grande número de

não coincidências nas respostas obtidas nos dois momentos de observação deve primeiramente

apurar a situação com o recenseador e ponderar a hipótese de afastamento / substituição ou

reciclagem de procedimentos e conhecimentos. Em qualquer das situações deve reforçar o

controlo da área afecta àquele recenseador ao longo do trabalho de campo e proceder a novas

observações para confirmação de informação, e correcção do questionário.

Nas situações em que o coordenador / subcoordenador se depare com um reduzido número de

não coincidências nas respostas obtidas nos dois momentos de observação deve primeiramente

apurar a situação com o recenseador no sentido de perceber a necessidade de correcção do seu

modo de actuação e ponderar a hipótese de reciclagem de procedimentos e conhecimentos.

Deve reforçar o controlo da área afecta àquele recenseador ao longo do trabalho de campo e

proceder a novas observações para confirmação de informação, e correcção do questionário.

Em suma:

Resultado Controlo Acção do Coordenador/Subcoordenador Detectadas Fraudes Afastamento do recenseador e controlo exaustivo da área afecta

para respectivos ajustamentos e correcções. Elevado número de inconsistências (10 - 20 observações)

Apurar a situação com recenseador e avaliar a necessidade de afastamento ou reciclagem de conhecimentos. Reforçar o controlo.

Reduzido número de inconsistências (5 - 10 observações)

Apurar a situação com o recenseador e avaliar a necessidade de reciclagem de conhecimentos. Reforçar o controlo.

Acções

• Elaborar e avaliar os pontos de situação

• Elaborar e avaliar fichas de controlo do trabalho de campo

• Elaborar e avaliar mapas de controlo do trabalho de campo

Page 21: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

20

5.2 Sistema de Indicadores de Alerta

O sistema de indicadores de alerta constitui uma ferramenta baseada em valores esperados

para as unidades estatísticas a observar nos Censos 2011. Através da sua implementação é

possível obter informação sobre potenciais desvios da recolha e averiguar a sua provável causa.

Pretende-se, assim, monitorar em tempo real o processo de distribuição e recolha o que

permitirá desencadear acções de ajustamento ou correcção com vista a garantir os princípios de

qualidade que balizam a realização de uma operação de cariz censitário.

Metodologia

O sistema de indicadores de alerta que se pretende operacionalizar baseia-se em valores

esperados calculados para determinadas unidades estatísticas com desagregação geográfica ao

nível da freguesia.

As unidades estatísticas a implementar neste sistema correspondem aos alojamentos

(subsistema de informação sobre os alojamentos) e aos indivíduos (subsistema de informação

sobre os indivíduos).

O cálculo destes indicadores será feito com base nos resultados dos Censos 2001 e noutras

fontes de informação estatística consideradas relevantes em termos de adequabilidade, série e

qualidade.

Indicadores

• % de freguesias com todo o material de apoio distribuído até 31 de Janeiro

• % de questionários distribuídos à população até 13 de Março (1º ponto de situação pelos

coordenadores de freguesia)

• % de questionários distribuídos à população até 20 de Março

• % de questionários recolhidos em papel e internet até 3 Abril

• % de questionários recolhidos em papel até 24 Abril

• % de alojamentos com identificações duplicadas decorrentes da resposta pela internet

• % de reinquirição de 5% de alojamentos (papel + internet) assegurada pelo

coordenador/subcoordenador

• % de recenseadores afastados por incumprimento de procedimentos

Page 22: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

21

Concretamente, para cada freguesia será calculado um valor mínimo e um valor máximo para o

número de alojamentos e de indivíduos que se esperam obter. Estes valores serão calculados

por referência ao primeiro quadrimestre de 2011.

A equipa de investigadores do ISCTE, a trabalhar em parceria com o GC no âmbito do controlo e

avaliação da qualidade, é responsável pelo cálculo das estimativas, sendo o GC responsável por

facultar toda a informação necessária para esse fim.

As fontes de informação estatísticas disponibilizadas para o cálculo dos estimadores são:

- Censos 2001

- Óbitos e Nados Vivos por freguesia

- Estimativas da população residente por município

- Saldos migratórios globais (estimativas) por município

- Dados ficheiro IRS moradas 2001

- Dados ficheiro EDP (2005-2008)

- Dados ficheiro IMI (2003-2008)

Organização e Meios

O sistema de indicadores de alerta constitui uma ferramenta que é disponibilizada para efectuar

o controlo do processo de distribuição e recolha. Este constitui uma tarefa dos coordenadores e

subcoordenadores de Freguesia que deverá ter lugar durante o período de recolha (entre 21 de

Março e 24 de Abril).

Os coordenadores e subcoordenadores dispõem de um mapa de controlo de desvios no módulo

de controlo do SCTC que deverão consultar e analisar em articulação com os recenseadores e o

delegado municipal.

Procedimentos e avaliação dos resultados O mapa de controlo de desvios deverá ser parte integrante do ponto de situação feito com os

recenseadores, pois esta constitui a altura ideal para enquadrar as possíveis causas que estarão

na base de desvios (positivos ou negativos) identificados.

Page 23: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

22

O coordenador e subcoordenador deverá avaliar junto do recenseador a justificação para esses

desvios e avaliar junto do delegado municipal a necessidade de actuar no sentido de

supervisionar o trabalho do recenseador e proceder a respectivas correcções. Sempre que

sejam verificados desvios é obrigatória a apresentação da respectiva justificação.

Deste modo, considerando estes dois sub-processos, o mapa de planeamento estratégico

relativamente à distribuição e recolha será o seguinte:

Acções

• Elaborar e implementar Sistema de Indicadores de Alerta (estimativas alojamentos e

população por freguesia)

• Elaborar e avaliar mapa de controlo dos desvios

Indicadores

• % de freguesias com desvios positivos não justificados face aos valores esperados em

relação à unidade estatística “alojamento”

• % de freguesias com desvios negativos não justificados face aos valores esperados em

relação à unidade estatística “alojamento”

• % de freguesias com desvios positivos não justificados face aos valores esperados em

relação à unidade estatística “indivíduo”

• % de freguesias com desvios negativos não justificados face aos valores esperados em

relação à unidade estatísticas “indivíduo”

• % de freguesias com necessidade de reavaliação do trabalho do recenseador decorrente

da análise de desvios.

Page 24: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

23

Mapa 2 – Processos associados ao Trabalho de Campo - Distribuição e Recolha

Enquadramento estratégico

Objectivos Indicadores Metas / tolerância

Acções Outputs

���� Aumentar a confiança nos resultados finais

���� Aumentar a qualidade do produto final minimizando os erros

���� Facilitar a resposta maximizando a taxa global de resposta

���� Cumprir os prazos de

distribuição do material de apoio aos recenseadores

���� Cumprir os prazos de distribuição e recolha dos questionários à população

���� Minimizar a taxa de erros no preenchimento dos questionários

���� Detectar e corrigir em tempo real eventuais desvios

���� Identificar os pontos críticos do processo

Controlo do Trabalho de Campo 1) % de freguesias com todo o material de apoio

distribuído até 31 de Janeiro 2) % de questionários distribuídos à população até 13 de

Março 3) % de questionários distribuídos à população até 20 de

Março 4) % de questionários recolhidos em papel e internet até 3

de Abril 5) % de questionários recolhidos em papel até 24 de Abril 6) % de alojamentos com identificação duplicada

decorrentes da resposta pela internet 7) % de reinquirição de 5% de alojamentos (papel +

internet) assegurada pelo coordenador/subcoordenador 8) % de recenseadores afastados por incumprimento de

procedimento

100% / 1% 50% / 10% 100% / 5% 50% / 10% 100% / 5% 1% / 98% 100% / 5% 0% / 5%

1) Elaborar e avaliar os pontos de situação

2) Elaborar e avaliar fichas de controlo do trabalho de campo

3) Elaborar e avaliar mapas de controlo do trabalho de campo

1) SCTC – Pontos de Situação

2) SCTC – Ficha de controlo de trabalho de campo

3) SCTC – Mapa de controlo do trabalho de campo

Sistema de Indicadores de Alerta 1) % de freguesias com desvios positivos face aos valores

esperados em relação à unidade estatística “alojamento”

2) % de freguesias com desvios negativos face aos valores esperados em relação à unidade estatística “alojamento”

3) % de freguesias com desvios positivos face aos valores esperados em relação à unidade estatística “indivíduo”

4) % de freguesias com desvios negativos face aos valores esperados em relação à unidade estatísticas “indivíduo”

5) % de freguesias com necessidade de reavaliação do trabalho do recenseador decorrente da análise de desvios.

0% / 10% 0% / 10% 0% / 10% 0% / 10% 5% / 5%

1) Elaborar e implementar Sistema de Indicadores de Alerta

2) Elaborar e avaliar mapa de controlo dos desvios

1) SCTC – Mapa análise de desvios

Page 25: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

24

Objectivos:

• Garantir a leitura e tratamento consistente e eficaz dos dados recolhidos

• Identificar erros sistemáticos

• Identificar os pontos críticos do processo

6. Tratamento de Dados

O tratamento de dados constitui o terceiro e último processo a ter em conta no âmbito do

controlo do processo produtivo. Este processo constitui uma das etapas mais complexas e

morosas de um recenseamento. A sua concepção e operacionalização deve, neste sentido,

pautar-se por um conjunto de princípios, etapas e procedimentos claramente definidos que

permitam garantir um processamento e tratamento adequado, consistente e eficaz da

informação. Constituem, deste modo, como principais objectivos a atingir no âmbito deste

processo:

6.1 Modelo de Tratamento de Dados

O modelo de tratamento de dados a implementar tem por a base a experiência dos Censos

2001, estando a sua definição assente nos mesmos moldes e princípios de implementação no

que concerne ao modo de recolha em papel e articulando, pela primeira vez, informação

proveniente a partir de um outro modo de recolha, a internet.

De acordo com o documento sobre os sistemas de recolha e tratamento dos dados dos Censos

2011, elaborado em 2009 pelo Gabinete dos Censos, este processo encontra-se subdividido em

dois sistemas:

1) Sistema de recolha e processamento dos dados

2) Sistema de tratamento dos dados

O sistema de recolha dos dados contempla os dados recolhidos pela internet (SRW –

Subsistema Recolha Web) e em papel (SRP – Subsistema Recolha em Papel).

Page 26: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

25

Os dados recolhidos em papel irão ser tratados mediante processo de leitura óptica, organizado

de forma faseada e etápica. Os dados provenientes das respostas pela internet são recolhidos

em suporte informático (questionário electrónico) e a base de dados resultante apresenta um

conjunto de características que os diferenciam da informação recolhida em papel,

nomeadamente:

- Não contêm respostas em branco, decorrente das regras de percurso implementadas

na aplicação e-censos;

- Não contém duplas marcas;

- Está sujeita a um conjunto de validações básicas que actuam no momento do

preenchimento;

- As questões que envolvem a identificação de municípios e países encontram-se

codificadas

Assim, o tratamento dos dados respeitante às respostas pela internet enquadra-se apenas numa

fase posterior, nomeadamente após a conclusão da etapa de digitalização dos questionários e

aquando da etapa de integração de ficheiros com vista à validação da hierarquia e numeração.

O processo de tratamento de dados tem previsto uma adjudicação externa no que concerne

apenas ao sistema de recolha e processamento dos dados em papel. Foi elaborado neste

âmbito o respectivo caderno de encargos que detalha o enquadramento jurídico e técnico de

desenvolvimento dos trabalhos, assim como os indicadores de avaliação e controlo de qualidade

a implementar para acompanhamento e monitorização desse sistema. É com base nos princípios

e orientações aí veiculados que o controlo e avaliação da qualidade deste processo se encontra

ancorado.

Organização e Meios

Neste âmbito, e de acordo com o quadro de adjudicação deste processo, encontra-se prevista a

designação de uma equipa de elementos do INE que, em registo de colaboração, deverá

acompanhar e monitorizar todas as etapas associadas à implementação do processo de

tratamento de dados.

Page 27: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

26

6.2 Sub-processos de tratamento de dados

Identificam-se, assim, dois sub-processos que estruturam o tratamento global dos dados dos

Censos 2011:

i) Recolha e Processamento dos Dados

ii) Tratamento dos Dados

O quadro de adjudicação do presente processo apenas prevê o tratamento dos questionários

recolhidos em papel até à fase de processamento (correcções e validações de nível 2), pelo que

algumas das etapas respeitantes ao completo processo de tratamento de dados serão

implementadas internamente pelo INE. Deste modo, o processo de tratamento de dados

subdivide-se em sub-processos externos e sub-processos internos (figura 2).

Figura 2 –Sub-processos tratamento de dados

RECOLHA E PROCESSAMENTO DOS DADOS

TRATAMENTO DOS DADOS

Preparação dos questionários

Digitalização dos questionários

Processamento

Reconhecimento óptico

Tratamento e correcção de caracteres numéricos

Validação e correcção de hierarquia e numeração

Validação e correcções intra-questionário e tratamento de alfabéticos

Validações e correcções de parentesco

Codificação automática

Correcções Automáticas

Coerência e Correcções determinísticas

Imputações por Hot Deck

Cálculo e Especialização

Variáveis Derivadas

Especialização - Consolidação de ficheiros

Acom

panh

amen

to E

quip

a IN

E

Exportação, Quadros e Mapas

A desenvolver externamente A desenvolver internamente

Fases Fases

Níveis de Validação 3, 4 e 5

Níveis de Validação 1 e 2

RECOLHA E PROCESSAMENTO DOS DADOS

TRATAMENTO DOS DADOS

Preparação dos questionários

Digitalização dos questionários

Processamento

Reconhecimento óptico

Tratamento e correcção de caracteres numéricos

Validação e correcção de hierarquia e numeração

Validação e correcções intra-questionário e tratamento de alfabéticos

Validações e correcções de parentesco

Codificação automática

Correcções Automáticas

Coerência e Correcções determinísticas

Imputações por Hot Deck

Cálculo e Especialização

Variáveis Derivadas

Especialização - Consolidação de ficheiros

Acom

panh

amen

to E

quip

a IN

E

Exportação, Quadros e Mapas

A desenvolver externamente A desenvolver internamente

Fases Fases

Níveis de Validação 3, 4 e 5

Níveis de Validação 1 e 2

Page 28: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

27

Tratando-se de um processo determinante na concretização e qualidade dos outputs resultantes

da operação, a colaboração com a empresa adjudicatária exige não só um acompanhamento

dos trabalhos, mas igualmente a implementação de indicadores de monitorização e controlo de

qualidade ao nível das diferentes etapas do processo. Estes indicadores deverão seguir um

registo de monitorização e feedback on-going.

Seguidamente, damos conta das diferentes etapas destes sub-processos e dos indicadores de

avaliação e qualidade previstos:

6.2.1 Recolha e Processamento dos Dados (sub-processo externo)

Preparação dos questionários

Esta constitui uma etapa que implicará, em toda a linha, um procedimento de organização

sequencial e hierárquica manual dos questionários, pelo que se torna premente a implementação

de um procedimento de controlo a este nível que permita detectar falhas sistemáticas na

preparação dos questionários e actuar em tempo real no sentido da sua minimização e

eliminação. Inclui a verificação da hierarquia e sequência da numeração dos questionários, bem

como a identificação de situações de questionários duplicados ou de ausência de questionários.

Digitalização

A captura de imagens inicia-se com a introdução da folha de lote da subsecção (resumo das

contagens de todos os questionários que compõem a subsecção), seguindo-se os questionários

Indicadores

• Nº médio de secções preparadas por operador/dia

• Nº de anomalias de hierarquia detectadas por secção

• Nº de anomalias de sequência numérica detectadas por secção

• Nº de questionários duplicados por tipo de questionário por secção

• Nº de questionários de família e/ou individuais sem alojamentos

• Nº de questionários individuais sem família

• Nº de questionários de família sem indivíduos

Page 29: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

28

da respectiva subsecção, sempre organizados de forma hierárquica e sequencial. Nesta fase

será efectuado o controlo da velocidade de digitalização e a qualidade das imagens.

Processamento O processamento inclui o seguinte conjunto de etapas:

i) Reconhecimento óptico (marcas e caracteres)

Após a captura da imagem inicia-se a fase de reconhecimento, que se diferencia em

termos de marcas, números e caracteres alfabéticos. O sistema de reconhecimento

de marcas e números consiste em identificar os caracteres numéricos e os registos

com marca. Sempre que o sistema não reconhece uma marca ou um carácter

numérico o questionário é passado para correcção por parte do operador e volta a

entrar no circuito. O sistema de reconhecimento de caracteres consiste em

identificar cada letra dos campos que apresentam caracteres alfabéticos: países,

municípios, cursos, profissões e actividades.

ii) Tratamento e correcção de caracteres numéricos

Nesta etapa, são corrigidos os caracteres numéricos não reconhecidos e são

verificadas as regras de validação definidas para os respectivos campos.

iii) Validação e correcção da hierarquia e numeração

Esta etapa inclui a validação das regras de hierarquia e numeração dos

questionários, incluindo: identificação de registos errados; registos duplicados;

Indicadores

• Velocidades médias de processamento superiores a 2001

- Nº de páginas digitalizadas por dia

- Nº de lotes digitalizados por dia

- Nº médio de questionários digitalizados, por hora

- Nº médio de secções digitalizadas por dia

• Nº de páginas re-digitalizadas

• Nº de secções com problemas detectados

Page 30: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

29

registos não sequenciais; identificação de problemas de hierarquia. Implica a

integração dos dados resultantes das respostas pela internet.

iv) Validação e correcção intra-questionários e alfabéticos

Esta etapa pressupõe a avaliação da coerência interna de cada questionário, com

incidência para caracteres alfabéticos, marcas com erros, duplas marcas, regras de

intervalos, regras de salto.

v) Validações e correcções de parentesco

Nesta etapa são corrigidas as relações de parentesco da família. Simultaneamente,

as variáveis residência habitual, sexo, estado civil e união de facto poderão ser alvo

de correcção, assim como a variável idade.

vi) Codificação automática

Esta etapa é efectuada com recurso a dicionários e tabelas de codificação

respectivas e obedece a um conjunto de regras pré-definidas. Consiste, portanto,

num sistema de codificação com base em dicionários pré-definidos informaticamente

que de forma estandardizada e uniformizada procederão à codificação das

expressões decorrentes do processo de digitalização e de reconstrução automática

de palavras de todas as questões abertas do questionário. Estas incluem

designações de Municípios, Países, Cursos, Profissões e Actividade Económica. No

caso de não haver reconhecimento da expressão o registo retorna ao operador para

decisão, desencadeando nesse momento um processo de codificação manual.

Page 31: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

30

6.2.2 Tratamento dos Dados (sub-processo interno)

Uma vez concluído o sub-processo de recolha e processamento de dados, dá-se início sub-

processo de tratamento a implementar internamente que finaliza o tratamento global dos dados.

Este inclui as etapas de correcções automáticas e de cálculo e especialização:

Correcções Automáticas

i) Coerência e correcções determinísticas

Este nível pretende garantir a consistência das variáveis intra e inter unidades

estatísticas, assim como garantir a sequencialidade coerente do preenchimento

(identificação de variáveis que não deviam estar respondidas e identificação de

variáveis que não estão preenchidas mas deviam estar para posterior imputação).

ii) Imputações por Hot Deck

Nesta etapa todas as não-respostas, não passíveis de serem obtidas através dos

métodos de correcção e imputação definidos nas etapas anteriores, serão

imputadas por Hot Deck.

Cálculo e Especialização

iii) Cálculo Variáveis Derivadas

Indicadores

• Taxa de identificação de questionários

• Taxa de reconhecimento de marcas

• Taxa de reconhecimento de caracteres numéricos

• Taxa de reconhecimento de caracteres alfabéticos

• Taxa de falsos positivos no reconhecimento de marcas

• Taxa de falsos positivos no reconhecimento de caracteres numéricos

• Taxa de falsos positivos no reconhecimento de caracteres alfabéticos

• Taxa de codificações efectuadas automaticamente, por indicador / variável

• Taxa de codificações efectuadas manualmente, por indicador / variável

• Taxa de correcções efectuadas, por indicador / variável

• Número de alojamentos duplicados resultantes da integração papel + internet

Page 32: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

31

Indicadores

• Nº de imputações determinísticas feitas, por indicador / variável

• Nº de imputações hot deck, por indicador / variável

• Nº de incoerências detectadas resultante do cálculo das variáveis derivadas

• Nº de incoerências detectadas por indicador/variável após consolidação de ficheiros

Esta etapa prevê o cálculo de todas as variáveis derivadas para as diferentes

unidades estatísticas. Estas resultam de um processo de recodificação da

informação proveniente de uma ou mais variáveis primárias.

iv) Especialização - Consolidação de ficheiros

Esta etapa consiste na sistematização e solidificação da informação resultante da

conclusão do processo de tratamento de dados. Prevê a implementação de um

conjunto de queries e cruzamento de variáveis no sentido de avaliar a coerência

interna da informação resultante por unidade estatística e cruzando diferentes

unidades estatísticas.

Considerando estes dois sub-processos, o mapa de planeamento estratégico relativamente ao

tratamento global de dados será o seguinte:

Page 33: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

32

Mapa 3 – Processos associados ao Tratamento de Dados

Enquadramento estratégico

Objectivos Indicadores Metas / tolerância

Acções Outputs

���� Aumentar a confiança nos resultados finais

���� Aumentar a qualidade do produto final minimizando os erros

Facilitar a resposta maximizando a taxa

global

���� Garantir a leitura e tratamento consistente e eficaz dos dados recolhidos

���� Identificar erros sistemáticos ���� Identificar os pontos críticos do

processo

Recolha e Processamento de Dados (externo) Preparação 1) Nº médio de secções preparadas por operador/dia 2) Questionários preparados correctamente em cada

secção 3) Nº de anomalias de hierarquia detectadas por secção 4) Nº de anomalias de sequência numérica detectadas por

secção 5) Nº de questionários duplicados por tipo de questionário

por secção 6) Nº de questionários de família e/ou individuais sem

alojamentos 7) Nº de questionários individuais sem família 8) Nº de questionários de família sem indivíduos

2 / 1

100% / 2%

1% / 1% 1% / 1%

1% / 1%

1% / 1%

1% / 1% 1% / 1%

1) Elaborar e avaliar mapas de controlo (aplicação - workflow)

2) Selecção amostra para verificação (2%)

1) Mapas de controlo

Digitalização 1) Velocidades médias de processamento superiores a

2001 2) Nº de páginas re-digitalizadas 3) Nº de secções com problemas detectados

1% / 1% 1% / 1%

1) Elaborar e avaliar mapas de controlo (aplicação - workflow)

2) Selecção amostra para verificação (2%)

1) Mapas de controlo

Processamento 1) Taxa de identificação de questionários 2) Taxa de reconhecimento de marcas 3) Taxa de reconhecimento de caracteres numéricos 4) Taxa de reconhecimento de caracteres alfabéticos 5) Taxa de falsos positivos no reconhecimento de marcas 6) Taxa de falsos positivos no reconhecimento de

caracteres numéricos 7) Taxa de falsos positivos no reconhecimento de

caracteres alfabéticos 8) Taxa de codificações efectuadas automaticamente, por

indicador / variável

99% / 1% 99% / 1% 99% / 1% 95% / 5%

0,3% / 0,2% 0,6% / 0,1%

2% / 0,3%

80% / 5%

1) Elaborar e avaliar mapas de controlo (aplicação - workflow)

2) Selecção amostra para verificação (2%)

1) Mapas de controlo

Page 34: Plano de Controlo e Avaliação da Qualidade Censos 2011 ......A metodologia associada ao controlo e avaliação do processo produtivo deverá incidir na identificação e controlo

33

Enquadramento estratégico

Objectivos Indicadores Metas / tolerância

Acções Outputs

9) Taxa de codificações efectuadas manualmente, por indicador / variável

10) Taxa de correcções efectuadas por indicador / variável 11) Número de alojamentos duplicados resultantes da

integração papel + internet

1% / 1%

1% / 1%

Tratamento de Dados (interno) Correcções automáticas 1) Nº de imputações determinísticas feitas por indicador /

variável 2) Nº de imputações hot deck por indicador / variável Cálculo e especialização 1) Nº de incoerências detectadas resultante do cálculo das

variáveis derivadas 2) Nº de incoerências detectadas por indicador/variável

após consolidação de ficheiros

5% / 5%

5% / 5%

1% / 1% 1% / 1%

1) Elaborar e avaliar mapas de controlo (aplicação - workflow)

2) Elaborar relatório de sistematização de incoerências detectadas após a fase de cálculo e especialização

1) Mapas de controlo 2) Relatório