paebes · paebes g oevesra nadresrtap 7 introduÇÃo a avaliação em larga escala atende a uma...

paebes Revista Contextual

ReDe MuniCiPal

issn 2237-8324

Governador do estado do espírito santoJosé Renato Casagrande

Vice-Governador do estado do espírito santoGivaldo Vieira da Silva

secretário do estado da educaçãoKlinger Marcos Barbosa Alves

subsecretário de estado de planejamento e avaliaçãoEduardo Malini

Gerente de Informação e avaliação educacionalAline Elisa Cotta D`Ávila

subgerência de avaliação educacionalMaria Adelaide Tâmara Alves (Subgerente)

Denise Moraes e SilvaGloriete Carnielli

Marilda Surlo GraciottiSilvia Maria Pires de Carvalho Leite

subgerência de estatística educacionalDenise Pereira da Silva (Subgerente)

Alisson Rodrigues VitorinoElzimar Sobral Scaramussa

Monica Kelley Bottoni de SouzaMagno dos Santos Neto

Introdução 7

1: perfil dos estudantes do espírito santo 10

perfil dos estudantes por etapa 10

perfil dos estudantes por nível socioeconômico 11

perfil dos estudantes por padrão de Desempenho 12

2: Resultados de indicadores contextuais 15

Dimensão práticas pedagógicas 23

Dimensão práticas de gestão 26

Dimensão práticas de convivência 29

Dimensão clima escolar 32

3: equidade e qualidade escolar no paebes 2011 36

equidade: o desempenho explicado pelas escolas 37

Um indicador de qualidade das escolas 37

Uma comparação entre extremos 38

4: Resultados da sua escola 42

Pa e b e s / R ev i s ta C o n tex t u a l7

I N T R O D U Ç Ã O

a avaliação em larga escala atende a uma exigência legal dos regimes democráticos. embora o tema da avaliação educacional não represente propriamente uma novidade, o processo avaliativo em si suscita questionamentos, sobretudo no que se refere à sua orientação e proposta metodológica. Desde o surgimento da instituição escolar, verifica-se a aprendizagem dos estudantes, sendo que hoje dispomos de mais recursos e informações. Nesse sentido, os processos formais de avaliação representam um avanço notório na busca por dados mais objetivos e confiáveis do desempenho dos estudantes. essa conquista democrática responde às demandas da sociedade por maiores oportunidades de escolarização.

a avaliação do desempenho escolar em larga escala, que é de natureza sistêmica e realizada por um agente externo à escola, deve ser o resultado de uma análise crítica e permanente da prática pedagógica, possibilitando a leitura e a compreensão de seu desenvolvimento.

para diagnosticar a qualidade do ensino ofertado no estado do espírito santo, foi implantado o programa de avaliação da educação básica do espírito santo (paebes), em que são avaliados, anualmente, estudantes dos 4ª série/ 5º ano e 8ª série/ 9º ano do ensino Fundamental e da 3ª série do ensino Médio. as disciplinas avaliadas foram Língua portuguesa e Matemática, sendo que, na 3ª série do ensino Médio, avaliou-se também Ciências da Natureza (biologia, Física e Química).

O desempenho dos estudantes das escolas estaduais, municipais e particulares é aferido, ao final de cada período escolar, através das habilidades e competências esperadas para cada etapa. a partir desse conhecimento, é possível rever metas e traçar diretrizes para promover a melhoria da educação. No âmbito estadual, podem ser criadas ou reformuladas políticas públicas e, nos domínios da escola, pode haver uma revisão das práticas escolares e a elaboração de projetos especializados.

para tanto, os resultados das avaliações precisam ser divulgados para que sejam analisados e interpretados. assim, há diferentes formas de divulgação dos resultados do paebes, cada uma com o seu propósito, mas sempre buscando informar, da melhor maneira possível, a todos os envolvidos no processo educacional – gestores, professores, estudantes e comunidade. as estratégias de apropriação dos resultados compreendem a coleção das revistas para gestores e professores, os materiais de apoio (cartaz, boletim dos pais e vídeos educativos), as oficinas voltadas para a formação desses profissionais e o portal da avaliação, que apresenta informações relevantes sobre o programa e a avaliação.

a Revista Contextual, por sua vez, representa mais uma forma de publicação dos resultados. Neste volume, é apresentada uma análise dos questionários contextuais respondidos por gestores, professores e estudantes na avaliação do paebes 2011. primeiramente, tentou-se

8I n t ro d u ç ã o

descrever o perfil dos alunos avaliados sob diferentes recortes, como a sua etapa de escolaridade, nível socioeconômico e padrão de Desempenho. em seguida, são apresentados os resultados de diversos indicadores, elaborados com o intuito de fornecer um diagnóstico sobre diferentes práticas dentro da escola e a percepção sobre o seu clima escolar.

para a apresentação destes indicadores, optou-se pela utilização do recurso cartográfico, que permite uma apresentação dos dados de forma mais visível e didática. Dessa forma, a partir de uma média ponderada dos resultados obtidos para cada escola, são apresentados em mapas os resultados de todos os indicadores para cada município do estado. Contudo, a comparação que estes mapas nos possibilitam realizar não deve visar à competição nem ao estabelecimento de um ranking; sua finalidade é configurar diagnósticos das diferentes localidades que, em conjunto, estabelecem um resultado único para o estado.

No mapa apresentado a seguir, é possível identificar os respectivos municípios e regionais no mapa do estado.

Mapa 1: IDeNTIFICaÇÃO De MUNICípIOs e ReGIONaIs DO esTaDO DO espíRITO saNTO

1 aFONsO CLÁUDIO2 bReJeTUba3 CONCeIÇÃO DO CasTeLO4 DOMINGOs MaRTINs5 LaRaNJa Da TeRRa6 saNTa MaRIa De JeTIbÁ7 VeNDa NOVa DO IMIGRaNTe8 ÁGUa DOCe DO NORTe9 ÁGUIa bRaNCa10 baRRa De sÃO FRaNCIsCO11 eCOpORaNGa12 MaNTeNÓpOLIs13 aTíLIO VIVÁCQUa14 CaCHOeIRO De ITapeMIRIM15 CasTeLO16 ICONHa17 ITapeMIRIM18 JeRÔNIMO MONTeIRO19 MaRaTaíZes20 MIMOsO DO sUL21 MUQUI22 pResIDeNTe KeNNeDY23 RIO NOVO DO sUL24 VaRGeM aLTa25 aRaCRUZ26 FUNDÃO27 IbIRaÇU

28 JOÃO NeIVa29 saNTa TeResa30 seRRa31 VITÓRIa32 CaRIaCICa33 MaReCHaL FLORIaNO34 saNTa LeOpOLDINa35 VIaNa36 aLTO RIO NOVO37 baIXO GUaNDU38 COLaTINa39 GOVeRNaDOR LINDeNbeRG40 ITaGUaÇU41 ITaRaNa42 MaRILÂNDIa43 paNCas44 sÃO DOMINGOs DO NORTe45 sÃO ROQUe DO CaNaÃ46 aLeGRe47 apIaCÁ48 bOM JesUs DO NORTe49 DIVINO De sÃO LOUReNÇO50 DORes DO RIO pReTO51 GUaÇUí52 IbaTIba53 IbITIRaMa54 IRUpI

55 IÚNa56 MUNIZ FReIRe57 sÃO JOsÉ DO CaLÇaDO58 LINHaRes59 RIO baNaNaL60 sOOReTaMa61 bOa espeRaNÇa62 MONTaNHa63 MUCURICI64 NOVa VeNÉCIa65 pINHeIROs66 pONTO beLO67 sÃO GabRIeL Da paLHa68 VILa paVÃO69 VILa VaLÉRIO70 CONCeIÇÃO Da baRRa71 JaGUaRÉ72 peDRO CaNÁRIO73 sÃO MaTeUs74 aLFReDO CHaVes75 aNCHIeTa76 GUaRapaRI77 pIÚMa78 VILa VeLHa


por fim, também são apresentados os resultados da sua escola, com o intuito de possibilitar a reflexão e autocrítica sobre alguns aspectos considerados importantes para o desenvolvimento e aprimoramento do ensino ofertado.

aFONsO CLÁUDIO COMeNDaDORa JUReMa MOReTZ sOHN

baRRa De sÃO FRaNCIsCO LINHaRes

CaCHOeIRO De ITapeMIRIM NOVa VeNÉCIa

CaRapINa sÃO MaTeUs

CaRIaCICa VILa VeLHa

COLaTINa

10P e r f i l d o s e s t u d a n t e s

1p e R F I L D O s e s T U Da N T e s D O e s p í R I TO s a N TO

Nos quadros a seguir, será apresentado o perfil geral dos estudantes da Rede pública avaliados no paebes 2011, a partir de características demográficas e sociais.

peRFIL DOs esTUDaNTes pOR eTapa

VaRIÁVeIs: eNsINO FUNDaMeNTaL eNsINO MÉDIO

sexo 48,7%51,3%

Masculino.

Feminino.

40,6%

59,4%

Cor28,4%

51,9%

12,2%

3,3% 4,0%

A) Branco(a).

B) Pardo(a).

C) Preto(a).

D) Amarelo(a).

E) Indígena.

34,0%

49,0%

12,3%

3,4% 1,3%

Faixa etária5° ano: entre 11 e 12 anos de idade9° ano: entre 14 e 15 anos de idade

3° ano eM: entre 17 e 18 anos de idade

escolaridade média dos pais

35 a 38% dos estudantes têm pais com escolaridade igual ou maior que o ensino Médio

36 a 40% dos estudantes têm pais com escolaridade igual ou maior que o ensino Médio

acesso a condições sanitárias básicas1

80,1% dos estudantes têm acesso a condições sanitárias básicas

84,8% dos estudantes têm acesso a condições sanitárias básicas

acesso a livros e revistas em casa

21,8% dos estudantes não têm acesso a livros e revistas em casa

20,1% dos estudantes não têm acesso a livros e revistas em casa

acesso à internet em casa

44,4% dos estudantes têm acesso à internet em casa

29,5% dos estudantes têm acesso à internet em casa

1 em condições sanitárias básicas agrupamos as informações sobre água encanada, energia elétrica e coleta de lixo na rua.


peRFIL DOs esTUDaNTes pOR NíVeL sOCIOeCONÔMICO

O indicador denominado nível socioeconômico resulta de tratamentos estatísticos de diversas variáveis, como, por exemplo, a escolaridade dos pais, a infraestrutura do entorno domiciliar, a posse de bens de consumo e o acesso a leituras extradidáticas. O índice foi padronizado em uma distribuição normal, resultando em quatro categorias que são caracterizadas como: “Muito abaixo da média”, “abaixo da média”, “acima da média” e “Muito acima da média”. essas gradações significam que a primeira categoria está dois desvios-padrão abaixo da média e que cada categoria é separada por um desvio-padrão. por isso, também se observa uma maior concentração de incidências nas categorias intermediárias.

GRUpOs De íNDICe sOCIOeCONÔMICO

DesCRIÇÃO’

Muito abaixo da média

Os estudantes que compõem este grupo são, em sua maioria, do sexo fe-minino (55,4%). Mais de 50% se declaram como pardos, 27,5% como bran-cos e 13,8% como negros. apenas 3,7% têm origem indígena.

Com relação à idade, os estudantes neste grupo estão na mesma faixa etária que o restante da rede, não havendo diferencial claro entre aqueles que se encontram no nível socioeconômico muito abaixo da média e os outros. Já em termos da escolaridade dos pais, aproximadamente 4,5% dos estudantes deste grupo têm pais com escolaridade igual ou maior que o ensino Médio. a grande maioria dos estudantes respondeu que seus pais possuem escolarida-de de 1ª a 4ª séries (68% para as mães e 64% para os pais).

Foi construído também um índice de acesso à leitura de livros e revistas na residência do estudante. a existência de livros e revistas em casa pos-sui forte correlação com melhores proficiências. No entanto, 40,7% dos estudantes de menor índice socioeconômico dizem não possuir livros ou revistas em casa (excetuando-se livros didáticos).

Das etapas avaliadas, o 5° ano é o único que apresenta uma ligeira maioria de homens (51,1%) em relação a mulheres (48,9). a maioria dos estudantes de-clara ser parda (53,9%) ou branca (32,2%), e tem entre 11 e 12 anos de idade.

pouco abaixo da média

O segundo nível socioeconômico, que denominamos “pouco abaixo da mé-dia”, apresenta 54% de estudantes do sexo masculino. são 53% de pardos e 26% de brancos. Os estudantes autodeclarados “pretos” são 13,9%.

a grande maioria ainda alega que a escolaridade dos pais é de 1ª a 4ª séries. são 42% (mães) e 42,3% (pais). apenas 4,1% das mães e 4,5% dos pais chegaram até o ensino superior.

Nas residências dos estudantes que pertencem a este nível socioeconô-mico, 79% possuem condições sanitárias básicas. 24,7% dos estudantes afirmam não haver livros ou revistas em suas residências.

a média de idade dos estudantes não se altera com relação aos outros níveis socioeconômicos. No entanto, na 3ª série do ensino Médio, 61,3% dos estudantes são do sexo feminino.


GRUpOs De íNDICe sOCIOeCONÔMICO

DesCRIÇÃO’

pouco acima da média

O nível “pouco acima da média” possui um maior percentual de estudan-tes do sexo feminino (53%), sendo que, apenas no 5º ano, os estudantes do sexo masculino são maioria, correspondendo a 51,7%. Na 3ª série do ensino Médio, são 59,6% de mulheres. É no ensino Médio que se observa o maior percentual de estudantes que se declaram “brancos”, 34,3%, diante de 48,9% de pardos e 11,2% de pretos. No total, 52,1% se declaram pardos.

a escolaridade dos pais se altera bastante com relação ao nível anterior. são 36,5% de respondentes que afirmam que suas mães chegaram ao en-sino Médio e 38,5% que dizem que os pais o fizeram. Também em contras-te com o nível socioeconômico anterior, 15,1% das mães e 12,3% dos pais atingiram o nível superior.

O percentual de residências que possuem condições sanitárias básicas é de 91,3%. apenas 15,8% dos estudantes deste nível dizem não ter acesso à leitura de livros não didáticos ou revistas em casa.

Muito acima da média

O nível socioeconômico “Muito acima da média” apresenta 51,8% de estu-dantes do sexo masculino. É neste nível que ocorre a maior incidência de autodeclarações de cor “branca” (38,9%), ante 45,4% de “pardos” e 8,5% de “pretos”. No 5º ano, estudantes do sexo feminino são 48,2%. Já na 3ª série do ensino Médio, representam 51,9%. além disso, enquanto os estudan-tes que se declaram “pardos” são maioria no 5º ano (48%), os brancos são maioria na 3ª série do ensino Médio (45,3%), enquanto os “pretos” são 9,9%.

a escolaridade dos pais dos estudantes que se encontram neste nível so-cioeconômico reflete bem a diferença com os três níveis anteriores. as mães que chegaram ao ensino superior são 50% do total, enquanto os pais são 40,6% (categoria com maior incidência de resultados).

Nas residências dos estudantes do nível “muito acima da média”, em ape-nas 4,26% delas não há condições sanitárias básicas. além disso, em ape-nas 6,7% não há livros ou revistas para leitura adicional ao material didático.

peRFIL DOs esTUDaNTes pOR paDRÃO De DeseMpeNHO

O perfil dos estudantes construído a seguir envolve diversos fatores extraescolares, avaliando suas relações com a proficiência dos estudantes, medida através dos testes de Língua portuguesa e de Matemática, cujos resultados são bastante semelhantes. por isso, os dados que seguem são cruzamentos de variáveis socioeconômicas, culturais e demográficas, apenas com os resultados dos testes de Matemática, cujos resultados são ligeiramente superiores. Os números mostram que alguns elementos da vida extraescolar dos estudantes influenciam nos resultados na escola, mas também que não são determinantes para o sucesso ou o fracasso dos estudantes em sua trajetória escolar. É fundamental que esses dados sejam lidos à luz dos resultados de proficiência e distribuição dos padrões de desempenho, para que se tenha a visão completa do tema. É através dos resultados de proficiência, apresentados por etapas, que podemos observar os obstáculos das transições dos anos iniciais para o término do ensino Médio.


eTapa De esCOLaRIDaDe DesCRIÇÃO

abaixo do básico

Das etapas avaliadas, o 5° ano é o único que apresenta uma ligeira maioria de homens (51,1%) em relação a mulheres (48,9%). a maioria dos estudantes se declaram como pardos (53,9%) ou brancos (32,2%), e a grande maioria tem entre 11 e 12 anos de idade.

Muitos dos estudantes desta etapa não souberam informar o nível de escolaridade de seus pais (33,9%), mas apenas 14% têm pais sem estu-do ou com até a 4ª série do ensino Fundamental. 49,5% possuem algum familiar beneficiado pelo programa bolsa Família e 40,8% residem em ruas sem calçamento. 3% dos estudantes não possuem energia elétrica e água encanada em casa, e 16,9% não têm coleta de lixo na rua onde residem. apenas 4,5% não possuem TV em cores, mas menos de 20% possuem mais do que apenas uma prateleira de livros. 41,9% dos estu-dantes têm computadores com acesso à internet em casa, mas muitos (44,5%) também não possuem computador em casa.

Com relação ao índice socioeconômico, exposto anteriormente, o que se nota é uma grande concentração dos estudantes com proficiência “abaixo do básico” nas categorias “Muito abaixo da média” e “pouco abaixo da média”. Juntas, essas categorias somam 57,4%.

básico

por ser o padrão de maior incidência entre os estudantes capixabas, espera-se que, independente do sexo do estudante, incorra no padrão “básico” a maior participação de alunos e alunas. são 39,6% do total de estudantes do sexo masculino e 41,5% do total de estudantes do sexo feminino. Quando perguntados sobre sua cor, a maioria se declarou parda (52,9%). a incidência dos que se declararam “pretos” foi também alta neste padrão: praticamente 43% de todos os estudantes de cor pre-ta avaliados estão localizados no básico.

O maior percentual de estudantes que se encontram neste padrão está no 5º ano (43,1%). além disso, 22,4% dos estudantes não têm acesso à leitura de qualquer espécie de livros ou revistas em casa, que não os li-vros didáticos. ainda no âmbito residencial, 3,8% dos estudantes afirmam que suas mães nunca estudaram, enquanto, acompanhando um padrão que se desenha desde a avaliação dos índices socioeconômicos, a maior concentração de escolaridade das mães está localizada entre a 1ª e a 4ª séries, sempre em torno de 31% para todos os estudantes da rede.

em 61,9% das residências, há calçamento nas ruas e, em 97,7%, há energia elétrica. Dos 17,3% de domicílios que não contam com coleta regular de lixo, em 40,8% habitam estudantes localizados no padrão “básico”. apenas 4,2% não possuem televisores e 45,5% possuem com-putador com acesso à internet.


eTapa De esCOLaRIDaDe DesCRIÇÃO

proficiente

O padrão proficiente reúne, aproximadamente, 26% dos estudantes do estado do espírito santo. Não se percebe grande distinção de sexo, sendo uma pequena maioria de estudantes do sexo masculino (50,6%). Mais da metade deles se declarou de cor “parda” (50,4%), e 33,5% de cor “branca”.

Quando nos referimos ao nível socioeconômico, em 54% dos casos, os estudantes são classificados como “pouco acima da média” e “Muito acima da média” em relação a seu nível socioeconômico. a escolari-dade dos pais é um pouco maior do que o observado no padrão de De-sempenho anterior. em 43,3% das ocorrências, a mãe cursou ou até o ensino Médio (25,4%), ou até a faculdade (17,9%). a escolaridade dos pais é um pouco menor, quando observamos esses dois níveis de ins-trução, somando 38,7%.

em 19,6% dos domicílios dos estudantes classificados como “proficien-tes”, não se observa leitura que não a de livros didáticos. No entanto, em 97,3% há pelo menos uma televisão e, em 62,9%, existe computa-dor. Há calçamento em 64,2% das ruas em frente às residências, e em 83,6% há coleta regular de lixo. em apenas 1,1% dos domicílios não há energia elétrica.

avançado

O nível avançado concentra os estudantes que desenvolveram habilida-des que superam aquelas esperadas para o período de escolaridade em que se encontram. esses estudantes ultrapassam ligeiramente 5% do total avaliado pelo paebes. embora ocorram incidências de estudan-tes no padrão avançado em todos os níveis socioeconômicos, a maioria está situada em “pouco acima da média” e “Muito acima da média”, totalizando 58,4%. são, em sua maioria, estudantes do sexo masculino (52,7%), pardos (47,6%) ou brancos (40,4%). Neste padrão, apenas 6,5% dos estudantes se declaram de cor “preta”.

Quando olhamos para o ambiente cultural dos estudantes, temos que a escolaridade dos pais dos estudantes que atingiram o padrão “avança-do” corresponde ao ensino Médio e à faculdade para 44,5%, enquanto os mesmos níveis de instrução, para as mães, somam 49,3%. O acesso a livros e revistas que não fazem parte da coleção de livros didáticos utilizados pelos estudantes é maior que nos padrões anteriores: so-mam 84,4% aqueles com acesso a algum tipo de leitura extra-escolar. enquanto isso, apenas em 2,1% dos domicílios não consta a presença de pelo menos uma televisão. Os estudantes classificados no padrão “avançado” são também aqueles que apresentam o maior percentual de presença de computador em casa: em 65,4% se verifica a presença de computadores, sendo 52,4% do total com acesso à internet.

Com relação a serviços que atendem às residências, o percentual de domicílios situados em ruas asfaltadas mantém o padrão já observado. enquanto a média geral é de 62,4%, o percentual observado para os estudantes situados no padrão “avançado” é de 63,5%. Menos de 1% não possuem energia elétrica. Quanto à coleta de lixo, os percentuais mantêm semelhança com os outros padrões. a média geral é de 82,7% de domicílios com coleta regular de lixo, enquanto os domicílios deste padrão alcançam 83,6%.


2R e s U LTa D O s D e I N D I Ca D O R e s C O N T e X T U a I s

apesar da reconhecida influência de fatores extraescolares – como sexo, raça, aspectos familiares e socioeconômicos – sobre o desempenho cognitivo de estudantes, diversas pesquisas sobre o tema de eficácia escolar, realizadas nas últimas décadas, têm demonstrado como as escolas podem fazer a diferença para o aprendizado. podemos afirmar, inclusive, que há evidência suficiente para considerar como superado o discurso determinista do fracasso escolar.

Tais estudos demonstram que aspectos internos às escolas podem mitigar efeitos individuais, reduzindo as distâncias de aprendizagem entre alunos de diferentes perfis. Uma vez estabelecida a importância de certos aspectos na organização escolar, e reconhecido o importante efeito que eles têm sobre um ensino de maior equidade, o próximo passo é tentar diagnosticar como as nossas escolas se posicionam perante o que hoje se considera como um modelo de escola eficaz.

Tendo em mente, portanto, a bibliografia educacional acerca de estudos de eficácia escolar, foi elaborado, para esta edição do paebes, um conjunto de indicadores de fatores intraescolares recorrentemente associados a um ensino de qualidade e equidade. ao total, são 14 indicadores, produzidos com base nos questionários aplicados a alunos, professores e diretores, que podem ser classificados de acordo com as seguintes dimensões: (a) práticas pedagógicas; (b) práticas de gestão; (c) práticas de convivência; e (d) clima escolar.

DIMeNsões aNaLIsaDas:

(a) pRÁTICas peDaGÓGICas

a escolha da ênfase pedagógica aplicada em sala de aula varia de acordo com uma série de aspectos, tais como o perfil dos estudantes reunidos em uma mesma sala de aula, a proposta e os objetivos da escola, bem como as próprias concepções educacionais do professor. Não há sentido, portanto, em se tentar medir a prática pedagógica de professores classificando-a como boa ou ruim. Não existe apenas uma forma de se ensinar, e a adequação da ênfase pedagógica em sala de aula é tão subjetiva quanto relativa.

16R e s u l t a d o s d e I n d i c a d o re s C o n t e x t u a i s

Contudo, há certos elementos que são transversais às diferentes ênfases pedagógicas e reconhecidamente importantes para o bom desenvolvimento escolar dos estudantes. para a avaliação de 2011, optou-se por averiguar os seguintes aspectos da prática pedagógica:

• atenção ao aluno

• avaliação da aprendizagem

• Compromisso com a aprendizagem

• Condições e práticas de ensino

(b) pRÁTICas De GesTÃO

a organização e a gestão da escola têm influência considerável no poder que a escola tem de afetar o desempenho de seus estudantes. a dedicação que os profissionais da escola têm no efetivo cumprimento de suas funções é um fator preponderante para o bom desempenho da própria escola. Nessa categoria de fatores, é importante destacar o papel do diretor. a eficácia escolar se vincula ao comportamento do diretor no exercício de sua função. Um diretor reconhecido como líder, por parte dos professores que compõem o quadro docente da escola, assim como pelos funcionários da escola, exerce uma influência positiva e mais acentuada no desempenho de seus estudantes.

para aferir um diagnóstico sobre as atuais práticas de gestão na rede estadual e municipais do espírito santo, foram produzidos três indicadores:

• apoio e Monitoramento

• aplicação de Normas

• Interação com a Comunidade

(C) pRÁTICas De CONVIVêNCIa

O ambiente da escola, ou o seu clima, é um tema bastante popular dentre as discussões acerca de eficácia escolar, configurando-se inclusive como uma das quatro dimensões analisadas no paebes. para criar e manter um clima favorável ao aprendizado, além de aspectos ligados a práticas pedagógicas e de gestão, as práticas de convivência também são de grande importância. Regras e normas fazem parte do dia a dia da escola, preservando a estrutura hierárquica organizacional necessária para o seu bom funcionamento. Contudo regras em demasia, ou impostas de forma autoritária, podem acabar denegrindo o ambiente e prejudicando as relações entre os atores na escola. Logo é necessário encontrar um equilíbrio entre a existência de normas e o bom relacionamento entre todos, evitando que a aplicação de regras crie um ambiente opressivo e autoritário dentro da escola.

Tendo isso em mente, dois indicadores foram produzidos para analisar esta dimensão escolar.

• Respeito às Normas

• Respeito e Diálogo


(D) CLIMa esCOLaR

para a criação e perpetuação de uma cultura ou clima escolar positivo, é necessária a criação de uma comunidade de aprendizagem, de objetivos análogos, entre os membros da equipe da escola. Dessa forma, é possível que membros ajam como amigos críticos, compartilhem suas boas práticas e se engajem num processo mútuo de educação/reeducação. essa cooperação e boa comunicação entre os membros da equipe, além de constituírem objetivos comuns, são essenciais para uma cultura positiva.

Muitas das características já mencionadas nas três dimensões anteriores podem contribuir para um ensino de maior qualidade e equidade. Uma abordagem participativa na administração e no processo de tomada de decisões da escola, por exemplo, contribuiu para um sentimento de pertencimento e “posse” da escola pelos seus funcionários. por sua vez, esse sentimento estimula maior dedicação e interesse dos professores pelo aprendizado de seus estudantes.

além de subjetiva, portanto, a percepção do clima escolar está atrelada a diversos aspectos da escola. para a avaliação do paebes 2011, buscou-se mensurar esta percepção do clima a partir de cinco indicadores:

• Desenvolvimento acadêmico e profissional

• Conforto e segurança

• Interação

• pertencimento e Inclusão

• satisfação e Motivação

O quadro a seguir apresenta a composição de cada um desses indicadores, produzidos a partir de questões dos três questionários aplicados a alunos, professores e diretores. Todos os indicadores elaborados para esta publicação foram calculados a partir da opinião de pelo menos dois dos três atores entrevistados, com o intuito de produzir indicadores mais fidedignos à realidade das escolas capixabas.


QUaDRO 1: COMpOsIÇÃO De INDICaDORes

DIMeNsÃO INDICaDOR QUesTões QUe COMpõeM O INDICaDORp

rátic

as p

edag

ógic

as

atenção ao aluno

QUesTões DIReCIONaDas aO aLUNO:

Nas aulas o(a) professor(a) ouve a opinião dos alunos. / O(a) professor(a) sempre esclarece minhas dúvidas. / O professor aju-da mais a uns alunos do que a outros.

QUesTões DIReCIONaDas aO pROFessOR:

Nas minhas aulas todos têm oportunidade de expressar suas opi-niões. / estou sempre disponível para esclarecer as dúvidas dos alunos. / Gosto quando os alunos me procuram para ajudá-los. / Trato todos os alunos igualmente, sem distinção.

QUesTões DIReCIONaDas aO DIReTOR:

a permanência do aluno mais tempo na escola é incentivada pro-movendo ações de seu interesse.

avaliação da aprendizagem


aprendo a matéria que o(a) professor(a) ensina. / O(a) professor(a) sempre corrige o dever de casa.


sempre corrijo e discuto a correção do dever de casa com os alunos. / Utilizo os resultados da avaliação para melhorar o que faço. / eu utili-zo os resultados das avaliações para rever minha prática pedagógica.


esse indicador não utiliza questões direcionadas aos diretores.

Compromisso com a aprendizagem


O(a) professor(a) explica até que todos entendam a matéria. / para o(a) professor(a) a turma toda pode aprender. / eu capricho na hora de fazer os meus trabalhos.


Não aceito trabalho mal feito pelos alunos. / Todos os alunos têm capacidade de aprender o que é ensinado. / ensino o mes-mo assunto de várias maneiras, se for necessário, para que todos aprendam. / sinto-me responsável pela aprendizagem dos alunos.


esse indicador não utiliza questões direcionadas aos diretores.

Condições e práticas de ensino


O(a) professor(a) é claro ao explicar a matéria. / acho as aulas in-teressantes e animadas. / O(a) professor(a) sempre usa livro di-dático para ensinar. / Gosto de fazer as tarefas passadas pelo(a) professor(a).


as minhas aulas são sempre bem planejadas. / procuro utilizar vá-rios recursos para tornar as aulas mais atraentes. / procuro passar trabalhos interessantes e desafiadores para os alunos. / participo das decisões relacionadas ao meu trabalho. / Os professores se esforçam para coordenar o conteúdo das matérias entre as diferentes séries


O planejamento anual das atividades é feito coletivamente.



DIMeNsÃO INDICaDOR QUesTões QUe COMpõeM O INDICaDOR

prá

ticas

de

Ges

tão

apoio e Monitoramento


esse indicador não utiliza questões direcionadas aos alunos.


O diretor estimula e apoia atividades inovadoras. / sinto falta de apoio da direção da escola para implementar projetos que julgo importantes para melhorar o ensino.


Os professores tem que usar bem os recursos pedagógicos dis-poníveis na escola. / É dever do diretor animar e motivar a equipe para o trabalho. / a infrequência dos alunos é investigada para se conhecer as razões da ausência.

aplicação de Normas




O diretor é zeloso e exigente no cumprimento das regras. / brigas e confusões, quando acontecem, são resolvidas na própria escola. / Todos sabem o que pode e o que não pode ser feito na escola. / a direção da escola é mais rigorosa na avaliação de desempenho de alguns professores do que de outros.


as transgressões às normas de funcionamento e convivência da escola são resolvidas na própria escola.

Interação com a Comunidade




Com apoio da comunidade a escola promove várias atividades im-portantes para os alunos. / Os pais estão sempre presentes nas reuniões e eventos da escola. / sempre informo os pais sobre o desempenho dos seus filhos.


a escola tem vários parceiros que ajudam a manter um atendi-mento de qualidade aos alunos. / Tenho por norma consultar o Co-legiado da escola e ouvir as pessoas sobre as questões da escola. / O diálogo e a participação da comunidade é a melhor maneira de proteger a escola.



DIMeNsÃO INDICaDOR QUesTões QUe COMpõeM O INDICaDORp

rátic

as d

e C

onvi

vênc

ia

Respeito às normas


a escola é uma bagunça. Ficam muitos alunos do lado de fora da sala fazendo barulho. / Quando alguém me ameaça ou agride, não adianta reclamar na direção. Tudo continua do mesmo jeito. / a turma demora a fazer silêncio, depois que o(a) professor(a) entra em sala. / Durante as aulas há muito barulho e bagunça, o que atrapalha quem quer estudar.


Tenho que esperar muito tempo até que os alunos façam silêncio. / Consigo manter na sala de aula um clima de ordem e respeito.

Questões direcionadas ao diretor:

Os professores me apóiam no cumprimento das regras da escola.

Respeito e Diálogo


por qualquer motivo, os alunos são colocados para fora da sala pelo professor. / a escola precisa ouvir mais os alunos. / Os profes-sores da escola tratam meninos e meninas igualmente.


Os professores da escola tratam meninos e meninas igualmente. / Cada aluno tem seu jeito de ser, e isso precisa ser respeitado.


Os professores desta escola fazem esforço para interagir com a co-munidade. / Cada pessoa tem seu jeito de ser, e isso precisa ser res-peitado.

Clim

a es

cola

r

Desenvolvimento acadêmico / profissional


Tenho participado de coisas interessantes na escola? / acho que vale a pena estudar nesta escola? / estou sempre aprendendo coi-sas novas nesta escola?


se pudesse voltar no tempo, faria a opção pelo magistério nova-mente. / Tenho realizado coisas importantes no meu trabalho. / eu me sinto gratificado(a) pela carreira que escolhi. / a experiência nesta escola me faz crescer profissionalmente.


Foi uma decisão acertada ter me candidatado a diretor desta es-cola. / Tenho realizado coisas importantes no meu trabalho. / ser diretor(a) de escola é gratificante. / O experiência como diretor desta escola me faz crescer profissionalmente.



DIMeNsÃO INDICaDOR QUesTões QUe COMpõeM O INDICaDOR

Clim

a es

cola

r

Conforto e segurança


sinto-me em segurança nesta escola? / acho a escola limpa e bem cuidada? / O prédio da escola é muito bom.


sinto-me em segurança nesta escola. / acho a escola limpa e bem cuidada. / O prédio da escola é muito bom.


sinto-me em segurança nesta escola.

Interação


eu me dou bem com todos nesta escola? / eu gosto de estar com meus colegas? / Na escola todos se tratam com respeito? / a es-cola promove festas e eventos em que todos participam?


O bom relacionamento é uma qualidade desta escola. / eu gosto de estar com meus colegas de trabalho. / Na escola todos se tra-tam com respeito.


embora proibido, é frequente o uso de apelidos pejorativos entre os alunos. / O bom relacionamento é uma marca desta escola. / Gosto de lidar com todos na escola. / Na escola todos se tratam com respeito.

pertencimento e Inclusão


sinto-me bem cuidado nesta escola. / sinto que sou valorizado nesta escola. / Tenho orgulho de ser aluno desta escola.


sinto que sou valorizado nesta escola. / Gosto de fazer parte da equipe desta escola.


sinto que sou valorizado nesta escola.

satisfação e Motivação


Gosto de estudar nesta escola. / eu me sinto cheio(a) de energia e animado(a) na escola. / Gosto de ir para a escola.


Gosto de trabalhar nesta escola. / eu me sinto cheio(a) de energia e animado na escola. / Gosto de ir para a escola. / poucos professores estão dispostos a assumir novos encargos para que a escola melhore.


Gosto de trabalhar nesta escola. / eu me sinto cheio(a) de energia e animado(a) na escola. / Gosto de ir para a escola.


Nos mapas seguintes, é apresentada a pontuação média dos municípios para todos os indicadores ligados às quatro dimensões de práticas pedagógicas, práticas de Gestão, práticas de Convivência e Clima escolar. Os municípios foram todos classificados segundo quatro categorias2:

• Municípios com uma pontuação muito inferior a média;

• Municípios com uma pontuação inferior, mas próximo a média;

• Municípios com uma pontuação superior, mas próximo a média;

• Municípios com pontuação muito superior a media.

2 Os indicadores apresentados a seguir foram calculados a partir dos questionários de alunos, professores e diretores. Devido a ausência de questionários destinados à diretores, algumas escolas e, consequentemente, municípios, ficaram sem resultados. Os municípios sem resultados foram demarcados de branco nos mapas do estado.


DIMeNsÃO pRÁTICas peDaGÓGICas ReDes MUNICIpaIs

em uma escala de 0 a 10, a pontuação média na dimensão de práticas pedagógicas foi de 4,3. Composto por quatro indicadores, o compromisso de professores com a aprendizagem de seus alunos foi o quesito com maior pontuação, obtendo uma média de 4,9. Já a avaliação da aprendizagem, que mede a percepção do aluno sobre o seu aprendizado e o uso da avaliação pelo professor, foi o indicador com a menor pontuação média, apenas 3,4.

INDICaDORes pONTUaÇÃO MÉDIa

atenção ao aluno 4,7

avaliação da aprendizagem 3,4

Compromisso com a aprendizagem 4,9

Condições e práticas de ensino 4,1

PRÁTICAS PEDAGÓGICAS 4,3


ResULTaDOs Das ReDes MUNICIpaIs

pRÁTICas peDaGÓGICas

Municípios com uma pontuação muito inferior à média;

Municípios com uma pontuação inferior, mas próximo à média;

Municípios com uma pontuação superior, mas próximo à média;

Municípios com pontuação muito superior à média.

Municípios que não participaram da avaliação.


aTeNÇÃO aO aLUNO COMpROMIssO COM a apReNDIZaGeM

aVaLIaÇÃO Da apReNDIZaGeM CONDIÇões e pRÁTICas De eNsINO


DIMeNsÃO pRÁTICas De GesTÃOReDes MUNICIpaIs

a dimensão de práticas de Gestão, composta exclusivamente de questões aplicadas a professores e diretores, obteve uma pontuação média de 3,7, a mais baixa entre os resultados das quatro dimensões avaliadas. Dos três indicadores que remetem a esta dimensão, a aplicação de Normas, indicador do zelo no cumprimento de normas e resolução de problemas no interior da escola, foi o de maior destaque (4,3). Já o indicador de apoio e Monitoramento, que faz alusão ao estímulo e controle da equipe por parte da direção da escola, obteve uma das menores pontuações entre os indicadores do paebes 2011.


apoio e Monitoramento 3,0

aplicação de normas 4,3

Interação com a comunidade 3,7

PRÁTICAS DE GESTÃO 3,7



pRÁTICas De GesTÃO







apOIO e MONITORaMeNTO INTeRaÇÃO COM a COMUNIDaDe

apLICaÇÃO De NORMas


DIMeNsÃO pRÁTICas De CONVIVêNCIaReDes MUNICIpaIs

Composto por apenas dois indicadores, a dimensão de práticas de Convivência foi a dimensão mais bem avaliada, obtendo uma pontuação média de 5,1 em uma escala de 0 a 10. Os indicadores de Respeito às Normas e Respeito e Dialogo, foram os indicadores com maior pontuação média entre os quatorzes indicadores do paebes 2011, cada um com, respectivamente, 5,2 e 5,0 pontos.


Respeito às Normas 5,2

Respeito e Diálogo 5,0

PRÁTICAS DE CONVIVÊNCIA 5,1


ResultaDos Das ReDes MuniCiPais

pRÁTICas De CONVIVêNCIa







RespeITO às NORMas

RespeITO e DIÁLOGO


DIMeNsÃO CLIMa esCOLaR ReDes MUNICIpaIs

Dos cinco indicadores que compõem o indicador de percepção do Clima escolar, satisfação e Motivação de alunos, professores e diretores, foi uma das dimensões com menor pontuação média de todos os indicadores analisados nas quatro dimensões (2,9). Já o Conforto e segurança, o indicador mais bem avaliado nesta dimensão, obteve uma pontuação média de 4,7. a dimensão do Clima escolar, em uma escala de 0 a 10, ficou com uma pontuação média de 4,0.


Desenvolvimento acadêmico e profissional 4,0

Conforto e segurança 4,7

Interação 4,0

pertencimento e Inclusão 4,3

satisfação e Motivação 2,9

CLIMA ESCOLAR 4,0



CLIMa esCOLaR







DeseNVOLVIMeNTO aCaDêMICO e pROFIssIONaL

CONFORTO e seGURaNÇa


peRTeNCIMeNTO e INCLUsÃO INTeRaÇÃO

saTIsFaÇÃO e MOTIVaÇÃO

36E q u i d a d e e Q u a l i d a d e E s c o l a r

3e Q U I Da D e e Q U a L I Da D e e s C O L a R N O pa e b e s 2 0 1 1

O objetivo da análise abaixo é fornecer uma medida de equidade e de qualidade entre as escolas do sistema avaliado pelo paebes 2011. através do uso de modelos hierárquicos lineares3, estimamos não só o efeito de características individuais, mas também o efeito específico de cada escola sobre o desempenho de seus alunos.

sabemos que o desempenho dos estudantes é explicado por características individuais e sociais. Utilizamos em nossa análise do desempenho dos estudantes da rede de ensino do estado do espírito santo as características de sexo (masculino ou feminino), cor ou raça (branco, preto, pardo, amarelo ou indígena), e condição socioeconômica (medida pelo índice socioeconômico - Ise), a fim de controlar o impacto das características individuais sobre a proficiência dos alunos.

Da mesma forma, temos a expectativa de que tais características, em seu conjunto, influenciam o trabalho das instituições escolares. É justificável ouvirmos por parte de gestores e professores a argumentação de que existem várias dificuldades associadas ao agregado das características de seus alunos. por isso, em nosso modelo, consideramos a proporção de estudantes do sexo feminino, a proporção de estudantes do grupo considerado desprivilegiado (pretos, pardos ou indígenas) e a média do índice socioeconômico em cada escola antes de avaliar seu desempenho. Ou seja, essa análise satisfaz a intenção de pesquisadores e profissionais da área de educação na tentativa de observar o que seria o efeito exclusivo da escola, depois de consideradas as influências da composição dos alunos (sexo, cor ou raça, e nível socioeconômico).

3 “O modelo multinível (cf. Goldstein, 1995), também chamado de modelo hierárquico (bryk, Raudenbush, 1992), leva em consideração a estrutura de agrupamento dos dados. Dessa forma, em contraposição ao modelo de regressão clássico, onde o intercepto e o coeficiente de inclinação são parâmetros fixos, no modelo multinível ambos os parâmetros são considerados aleatórios, dependentes da influência do nível hierárquico mais alto” (NeTO, Moreira; GONÇaLVes, José. Construção de modelos de regressão hierárquica: uma experiência de avaliação na educação de jovens e adultos. brasília: INep, 2008, p. 8).


eQUIDaDe: O DeseMpeNHO eXpLICaDO peLas esCOLas

Nossa primeira observação se refere à proporção do efeito das escolas sobre a proficiência dos estudantes. Quanto da variação observada nos estudantes pode ser atribuído ao conjunto das escolas? essa informação é observada através do Coeficiente de Correlação Intraclasse (CCI)4:

peRCeNTUaL eXpLICaDO peLas esCOLas eM ReLaÇÃO aO TOTaL Da VaRIÂNCIa

sistema etapa CCI*

Municipal5° ano 17,01%

9° ano 14,39%

estadual

5° ano 21,35%

9° ano 14,93%

3° ano do eM 4,78%

*Coeficiente de Correlação Intraclasse

podemos observar que, para o 5° ano do sistema municipal, 17% da variação de desempenho dos alunos pode ser atribuída às escolas; para o 9° ano do mesmo sistema, 14,39% da variação pode ser atribuída às escolas. No sistema estadual, a proporção associada às escolas é maior para o 5° ano, 21,35%; e para o 9° ano, 14,93% (muito semelhante ao sistema municipal). para o 3° ano do ensino Médio, em que havia apenas instituições estaduais, apenas 4,78% da variação pode ser atribuída às escolas.

essa medida pode ser entendida como uma noção da desigualdade entre as escolas no sistema. Quanto mais próxima de 100% é a proporção observada, maior é a desigualdade entre as escolas no sistema em questão.

UM INDICaDOR De QUaLIDaDe Das esCOLas

após avaliarmos os efeitos das características dos estudantes e conseguirmos controlar o efeito da composição dessas características sobre o efeito esperado das escolas, podemos ter uma medida mais precisa de qual é a contribuição média das instituições do sistema para a proficiência de seus alunos. para simplificar essa análise, identificamos como qualidade do sistema a quantidade de escolas analisadas com efeito estimado positivo, ou seja, aquelas cujo modelo atribuiu um impacto positivo sobre o desempenho de seus estudantes, após considerarmos a influência de sua composição em termos da distribuição de alunos do sexo feminino e masculino, bem como da distribuição de alunos por cor autodeclarada.

4 ao explicar a variação de desempenho dos estudantes, podemos considerar duas dimensões diferentes: a variação dos estudantes dentro de uma escola, em relação à média de desempenho daquela escola (os alunos variam entre si); e a variação das médias das escolas em relação a toda a população em estudo (as escolas variam entre si). Isso significa con-siderar que a unidade que agrega um grupo de estudantes (uma escola) tem relação com o desempenho dos estudantes. O Coeficiente de Correlação Intraclasse é a proporção da variação de desempenho dos alunos que pode ser atribuída às escolas em relação à variação total dos estudantes. em outras palavras, o CCI é uma estimação dessa relação entre de-sempenho e escola (ver artigo “equidade e Desempenho: Um debate necessário”, publicado na Revista do Gestor 2011).


peRCeNTUaL De esCOLas COM eFeITO LíQUIDO pOsITIVOINDICaDOR De QUaLIDaDe DO sIsTeMa

sistema etapa % escala zero a dez

Municipal5° ano 60,87 6,09

9° ano 71,20 7,12

estadual

5° ano 54,63 5,46

9° ano 65,11 6,51

3° ano do eM 58,39 5,84

podemos observar que as escolas avaliadas no paebes 2011 têm um efeito tendencialmente positivo sobre seus alunos. para o 5° ano do sistema municipal, cerca de 61% das escolas têm efeito estimado positivo sobre seus estudantes; para o 9° ano do mesmo sistema, 71% das escolas têm efeito positivo. para o sistema estadual, no 5° ano, o mesmo resultado é encontrado em 54,6% das escolas; no 9° ano, 65% das escolas; e no 3° ano do ensino Médio, 58,4%.

UMa COMpaRaÇÃO eNTRe eXTReMOs

a fim de visualizar melhor o que os efeitos acima nos informam, faremos uma comparação, em nossa análise, entre o desempenho médio esperado dos grupos mais e menos favorecidos:

• Os estudantes mais favorecidos têm as seguintes características: sexo masculino, autodeclarados como brancos ou amarelos, dentre os 5% em melhor condição socioeconômica.

• Os estudantes menos favorecidos seriam: sexo feminino, autodeclarados como negros, pardos ou indígenas, dentre os 5% em pior condição socioeconômica.

• escolas com melhor desempenho foram aquelas com o valor máximo no indicador de qualidade, cujo efeito leva em consideração a composição das escolas.

• escolas com pior desempenho foram aquelas com o valor mínimo no indicador de qualidade, cujo efeito leva em consideração a composição das escolas.

apresentamos os resultados de nossa análise em um conjunto de gráficos em que somamos os efeitos estimados em nosso modelo à grande média de desempenho das escolas, separadas por sistema e em cada etapa.


sIsTeMa MUNICIpaL

5º aNO DO eNsINO FUNDaMeNTaL

229,16

202,63

0255075

100125150175200225250275300325350375400425450475500

Estudantes mais favorecidos Estudantes menos favorecidos

Municipal 5° ano

Abaixo do Básico

Básico

Proficiente

Avançado

proficiência média esperada dos estudantes mais e menos favorecidos

298,04

178,75

0255075

100125150175200225250275300325350375400425450475500

Estudantes da melhor escola Estudantes da pior escola

Municipal 5° ano

Abaixo do Básico

Básico

Proficiente

Avançado

proficiência média esperada dos estudantes nas escolas com maior e menor efeito líquido


309,53

163,71

0255075

100125150175200225250275300325350375400425450475500

Favorecidos nas melhores escolas Desfavorecidos nas piores escolas

Municipal 5° ano

Abaixo do Básico

Básico

Proficiente

Avançado

proficiência média esperada dos estudantes nos extremos da distribuição

9º aNO DO eNsINO FUNDaMeNTaL

271,98239,50

0255075

100125150175200225250275300325350375400425450475500

Estudantes mais favorecidos Estudantes menos favorecidos

Municipal 9° ano

Abaixo do Básico

Básico

Proficiente

Avançado

proficiência média esperada dos estudantes mais e menos favorecidos

Reitor da universidade Federal de Juiz de ForaHenrique Duque de Miranda Chaves Filho

Coordenação GeralLina Kátia Mesquita Oliveira

Coordenação técnica de ProjetoManuel Fernando Palácios da Cunha Melo

Coordenação de PesquisaTufi Machado Soares

Coordenação de análise e Publicação de ResultadosWagner Silveira Rezende

Coordenação de instrumentos de avaliaçãoRenato Carnaúba Macedo

Coordenação de Medidas estatísticasWellington Silva

Coordenação de operações de avaliaçãoRafael de Oliveira

Coordenação de Processamento de DocumentosBenito Delage

Coordenação de Produção visualHamilton Ferreira

Responsável pelo Projeto GráficoEdna Rezende S. de Alcântara

Ficha Catalográfica

esPÍRito santo. secretaria de estado da educação.PaeBes – 2011 / universidade Federal de Juiz de Fora, Faculdade de educação, Caed. v. 7 (jan/dez. 2011), Juiz de Fora, 2011 – anual

BRooKe, Daniel aguiar de leighton; Melo, Manuel Fernando Palácios da Cunha e; oliveiRa, lina Kátia Mesquita; ReZenDe, Wagner silveira.

issn 2237-8324 CDu 373.3+373.5:371.26(05)

paebes · paebes g oevesra nadresrtap 7 introduÇÃo a avaliação em larga escala atende a uma...

Documents