o ideb e a influÊncia na formaÇÃo continuada dos … · processos de avaliação externa e a...
TRANSCRIPT
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
1
O IDEB E A INFLUÊNCIA NA FORMAÇÃO CONTINUADA DOS
DOCENTES DA ESCOLA PÚBLICA
GUIDI, Janete Aparecida (UEM)
SHIMAZAKI, Elsa Midori (Orientadora/UEM)
Introdução
A escolha da temática deveu-se a diversos fatores, dentre eles o da atualidade do
tema, pois assistimos a uma crescente ampliação dos mecanismos de medição e aferição
de resultados educacionais a partir da segunda metade da década de 1990.
Nesse contexto, marcado pelo predomínio da ideologia neoliberal, a reforma
educacional objetivou a implantação de um modelo de administração pública gerencial,
no qual, segundo Assunção e Oliveira (2009, p. 351) “a descentralização administrativa
e financeira passa a ser um imperativo na gestão pública, o que resulta em maior
desregulamentação e no repasse de obrigações e responsabilidades no âmbito central
para o local”. Nesse panorama de reorientação das atribuições do Estado, ocorre o
fortalecimento do Estado regulador e avaliador em detrimento do Estado executor.
Desde então, especificamente no âmbito das políticas educacionais, vêm
ocorrendo a ampliação e a consolidação dos processos de avaliação externa da educação
em todos os níveis de ensino. Na educação básica, a criação do Sistema Nacional de
Avaliação da Educação Básica (SAEB), em 1990, sua reformulação, em 2005, com a
criação da Prova Brasil, e o lançamento do IDEB, em 2007, no âmbito do Plano de
Desenvolvimento da Educação (PDE), demonstra a consolidação das políticas de
avaliação padronizadas nacionalmente (BRASIL, 2002, p.9).
Nessa lógica, a avaliação, centrada na verificação do desempenho dos alunos
mediante provas, é compreendida como mecanismo eficaz para aferir e produzir a
melhoria da qualidade da educação no país e passa a constituir-se em “ferramenta de
gestão dos sistemas e das escolas”.
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
2
O presente trabalho, considerando o contexto apresentado, tem como objetivo
geral conhecer os impactos dessa política de avaliação, sobretudo no que diz respeito à
divulgação do IDEB, na organização escolar e na organização da formação continuada
dos docentes no Paraná. Busca, também, examinar como os resultados do IDEB vêm
sendo assimilados e utilizados, pela escola, no planejamento, na definição de suas
atividades gerais e as ações para sua elevação, ao mesmo tempo, perceber de que modo
os professores têm se posicionado diante desse índice.
Para alcançar os objetivos optou-se pela realização de um estudo de caso
mediante a realização da pesquisa em uma escola estadual de Sarandi que oferece o
ensino fundamental e médio por blocos e que obteve um IDEB de 3,7 no ano de 2011.
De acordo com Lüdke e André (1986, p. 17), “o estudo de caso como estratégia de
pesquisa é o estudo de um caso, simples e específico ou complexo e abstrato e deve ser
sempre bem delimitado”. Destacam em seus estudos as características de casos
naturalísticos, ricos em dados descritivos, com um plano aberto e flexível que focaliza a
realidade de modo complexo e contextualizado.
A pesquisa considerou a escola estudada como caso comum a grande maioria
das escolas estaduais por apresentar situações e aspectos semelhantes a outras escolas,
porém o foco do estudo está, assim como exige o estudo de caso, no particular e em
suas singularidades.
No processo de investigação, duas categorias tornaram-se centrais para o estudo:
organização escolar e organização da formação continuada fornecida pela SEED do
Paraná. Oliveira (2002, p. 132) define a organização escolar como sendo “as condições
objetivas sob as quais o ensino está estruturado”. Fazem parte da organização escolar
“das competências administrativas de cada órgão do poder público ao currículo que se
pratica em sala de aula, passando pelas metodologias de ensino e processos de avaliação
adotados” (Idem). Dessa forma, a organização escolar consiste, dentre outros, no modo
como estão estruturados no PPP da escola, a média da escola, os processos de ensino e
aprendizagem, os tempos, as prioridades, a avaliação, como também a estrutura
curricular.
Em relação a essa categoria de organização escolar, Oliveira (2007, p. 356)
alerta que as reformas implantadas nas duas últimas décadas vêm gerando mudanças na
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
3
organização escolar. Segundo a autora, “essa nova organização escolar reflete um
modelo de regulação educativa, produto de novas articulações entre as demandas
globais e as respostas locais” acarretando, dessa maneira, mudanças significativas para
o trabalho docente com o aumento expressivo de suas atribuições e responsabilidades.
A organização do trabalho escolar, de acordo com a autora em estudo, consiste
em “um conceito econômico, refere-se à divisão do trabalho na escola” (OLIVEIRA,
2002, p. 131). Esse conceito trata das funções desenvolvidas pelos que trabalham na
escola, das hierarquias e das relações de poder existentes.
A autora cita ainda outras características da organização escolar que interferem
na organização do trabalho escolar, exemplificando, “os períodos e os turnos de
trabalho, as estratégias curriculares, como também as mudanças trazidas pela legislação
que, passam a exigir maior tempo de trabalho do professor para responder as novas
demandas na sua jornada de trabalho” (OLIVEIRA, 2010).
A partir das considerações acima, a pesquisa buscou analisar como a reforma
educacional implantada no Brasil, a partir dos anos 1990, sobretudo no que se refere à
regularidade e à ampliação dos exames nacionais de avaliação do desempenho dos
alunos e da criação do IDEB, tem contribuído para gerar alterações na organização
escolar e na formação continuada do docente. Desse modo, pretende contribuir para a
ampliação do debate acerca das políticas de avaliação da qualidade do ensino e de
formação continuada dos docentes quando se deparam com a média do IDEB da escola
onde lecionam.
De acordo com Sousa (2009), as características geralmente presentes nas
políticas de avaliação em larga escala e em seus instrumentos são: ênfase nos produtos
ou resultados; atribuição de mérito a alunos, instituições ou redes de ensino; dados de
desempenho escalonados, resultando em classificação; dados predominantemente
quantitativos; destaque à avaliação externa, não articulada à auto-avaliação e ampla
divulgação dos resultados das avaliações na mídia.
Essas características tem como base o culto aos resultados e índices das
avaliações externas e internas, o MEC vem instituindo uma política educacional baseada
na “obrigação de resultados” (LESSARD; MEIRIEU, 2004), na “performatividade”
(BALL, 2005a; 2005b); na cultura da “performatividade” (SANTOS, 2004; NOSELA;
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
4
BUFFA; LEAL, 2010) e o culpado pelo baixo desempenho dos alunos nas avaliações é
o professor.
Podemos perceber que a performatividade é alcançada mediante a construção de
informações e de indicadores, além de “outras realizações e materiais institucionais de
caráter promocional, como mecanismos para estimular, julgar e comparar profissionais
em termos de resultados; a tendência para nomear, diferenciar e classificar” (BALL,
2005a, p. 544).
No caso particular da educação, tais resultados acabam funcionando como
medida de produtividade, enfatizando-se, por parte dos sistemas de avaliação
governamentais, os aspectos negativos, relacionando-os apenas à atuação, ao trabalho e
à formação dos professores.
No Brasil, a década de 1990, sobretudo a partir do governo do presidente
Fernando Henrique Cardoso (1995-2002), foi marcada pela ampliação do interesse pela
avaliação externa das escolas e pela instituição de medidas/iniciativas de avaliação. O
governo Luiz Inácio Lula da Silva (2003-2010) aprimora e consolida essas iniciativas.
Isso se deu mediante, dentre outros, a instituição da Prova Brasil e o lançamento do
PDE que, ao criar o Plano de Metas Compromisso Todos pela Educação, Decreto n.°
6.094, de 24 de abril de 2007, instituiu o IDEB e a necessidade de elaboração do Plano
de Ações Articuladas (PAR), que objetivam materializar a avaliação como instrumento
de gestão.
Segundo Alves e Silva (2009), o PDE (BRASIL, 2007) mantém a ênfase nos
processos de avaliação externa e a crença de que esse é o mecanismo mais adequado
para aferir e promover a qualidade da educação no país. Além disso, conserva a lógica
da indução de políticas mediante a concessão de financiamento.
A avaliação paranaense: SAEB
Em 2007, tem-se a criação de índices para representar a qualidade de ensino. Em
nível nacional, o Instituto Nacional de Estados e Pesquisas Educacionais Anísio
Teixeira (INEP) criou o IDEB e, a nível estadual, foi criado pela Secretaria Estadual de
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
5
Educação do Estado do Paraná, o Sistema de Avaliação da Educação Básica do Paraná
(SAEP) em 2012.
No Paraná, no governo de Beto Richa, percebemos que essa promoção da
qualidade da educação está sendo aferida além da Prova Brasil, também pela prova do
SAEP elaborada com base nas diretrizes educacionais do Estado que avalia o
desempenho dos alunos em Língua Portuguesa e Matemática.
Os resultados fornecem um diagnóstico da realidade da educação do Estado, do
Núcleo Regional, do Município, da Escola, e ainda de cada turma e aluno avaliado.
Segundo Flávio Arns (2013), “com estes resultados, os professores terão condições de
identificar os conteúdos que necessitam de um trabalho diferenciado em sala de aula,
independente do ano escolar em que atuam”.
A Secretaria de Estado da Educação disponibilizou no dia 17/05/2013 às escolas
estaduais os resultados da primeira aplicação do Sistema de Avaliação da Educação
Básica do Paraná (SAEP), feita em novembro passado, no qual a escola pesquisada
ficou com o padrão de desempenho abaixo do básico tanto em Língua Portuguesa e
Matemática.
De acordo com o site do dia a dia educação
http://www.educadores.diaadia.pr.gov.br/modules/noticias/article.php?storyid=1775&tit
=Escolas-estaduais-terao-acesso-a-resultados-do-SAEP), acessado em 24 de maio de
2013, por ano, serão aplicadas duas provas SAEP, uma no começo e outra no fim do
ano letivo. Da primeira avaliação, em novembro passado, participaram 200 mil
estudantes do 9º ano do ensino fundamental e do 3º ano do ensino médio. Em março foi
aplicada a segunda avaliação para 300 mil alunos do 6º ano do ensino fundamental
(antiga 5ª série) e do 1º ano do ensino médio.
Podemos perceber claramente a intenção por parte do governo do Paraná de
despersonalizar a avaliação das políticas públicas a nível federal, em detrimento a da
particular do Estado, tornando-a extremamente refratária à subjetividade do avaliador
que está no chão da escola. Essa forma de avaliar conduz ao que Shiroma (2008) chama
de fetichização dos resultados, fruto de um modelo de gestão pública, que valoriza a
mensuração de resultados com a finalidade de incentivar o desempenho, através de
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
6
prêmios ou sanções e impulsionar o accountabilitty. A esse respeito, Shiroma (2008)
ainda avalia que:
Essa estratégia de avaliar os resultados, a ponta final, de forma aparentemente distante, por meio dos dados registrados em relatórios, opera profundas reestruturações da pré-escola à pós-graduação. Competição, concorrência, disputas, hierarquização, são efeitos da implantação de um modelo dessa avaliação que produz rankings. A transparência e prestação de contas sobre o uso de recursos públicos são defensáveis, entretanto o espírito da accountability que se inculca, a comparação de resultados para premiar quem “fez mais com menos” é muito preocupante e pode acarretar prejuízos irreversíveis à educação pública (p. 14).
Esses resultados, tanto do IDEB quanto do SAEP refletem nos planos de Ação
tanto da escola quanto da SEED do Paraná, que contempla o atendimento para escolas e
estudantes, com encontros de formação técnica e pedagógica, bem como a
implementação de tecnologias educacionais.
A Superintendente da Educação, Eliane Rocha, aposta em resultados melhores
devido às ações que estão acontecendo desde o inicio do ano letivo de 2013.
“Começamos o ano com várias ações diferenciadas. São medidas desde educação
integral e valorização profissional que certamente vão refletir na qualidade da aula e no
aprendizado do estudante”.
Dentre essas ações destacamos: a ampliação da hora-atividade aumentada de
quatro para cinco aulas semanais e em agosto serão seis horas-atividade. Isso significa
que das 20 horas-aula semanais, os professores passarão a contar com o tempo de seis
horas-aula exclusivo para planejamento de trabalho, prestar atendimento aos familiares,
pesquisa, formação e outras atividades que contribuam para a melhoria da prática
pedagógica e nos resultados da aprendizagem do estudante, também a autonomia das
escolas para prepararem a semana pedagógica de julho. Também a Secretaria aumentou
para o ano letivo de 2013 a carga horária de Língua Portuguesa e de Matemática. A
mudança que unificou a matriz curricular nas escolas estaduais garante cinco aulas
semanais para cada disciplina, no ensino fundamental.
O resultado do SAEP mostra as dificuldades de cada aluno, em cada uma das
disciplinas. As duas situações sinalizam os conteúdos que os professores devem focar
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
7
em sala de aula. Isso nos faz recordar a reformulação da matriz curricular em 2012 no
Ensino Médio, deslocada do debate de currículo construído pelo coletivo de educadores
juntamente com a APP Sindicato. Essa matriz curricular tem o mérito de ampliação da
carga horária, mas, ao mesmo tempo, interfere significamente na consolidação de
algumas disciplinas como produção textual e Tópicos da matemática.
Diante desses resultados, a SEED propôs em 2013 o estudo nas formações
continuadas de fevereiro e julho o estudo dos indicadores do IDEB dentro da escola e a
implementação no coletivo para a melhoria da qualidade.
Desafios na escola pesquisada
A escola pesquisada fica situada num bairro de periferia do município de
Sarandi. Atende 1.533 alunos, distribuídos em dezessete salas nos períodos matutino,
vespertino e noturno. Conta com 33 (trinta e três) turmas de Ensino Fundamental e 16
turmas de Ensino Médio por blocos nos três turnos. Atende ainda duas salas de apoio e
uma sala de recurso multifuncional, uma sala de curso profissionalizante de secretariado
e oferece o Celem de Espanhol à comunidade.
Apesar de atender uma grande parcela de alunos, a escola necessita de uma
ampliação urgente, pois possui um pátio pequeno para a quantidade de alunos, não tem
quadra de esporte, utiliza a da prefeitura como empréstimo.
A escola conta com uma gestora, um gestor adjunto, dez professoras pedagogas,
uma secretária, dezenove agentes educacionais I e quinze agentes educacionais II, uma
bibliotecária, duas cozinheiras e oitenta e dois professores, sendo setenta professores
QPM, concursados e doze PSS.
A pesquisa demonstra que a comunidade escolar é formada por pais
trabalhadores, assalariados, onde temos um número significativo de pais que recebem
até 3 salários, apesar de terem uma renda média considerada baixa, há um percentual
grande de famílias com casa própria, predominando ainda a família constituída de pai,
mãe e filhos.
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
8
Ao entorno do Colégio pesquisado, há três escolas municipais com IDEB entre
5,0 a 5,6, nos quais os alunos farão parte do quadro de discentes do Colégio quando
terminarem o Ensino Fundamental- fase inicial e adentrarem ao 6º ano.
Na escola pesquisada, a apreciação dos dados coletados mediante o estudo de
caso teve como referência as iniciativas na melhoria da qualidade, entendida pelo
coletivo como melhoria do índice do IDEB e SAEP foi relacionar o desempenho e o
fluxo escolar dos alunos (promoção, evasão e repetência) através de medidas tomadas
em grupo quanto à duas dimensões: organização do trabalho pedagógico e a formação
continuada dos docentes.
Em relação à primeira dimensão, a escola pesquisada adota um calendário
definido no início do ano, em que consta os dias letivos, feriados, reuniões bimestrais
para planejamento, reuniões pedagógicas, semanas pedagógicas, formação em ação,
conselhos de classes, entre outros.
A observação foi desenvolvida durante as semanas pedagógicas, reuniões
bimestrais, conselhos de classe, e reuniões que a gestora convidava para tratar sobre os
órgãos colegiados da escola.
De acordo com as observações e entrevistas com os professores e gestores, a
instituição realizou um trabalho em fevereiro e irá continuar em julho de 2013,
considerando a necessidade de melhorar o trabalho desenvolvido na escola e possibilitar
a elevação do IDEB, que no ano de 2011 foi um dos mais baixos do município.
Os depoimentos revelam que essa semana pedagógica trouxe preocupação aos
docentes e agentes da escola, já que muitos desconheciam a nota do IDEB das três
escolas municipais próximas ao colégio e SAEB. Além disso, as pedagogas mostraram
gráficos do rendimento escolar em relação a aprovação, retenção, alunos aprovados por
conselho de classe e disciplinas que mais reprovam.
Nas entrevistas, percebemos a preocupação maior em relação àqueles
professores que tem uma formação mais voltada à didática e que trabalharam com o
Ensino Fundamental fase inicial, que perceberam o decréscimo desses alunos quando
chegam a fase final do Ensino Fundamental.
Os professores PSS nas reuniões não mostraram muito apreensivos, já que
alguns não foram aprovados no Concurso do Estado. Alguns docentes efetivos e com
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
9
mais tempo de magistério apontaram a defasagem culpabilizando os alunos pelo
desinteresse pessoal em relação à aprendizagem. E quase todos chegaram a conclusão
que se deveria promover simulados como os da Prova Brasil aos alunos dos 6º, 9º e 3º
anos para se elevar o índice do IDEB de 2013.
Os gestores e a equipe pedagógica diante dos resultados, apontaram o
desinteresse de alguns docentes em participar de cursos de formação continuada
ofertados pelas SEED, como a HA interativa, formação em ação, GTR, Simpósios e
mestrados. Somente participam de formação continuada próximo quando necessitam de
elevação de nível. Essa afirmação causou um constrangimento e muita discussão por
parte dos educadores, que culparam o descaso do governo com os professores e
funcionários, já que reivindicam 33% de hora-atividade, mudança no Plano de Carreira,
um novo modelo de atendimento à saúde, a implantação do índice do reajuste do Piso
Nacional de 2013, o cumprimento da data-base e a garantia de debate para a alteração
das matrizes curriculares do ensino fundamental e médio.
Quase todos afirmaram a importância da formação continuada e propuseram
estudos nas reuniões pedagógicas e nas horas atividades sobre o tema: “Avaliação no
processo de ensino e aprendizagem”, o que facilitou segundo os pesquisados na
utilização dos instrumentos de avaliação adequados para cada situação de
aprendizagem, já que as turmas são heterogêneas.
A partir dessa reunião, constatamos nas observações que os alunos que
apresentaram dificuldades de assimilação participaram das aulas no contra-turno nas
salas de apoio de matemática e de Língua Portuguesa e também da sala de recurso
multifuncional da escola.
Constatamos também o esforço da equipe pedagógica com relação à participação
dos pais no acompanhamento da vida acadêmica dos filhos através de bilhetes para
enviar os filhos para as aulas de reforço. Os pais que não compareceram, foi enviada
uma carta informativa falando do que foi tratado na reunião a respeito da situação
escolar dos seus filhos, pedindo que os mesmos comparecessem na escola para
conversar com os professores, coordenação pedagógica e Orientação Educacional sobre
o desenvolvimento escolar e as dificuldades que os mesmos estavam encontrando na
realização das atividades.
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
10
Nas reuniões pedagógicas, como ações para aumentar o índice do IDEB e
SAEB, adotou-se o simulado abordando todas as disciplinas curriculares, não ficando
preso aos moldes da Prova Brasil, pois entende que é função da educação: transmitir o
saber historicamente acumulado e desenvolver uma consciência crítica da realidade
(PARO, 1986).
Com referência aos resultados da pesquisa interventiva, tem-se ainda a
considerar o que as escolas podem fazer para a melhoria da qualidade do ensino e quase
todos os pesquisados foram unânimes em afirmar que é preciso investir na formação dos
profissionais da educação, seja em cursos na própria escola ou em cursos ofertados pela
SEED.
Considerações finais
As políticas educacionais implantadas no Brasil na última década do século XX,
dentre elas, a implantação e ampliação dos exames nacionais de avaliação,
principalmente, na educação básica vem ocasionando grande impacto na organização
escolar e na formação continuada do docente.
Os depoimentos expostos nesse trabalho evidenciam que, na escola investigada,
após a divulgação dos resultados do IDEB há uma grande preocupação dos profissionais
da escola em relação à necessidade da elevação do índice. Essa preocupação é reforçada
pela atuação da SEED do Paraná com a formação continuada dos profissionais da
educação que termina por desviar a preocupação com a qualidade do processo educativo
para os resultados quantitativos.
A formação docente não pode ser tomada como única justificativa para o baixo
desempenho dos alunos nas avaliações externas e internas. Focar apenas o nível de
formação é reduzir o entendimento sobre todo o contexto pedagógico que envolve o
cotidiano escolar.
Observa-se, também que a preocupação com a melhoria do IDEB reduz-se à
preparação dos alunos para a realização da Prova Brasil em nível nacional e da prova do
SAEP que vem consistindo, prioritariamente pelo treinamento dos alunos. Desse modo,
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
11
a formação do aluno está ameaçada de limitar-se aos conteúdos e habilidades exigidos
nessa prova.
Um ensino de qualidade, tão almejado pelas políticas públicas, é um direito dos
cidadãos brasileiros. Entretanto, parece-nos que a tendência e de responsabilizar
professores e alunos pela sua não aprendizagem ou pelo despreparo profissional. Faz-se
necessário, termos um olhar atento para os desdobramentos das avalições em larga
escala que podem inviabilizar até mesmo a perspectiva de um compromisso com a
aprendizagem de todos os que ingressam na escola.
REFERÊNCIAS
ADRIÃO, Theresa. GARCIA, Teise. Oferta educativa e responsabilização no PDE: O Plano de Ações Articuladas. Cadernos de Pesquisa, v. 38, n. 135, p. 779-796, set./ dez. 2008. ALVES, Miriam Fábia. SILVA, Andréia Ferreira da. Análise do PNE e do PDE: continuidades e rupturas? In: DOURADO, Luiz Fernandes (Org.). Políticas de gestão da educação no Brasil: novos marcos regulatórios. São Paulo: Xamã, 2009, p. 101-118. ASSUNÇÃO, Ada Ávila. OLIVEIRA, Dalila Andrade. Intensificação do trabalho e saúde dos professores. Educação & Sociedade, Campinas, v. 30, n. 107, p. 349- 372, maio/ago. 2009. Disponível em: <http://www.scielo.br/pdf/es/v30n107/03pdf> Acesso em: 20 maio 2013 BRASI, Presidência da República. Decreto n.° 6.094, de 24 de abril de 2007. Dispõe sobre o Plano de Metas Compromisso Todos pela Educação. Brasília, DF, 2007ª Disponível em: <http://www.fnde.gov.br/index.php/par-legislação>. Acesso em: 14 ago. 2010. LESSARD, C; MEIRIEU, P. (coord.). L’obligation de resultats en éducacion. Quebec, Canadá: Université Laval, 2004. LUDKE, M.; MEDA, A. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986. MAUÉS, O. C. Regulação Educacional, Formação e Trabalho Docente. Estudos em Avaliação Educacional. São Paulo, n. 44, p. 473-492, set./dez. 2009. NOSELLA, P.; BUFFA, E.; LEAL, L.L.L. Cultura do desempenho. In: OLIVEIRA, D. A.; DUARTE, A.C.; VIEIRA, L. M. F. Dicionário: trabalho, profissão e condição docente. Belo Horizonte: UFMG/Faculdade de Educação, 2010. 1 CD-ROM.
Universidade Estadual de Maringá 12 a 14 de Junho de 2013
12
OLIVEIRA, D.A. Mudanças na organização e na gestão do trabalho na escola. In: OLIVEIRA, D.A.; ROSAR, M.F.F. Política e Gestão da Educação. Belo Horizonte: Autêntica, 2002. OLIVEIRA, D.A. As reformas educacionais e suas repercussões sobre o trabalho docente. In: OLIVEIRA, D.A. Reformas Educacionais na América Latina e os Trabalhadores Docentes. Belo Horizonte: Autêntica, 2003. PARO, V. H. Administração Escolar: introdução crítica. São Paulo: Cortez/Autores
Associados, 1986.
SHIROMA, E, ETalli. Indicadores de Qualidade: o fetiche da gestão por resultados. In: Anais VII Seminário de Pesquisa em Educação da Região Sul (ANPEDE-SUL). “Pesquisa em educação e inserção social” (CD-ROM), 22 a 25 de julho de 2008, Itajaí/SC, UNIVALI: Santa Catarina, 2008.