avaliaÇÃo de larga escala em educaÇÃo: desafios e possibilidades módulo i – 1º encontro –...

42510011 0010 1010 1101 0001 0100 1011

AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:

DESAFIOS E POSSIBILIDADES

Módulo I – 1º Encontro – 14/08/2010

4251

0011 0010 1010 1101 0001 0100 1011

1º MOMENTO: APRESENTAÇÃO DO CURSO

OBJETIVOS DO CURSO

• Conhecer os fundamentos teóricos e metodológicos que norteiam a avaliação de larga escala (externa) na Rede Municipal de São Paulo;

• Favorecer processos de leitura e de interpretação dos resultados da Prova São Paulo e da Prova da Cidade;

• Estimular possíveis intervenções pedagógicas.

4251

0011 0010 1010 1101 0001 0100 1011

CRONOGRAMA

Encontros do Módulo I:• 14/08/2010 – das 9h às 12h e das 13h às 16h• 28/08/2010 – das 9h às 12h e das 13h às 16h• 11/09/2010 – das 9h às 12h e das 13h às 16hEncontros do Módulo II:• 18/09/2010 – das 9h às 12h e das 13h às 16h• 23/10/2010 – das 9h às 12h e das 13h às 16h• 06/11/2010 – das 9h às 12h e das 13h às 16h

4251

0011 0010 1010 1101 0001 0100 1011

HORÁRIOS DO MÓDULO 1

DATA 14/08/2010 28/08/2010 11/09/2010

TURNO Manhã Tarde Manhã Tarde Manhã Tarde

HORÁRIO 9h às 12h 13h às 16h 9h às 12h 13h às 16h 9h às 12h 13h às 16h

Grupo 1 Avaliação externa

Avaliação externa

Matrizes Matrizes TRI TRI

Grupo 2 TRI TRI Avaliação externa

Avaliação externa

Matrizes Matrizes

Grupo 3 Matrizes Matrizes TRI TRI Avaliação externa

Avaliação externa

4251

0011 0010 1010 1101 0001 0100 1011

AVALIAÇÃO DO PARTICIPANTE

Conceito mínimo para aprovação no Curso: Satisfatório

Frequência mínima exigida no curso: 85%

O conceito Satisfatório está vinculado ao cumprimento da frequência mínima e à realização e entrega de todos os trabalhos solicitados nos encontros, incluindo a elaboração de itens de múltipla escolha e de resposta construída, de acordo com os critérios discutidos.

• Farão jus ao certificado aqueles que obtiverem frequência e conceito mínimos.

4251

0011 0010 1010 1101 0001 0100 1011

OBJETIVOS

Planejar, elaborar, executar, analisar e divulgar as Avaliações Externas propostas pela SME;

• Favorecer a interpretação dos resultados;• Orientar a utilização dos resultados para tomadas de

decisão; • Realizar cursos de formação sobre avaliação;• Elaborar Relatórios Pedagógicos sobre as

Avaliações Externas.

O NÚCLEO DE AVALIAÇÃO EDUCACIONAL – SME/ATP

4251

0011 0010 1010 1101 0001 0100 1011

FORMADORES

AVALIAÇÃO EXTERNAAilton Carlos SantosRosana Aparecida Argento

TRIÉrica Maria Toledo CatalaniFernando Gonsales

Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados Claudio MarojaMarcela Cristina Evaristo

4251

0011 0010 1010 1101 0001 0100 1011

PAUTA1° MOMENTO: 30 min – 9h30 às 10hApresentação do CursoObjetivo: Apresentar os objetivos e o formato do curso, os formadores e as expectativas em relação ao processo.

2° MOMENTO: 30 min – 10h às 10h30minDinâmica de grupoObjetivo: Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação.

3° MOMENTO: 90 min – 10h30min às 12hSistematização de conceitosObjetivo:Definir o perfil de uma avaliação externa e em larga escala.Atividade 1- 10h30min às 11h15minAtividade 2- 11h15min às 12h

ALMOÇO – 12h às 13h

4251

0011 0010 1010 1101 0001 0100 1011

4° MOMENTO: 30 min – 13h às 13h30min Exposição Objetivo: Conhecer o processo histórico da avaliação externa e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP.

5° MOMENTO: 90 min – 13h30min às 15hLeitura e ReflexãoObjetivo: Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade educacional

6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro

7° MOMENTO: 30 min – 15h30min às 16hTarefaObjetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade.

4251

0011 0010 1010 1101 0001 0100 1011

Módulo I Tema: Avaliação externa e de larga

escalaOBJETIVOS

Refletir sobre o perfil da avaliação externa e de larga escala e da avaliação interna;

Entender as avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP;

Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar.

4251

0011 0010 1010 1101 0001 0100 1011

CONTEÚDOS

AVALIAÇÃO EXTERNA E DE LARGA ESCALA

CONCEITOSCARACTERÍSTICASCONTEXTO DE SURGIMENTO IMPLICAÇÕES NA QUALIDADE DO ENSINO E

PROJETO PEDAGÓGICO DA UNIDADE

4251

0011 0010 1010 1101 0001 0100 1011

2º MOMENTO: DINÂMICA

OBJETIVO

• Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação

4251

0011 0010 1010 1101 0001 0100 1011

O trecho a seguir é de uma carta de uma coordenadora pedagógica a outra. Leia-o para responder as questões a seguir.

"Alguns dos alunos da 8ª série que estão com notas vermelhas em História me procuraram para dizer que as provas são fogo! As perguntas exigem informações nem sempre trabalhadas em aula. Observando as atividades de sala, percebi que eram questionários com respostas transcritas do livro didático, exigindo a localização de informações - e não uma reflexão decorrente da análise ou comparação entre os fatos e os conceitos trabalhados. E as provas continham perguntas abertas que exigiam estabelecimento de relações entre fatos, conceitos e dados da realidade. Como o professor pretende que os alunos possam responder a tais questões se as habilidades necessárias para respondê-las não são trabalhadas regularmente? Esses acontecimentos têm me feito pensar: por que será que é tão difícil aceitar que os resultados obtidos por nossos alunos dependem, em boa parte, do trabalho que desenvolvemos em sala de aula?"

Trecho adaptado da publicação Cartas aos Professores Coordenadores Pedagógicos: Dilemas da Prática Cotidiana, São Paulo, SE/CENP, 1999.

4251

0011 0010 1010 1101 0001 0100 1011

3º MOMENTO: SISTEMATIZAÇÃOAtividade 1a) Identifique as concepções de avaliação presentes

no texto e comente-as. O professor aposta no desenvolvimento de

conteúdos(produto demonstrado pelo aluno em situações definidas pelo professor e materializado na nota), e o coordenador no de habilidades(preocupação com a apropriação do saber (aprendizagem). O primeiro focalizou o trabalho em uma habilidade que está mais relacionada ao acúmulo de informações.

O professor foca atividades transcritas do livro e não estimula a reflexão. (avaliação voltada para o controle de atividades , não necessariamente geradora de conhecimento)

4251

0011 0010 1010 1101 0001 0100 1011

O professor acredita que a aprendizagem de conteúdos vai garantir a aprendizagem de determinadas habilidades. A avaliação escolar deve servir para verificar o que o aluno aprendeu daquilo que foi ensinado.(avaliação como verificação)

• O que caracteriza melhor uma avaliação externa e em larga escala é o foco em habilidades que deveriam ter sido consolidadas ao longo da escolaridade.

4251

0011 0010 1010 1101 0001 0100 1011

b) O que norteou o planejamento da prova do professor?

O professor treinou uma habilidade mais relacionada à aquisição do conteúdo,menos complexa, e planejou a prova considerando habilidades mais complexas.

4251

0011 0010 1010 1101 0001 0100 1011

c) O que é possível avaliar em uma prova?

Habilidades cognitivas (competência + conteúdo) intermediados pela leitura e pela escrita. É importante compreender que a avaliação tem restrições. (procedimentos e atitudes não observáveis em provas escritas)

4251

0011 0010 1010 1101 0001 0100 1011

d) Como saber se uma prova é difícil ou fácil demais?

(C) A maioria dos alunos faz a prova no tempo estimado e acerta boa parte das questões.

• O grau de dificuldade e de desafio adequado está no equilíbrio entre habilidades, nível de dificuldade, número e extensão das questões relacionados ao tempo de realização da prova.

4251

0011 0010 1010 1101 0001 0100 1011

UMA BOA PROVA

• Está pautada em habilidades cognitivas.• Tem questões com grau de dificuldade e

desafios adequados à etapa de escolaridade.• Considera a relação entre a quantidade de

questões e o tempo de realização da prova.

PORTANTO... é preciso PLANEJAMENTO

4251

0011 0010 1010 1101 0001 0100 1011

Atividade 2CONCEPÇÕES DE AVALIAÇÃO

AVALIAÇÃO COMO EXAMES E PROVASAVALIAÇÃO COMO MEDIDAAVALIAÇÃO COMO INSTRUMENTO PARA

CLASSIFICAÇÃO E REGULAÇÃO DO DESEMPENHO DO ALUNO (SOMATIVA E FORMATIVA)

AVALIAÇÃO COMO INSTRUMENTO QUALITATIVO

4251

0011 0010 1010 1101 0001 0100 1011

4º MOMENTO - O contexto de surgimento das avaliações externas e em larga escala

OBJETIVO

Conhecer o processo histórico das avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP.

4251

0011 0010 1010 1101 0001 0100 1011

Segundo Menezes Filho (2007) no Brasil:• Dos anos 1970 até meados dos anos 1990,

aumentou o acesso dos alunos a escola.• Em 1990, ocorre a necessidade de

avaliações externas e em larga escala para acompanhar a evolução da qualidade do ensino – SAEB.

• Detectou-se que a qualidade do ensino oferecido na escola pública é muito baixa.

4251

0011 0010 1010 1101 0001 0100 1011

• PISA - O programa de avaliação começou em 2000 com o objetivo de fornecer aos países participantes indicadores educacionais que possam ser comparados internacionalmente.

• SAEB – Realizado a cada dois anos e avalia uma amostra representativa dos alunos regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino médio, de escolas públicas e privadas, localizadas em área urbana ou rural. A partir de 1995, muda a metodologia permitindo a comparabilidade entre os anos – utilização da TRI.

As avaliações externas e em larga escala

4251

0011 0010 1010 1101 0001 0100 1011

• Prova Brasil – Criada em 2005, avalia todos os alunos dos 4º e 8º anos do Ensino Fundamental, utiliza os mesmos parâmetros do SAEB.

• SARESP – Criado em 1996 para obter informações consistentes, periódicas e comparáveis ao longo do tempo, porém somente a partir da prova de 2008 adota a TRI.

4251

0011 0010 1010 1101 0001 0100 1011

• Prova São Paulo – Criada em 2007, para avaliar o sistema de ensino da Cidade de São Paulo e o desempenho dos alunos nas disciplinas de Matemática e de Língua Portuguesa, desde a sua primeira edição utiliza a metodologia da TRI.

• Prova da Cidade – Criada em 2009, instrumento pedagógico para professores e para gestores das escolas realizarem um diagnóstico do processo de aprendizagem do 1º semestre de cada ano letivo em que a prova se realiza e que possa fornecer subsídios para o replanejamento do 2º semestre sem finalidades classificatórias e sem pretensão de utilização de seus resultados para composição de índices ou indicadores de desenvolvimento educacional

4251

0011 0010 1010 1101 0001 0100 1011

5° MOMENTO: LEITURA E REFLEXÃO

Objetivo • Relacionar a avaliação externa e de larga

escala ao projeto pedagógico da unidade escolar.

Atividades• Realizar a leitura compartilhada do artigo

“Avaliação não é ameaça”, de Luis Carlos de Menezes

• Assistir ao vídeo “Zea”

4251

0011 0010 1010 1101 0001 0100 1011

A avaliação externa e em larga escala permite a classificação de habilidades cognitivas da escola e pode oferecer parâmetros novos (olhar distanciado), ao passo que a avaliação interna detém a dimensão processual e permite a análise mais abrangente das habilidades, tanto daquelas que podem ser avaliadas em provas quanto daquelas que não podem (atitudinais, procedimentais, conceituais).

Elas podem ser complementares ou não? Como?

4251

0011 0010 1010 1101 0001 0100 1011

• Devem ser complementares, porque a avaliação externa permite outro olhar e, como qualquer outra prova, não é um instrumento suficiente por si só para a apreensão da complexidade do processo de aprendizagem.

4251

0011 0010 1010 1101 0001 0100 1011

6° MOMENTO: AVALIAÇÃO DO ENCONTRO

• Elaborar, por grupo, até três perguntas sobre este encontro.

4251

0011 0010 1010 1101 0001 0100 1011

7° MOMENTO: TAREFA

Objetivo• Refletir sobre os tópicos estudados nesse encontro a

partir da análise das práticas avaliativas da unidade.

Atividade• Produzir um registro reflexivo sobre como os

resultados de uma avaliação externa e de larga escala podem ser utilizados para a melhoria do processo de ensino e de aprendizagem em sua escola, a partir da questão:

Como os resultados da avaliação interna e da Prova São Paulo estão contemplados nos planos de ensino e no projeto pedagógico da escola?

4251

0011 0010 1010 1101 0001 0100 1011

Bibliografia

CHUEIRI, M. S. F. Concepções sobre a Avaliação Escolar. Estudos em Avaliação Educacional. v. 19, nº 39, jan/abr. 2008. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1418/1418.pdf Acesso em 10/08/2010.

MENEZES, L. C. Avaliação não é ameaça. Revista Nova Escola. Disponível em: http://revistaescola.abril.com.br/planejamento-e-avaliacao/avaliacao/avaliacao-nao-ameaca-424491.shtml. Acesso em: 29/07/2010.

4251

0011 0010 1010 1101 0001 0100 1011

MENEZES FILHO, N. (São Paulo). Ibmec e Fea SP. Os determinantes do desempenho escolar do Brasil. Disponível em: http://74.125.155.132/scholar?q=cache:4CRbxpwgVWwJ:scholar.google.com/+. Acesso em: 04 ago. 2010.

PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de pesquisa, nº 119, p. 9-27, julho/2003. Disponível em: http://www.scielo.br/pdf/cp/n119/n119a01.pdf. Acesso em: 29/07/2010.

42510011 0010 1010 1101 0001 0100 1011


DESAFIOS E POSSIBILIDADESMódulo I – 1º Encontro – 14/08/2010

4251

0011 0010 1010 1101 0001 0100 1011

PAUTA

• 1° MOMENTO: Apresentação do CursoObjetivo: Apresentar os objetivos e o formato do curso, os

formadores e as expectativas em relação ao processo.

• 2° MOMENTO: ProblematizaçãoObjetivo: Identificar e analisar competências e habilidades

cognitivas e sua importância no processo de ensino e de aprendizagem.

• 3° MOMENTO: SistematizaçãoObjetivo: Consolidar as noções de competências e habilidades

estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar.

• 4° MOMENTO: DesafiosObjetivo: Diferenciar matriz de avaliação de matriz curricular.

• ALMOÇO

4251

0011 0010 1010 1101 0001 0100 1011

• 5° MOMENTO: ExplanaçãoObjetivo: Conhecer a escala de proficiência (Anexo 3) e sua

importância na avaliação, na interpretação e na análise dos resultados.

• 6° MOMENTO: Oficina Objetivo: Reconhecer a importância da análise pedagógica dos

resultados a partir da escala de proficiência.

• 7° MOMENTO: Avaliação do encontro

• 8° MOMENTO: TarefaObjetivo: Refletir sobre os tópicos estudados nesse encontro a

partir da análise das práticas avaliativas da unidade.

4251

0011 0010 1010 1101 0001 0100 1011

Módulo I Tema: Matriz de Avaliação e Matriz Curricular,

Escala de Proficiência e Análise Pedagógica de resultados

OBJETIVOS

• Conhecer as concepções de competências e habilidades que norteiam a avaliação externa e em larga escala na Rede Municipal;

• Compreender a noção de matriz curricular e de matriz de avaliação;

4251

0011 0010 1010 1101 0001 0100 1011

OBJETIVOS

• Utilizar a escala de proficiência como referência para interpretação dos resultados da avaliação externa e de larga escala;

• Reconhecer a importância da interpretação e da análise dos resultados da avaliação externa e de larga escala para intervenções pedagógicas.

4251

0011 0010 1010 1101 0001 0100 1011

CONTEÚDOS

• Competências e habilidades cognitivas;

• Matriz de Referência para a Avaliação do Rendimento Escolar;

• Escala de proficiência;

• Análise pedagógica de resultados.

4251

0011 0010 1010 1101 0001 0100 1011

2° MOMENTO: Problematização

OBJETIVOS

Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem.

4251

0011 0010 1010 1101 0001 0100 1011

Atividade A

Ler o texto “Introdução” (O problema de Roberto), de Raths (1977), para responder as questões propostas a seguir:

a) Quais são os problemas apresentados nas respostas dadas pelo aluno Roberto?

b) Como é que você poderia começar a mostrar a Roberto que as situações que ele via como semelhantes na realidade não tinham relação entre si?

4251

0011 0010 1010 1101 0001 0100 1011

RESPOSTAS

• Roberto não era capaz de aplicar princípios de lógica em seu trabalho escolar. Não tinha experiência de pensamento. (RATHS: 1977, 55).

• Se tivesse feito muitos exercícios que exigissem comparação, talvez fosse capaz de ver as diferenças entre norte e sul dos Estados Unidos e norte e sul da África. Se tivesse tido muitas experiências em que precisasse sugerir hipóteses, talvez tivesse outras razões para explicar por que a pia estava entupida. Se tivesse mais habilidade para observar e classificar, talvez pudesse ter compreendido a relação entre carne e protozoários, a relação entre dinossauros, lagartos e répteis. (RATHS: 1977, 55).

4251

0011 0010 1010 1101 0001 0100 1011

Atividade B

Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar.

• Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento.

• Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto?

4251

0011 0010 1010 1101 0001 0100 1011

• Professor B – Acredita que, quando realiza um trabalho eficiente para ensinar determinada habilidade, a maior capacidade para pensar ocorre mais ou menos simultaneamente, à medida que a criança aprende a habilidade ensinada.

• Questionamento de Raths: Se o bom ensino nas várias disciplinas aumenta automaticamente a capacidade para pensar, o que terá ocorrido com esse menino e com outros na mesma situação?

4251

0011 0010 1010 1101 0001 0100 1011

• Professor C – Acredita que, durante o ensino, surgem alguns momentos em que se promove o pensamento. Usualmente, tais momentos não são planejados.

• Questionamento de Raths: Episódios não planejados de ensino, por mais eficientes e inspirados que sejam, podem ser considerados adequados para o desenvolvimento de habilidades?

• Professor D – Acredita que as habilidades para pensar se desenvolvem na criança apenas porque são humanas e, por isso, o professor não precisa se preocupar com a focalização do currículo no pensamento (do pensamento no currículo).

• Questionamento de Raths: Será que esse professor pode explicar a imaturidade de pensamento de Roberto?

4251

0011 0010 1010 1101 0001 0100 1011

3° MOMENTO: Sistematização

Objetivo

Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar

4251

0011 0010 1010 1101 0001 0100 1011

Sistematização

• Percebe-se que operações de pensamento estão relacionadas às competências cognitivas, como: identificar, observar, comparar, classificar, levantar hipóteses, relacionar, interpretar, inferir, resumir, entre outras.

4251

0011 0010 1010 1101 0001 0100 1011

• Competências cognitivas – conjunto de ações e operações mentais que o sujeito utiliza para estabelecer relações (pensamento).

• As habilidades cognitivas traduzem as associações entre conteúdos e competências e funcionam como indicadores ou descritores do que o aluno deve demonstrar como desempenho, além de possibilitar que se verifique se houve de fato aprendizagem e em que grau (nível) de complexidade ela ocorreu.

4251

0011 0010 1010 1101 0001 0100 1011

• Mayer e Salovey (apud PRIMI: 2001) fazem uma distinção importante entre habilidade (referindo-se a ela como aptidão) e competência.

Os autores argumentam que a habilidade representa o potencial que se expressa, concretamente, em realizações ou desempenhos, envolvendo a apresentação de respostas corretas para problemas e conhecimento de determinado conteúdo.

A competência, nesta concepção, indicaria um nível padronizado de realização, o que implicaria em dizer que a realização atingiu um determinado nível. Esta distinção relaciona os conceitos: habilidade, conteúdo e nível de realização.

4251

0011 0010 1010 1101 0001 0100 1011

A habilidade, no sentido utilizado por Carroll (apud PRIMI: 2001), pressupõe a idéia de potencial de realização, ou seja, a existência de uma relativa facilidade em lidar com informações e com problemas de uma determinada classe ou conteúdo. O investimento deste potencial em experiências de aprendizagem pode conduzir à maestria, que envolve um conhecimento organizado sobre um determinado tema.

4251

0011 0010 1010 1101 0001 0100 1011

4° MOMENTO: Desafios

OBJETIVO

• Diferenciar matriz de avaliação de matriz curricular

4251

0011 0010 1010 1101 0001 0100 1011

4° MOMENTO: Desafios

• Atividade

Propor que cada grupo solucione os desafios seguintes, criando diferentes propostas:

1. Que tarefa cognitiva o aluno deve realizar para responder o item?

2. A qual conteúdo essa tarefa está relacionada?

4251

0011 0010 1010 1101 0001 0100 1011

EXEMPLO DE ITENS DE MATEMÁTICA – ANEXO 2

QUAL A DIFERENÇA ENTRE O NÚMERO DO SALGADO MAIS VENDIDO E O NÚMERO DO MENOS VENDIDO?A) 350.B) 500.C) 850.D) 6 050.

TAREFA COGNITIVA: LER E INTERPRETAR DADOS EM GRÁFICOSCONTEÚDO: GRÁFICO (REPRESENTAÇÃO NO PLANO CARTESIANO)COMPETÊNCIA: LER E INTERPRETAR

4251

0011 0010 1010 1101 0001 0100 1011

O RESULTADO DE 246 -129 É: A) 117.B) 127.C) 123.D) 163.

TAREFA COGNITIVA: CALCULAR O RESULTADO DA SUBTRAÇÃOCONTEÚDO: SUBTRAÇÃOCOMPETÊNCIA: CALCULAR

4251

0011 0010 1010 1101 0001 0100 1011

Leia o texto e responda à questão.

Meu cardápio

Café da manhãLeite e pão com manteiga.AlmoçoFeijão, arroz, carne e batata.JantarSopa e cachorro quente.

O texto éA) um anúncio. B) uma carta.C) uma lista.

EXEMPLO DE ITENS DE LÍNGUA PORTUGUESA – ANEXO 2

4251

0011 0010 1010 1101 0001 0100 1011

TAREFA COGNITIVA: Classificar os gêneros textuais, considerando aspectos de sua diagramação, gráficos e textuais.CONTEÚDO: COMPOSIÇÃO DOS GÊNEROS TEXTUAISCOMPETÊNCIA: CLASSIFICAR

4251

0011 0010 1010 1101 0001 0100 1011

Leia o texto e responda à questão.

AVIÃOZINHO

Esse texto serve para

A) convidar as crianças para um passeio.B) dar instruções para fazer um brinquedo.C) estimular a compra de um brinquedo.D) informar sobre os meios de transporte.

TAREFA COGNITIVA: Reconhecer a finalidade dos gêneros textuais das diferentes esferas de circulação.CONTEÚDO: finalidade dos gêneros textuaisCOMPETÊNCIA: reconhecer

4251

0011 0010 1010 1101 0001 0100 1011

• A Matriz Curricular direciona o currículo de uma instituição de ensino, leva em conta as concepções de ensino e de aprendizagem da área e apresenta objetivos, conteúdos, metodologias e processos de avaliação.

• A Matriz de Referência para Avaliação também leva em conta as concepções de ensino e aprendizagem da área, mas é composta apenas por um conjunto delimitado de competências e habilidades definidas em unidades denominadas “descritores” que, na disciplina de Matemática, estão agrupadas por áreas temáticas, e, em Língua Portuguesa, por blocos de conteúdos.

4251

0011 0010 1010 1101 0001 0100 1011

• A Matriz Curricular é um documento prescritivo, que direciona o ensino, insere-se no Projeto Pedagógico da instituição e é construída coletivamente pela comunidade escolar, com base em orientações curriculares da área indicadas por órgãos oficiais.

• A Matriz de Referência de Avaliação é um documento descritivo, no geral, escrito por técnicos, que leva em consideração documentos curriculares oficiais. É um “recorte” de uma Matriz Curricular que não direciona o ensino, mas que delimita o que vai ser avaliado na prova a ser realizada em um programa de avaliação em larga escala (externa).

4251

0011 0010 1010 1101 0001 0100 1011

• A Matriz de Referência para Avaliação tem a finalidade de embasar itens de avaliação que usem contextos que possibilitem aos estudantes explorar, de modo significativo, conceitos, procedimentos e habilidades considerados básicos para o final de uma etapa da escolaridade do Ensino Fundamental.

• Uma limitação da Matriz de Referência para Avaliação ocorre no momento em que ela dá origem a itens em forma de teste de múltipla escolha. Nem sempre todos os conteúdos conceituais, procedimentais e atitudinais importantes de serem desenvolvidos pelos professores em sala de aula e apontados em Matrizes Curriculares podem ser abordados em forma de testes de múltipla escolha.

4251

0011 0010 1010 1101 0001 0100 1011

Matriz curricular e matriz de avaliação

Matriz Curricular

Proposição de expectativas de aprendizagem

Preocupação com a metodologia de trabalho didático

Definição de um campo de possibilidades de abordagem de conteúdos

Organização por eixos temáticos

Matriz de Avaliação

Proposição de parâmetros de avaliação

Preocupação com determinadas tarefas cognitivas

Definição de conteúdos a serem avaliados

Diálogo dos conteúdos com os eixos temáticos

4251

0011 0010 1010 1101 0001 0100 1011

• ALMOÇO

4251

0011 0010 1010 1101 0001 0100 1011

5° MOMENTO: Explanação

OBJETIVO

Conhecer a escala de proficiência e sua importância na avaliação, na interpretação e na análise dos resultados

4251

0011 0010 1010 1101 0001 0100 1011

ESCALA/NÍVEIS DE PROFICIÊNCIA

Abaixo do Básico

Básico Adequado Avançado

Não Satisfatório

2008

2009

100 125 150 175 200 225 ...

2007

0... 500

4251

0011 0010 1010 1101 0001 0100 1011

PROVA SÃO PAULO - EVOLUÇÃO DAS DESCRIÇÕES DAS PROFICIÊNCIAS

ESCALA SAEB

100 125 150 175 200 225 250 275 300 325 350 375

2007

2008

LP/MAT

2ºCI

4º CI

2º CII

4º CII

2009 100 115 125 135 150 165 175 185 190 200 210 215 225 240 250 265 275 290 300 325 350 375

LÍNGUA

PORT.

2º CI

3º CI

4º CI

1º CII

2º CII

3º CII

4º CII

100 115 125 135 150 165 175 185 190 200 210 215 225 240 250 265 275 290 300 325 350 375

MATEMÁTICA

2º CI

3º CI

4º CI

1º CII

2º CII

3º CII

4º CII

LEGENDA

Pontos Descritos

Não Satisfatório

Níveis Abaixo do básico Básico Adequado Avançado

4251

0011 0010 1010 1101 0001 0100 1011

NÍVEIS DE PROFICIÊNCIA

indicam um conjunto de habilidades correspondentes a um intervalo maior de pontos da escala de proficiência do SAEB;

recebem uma denominação que qualifica o conjunto de habilidades.

4251

0011 0010 1010 1101 0001 0100 1011

Os quatro níveis de proficiência

• Abaixo do básico – os alunos neste nível demonstram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram.

• Básico – os alunos neste nível demonstram desenvolvimento parcial dos conteúdos, competências e habilidades requeridas para o ano em que se encontram.

• Adequado – os alunos neste nível demonstram domínio dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram.

• Avançado – os alunos neste nível demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido no ano escolar em que se encontram.

4251

0011 0010 1010 1101 0001 0100 1011

Níveis de Proficiência Língua Portuguesa

Ano / Ciclo Abaixo do Básico Básico Adequado Avançado

2º ano Ciclo I <115 de 115 a < 150 de 150 a < 200 ≥200



1º ano Ciclo II <165 de 165 a < 215 de 215 a < 265 ≥265




4251

0011 0010 1010 1101 0001 0100 1011

Níveis de Proficiência Matemática

Ano / Ciclo Abaixo do Básico Básico Adequado Avançado

2º ano Ciclo I <125 de 125 a < 175 de 175 a < 225 ≥ 225

3º ano Ciclo I <150 de 150 a <200 de 200 a < 250 ≥ 250

4º ano Ciclo I <175 de 175 a < 225 de 225 a < 275 ≥ 275

1º ano Ciclo II <190 de 190 a < 240 de 240 a < 290 ≥ 290




4251

0011 0010 1010 1101 0001 0100 1011

6° MOMENTO: Oficina

OBJETIVO

Reconhecer a importância da análise

pedagógica dos resultados a partir da escala de

proficiência.

4251

0011 0010 1010 1101 0001 0100 1011

Atividade

• Identificar na escala o que deve ser trabalhado com o aluno a partir da sua proficiência.

4251

0011 0010 1010 1101 0001 0100 1011

7° MOMENTO: Tarefa

Atividade

• Selecionar e analisar o 3º item de Matemática e o 3º item de Língua Portuguesa (ANEXO 2), considerando:

tarefa cognitiva exigida; grau de dificuldade; ponto na escala de proficiência; nível de proficiência; uma possível intervenção pedagógica, levando em

conta a matriz curricular e a matriz de referência para avaliação.

4251

0011 0010 1010 1101 0001 0100 1011

8° MOMENTO: Avaliação do encontro

• Elaborar, por grupo, até três perguntas sobre este encontro.

4251

0011 0010 1010 1101 0001 0100 1011

Bibliografia

PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de Pesquisa, n. 119, p. 9-27. julho/2003. Disponível em: http://www.scielo.br/pdf/cp/n119/n119a01.pdf. Acesso em 10/08/2010.

PRIMI, R. et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia: teoria e pesquisa. Brasília, mai-ago 2001, vol. 17, nº 2, pp. 151-159.

RATHS, Louis E. et al. Ensinar a pensar: teoria e aplicação. 2ª ed. São Paulo: E.P.U., 1977.

São Paulo (SP). Secretaria Municipal de Educação. Matrizes de referência para avaliação do rendimento escolar/ Secretaria Municipal de Educação. São Paulo: SME, 2007.

-----------------------. Secretaria Municipal de Educação. Relatório de Análises Técnico-Pedagógicas. São Paulo: SME, 2009.

42510011 0010 1010 1101 0001 0100 1011


DESAFIOS E POSSIBILIDADESMódulo I – 1º Encontro – 14/08/2010

4251

0011 0010 1010 1101 0001 0100 1011

PAUTA1° MOMENTO: 30 min – 9h às 9h30minApresentação do Curso

2° MOMENTO: 60 min – 9h30min às 10h30minEstudo de caso

3° MOMENTO: 60 min – 10h30min às 11h30minEstudo de caso

4° MOMENTO: 30 min – 11h30min às 12h Sistematização de conceitos

5° MOMENTO: 90 min – 13h às 15hOficina

6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro

7° MOMENTO: 30 min – 15h30min às 16hTarefa

4251

0011 0010 1010 1101 0001 0100 1011

Tema: TEORIA DA RESPOSTA AO ITEM

OBJETIVOS• Compreender os limites da TCT e por que a

TRI é considerada um instrumento poderoso nos processos quantitativos da avaliação educacional em larga escala, embora seja um modelo matemático;

• Entender as informações obtidas com esses processos – escala de proficiência, item calibrado etc.

4251

0011 0010 1010 1101 0001 0100 1011

CONTEÚDOS

• Limites da Teoria Clássica dos Testes;• Teoria da Resposta ao Item;• Item calibrado;• Escala de proficiência.

Tema: TEORIA DA RESPOSTA AO ITEM

4251

0011 0010 1010 1101 0001 0100 1011

SÍNTESE DOS ESTUDOS DE CASO 1

• Comparar acertos nas provas com e sem peso:Davi=> Omar => Lia => Pedro =>

Igor => somente erra uma fácilNeide =>acerta fáceis e uma difícilJo=> acerta difíceis e erra fáceis

• O processo de avaliação envolve sempre um julgamento que pode ser dado por definição (conceitos) ou subentendido, quando conhecemos o valor inicial e final do intervalo;

• Como avaliamos conhecimentos, os resultados devem retratar os níveis de conhecimentos dos alunos, que se apresentam de forma hierárquica: escores/notas ou conceitos;

4251

0011 0010 1010 1101 0001 0100 1011

SÍNTESE DOS ESTUDOS DE CASO 2

• Quando valorizamos a qualidade do acerto, os alunos que acertam a questão difícil recebem notas diferentes,

• As mesmas questões recebem nível de dificuldade diferenciados nas turmas. Para poder comparar as duas turmas, a professora tem que montar uma única tabela, considerando cada questão fácil ou difícil, a partir das respostas das duas populações;

• Mostrar anexo 4;

• Ainda não permite identificar acertos e erros aleatórios.

• LEITURA COMPARTILHADA DO ANEXO 3

4251

0011 0010 1010 1101 0001 0100 1011

TEORIA DA RESPOSTA AO ITEM

• A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis) de um indivíduo com a probabilidade deste dar uma certa resposta a um item;

• O que pode ser um traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, Indicadores etc.;

• Item: questão (prova), pergunta (questionário sobre qualidade de vida);

4251

0011 0010 1010 1101 0001 0100 1011


A partir de um conjunto de itens (questionário, prova...) deseja-se:

– estimar os parâmetros dos itens (calibração)– “estimar” a habilidade, proficiência, grau de satisfação,

grau de maturidade...

Exemplos: prova de matemática para alunos de uma determinada turma, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico...) etc.

4251

0011 0010 1010 1101 0001 0100 1011


• A TRI considera que a proficiência do aluno é uma variável latente – são variáveis que não podem ser diretamente

observadas, mas inferidas através de outras variáveis que podem ser mensuradas;

• Coloca itens e pessoas na mesma escala de desempenho;– cada aluno só responde a um número razoável de

questões que não cobre todo o currículo previsto para a sua série

– diferentes cadernos de provas, organizados de acordo com o planejamento em blocos balanceados

– procedimentos que permitem uma abrangência significativa do currículo ensinado

4251

0011 0010 1010 1101 0001 0100 1011


• É um modelo estruturado para determinar escores que não dependam da dificuldade do teste para descrever a habilidade dos alunos:– a proficiência do aluno é independente dos itens

respondidos, apesar de ser estimada a partir dos itens respondidos;

– quanto maior o número de itens e mais diversificadas as suas tipologias, melhor a estimativa da proficiência;

– exige grande variabilidade de desempenhos para a estimativa das habilidades.

4251

0011 0010 1010 1101 0001 0100 1011

• Dependem do tipo de item• Item de múltipla escolha (corrigido como

certo/errado)– Logístico (unidimensional) com 1, 2 ou 3

parâmetros

)b(aiijijijie1

1)c1(c)|1U(P

Modelo Logístico de 3 parâmetros

4251

0011 0010 1010 1101 0001 0100 1011

a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: acerto casual (probabilidade)

Modelo Logístico de 3 parâmetrosCurva característica do item - CCI

0,0

0,2

0,4

0,6

0,8

1,0

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

habilidade (traço latente)

prob

abilid

ade

de re

spos

ta

corr

eta

b

a

c

iiiiiiii

4251

0011 0010 1010 1101 0001 0100 1011

Modelo Logístico de 3 parâmetros(a=2,5; b=1,2; c=0,2)

0

0,2

0,4

0,6

0,8

1

-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6

habilidade(traço latente)

pro

ba

bil

ida

de

P1 P0

4251

0011 0010 1010 1101 0001 0100 1011

Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI

Utiliza o total de pontos (brutos ou

padronizados) no teste.

Aplica métodos e técnicas da

Estatística Descritiva → trabalha

com proporções e coeficientes de

correlação para medir a qualidade

das questões/testes.

Estima a proficiência

(desempenho) dos alunos pela

probabilidade de acerto ao item.

Hipótese da TRI: existe uma

função de regressão não linear

que descreve a relação entre a

probabilidade de dar uma

resposta correta ao item e o nível

de habilidade do aluno.

4251

0011 0010 1010 1101 0001 0100 1011


Os resultados dependem do

conjunto de itens que compõe a

prova e das características dos

alunos.

Estima, entre outros, os seguintes

índices/parâmetros:

• percentual de acerto;

• índice de discriminação

(bisserial);

• percentual de acerto no item, dos

alunos de pior desempenho;

• percentual de acerto no item, dos

alunos de melhor desempenho.

Utiliza o Modelo Logístico de 3

parâmetros.

Estima, entre outros, os

seguintes índices/parâmetros:

• poder de discriminação do item;

• dificuldade de cada questão;

• probabilidade de acerto ao

acaso.

Permite a construção de uma

escala de proficiência.

4251

0011 0010 1010 1101 0001 0100 1011


Sua principal desvantagem no

caso de uma avaliação em larga

escala e periódica: Os dados

gerados por uma prova ou

conjunto de itens podem

variar quando aplicados a

outra população. Não permite

a comparação entre os

resultados de alunos que não

foram submetidos à mesma

prova/teste.

Sua principal vantagem no caso de

uma avaliação em larga escala e

periódica: Fornece resultados

independentes da amostra

utilizada e dos testes aplicados,

permitindo comparabilidade

entre anos e séries avaliadas.

Permite a comparação entre os

resultados de alunos submetidos

a outra prova/teste do mesmo

tipo.

4251

0011 0010 1010 1101 0001 0100 1011

Para cada questão é apresentada uma tabela:

PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS

• HABILIDADE: o item refere-se à habilidade de número 13 na matriz.

• NÍVEL: a questão em foco está no conjunto de itens da prova que definem o nível 300 de proficiência.

• GAB: gabarito da questão - alternativa correta.

HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE

13 300 B 0.27 0.34 0.12 0.46 0.37

A B C D c A B C D

0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

4251

0011 0010 1010 1101 0001 0100 1011


• DIFI: índice de dificuldade (facilidade) - definido pela porcentagem de alunos que acertaram a questão.

– Se este índice é maior que 0,70, o item é considerado fácil; se for menor que 0,30, um item difícil e, entre estes dois valores, uma questão de nível de dificuldade médio.


13 300 B 0.27 0.34 0.12 0.46 0.37

A B C D c A B C D

0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

4251

0011 0010 1010 1101 0001 0100 1011


• DISCR: índice de discriminação – mede se o item separou bem os alunos de melhores daqueles de piores desempenhos.

– Uma questão com índice de discriminação maior do que 0,25 separa bem estes grupos; é um bom item.


13 300 B 0.27 0.34 0.12 0.46 0.37

A B C D c A B C D

0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

4251

0011 0010 1010 1101 0001 0100 1011


• ABAI: indica o percentual de acerto no item dos alunos de pior desempenho.

• ACIM: indica o percentual de acerto no item, dos alunos de melhor desempenho.

• BISE: coeficiente bisserial entre o número de acertos na prova e o número de acertos no item. Para um item ser considerado bom, seu coeficiente bisserial deve ser maior do que 0,30.


13 300 B 0.27 0.34 0.12 0.46 0.37

A B C D c A B C D

0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

4251

0011 0010 1010 1101 0001 0100 1011


• c: índice de acerto casual: probabilidade de acerto ao acaso, que indica a chance de acerto do item ao acaso, sem o conhecimento e a construção da habilidade requerida (acerto pelo "chute").

• COEFICIENTES BISSERIAIS DAS ALTERNATIVAS: na alternativa correta, este coeficiente deve ser positivo, e, nos distratores, negativo.


13 300 B 0.27 0.34 0.12 0.46 0.37

A B C D c A B C D

0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

4251

0011 0010 1010 1101 0001 0100 1011

Escala Nacional de Proficiência – INEP/MEC

“Régua” (métrica) criada a partir dos resultados do SAEB

- Média 250 (rendimento médio dos alunos da 8ª Série em 1997);- Desvio padrão 50 – intervalos com metade do valor do desvio padrão;- Interpretação pedagógica da escala.

250

250225 275

4251

0011 0010 1010 1101 0001 0100 1011

TRI

itens alunos1

2

3

4

5

.

.

.

256

Mais fáceis

Mais difíceis

Menos proficientes

Mais proficientes

Rui

Ana

Ari

Nei

Bia

.

.

.

330mil

4251

0011 0010 1010 1101 0001 0100 1011

CALIBRAÇÃO DO ITEM

ITEM CALIBRADO

130

ITEM CALIBRADO

225

ITEM CALIBRADO

125

POSICIONAMENTO DO ITEM DE ACORDO COM ACERTO DOS

ALUNOS

4251

0011 0010 1010 1101 0001 0100 1011

6° MOMENTO: Avaliação do encontro

30 min – 15h às 15h30min

• Elaborar, em grupos de 5 pessoas, até três perguntas sobre este encontro.

4251

0011 0010 1010 1101 0001 0100 1011

7° MOMENTO: Tarefa 30 min – 15h30min às 16h

ObjetivoRefletir sobre os tópicos estudados neste

encontro, a partir da análise das práticas avaliativas da unidade.

AtividadeTrazer para o próximo encontro dois relatos

de prática de professores da unidade sobre como organizam os instrumentos de avaliação e categorizam os níveis de conhecimento dos alunos de turmas/classes diferentes (precisam ser diferentes no método).

4251

0011 0010 1010 1101 0001 0100 1011

Bibliografia

• ANDRADE, D. F; TAVARES, H. R.; VALLE, R. da C.Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, 2000. Disponível em: http://www.custosemedidas.ufsc.br/livroTRI.pdf. Acesso em: 02/08/2010.

• PASQUALI, L. e PRIMI, R. Fundamentos da Teoria da Resposta ao Item – TRI, Avaliação Psicológica, 2003, 2, pp.99-100.

• Esforço na resposta vale mais no ENEM. Jornal Zero Hora. RS. Disponível em: http://noticiasdarede.se.df.gov.br/2009/07/29/esforco-na-resposta-vale-mais-no-enem. Acesso em: 30/07/2010.

avaliaÇÃo de larga escala em educaÇÃo: desafios e possibilidades módulo i – 1º encontro –...

Documents