A AVALIAÇÃO EM MATEMÁTICA DO SAETHE
GLAUKER AMORIM
A AVALIAÇÃO EM MATEMÁTICA
REFLEXÕES SOBRE O DESENVOLVIMENTO
DA APRENDIZAGEM – E A ELABORAÇÃO DE PLANOS DE DIVULGAÇÃO E
INTERVENÇÃO
Prof. Glauker Amorim
Prof. Glauker Amorim
• Professor do Departamento de Matemática da
Universidade Federal de Juiz de Fora
Prof. Glauker Amorim
• Consultor Ad Hoc do INEP/MEC
• Pesquisador Associado do CAEd
Como vocês planejam orientar e o que pretendem sugerir aos diversos agentes para que possam colher melhores
resultados numa próxima avaliação do SETHE?
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
423,7
“Medir o conhecimento” em Matemática:
Teoria Clássica do Teste - TCT
Prof. Glauker Amorim
Prof. Glauker Amorim
Desempenho: Desempenho:
Teste 1 Teste 2
12 acertos em 20 questões 15 acertos em 20 questões
12/20 15/20
60% 75%
Prof. Glauker Amorim
Medir a temperatura corporal de uma pessoa
Prof. Glauker Amorim
Índice de dificuldade de um item - TCT
Ordenadas pelo desempenho no teste
36
16Índice de dificuldade do item = 16/36 = 0,444
Prof. Glauker Amorim
Capacidade de discriminação de um item - TCT
Ordenados pelo desempenho no teste
27% 27%
Percentual de pessoas desse grupo que acertaram o itemEx: 23% ou 0,23
Percentual de pessoas desse grupo que acertaram o itemEx: 85% ou 0,85
Índice de discriminação desse
item é: 0,85 – 0,23 = 0,62
Prof. Glauker Amorim
1. Resultados dependem do particular conjunto de questõesque compõem o teste e dos indivíduos que a fizeram, ou seja, asanálises e interpretações estão sempre associadas à prova comoum todo e ao grupo de indivíduos que participou do teste.
Problemas da Teoria Clássica do Teste (TCT)
2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas.
TRI
Prof. Glauker Amorim
Teoria da Resposta ao Item
Prof. Glauker Amorim
1. Muda o foco de análise do teste como um todo para a análise de cada item.
Teoria da Resposta ao Item
2. Conjunto de modelos matemáticos que relacionam um oumais traços latentes (não observáveis) de um indivíduo com aprobabilidade deste dar uma certa resposta a um item.
3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.
Prof. Glauker Amorim
4. A probabilidade de uma certa resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens.
5. Quanto maior a proficiência do respondente, maior aprobabilidade do respondente “acertar” o item (modeloacumulativo).
6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.
Prof. Glauker Amorim
Matriz de ReferênciaDescreve o objeto da avaliação.Ela é o referencial das competências e habilidades que se espera que os estudantes desenvolvam nas diversas áreas e etapas de ensino
CompetênciasSão determinadas pela capacidade de mobilizar uma série de recursos cognitivos em situações ou contextos diversos. É formada por um conjunto de habilidades
HabilidadesEstá ligada ao princípio da ação, ao saber fazer alguma coisa
ItemÉ uma questão calibrada estatisticamente e que avalia uma habilidade
ProficiênciaÉ uma síntese numérica do domínio apresentado pelo aluno em relação a determinada competência
Prof. Glauker Amorim
Diretrizes Curriculares
Estrutura de um item de múltipla escolha
Texto-base
Enunciado (ou comando)
Alternativas de resposta
Justificativas
Prof. Glauker Amorim
)b(ae1
1)c1(c)c,b,a,|1X(P
Parâmetros do item
Proficiência do avaliando
Variável dicotômicaProbabilidade de acertar o
item, dados a proficiência do avaliando
e os parâmetros
do item
Modelo TRI unidimensional a três parâmetros
Prof. Glauker Amorim
Prof. Glauker Amorim
Curva Característica do Item (CCI)
Curva de Informação do Item (CII)
Desenho Psicométrico do Teste
111001001⁞0100
Questão 2
Questão 1
Questão 3
Questão 5
Questão 4
Questão 7
Questão 6
Questão 9
Questão 8
Questão 42
Questão 43
Questão 44
Questão 45
⁞
Aluno 1 Aluno 2
110011010⁞0000
Aluno n
101111000⁞0101
⋱
⋯
Prof. Glauker Amorim
111001001⁞0100
110011010⁞0000
101111000⁞0101
⋱
Prof. Glauker Amorim
111001001⁞0100
110011010⁞0000
101111000⁞0101
⋱Matriz formada por:• 45 linhas• n colunas
Prof. Glauker Amorim
Prof. Glauker Amorim
a = ? b = ? c = ?
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
Item 1
Item 2
Item 3
Item 4
Item 5
Item 6
Item 7
Item 8
Item 9
Item 10
Item 11
Item 12Item 13
Item 19
Item 14
Item 18
Item 15
Item 17
Item 16
Item 20
Item 21
Item 22
Item 23
Item 24
Teste 1 Teste 2
780
75,0% 63,3%
Prof. Glauker Amorim
Prof. Glauker Amorim
300 400 500 600 700 800 900 1000200
Item 1
Item 17
Item 44
Item 19
Item 21
Item 5
Item 35
Item 33
Item 41
Item 7
Item 11
318 961
Prof. Glauker Amorim
ENEM 2011
Prof. Glauker Amorim
297
442145
ENEM 2011
Prof. Glauker Amorim
280
852
43
ENEM 2011
Prof. Glauker Amorim
395
501106
ENEM 2011
Prof. Glauker Amorim
322
957
ENEM 2011
Prof. Glauker Amorim
ENEM 2016
Prof. Glauker Amorim
Uso dos resultados da avaliação
O risco de se comparar médias:
Turma Notas
A 5 5 5 5 5 5 5 5 5 5
B 0 0 0 0 0 10 10 10 10 10
Turma Média
A 5
B 5
Turma Desvio padrão
A 0
B 5
Prof. Glauker Amorim
Prof. Glauker Amorim
Uso dos resultados da avaliação
Média de proficiência:
20
5
21
0
21
5
22
0
20
0
23
52
40
25
52
60
23
0
29
03
00
31
03
20
28
0
34
0
35
0
36
0
37
5
33
0
27
6
40
0
27
9,5
Prof. Glauker Amorim
Prof. Glauker Amorim
Uso dos resultados da avaliação
Desafio:
Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.
Prof. Glauker Amorim
82,780,377,178,1
64,267,8
46,7
66,1
49,6
56,2
62,668,5
23,9
35,9
72,8
48,750,9
60
50,154,5
64
86,3
38,1
D01 D04 D05 D06 D07 D09 D10 D11 D17 D19 D20 D23 D27 D31 D34 D35 D36 D38 D40 D41 D49 D50 D51
Matemática 8EF – Percentual de acerto por descritor
Prof. Glauker Amorim
Uso dos resultados da avaliação
Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste?
D27D27D27
Prof. Glauker Amorim
Uso dos resultados da avaliação
Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste?
D27D27D27
Prof. Glauker Amorim
Como reduzir o número de alunos nos padrões mais baixos?
Prof. Glauker Amorim
Uso dos resultados da avaliação
Prof. Glauker Amorim
Uso dos resultados da avaliação
Prof. Glauker Amorim
Uso dos resultados da avaliação
Prof. Glauker Amorim
Uso dos resultados da avaliação
Prof. Glauker Amorim
Prof. Glauker Amorim
157,5
Descritor: D01
Percentual de acerto: 96%
Prof. Glauker Amorim
Prof. Glauker Amorim
246,3
Descritor: D34Percentual de acerto: 57,9%
Prof. Glauker Amorim
261,25
Descritor: D40Percentual de acerto: 42%
Prof. Glauker Amorim
Prof. Glauker Amorim
279,8
Descritor: D35Percentual de acerto: 48%
Prof. Glauker Amorim
304,883
Descritor: D17Percentual de acerto: 30,6%
Prof. Glauker Amorim
Prof. Glauker Amorim
347,571
Descritor: D27
Percentual de acerto: 12,9%
Prof. Glauker Amorim
342,02
Descritor: D51Percentual de acerto: 34,3%
Prof. Glauker Amorim
437,33
Descritor: D20
Percentual de acerto: 31,6%
Prof. Glauker Amorim
Sentença descritora de um item
É uma frase que retrata o mais fielmente possível a tarefa proposta pelo item. É estruturada em quatro partes: • uma operação cognitiva, ou processo mental; • o objeto do conhecimento, ou tópico de conteúdo utilizado
pelo item; • o complemento do objeto do conhecimento onde se apresenta
as nuances do item em relação ao objeto do conhecimento; • o contexto ou situação, detalhando de que forma o item é
apresentado ao aluno.
Prof. Glauker Amorim
Sentença descritora: Calcular a medida da área de um círculo, a partir do comprimento de seu diâmetro, que se encontra destacado em uma figura, em um contexto extra matemático.
Prof. Glauker Amorim
1ª Atividade
Redigir as sentenças descritoras para os outros 7 itens apresentados
Prof. Glauker Amorim
2ª Atividade
Identifique em quais unidades de quais anos escolares são abordados os temas relacionados à habilidade apresentada pelo descritor D27.
Prof. Glauker Amorim
3ª Atividade
Elaborar um item do descritor D35
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
Prof. Glauker Amorim
4ª Atividade
O que priorizar nessa escola para que os resultados em Matemática o 8EF no próximo SAETHE sejam significativamente melhores?
Prof. Glauker Amorim
Referências Bibliográficas
Tavares, H.R., Andrade, D.F.(2006). Item response theory for longitudinal data; item and population ability parameters estimation. Test 15(1), 97-123.
Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring.Journal of Educational Statistics, 17, 191-204.
Kolen, M.J., Brennan, R.L. (2004). Test Equating: Methods and Practices (2nd ed.). New York: Springer.
Ware, J.E., Bjorner, J. B., Kosinski, M. (2000). Practical Implications of Item Response Theory and Computerized Adaptive Testing. A Brief Summary ofOngoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.
Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley.
Prof. Glauker Amorim
Referências Bibliográficas
Lord, F.M. (1980). Applications of Item Response Theory to Practical TestingProblems. Hillsdale: Lawrence Erlbaum Associates.
Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of ItemResponse Theory. Newburry Park: Sage Publications.
Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item:Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.