teoria clássica e teoria da resposta ao item: introdução slides adaptados de prof. phd. dalton f....
TRANSCRIPT
![Page 1: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/1.jpg)
Teoria Clássica e Teoria Clássica e Teoria da Resposta Teoria da Resposta ao Item: introduçãoao Item: introdução
Slides adaptados de Prof. Phd. Dalton F. Slides adaptados de Prof. Phd. Dalton F. Andrade Andrade ([email protected])([email protected])
Departamento de Informática e Estatística – UFSCDepartamento de Informática e Estatística – UFSC
Silvana Ligia Vincenzi Bortolotti
![Page 2: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/2.jpg)
• Escores brutos ou padronizados (total de pontos do teste)
• Os Resultados do teste dependem do conjunto de itens que compõem o instrumento de medida
• Não permite a comparação entre indivíduos que não foram submetidos “aos mesmos instrumentos de medida”
Introdução Teoria Clássica de Medidas
![Page 3: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/3.jpg)
•Modelo
j erespondent o para erro de componente :E
j erespondent do verdadeiro escore :T
teste noj erespondent do escore :X
onde
ETX
j
j
j
jjj
![Page 4: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/4.jpg)
Utiliza:• estatísticas descritivas;• Coeficientes de correlação e proporções, para
medir a qualidade dos itens, e quase nenhuma estatística inferencial;
• Fórmula de Sperman-Brow e a fórmula–20 de Kuder-Richardson, ambas utilizadas para calcular a fidedignidade de um teste (fidedignidade refere-se à estabilidade dos seus resultados, se um teste é aplicado inúmeras vezes ao mesmo grupo de indivíduos espera-se que os resultados sejam os mesmos).
![Page 5: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/5.jpg)
Limitações:
todas as suas medidas são dependentes das características dos examinados que se submetem ao teste ou ao questionário;
a dificuldade do item (proporção de indivíduos que acertam ao item) e a discriminação do item, que são usados para caracterizar a qualidade dos itens de um teste dependem do grupo de indivíduos do qual elas foram obtidas e, portanto, tem seu uso restringido se os examinados no pré-teste não são representativos da população.
Os escores, o observado e o verdadeiro aumentam e diminuem dependendo da dificuldade do teste;
Testes diferentes, com dificuldades e discriminação diferentes, produzem estimativas das habilidades diferentes.
![Page 6: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/6.jpg)
estatísticas de itens não dependentes do grupo;
escores que não dependessem da dificuldade do teste para descrever as habilidades dos indivíduos;
modelos que não requeiram testes estritamente paralelos para avaliar a confiança ou fidedignidade dos indivíduos;
modelos que expressem antes o nível do item do que o nível do teste.
Buscaram outras teorias alternativas para obter um modelo que atendesse aos seguintes quesitos:
![Page 7: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/7.jpg)
Esses e outros anseios foram resolvidos por uma outra estrutura de teoria de medida, conhecida como Teoria de Resposta ao Item,
TRI
![Page 8: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/8.jpg)
Introdução TRIIntrodução TRIA Teoria da Resposta ao Item (TRI) é um
conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item
Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc.
Item: questão (prova), pergunta (questionário sobre qualidade de vida),...
![Page 9: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/9.jpg)
A partir de um conjunto de itens (questionário, prova, ...) deseja-se : estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de
satisfação, grau de maturidade, ...
Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)
![Page 10: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/10.jpg)
ModelosModelos
• Depende do tipo de item
• Item de múltipla escolha (corrigido como certo/errado)
Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)
)b(aiijijijie1
1)c1(c)|1U(P
![Page 11: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/11.jpg)
Modelo Logístico de 3 parâmetrosModelo Logístico de 3 parâmetros
Curva característica do item - CCI
0,0
0,2
0,4
0,6
0,8
1,0
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
habilidade (traço latente)
prob
abilid
ade
de re
spos
ta
corr
eta
b
a
c
iiiiiiii
a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: acerto casual (probabilidade)
![Page 12: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/12.jpg)
• Modelo NominalModelo Nominal(considera todas as categorias de resposta)(considera todas as categorias de resposta)
im
hihjih
isjis
jijs
ba
baUP
1
)](exp[
)](exp[)|1(
Logístico modelo no como b e a com isis
![Page 13: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/13.jpg)
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,00,20,40,60,81,01,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Prob
abili
dade
P0 P1 P2 P3
![Page 14: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/14.jpg)
Considere o seguinte item, extraído da Costa (2001)
“O cardápio é bem organizado e de fácil compreensão”, com resposta dicotômica (concordo e discordo).
1.Exemplo:
![Page 15: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/15.jpg)
![Page 16: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/16.jpg)
De acordo com este modelo observa-se de que consumidores com maior grau de satisfação pelo serviço prestado correlação ao cardápio têm maior probabilidade de concordar com o item que está sendo observado, nota-se que esta relação não é linear.
![Page 17: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/17.jpg)
“A pena de morte é errada, porém é necessária em nossa civilização imperfeita” (com as seguintes categorias de repostas: fortemente discordo, discordo, concordo e fortemente concordo).
2. Exemplo:
![Page 18: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/18.jpg)
Neste item as pessoas que tem sentimentos fortes contra pena de morte, escolheriam a categoria de resposta fortemente discordo. Pessoas que tem sentimentos de meio nível tenderiam a concordar com este item, entretanto pessoas que apóiam fortemente este item tenderiam a discordar fortemente porque eles não concordam com parte do item “pena de morte é errada”
![Page 19: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/19.jpg)
Observe que neste item os níveis altos de concordância ou discordância não implicam em categorias de respostas mais altos, como ocorre com os modelos cumulativos. Neste caso o modelo cumulativo não seria adequado para a estimação do traço latente. O modelo de desdobramento seria o mais indicado
![Page 20: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/20.jpg)
• Todavia no item: “A pena de morte é
necessária em nossa sociedade”...O modelo cumulativo seria mais
apropriado, pois a probabilidade de concordância aumentaria com o aumento do apoio do respondente quanto a pena de morte.
![Page 21: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/21.jpg)
Referências iniciaisReferências iniciais• Gulliksen, H. (1950). Theory of
Mental Tests. New York: John Wiley and Sons.
• Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley.
• Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa.
![Page 22: Teoria Clássica e Teoria da Resposta ao Item: introdução Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática](https://reader036.vdocuments.pub/reader036/viewer/2022070312/552fc181497959413d8f39e7/html5/thumbnails/22.jpg)
ReferênciasReferências• Lord, F.M., Norvick, M.R. (1968). Statistical
Theories of Mental Test Score. Reading: Addison-Wesley
• Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates
• Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications.
• Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.