item analysis: valutazione di affidabilità dei test: rilevazione nazionale del sif z. adam gruppo...
TRANSCRIPT
Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF
Z. AdamGruppo del supporto regionale
per la valutazione
5 giugno 2006
Legenda e istruzioni per la lettura dei datiINValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25
Media:Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni.
Mediana:Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni.
Moda:Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe.
Minimo:Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe.
Massimo:Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe.
Deviazione Standard:È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm.
Leggenda per la lettura dei dati
INValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25
Legenda e istruzioni per la lettura dei dati Media:
Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni.
Mediana:Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni.
Moda:Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe.
Minimo:Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe.
Massimo:Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe.
Deviazione Standard:È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm.
Errore standard:Indica il campo di variazione di una costante statistica (Media, Mediana, Moda, Deviazione Standard etc) che si ottiene riportand il valore della costante statistica rilevato nel campione all'universo di riferimento. Viene calcolato misurando di quanto il valore della costante statistica presa in esame può variare tra campioni presi dalla stessa distribuzione. Nell'esempio considerato se la classe presa in considerazione è un campione rappresentativo dell'intera scuola, conoscendo la media dell'altezza della classe è possibile conoscere la media l'altezza della scuola con una determinata percentuale di errore (errore standard), quindi se la media delle altezze della classe è 170cm e l'errore standard è del 5%, la media della scuola sarà un valore che oscilla tra 178,5cm e 161,5cm.
Quartile:Si definiscono quartili e si indicano con Q1 Q2 e Q3 i tre valori che dividono una distribuzione dei casi in quattro parti uguali. Il primo 25 % dei dati della distribuzione ha come limite superiore il primo quartile, il 50% dei dati hanno come limite il secondo quartile (che e' anche la mediana), e cosi' via.
Fasce:Divisione di una distribuzione in intervalli rispetto ai punteggi ottenuti.Bassa: da 0 al primo Quartile incluso;Medio-bassa: dal primo Quartile escluso al secondo Quartile incluso;Medio-alta: dal secondo Quartile escluso al terzo Quartile incluso;Alta: dal terzo Quartile escluso al Punteggio massimo 100 incluso;Top (Fascia di eccellenza):dal novantesimo percentile incluso al Punt.o massimo 100 incluso.
Percentile:Si definiscono percentili e si indicano con P1 P2, P3 ... P99 i novantanove valori che dividono una distribuzione dei casi in cento parti uguali. Il primo 5 % dei dati della distribuzione ha come limite superiore il percentile P5, il 50% dei dati hanno come limite il percentile P50 (che e' anche la mediana), e cosi' via.
Punteggi normalizzati:Un punteggio è normalizzato quando si esprimono i risultati in centesimi. Ad esempio se in un test composto da 20 domande vengono date 15 risposte corrette, in media si è risposto correttamente ai 3/4 delle domande, il dato che si troverà è i 3/4 di 100, ossia 75%.
Punteggi = ' - 'Il punteggio non è calcolato per mancanza di casi
Attenzione:Relativamente ai riferimenti per regione si rammenta che, per il Trentino-Alto Adige provincia di Bolzano, i valori riportati comprendono tutti e tre i gruppi linguistici (italiano, ladino, tedesco)
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 74,74 20,72 0 100 92,31 76,92
Lombardia 74,30 20,56 0 100 92,31 76,92
Nord Ovest 74,80 20,67 0 100 100 76,92
N0RD EST
CENTRO
74,54
77,7
20,71
20,24
100
100
100
100
76,92
84,62
SUD E ISOLE
TOTALE
80,36
77,83
21,07
20,73
0
0
100
100
100
100
84,62
84,62
Punteggi ottenuti dagli studenti
I
T
A
L
I
A
N
O
0
0
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 77,51 18,38 0 100 93,75 81,25
Lombardia 77,51 18,28 0 100 93,75 81,25
Nord Ovest 78,39 18,27 0 100 93,75 81,25
NORD EST
CENTRO
78,08
81,70
18,25
17,76
0
0
100
100
93,75
100
81,25
87,50
SUD E ISOLE
TOTALI
84,54
81,54
18,32
18,22
0
0
100
100
100
100
93,75
87,50
Punteggi ottenuti dagli studenti
M
A
T
E
M
A
T
I
C
A
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 86,30 16,71 0 100 100 90,00
Lombardia 86,40 16,59 0 100 100 90,00
Nord Ovest 86,76 16,62 0 100 100 90,00
NORD EST
CENTRO
86,19
88,80
16,71
15,79
0
0
100
100
100
100
90,00
90,00
SUD E ISOLE
TOTALI
90,30
88,62
16,40
16,27
0
0
100
100
100
100
90,00
90,00
Punteggi ottenuti dagli studenti
S
C
I
E
N
Z
E
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 58,05 15,75 0 100 57,14 57,14
LOMBARDIA 58,05 15,77 0 100 57,14 57,14
Nord OVEST 58,92 16,16 0 100 57,14 60,71
NORD EST
CENTRO
58,68
61,05
15,80
17,16
0
0
100
100
60,71
60,71
60,71
60,71
SUD E ISOLE
TOTALI
63,10
61,31
19,12
17,61
0
0
100
100
60,71
60,71
64,29
60,71
Punteggi ottenuti dagli studenti
I
T
A
L
I
A
N
O
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 59,42 19,37 0 100 57,14 60,71
Lombardia 59,67 19,50 0 100 57,14 60,71
Nord Ovest 61,06 20,03 0 100 57,14 60,71
NORD EST
CENTRO
59,93
65,00
19,74
21,19
0
0
100
100
57,14
67,86
60,71
64,29
SUD E ISOLE
TOTALI
70,66
65,72
23,30
21,89
0
0
100
100
96,43
96,43
75,00
67,86
Punteggi ottenuti dagli studenti
M
A
T
E
M
A
T
I
C
A
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 79,75 15,26 0 100 88,46 84,62
Lombardia 80,04 15,29 0 100 88,46 84,62
Nord Ovest 80,86 15,33 0 100 88,46 84,62
NORD EST
CENTRO
80,81
82,70
15,24
15,46
0
0
100
100
88,46
100
84,62
84,62
SUD E ISOLE
TOTALI
85,15
83,04
16,62
15,83
0
0
100
100
100
100
92,31
88,46
Punteggi ottenuti dagli studenti
S
C
I
E
N
Z
E
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 61,93 16,47 0 100 70 63,33
Lombardia 61,63 16,37 0 100 66,67 63,33
Nord Ovest 61,55 16,55 0 100 66,67 63,33
NORD EST
CENTRO
61,97
60,53
16,15
16,32
0
0
100
100
70,00
66,67
63,33
63,33
SUD E ISOLE
TOTALI
55,44
59,13
17,85
17,09
0
0
100
100
63,33
66,67
56,67
60
Punteggi ottenuti dagli studenti
I
T
A
L
I
A
N
O
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 53,11 16,54 0 100 50,00 53,33
Lombardia 53,36 16,54 0 100 53,33 53,33
Nord Ovest 53,17 16,55 0 100 53,33 53,33
NORD EST
CENTRO
53,64
51,93
16,67
16,43
0
0
100
100
53,33
50,00
53,33
53,33
SUD E ISOLE
TOTALI
46,98
50,89
16,85
16,84
0
0
100
100
46,67
50,00
46,67
46,67
Punteggi ottenuti dagli studenti
M
A
T
E
M
A
T
I
C
A
Media
Deviazione
Standard
Pm
P MaxModa
Mediana
MILANO 59,32 14,91 0 100 61,54 61,54
Lombardia 59,36 14,84 0 100 61,54 61,54
Nord Ovest 59,38 14,94 0 100 61,54 61,54
NORD EST
CENTRO
60,22
58,38
14,95
14,85
0
0
100
100
65,38
61,54
61,54
57,69
SUD E ISOLE
TOTALI
54,84
57,44
16,30
15,55
0
0
100
100
57,69
61,54
53,85
57,79
Punteggi ottenuti dagli studenti
S
C
I
E
N
Z
E
II pr. IV pr. I sec. II pr. IV pr. I sec. II pr. IV PR I sec.
Bergamo 73,31 56,84 62,10 77 58,23 55,25 86,38 79,47 59,55Brescia 73,32 57,5 60,32 77,14 59,22 52,67 86,29 79,55 58,66Como 76,27 58,74 63,02 79,07 61,36 53,79 87,29 81,69 60,11
Cremona 74,96 59,61 60,55 77,51 62,07 52,74 86,18 80,44 58,95Lecco 75,45 57,86 64,05 78,16 60,50 57,36 87,83 81,79 62,57Lodi 74,21 57,32 60,63 76,54 57,96 52,03 85,88 78,75 58,37
Mantova 71,34 57,61 59,57 75,73 59,28 51,67 83,83 78,86 56,79Milano 74,74 58,05 61,93 77,51 59,42 53,11 86,3 79,75 59,32Pavia 74,82 59,97 59,70 78,45 62,74 51,64 86,77 81,37 58,57
Sondrio 75,09 58,84 65,27 78,32 60,27 57,17 85,95 81,21 62,52Varese 73,92 58,59 61,45 77,71 59,75 52,44 87,11 80,57 59,72
Lombardia 74,3 58,05 61,63 77,51 59,67 53,36 86,4 80,04 59,36Nord Ovest 74,8 58,92 61,55 78,39 61,06 53,17 86,76 80,86 59,38Nord Est 74,54 58,68 61,97 78,07 59,93 53,64 86,19 80,81 60,22Centro 77,7 61,05 60,53 81,7 65,00 51,93 88,8 82,70 58,38
Sud 81,7 64,44 56,59 85,16 71,47 48,91 91 85,55 54,87Sud e Isole 80,36 63,1 55,44 84,54 70,66 46,98 90,32 85,15 54,84Totale Italia 77,83 61,31 59,13 81,54 65,72 50,89 88,62 83,04 57,44
Punteggi normalizzati per le classi seconde e quarte e I media
PROVINCE
Italiano Matematica Scienze
Punteggi nomalizzati:classi I e III secondaria II grado
I sup III sup I sup III sup A I sup III sup A
Bergamo 60,05 52,56 55,60 42,21 53,91 40,98
Brescia 57,14 51,35 49,85 38,92 49,41 40,17
Como 60,84 55,11 53,63 42,61 52,54 42,38
Cremona 57,56 50,63 51,23 37,30 50,97 41,48
Lecco 64,47 60,09 59,43 47,16 55,15 45,07
Lodi 59,62 53,79 52,18 42,70 51,62 45,31
Mantova 56,71 50,26 48,59 38,28 47,73 38,60
Milano 60,31 55,33 53,45 43,72 51,80 43,15
Pavia 59,01 51,45 53,65 39,52 52,71 42,14
Sondrio 56,45 50,28 53,50 40,89 51,51 40,99
Varese 58,79 52,64 52,28 39,51 51,82 39,79
Lombardia 59,59 53,66 53,33 41,80 51,98 41,85
Nord Ovest 58,77 (2,14) 51,61 (2,38) 51,60 (1,64) 41,27 51,58 (1,03) 41,54
Nord Est 59,39 (1,28) 51,96 (1,14) 54,07 (2,28) 41,65 52,73 (1,17) 42,92
Centro 57,78 (1,23) 49,15 (1,99) 51,83 (2,33) 38,89 49,85 (1,61) 39,71
Sud 52,88 (1,91) 48,34 (1,56) 47,19 (1,94) 36,57 47,46 (1,02) 37,60
Sud e Isole 54,46 (1,80) 46,98 (1,85) 46,22 (3,35) 35,72 48,32 (2,12) 37,71
Totale Italia 56,40 (0,72) 49,48 (0,69) 49,84 (0,99) 38,72 49,79 (0,64) 39,81
PROVINCE
Italiano Matematica Scienze
La procedura di raccolta dati la somministrazione e la raccolta delle risposte
può essere compiuta con i prodotti statistici
Quando le risposte alle domande a scelta multipla sono conteggiate i risultati con le chiavi di risposta esse possono costituire la base di un’analisi ..
Si deve procedere con la registrazione di risposta “1” (corretto) e “0” (sbagliato) per ogni singolo partecipante. Inoltre, il punteggio degli studenti per ogni item (percentuale delle risposte corrette) viene registrato in un tabulato.
Comprensione dei dati E’ importante notare che tre tipi di informazioni sono
critici nella comprensione di un esame a scelta multipla: se gli item sono stati troppo difficili o troppo facili; se gli item hanno fatto la differenza tra quegli studenti che
veramente conoscevano il materiale e quelli che non lo conoscevano;
Se le risposte non corrette in effetti “distraggono” dalla risposta corretta o se invece non hanno alcuna influenza.
Si farà riferimento ad alcuni termini in questa guida. Essi comprendono:
Il fattore Difficoltà L’Indice di Discriminazione I Coefficienti di Affidabilità Kuder Richardson Ponderazione della Domanda Differenziate La Deviazione Minima, Media e varianza.
Ponderazione della domanda da differenziare
Un esempio del sistema di ponderazione differenziale potrebbe essere di dare due punti di credito ad alcune domande perché sono molto più difficili o più importanti e un punto di credito ad altre. Le ragioni per cui non usare questo sistema comprendono:
Non c’è aumento nell’affidabilità quando si usano ponderazioni differenziali
ponderazione differenziale è più efficacie solo nei test brevi (meno di dieci item)
Altri Termini per comprendere quando le relazioni Punteggio della media - Punteggio della mediana - il punteggio corrisponde al dato
percentile 50mo . Esattamente metà dei punteggi sono più bassi e metà dei più alti. Deviazione standard - la gamma al di sopra o al di sotto il
punteggio medio dove la maggioranza dei punteggi mente. Più sono ampi i punteggi, più lo sarà anche la deviazione standard.
Altri item statistici importanti Idealmente, si dovrebbe volere la “correttezza”
di un particolare item in un test in modo tale da associarlo con un punteggio globale (percentuale di tutti gli item a cui si è risposto correttamente).
Preso da un angolo diverso, si potrebbero preferire item di test con “risposte frequentemente corrette” da studenti che hanno fatto globalmente bene nel test. Questa associazione tra item di test individuali e performance di test globali è chiamata la correlazione biseriale. Una correlazione più utile è l’esecuzione stimata globale del test ad esclusione dell’ item di test particolare in questione. Questa misura è chiamata la correlazione corretta del punto biseriale di un item di test .
L’indice Alpha di Cronbach La statistica fornisce una misurazione di consistenza interna
(affidabilità) di item di test chiamati alpha di Cronbach. Più alta è la correlazione tra gli item, più grande è l’alpha. Alte
correlazioni implicano che alti (o bassi) punteggi di una domanda sono associati con alti (o bassi) punteggi su altre domande. Alpha può variare da 0 a 1, indicando che il test è perfettamente affidabile.
Inoltre, la computazione dell’ Alpha di Cronbach quando un item particolare è rimosso dalla considerazione è una buona misura del contributo di quell’item all’esecuzione della valutazione dell’intero test.
Altre statistiche sono automaticamente generate usando una procedura chiamata Affidabilità (Reliability) (nel risultato, la scala di termine si riferisce alla collezione di tutti gli item di test).
L’indice Alpha di Cronbach (Classe I° Media: Italiano, Matematica e Scienze- rif. Diap 20 e
Classe I° superiore sono state scelte ed analizzate). Notate la “Correlazione corretta del totale dell’item”. Questa
colonna mostra la correlazione del punto biseriale corretta. Potete vedere che le domande sembrano correlate con
l’esecuzione del test generale. Da notare che gli item6 e item9 di italiano I° media hanno una correlazione negativa con il resto degli items(vedere anche item18,item19 di matematica e item6 di scienze); per la I° superiore item3 d’italiano e item24 di scienze hanno correlazione negataiva. D’altra parte, gli studenti che tendono ad andare male nei test generalmente tendono a rispondere a queste domande correttamente. Questo non è un risultato desiderato. Notate i valori di alpha nella colonna intitolata “Alpha se Item è eliminato”per gli item su indicati. Se gli item sono eliminati dalla tabella, la statistica Alpha viene incrementato e con questa prospettiva, gli item hanno bisogno di essere esaminati criticamente e forse riscritti.
Analisi delle risposte errate
In una domanda a scelta multipla, le scelte sbagliate sono chiamate “distracters” (“risposte errate”). Quando create le domande dei test, dovete considerare:
Una percentuale di studenti dovrebbe selezionare ogni distrattore (risposta errata) (al posto della risposta giusta) o il distrattore non è efficiente.
Se una percentuale troppo grande di studenti seleziona un particolare distrattore , ci potrebbe essere un’ambiguità nella formulazione della domanda o nella formulazione di un particolare distrattore.
Un distracttore ha valore se la percentuale di studenti che lo seleziona si differenzia a seconda della loro produzione globale del test.
Un buon distrattore è quello che è selezionato da pochi studenti che erano nel terzo gruppo di alto livello della classe, ma scelto da molti studenti nel terzo gruppo di basso livello.
conclusione L’analisi degli item è una serie di procedure
disponibili ed estremamente utile ai professionisti dell’insegnamento. SPSS è uno degli strumenti di statistica potente per misurare l’analisi degli item e un modo ideale per gli educatori per creare, valutare e validare i test di apprendimento somministrate alle classi. L’analisi degli item permette agli istruttori di migliorare gli esercizi in classe e agli esecutori dei test di migliorare i loro esami.
Bibliografia Dati della Lombardia INValSI -RNSIF-as 2005/2006 Quantitative data analysis with SPSS di Alan Bryman,D. Cramer2003 Data Analysis Using SPSS-Beginner’s Guide J. Foster 1999 Adventures in Social Research:Data Analysis using SPSS di Earl Babbie , Fred Halley, J. Zaino 2003 Common Analysis of Repeated Measures: M. J. Crowder 1990 Common Correlation and Reliability Analysis with SPSS di R. A. Yaffee