Psicometria

Attendibilità

Errore Standard di Misurazione

Università degli Studi “Aldo Moro” di Bari Dott.ssa Picucci Luciana

Attendibilità

Il concetto di attendibilità rimanda al grado di accuratezza e precisione di una procedura di misurazione. Un test si definisce affidabile o attendibile quando riporta punteggi stabili nel tempo, quando cioè mostra risultati coerenti in seguito a somministrazioni differenti.

Come si misura? I

• 2 somministrazioni

Test-retest: Si correlano* i punteggi del test al tempo 1 e al tempo 2

Forme parallele: Si correlano* i punteggi ottenuti al test con quelli ottenuti alla sua forma equivalente (o parallela)

Vantaggi e Limiti delle diverse modalità

* Coefficiente di correlazione r di Pearson

Esercitazione r di Pearson

Come si misura? II

• 1 somministrazione

Split-half: Si correlano* i punteggi nelle 2 metà del test

Per test omogenei.

Divisione casuale degli item/ pari-dispari

• Coefficiente di Pearson e formula profetica di Spearman-Brown

Utile per predire il coefficiente di attendibilità di un test allungato o accorciato

Utile per predire la numerosità del test in funzione di un desiderato coefficiente di attendibilità

Esercitazione

• Predire il coefficiente di attendibilità di un test volendolo allungare di 15 item. Il test è attualmente composto da 30 item (r= 0.75)

• Predire la numerosità appropriata volendo giungere ad un coefficiente di r= 0.80 partendo da un test che ha numerosità 28 e r=0.66

Attendibilità come coerenza interna Indice di omogeneità degli item di una scala. Tanto più gli

item sono omogenei, tanto più il coefficiente di attendibilità è alto.

Test con item dicotomici (V/F)- KR20

Test con più alternative (e.g. scala likert) alfa di Cronbach

Esercitazione KR20

Esercitazione alfa di Cronbach

Calcolo Puntuale KR 20

p= proporzione di soggetti che rispondono in maniera corretta ad ogni item

q= proporzione di soggetti che rispondono in maniera sbagliata ad ogni item

Item 1 Item 2 Item 3 Item 4 Item 5 tot p (Nsogg.corrette/Ntot) q= (1-p)

S1 0 0 1 0 0 1 p1 (1/4)=0,25 q1 (1-0,25)= 0,75

S2 0 0 0 1 1 2 p2 (2/4)=0,5 q2 (1-0,5)= 0,5

S3 0 1 1 0 0 2 p3 (3/4)= 0,75 q3 (1-0,75)=0,25

S4 1 1 1 1 0 4 p4 (2/4)=0,5 q4 (1-0,5)= 0,5

p5 (1/4)= 0,25 q5 (1-0,25)=0,75

p*q 0,19 0,25 0,19 0,25 0,19

Somma p*q 1,07

Vx (1-2,25)2+ (2-2,25)2+(2-2,25)2+(4-2,25)2 / 4 Vx= 1,17

KR20 5/4 * (1- (1,07/1,17) KR20= 0,11 pessimo

Approfondimento: Correzione per effetto delle Risposte Casuali

Può capitare nei questionari di profitto (performance massima) che i rispondenti, non sapendo rispondere, non avendo più tempo, o per scarsa motivazione al compito, decidano di segnare totalmente a caso una risposta. Si può introdurre una correzione per le risposte casuali utilizzando la seguente formula:

αc = α – (β/k – 1) αc = numero di risposte con correzione α = numero di risposte corrette grezze β = numero di risposte sbagliate K = numero di alternative di risposta

Attendibilità come Errore Standard della Misura

L’ Errore standard è utile per valutare l’attendibilità della singola somministrazione

È una stima della deviazione standard (Varianza di errore) dei punteggi osservati intorno al punteggio vero del soggetto.

Consente di individuare i limiti dell’intervallo di fiducia all’interno del quale cade il punteggio vero del soggetto con una certa probabilità

Scegliere il livello di probabilità * Riepilogo curva normale

68% ± 1DS ; p= 0,32 95% ± 2DS ; p=0.05 (significativo) 99% ± 3DS; p=0.01 (significativo)

Attendibilità come Errore Standard della Misura

Media= 5.35

Dev. St= 2.89

Rxx=0.80

Un soggetto 2 test

La formula per il calcolo dell’errore standard della differenza tra i punteggi è il medesimo.

I due test però hanno deviazioni standard differenti.

Prima di applicare la regola è opportuno quindi modificare in punti Z o T per ottenere una DS comune.

Psicometria

Validità

Validità Un test è valido se misura ciò che dichiara di misurare (Klein)

Un test è valido quando è idoneo a valutare la specifica caratteristica psicologica per cui è stato costruito e non altro (Celani)

VALIDITA’ DI CONTENUTO

VALIDITA’ DI COSTRUTTO

• Validità convergente

• Validità discriminante

VALIDITA’ RISPETTO AD UN CRITERIO

• Validità concorrente

• Validità predittiva

Validità di contenuto (riferita agli Item)

Un test ha una buona validità di contenuto quando gli elementi di cui si compone sono rappresentativi e idonei a valutare il costrutto teorico a cui il test si riferisce

Quanto quell’Item è rappresentativo del costrutto che intende indagare?

Es: Quanto l’item “Pensieri Intrusivo” è rappresentativo del disturbo ossessivo-compulsivo?

-Fase di creazione dello strumento

Selezione Item Comprensione Item

Focus-group Evitare le negazioni

Doppie Valutazioni

VC è un valore negativo: NE è minore della metà VC è un valore positivo : NE è maggiore della metà VC è uguale a 0: la metà dei giudici ha considerato ESSENZIALE l’item 0< VC ≤1 indicano che la validità di contenuto è rispettata.

L’item in considerazione È: a) Essenziale b) Utile ma non

Essenziale c) Non necessario

1 2 3 4

RILEVANZA Per nulla Poco Abbastanza Molto

G.1

Bassa Alta

G.2 Bassa A B

Alta C D

Validità di Costrutto

Connessione del test con la struttura teorica e concettuale delle funzioni da esso misurate.

-ANALISI FATTORIALE-

Misura il raggruppamento degli item (fattore)

indice di un costrutto ipotetico sottostante

Quanto più gli item sono correlati tra loro, tanto più si riferiscono ad uno stesso fattore.

Validità rispetto ad un Criterio

La validità di criterio esprime il grado di concordanza di un test psicologico (predittore) con un’altra valutazione esterna, che è in genere, ma non necessariamente un altro test (criterio)

• Validità concorrente: se la rilevazione per i due test è contemporanea

• Validità predittiva : il punteggio del test (predittore) è rilevato prima del test (criterio)