il testinglinguistico per la valutazione delle competenze nella ... · test sulla base di...
TRANSCRIPT
Il testing linguistico per la
valutazione delle competenze nella valutazione delle competenze nella prospettiva del QCER
Luisa Sartirana
SeLd’A Università Cattolica del Sacro Cuore, Milano
Valutazione – verifica - misurazione
VALUTAZIONE
…interpretare il profitto allargando lo sguardo a tutto quanto può influire su di esso, e cioè a tutti gli aspetti rilevanti della sua (dell’allievo) vita di cui siamo venuti a conoscenza.
L’oggetto (della valutazione) è l’intero processo educativo.
VERIFICAVERIFICA
Accertamento puntuale e sicuro delle conoscenze, abilità, competenze , ecc. presenti nel soggetto valutato… In linea di principio, la verifica non dovrebbe comportare problemi sensibili alle interpretazioni soggettive o caricati di valenze ideologiche.
Processo conoscitivo e non interpretativo
MISURAZIONE
Necessari: unità di misura costante e punto di riferimento che corrisponda al valore zero
da Porcelli, 1992
Tipologie di test
� Achievement test (di realizzazione)
� Placement test (di piazzamento o ingresso)
3
ingresso)
� Diagnostic test (diagnostici)
� Progress test (di progresso)
� Proficiency test (di profitto)
Norma e Criterio
Approccio “Normale” interpreta i risultati di un
test sulla base di riferimenti interni (raffronto con
i livelli medi di profitto riscontrabili in una classe)
Approccio “Criteriale”: collega i risultati di un test
a parametri esterni, es. usi effettivi della lingua,
abilità richieste ecc.
Test diretto
richiede ai candidati di
misurarsi sull’abilità che
intendiamo testare;
facile per le abilità
5
Test diretto e indiretto
Test indiretto
misura la performance
dei candidati attraverso
inferenze delle abilitàfacile per le abilità
produttive, meno per
abilità ricettive: come
fare per testare la
comprensione scritta
e orale?
inferenze delle abilità
che si vogliono testare:
item a scelta multipla
sulla competenza
comunicativa per testare
la produzione orale.
Validità/1
Un test è valido se costituisce un esempioparadigmatico delle abilità che sonooggetto di misurazione… e se misuraaccuratamente ciò che si era proposto di
6
accuratamente ciò che si era proposto dimisurare
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
Validità/2 (da G. Porcelli)
“È la capacità di un test di verificare ciò che intende verificare e non altro”.
Parametri della validità:Parametri della validità:
Pertinenza
Accettabilità
Comparabilità
Economia.
Affidabilità
Un test è affidabile se è in grado di
fornire risultati uguali se somministrato o
valutato in tempi differenti e da persone
8
valutato in tempi differenti e da persone
differenti
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
Ricaduta e Impatto del test
� Ricaduta (washback): effetto del test sulla didattica e l’apprendimento
9
� Impatto: “effetto” socio-politico dei risultati del test
Le fasi di sviluppo di un test
Processo ciclico in 3 fasi:
10
Progettazione
ElaborazioneSperimentazione
Progettazione
� Chi sono i potenziali candidati, gli utenti del
nostro test
11
� A quale pubblico è destinato il test
� Quali sono le risorse disponibili (logistiche,
finanziarie, tecniche)
Elaborazione (definizione delle
specifiche del test)
� Contenuto
� Costrutto
� Struttura
12
� Struttura
� Procedure di correzione
� Scale di valutazione
Sperimentazione
�Sperimentazione su un campione
significativo
�Analisi dei risultati
13
�Analisi dei risultati
�Ridefinizione (ove necessaria) delle
specifiche del test
Le prove oggettive
� Devono rappresentare un indicatore affidabile e valido dell'abilità che vogliamo testare (pertinenza) (ed essere percepite come tali?)
� Rilevanza della comparabilità delle prove
Le risposte sono valutabili in modo affidabile
14
� Le risposte sono valutabili in modo affidabile
� La risposta esatta è predeterminata e ad essa viene assegnato un determinato punteggio
� Devono essere il più possibile economiche (correzione e modalità di fruizione)
� Devono avere una ricaduta positiva
Alcune Tecniche più diffuse
� Scelta binaria (Sì/no)
� Scelta Multipla
� Completamento
� Abbinamento
15
� Riordino
� Sostituzione
� Trasformazione
� Editing� Abbinamento� Editing
� Test performativi
Per quali abilità si possono utilizzare?
Per test diretto o indiretto?
Risposte semi-chiuse
(produzione limitata)
� Cloze� Individuazione di Informazioni
� Risposte brevi
16
Scelta multipla
Molto adeguata per comprensione orale
Veloce nella fase di correzione
Affidabile nell’attribuzione del punteggioAffidabile nell’attribuzione del punteggio
Poco economica in fase di realizzazione (necessita di
un lavoro di equipe – controllo e revisione delle fasi
di lavoro)
Item a scelta multipla
Alcuni termini:
Item: ciascun oggetto di verifica a cui viene
attribuito un punteggio
quesito (stem)quesito (stem)
risposta
distrattori
chiave
� Individuare quanti e quali punti sottoporre a verifica
� Presentare i quesiti seguendo la struttura del testo
� Dare un fresh start per ogni item
� Possibilità di focalizzare l’item su: argomento generale del
Scrivere gli item a scelta multipla…
� Possibilità di focalizzare l’item su: argomento generale del testo, principali nodi informativi, inferenze, intenzioni di chi comunica
� Usare 4 opzioni
� Usare una lingua semplice e chiara (più semplice del testo di partenza)
� Evitare riferimenti culturali e ambiguità
� Evitare: lessico complesso, strutture
idiomatiche, ridondanze, ripetizioni
� Preferire nomi ai pronomi
� Non scrivere input troppo lunghi
i distrattori e la risposta devono…
essere plausibili
avere lo stesso livello di difficoltà fra loro
essere legati al testoessere legati al testo
indurre alla riflessione
i distrattori e la risposta NON devono…
essere in contraddizione fra loro (due opposti si
annullano!)
ripetere parole dell’input
essere parzialmente veri (ambigui)
contenere informazioni vere ma non presenti nel test
includere contenuti successivi
Scrivere i distrattori – espedienti grafici
Mantenere la stessa lunghezza – al limite due distrattori più lunghi e due più corti
Se di lunghezza diversa, ordinarli (dal più corto al più lungo o viceversa)più lungo o viceversa)
Ove possibile, iniziare sempre con la stessa lettera (evitare un solo distrattore con lettera diversa)
Ove possibile, elencare i distrattori in verticale
Abbinamento
Mettere in corrispondenza due serie di elementi presentati in ordine casuale (possono essere parole isolate, frasi, parti di frasi, parti di testi)
Necessità di concordanza logica o Necessità di concordanza logica o morfosintattica
Più semplice del riordino testuale – anche per candidati di competenza basica
Cloze
Cancellare una o più parole da un testo (in genere ogni 5 o 7 parole o in base a un criterio, ad es. una categoria o la difficoltà dell’item)
Ottimo per testare la competenza Ottimo per testare la competenza metalinguistica di candidati non base
Possibilità di avere risposte non univoche (necessità di stabilire risposte accettate e punteggi in fase di elaborazione)