l a s cuola - autori invalsi: esperienza di confronto e condivisione ida spagnuolo – liceo...
TRANSCRIPT
LA SCUOLA-AUTORI INVALSI: ESPERIENZA DI CONFRONTO E CONDIVISIONE
Ida Spagnuolo – Liceo Scientifico Morgagni - Roma
UNA DOMANDA
Nel maggio 2011 la prova SNV è diventata obbligatoria per il Livello 10 e i miei studenti e anche alcuni colleghi, mi hanno rivolto diverse domande.
In particolare mi hanno chiesto “Chi prepara la prova?”
Chi prepara le prove?
“Le domande delle prove, i cui contenuti rispettano un preciso quadro di riferimento sia per l’italiano sia per la matematica, sono predisposte da insegnanti dei diversi livelli scolastici opportunamente formati.
Queste domande sono prima testate su un campione ristretto di studenti per verificarne l’affidabilità e la validità e, successivamente, solo quelle valide vengono scelte collegialmente da un team di esperti”
http://www.invalsi.it/snvpn2013/index.php?action=materialistudenti
LA SCUOLA _ AUTORI
La scuola autori dell’INVALSI è costituita da docenti di ogni ordine e grado e nel corso degli anni ha modificato alcune modalità di lavoro al fine di favorire sempre più la condivisione
Il lavoro prevede diverse fasi ed è preceduto da una preparazione specifica individuale (analisi QdR, documenti normativi, Rapporti tecnici, …)
I QUADRI DI RIFERIMENTO – I E II CICLOSono strumenti che contengono, tra le altre informazioni
, le due dimensioni della valutazione: contenuti e processi e sono realizzati - in un’ottica di continuità
per essere utilizzati nella fase preparatoria dei questionari
per supportare gli insegnanti* a interpretare i risultati ottenuti dalle singole classi nelle prove del SNV
per essere usati dai responsabili dei diversi livelli come strumento per interpretare i risultati del sistema nel suo complesso, per poter adottare opportune strategie di intervento o per riflessioni sul curricolo programmato.
Documenti normativi per i QdR
le Indicazioni per il curricolo della scuola primaria e secondaria di primo grado(2007) vengono rimodulate e sono contenute in un documento del MIUR , pubblicato nel settembre 2012 e successivamente divenuto oggetto di decreto ministeriale (D.M. 254 del 16/11/2012)
documenti relativi all'Obbligo di istruzione (cfr. legge
26 dicembre 2006, n.296, elevazione dell’obbligo di istruzione a 10 anni; le Raccomandazione del Parlamento Europeo e del Consiglio del 18 dicembre 2006 - competenze chiave di cittadinanza e gli assi culturali)
Indicazioni Nazionali (e OSA) per i licei
Linee guida per l’istruzione tecnica e professionale
LA PRIMA FASE
Un esempio: luglio 2013
Ciascun autore porta del materiale predisposto secondo specifiche richieste
I docenti partecipanti - in gruppi da tre - lavorano per livelli (o gruppi di livelli) sotto la guida costante di un coordinatore
Il numero di gruppi è stato variabile: da 3 (L10) a 11 (L02 + L05)
Autore
IL “CUORE” DEL LAVORO DI AUTORE
Costruire una prova che fornisca informazioni sugli apprendimenti in
matematica degli studenti delle scuole italiane
“Question intent” : partiamo da quello che vogliamo sapere, e costruiamo di
conseguenza la domanda
L’ETICHETTATURA
Ogni item deve essere etichettato dall’autoreL’etichettatura è un aspetto fondamentale
perché serve: agli autori - come primo momento di
riflessione ai revisori – per l’analisi, l’eventuale scelta
e modifiche prima e dopo il pretest a tutti coloro che ne dovranno poi utilizzare
i risultati
Classe Indicare la classe per cui si intende proporre il quesito
Ambito Fare riferimento agli ambiti indicati nei QdR:Numeri - Spazio e figure - Relazioni e funzioni Dati e previsioni
Tipologia MC (scelta multipla), MCC (scelta multipla complessa), fa riferimento a tabelle dicotomiche (V-F, …) o tricotomiche (SI, NO, Non si può ricavare, ….)RU (risposta univoca) RC (richiesta di indicazione di calcoli , procedimenti,…) RG (richiesta di giustificazione), CL (cloze, sono quesiti in cui si richiede il completamento di frasi, calcoli o espressioni mediante l'utilizzo di elementi forniti nel testo).
Risposta corretta Per le domande aperte occorre indicate le risposte ritenute accettabili per la correzione. Ad esempio va specificato il margine di errore tollerato nel caso di un calcolo approssimatoDistrattori
Processo prevalente Deve essere indicato uno degli 8 processi indicati nei QdR
Scopo della domanda (Question Intent)
Va indicato, in modo molto sintetico, lo scopo della domanda - “question intent“. In pratica va indicata la risposta alla domanda Cosa si vuole misurare con questo quesito? In questo campo vanno inseriti eventuali osservazioni/commenti sul quesito e sui distrattori.
Riferimenti Indicazioni
Vanno riportate diciture tratte dalle Indicazioni nazionali. Per le superiori fare riferimento alle Indicazioni e Linee guida.
ANALISI DELL’ESPERIENZA
A posteriori ecco le domande alle quali ho cercato di dare risposta insieme ai miei “due compagni di cordata” .
La partecipazione alla scuola autori: quali aspettative?
La scelta e preparazione del materiale da presentare al gruppo:quale logica?
Aspetti positivi e negativi del lavoro “a tre” Cosa modificare nell’organizzazione del
lavoro?
LE ASPETTATIVE
Crescere dal punto di vista della produzione dei quesiti ma anche, più in generale, dal punto di vista professionale.
Confrontarsi con colleghi con diversi approcci concettuali o applicativi, per poter aggiungere contributo alla visione personale dell’insegnare e imparare la matematica.
Le nostre esperienze precedenti sono state di lavoro “solitario” (non per tutti è stato così)
LA PREPARAZIONE DEL MATERIALE
Stimoli dalla quotidianità - lettura di giornali, notizie su internet, esperienze personali…
Stimoli da parte di studenti – domande poste, applicazioni didattiche, …
Scambi d’idee, di opinioni e di materiali con colleghi, non necessariamente di matematica.
IL LAVORO “A TRE” … lessicale: doveva essere chiaro, possibilmente
breve, non ripetitivo, non ambiguo, completo contestuale: la situazione doveva essere
accattivante/stimolante, ma anche plausibile o realistica.
grafico: gli elementi grafici dovevano essere chiari, univoci e di effetto, purtroppo in bianco e nero
concettuale: si doveva chiarire in maniera netta lo scopo, capire tutte le possibili strategie di pensiero e scegliere come sviluppare la situazione in più sottodomande, con singoli sottoscopi univoci
metacognitivo: si doveva riesaminare tutto il lavoro fatto cercando di catalogarlo in base ai processi messi in atto o alle conoscenze specifiche da testare.
… E LA CONTAMINAZIONE DI IDEE
A propone una situazione
B comincia a fare domande, mettendo in luce anche nuovi aspetti a cui A non aveva pensato e anche
C dice le sue impressioni e propone alcune variazioni
che poi vengono rimaneggiate e continuamente discusse, con un ritmo incalzante, da tutti i componenti. Il prodotto finale, ormai orfano di padre/madre o
meglio avente tre nuovi genitori A-B-C, è molto più valido del prodotto di partenza che comunque era indispensabile per l’innesco del lavoro.
EVENTUALI MODIFICHE
Avere qualche informazione in più sul lavoro svolto dai gruppi degli altri livelli (era previsto un confronto quotidiano con i gruppi del medesimo livello) per un confronto trasversale sia in termini di contenuti che di processi.
In poche parole: cosa implementare nel corso degli anni?
QUESTION INTENTPerché è così importante?
Perché nell’ottica di una prova che fornisca informazioni sugli apprendimenti sia al sistema che ai docenti che operano nella realtà quotidiana, deve essere chiaramente descritto lo scopo dell’item ma deve risultare altresì evidentemente deducibile – attraverso la risposta attesa e senza ambiguità - il processo da testare
UN PRIMO ESEMPIO (L10 – 2012/13)
Se lo scopo è la determinazione dell’area di una figura piana in posizione non standard, i due processi possibili che portano alla risposta corretta in base
al riconoscimento del parallelogramma e delle relative grandezze caratteristiche (b ed h)
Oppure alla strategia “per sottrazione” a partire dal
quadrato e dai due triangoli rettangoli
forniscono, in ogni caso, l’acquisizione dellacompetenza richiesta
UN ALTRO ESEMPIO (L10 – 2010/11)
Tralascio, per ovvi motivi, l’item D13_a Appare evidente che lo scopo dell’ item D13_b è
costruire un modello : p = 4n-2(25-n) = 6n – 50
e quello dell’item D13_c di utilizzare tale modello per “tradurre” la richiesta nella disequazione
6n – 50 ≥ 60
Per quest’ultimo item tuttavia bastava procedere per tentativi e scoprire così che, per avere la sufficienza, il numero di quesiti esatti deve essere almeno 19
Ma in questo modo la risposta corretta non fornisce certezza sull’acquisizione della competenza richiesta
E ANCORA … (L10 - 2012/13)
D24. Al centro della figura c'è un quadrato nero Q. Il quadrato è circondato da una prima cornice bianca formata da 8 quadrati tutti uguali a Q e da una seconda cornice grigia.
Immagina che la figura si estenda con successive cornici (terza, quarta, ecc.) sempre formate da quadrati tutti uguali a Q.
a.Quanti sono i quadrati della quarta cornice? Risposta: ..................
b. Se si continua a estendere la figura nello stesso modo, è possibile ottenere una cornice formata da 70 quadrati tutti uguali a Q?Scegli una delle due risposte e completa la frase.
□ È possibile ottenere una cornice di 70 quadrati perché ……………………………..
□ Non è possibile ottenere una cornice di 70 quadrati perché ……………………….
Tralascio, per ovvi motivi, l’item 24_a Lo scopo dell’item 24_b è individuare una
regolarità nella successione del numero di quadrati
E’ vero che continuando il disegno delle cornici e contando direttamente il numero di quadrati si può giungere alla risposta corretta ma tale strategia diventa “impraticabile” in termini di tempo impiegato
Ci si attende quindi che chi risponde correttamente all’item b dimostri di possedere competenze nell’osservare e scoprire regolarità.
LE FASI SUCCESSIVE
Autore Revisioni del gruppo
di livello Preparazione pretest
Somministrazione pretest
Analisi prestest
Preparazione test
TEST
II FASE
I quesiti formulati dagli autori passano ai “gruppi di livello” che lavorano secondo il seguente protocollo:
inizialmente a distanza, ciascun componente del gruppo di livello esamina alcuni quesiti, inizia a proporne modifiche, evidenzia punti di forza e di debolezza e raccoglie le proprie osservazioni in un file che viene messo a disposizione di tutti i componenti del gruppo su una piattaforma dell’INVALSI, ad accesso riservato
successivamente in una prima riunione (Skype) si condividono perplessità, si avanzano richieste di modifica, di sostituzione e cambiamento dei quesiti.
Revisioni del gruppo di livello -Preparazione pretest
Il coordinatore si occupa di raccogliere tutte le osservazioni e prepara due proposte di fascicoli che vanno a costituire la prima bozza dei due pretest.
Segue quindi una prima riunione in presenza (un giorno e mezzo di lavori del gruppo al completo) in cui si esaminano approfonditamente i due fascicoli proposti dal coordinatore e si perviene a una seconda bozza dei due fascicoli.
Adesso ciascun componente del gruppo ha circa un mese di tempo per riesaminare la seconda bozza dei fascicoli e può inserire sulla piattaforma dell’INVALSI i commenti sulla seconda bozza.
Il coordinatore raccoglie i commenti e compone una terza bozza - con griglia di risoluzione - e consegna questo lavoro a un docente esperto esterno che NON ha mai partecipato alle precedenti fasi.
I commenti dell’esperto esterno sono raccolti dal coordinatore e oggetto di ulteriore discussione da parte del gruppo di lavoro. Su questa base viene costruita la quarta bozza del pretest (2 fascicoli)
I due pretest, vengono quindi esaminati e discussi da un altro gruppo di lavoro dell’INVALSI, e apportate eventuali modifiche, soprattutto tese a migliorare il testo (del gruppo fa parte anche una linguista)
III FASE
I due fascicoli vengono finalmente pretestati. Una ricercatrice, seguita dal coordinatore del gruppo di livello, analizza le risposte degli studenti e evidenzia i quesiti che hanno comportato maggiori problemi nella correzione o risoluzione. La correzione è condivisa dalla ricercatrice e dal coordinatore e solo dopo tale condivisione i risultati vengono analizzati automaticamente per l’elaborazione statistica.
Somministrazione pretest e analisi pretest
IV FASE
Nell’anno successivo, verso i primi di ottobre, il gruppo di lavoro dell’INVALSI, con i coordinatori del gruppo di livello, esamina i risultati del pretest e, con le domande che sono risultate migliori dal punto di vista misurativo,
tenendo presenti gli equilibri tra i vari processi, gli ambiti di contenuto e le tipologie dei quesiti,
definisce il test finale.
Il gruppo di lavoro esamina il test così prodotto; riesegue tutti le domande e controlla la griglia di correzione ed infine un esperto esterno, che non ha partecipato ad alcuna delle fasi precedenti, controlla alla sola ricerca di errori dal punto di vista matematico.
Preparazione test
LA GENESI DI UN ITEMAlcuni esempi
DAL TESTO DELL’AUTORE …
ETICHETTATURA DEL’AUTORE
… ALLA REVISIONE …
La discussione porta a modificare: la grafica la tipologia: da MC a RG
La seconda modifica aggiunge quindi la richiesta di argomentazione e “cambia” in parte lo scopo dell’item
… PER IL PRETEST
I RISULTATI DEL PRETEST
Alcuni dati del pretest (condotto su 879 studenti):
Risposta errata: 58.25% Risposta corretta : 8.87 % Risposta non data : 32,88%
La ricercatrice e il gruppo di lavoro decidono di modificare nuovamente l’item tornando alla tipologia MC che, in questo caso, prevede la scelta di un’argomentazione corretta
SNV 2012/13 – L10
ETICHETTATURA E RISULTATI
AMBITO PREVALENTE Spazio e figure SCOPO DELLA DOMANDA Riconoscere, tra diverse
argomentazioni, quella corretta.
RISPOSTA CORRETTA: A
PROCESSO PREVALENTE Utilizzare forme tipiche del
ragionamento matematico. Indicazioni Nazionali e Linee
Guida Fondamenti della geometria
euclidea del piano. Conoscere e usare misure di
grandezze geometriche: perimetro, area e volume delle principali figure geometriche del piano e dello spazio.
RISULTATI DEL CAMPIONE
Non risp. A B C D
G 4,0 22,7 18,8 46,4 8,1
L 4,0 29,2 16,3 44,8 5,7
T 3,7 18,3 20,7 49,3 8,0
P 4,6 17,1 20,7 45,0 12,6
Interessante il distrattore C
STORIA DELLE CORNICI QUADRATE
La figura mostra un quadrato Q, circondato da un primo anello formato da 8 quadrati uguali.
Vediamo anche un secondo anello formato da 16 quadrati ed un terzo anello più esterno.
Immaginiamo che la figura si estenda con anelli successivi, concentrici, formati da quadrati tutti uguali a Q.
Quanti sono i quadrati del 100° anello concentrico?
TITOLO dell’autore: Anelli quadrati
ETICHETTATURA DELL’AUTORE
Classe 2 superiore
Ambito Numeri
Tipologia Risposta unica
Risposta corretta 800
Osservazioni
Difficoltà **
Oggetto di valutazione Successioni numeriche e funzioni lineari
Processo cognitivo Acquisire progressivamente forme tipiche del pensiero matematico (congetturare, verificare, …)
Compito Determinare la formula esplicita che genera una successione
LA REVISIONE …
La discussione porta a suddividere il quesito
proposto in due item e a modificare il testo
C’è, in parte, un cambio di consegne ma non cambia sostanzialmente lo scopo dell’item (b)
… IL PRETEST
Al centro della figura c'è un quadrato nero Q circondato da una prima cornice formata da 8 quadrati tutti uguali a Q. Nella figura vediamo anche la seconda cornice evidenziata in grigio.
Immaginiamo che la figura si estenda con successive cornici (terza, quarta, ecc.) sempre formate da quadrati tutti uguali a Q.
a. Quanti sono i quadrati della quinta cornice?
Risposta: ..................
b.Quale tra le seguenti formule non fornisce il numero di quadrati dell'ennesima cornice?
A □ 2n(n+1)+4
B □ 4(2n+1) – 4
C □ (2n + 1)2 – (2n – 1)2
D □ 8n
I RISULTATI DEL PRETESTAlcuni dati del pretest (condotto su 879 studenti):Item_a Risposta errata: 55.06% Risposta corretta : 30.72 % Risposta non data : 14.22%Item_b Risposta corretta : 20.25 %
I distrattori non sono “convincenti” e la formalizzazione difficile
La ricercatrice e il gruppo di lavoro decidono di modificare nuovamente l’item tornando ad una consegna simile a quella iniziale, ma con argomentazione
… IL TEST (SNV - L10 - 2012/13)
D24. Al centro della figura c'è un quadrato nero Q. Il quadrato è circondato da una prima cornice bianca formata da 8 quadrati tutti uguali a Q e da una seconda cornice grigia.
Immagina che la figura si estenda con successive cornici (terza, quarta, ecc.) sempre formate da quadrati tutti uguali a Q.
a.Quanti sono i quadrati della quarta cornice? Risposta: ..................
b. Se si continua a estendere la figura nello stesso modo, è possibile ottenere una cornice formata da 70 quadrati tutti uguali a Q?Scegli una delle due risposte e completa la frase.
□ È possibile ottenere una cornice di 70 quadrati perché ……………………………..
□ Non è possibile ottenere una cornice di 70 quadrati perché ……………………….
ETICHETTATURA …
AMBITO PREVALENTE
Numeri
SCOPO DELLA DOMANDA
a. Individuare una strategia di conteggio.
b. Individuare una regolarità nella successione del numero di quadrati.
PROCESSO PREVALENTE
a. Conoscere e utilizzare algoritmi e procedure.
b. Utilizzare forme tipiche del pensiero matematico.
Indicazioni nazionali e Linee Guida
Conoscenza della struttura dei numeri interi.
Le operazioni con i numeri interi e le loro proprietà.
RISPOSTA CORRETTA:a. 32b. Non è possibile ottenere
una cornice di 70 quadrati, perché 70 non è un multiplo di 8.
Accettabili risposte che equivalgano ad affermare che il numero di quadrati è uguale a 8n dove n è il numero d’ordine della cornice.
Accettabili anche risposte che facciano uso di formule algebriche equivalenti a 8n.
Accettabili anche risposte che calcolino i quadrati della ottava (64) e nona cornice (72) e che quindi concludano che non è possibile.
…E RISULTATI
Item Mancata risposta
Errata Corretta
G D24_a 6,3 54,4 39,4
G D24_b 19,5 29,7 50,9
L D24_a 3,9 51,5 44,6
L D24_b 14,8 26,9 58,3
T D24_a 5,3 55,0 39,7
T D24_b 18,2 29,5 52,4
P D24_a 11,9 58,8 29,3
P D24_b 29,8 35,0 35,1
PER APPROFONDIRE
I quadri di riferimento
I rapporti tecnici
I quaderni del SNV
RINGRAZIAMENTI
Lorenza e Benedetto, miei compagni di
“cordata”: senza di loro non avrei potuto apportare alcun contributo alla discussione odierna
Domingo per i preziosi suggerimenti
Aurelia e Stefania per il materiale fornito
… e a tutti voi che avete avuto la pazienza di ascoltarmi! Grazie!
LA FASE PREPARATORIA: LE RICHIESTE
1. una domanda per ambito. È importante proporre domande non banali e non artificiose, possibilmente significative dal punto di vista didattico …
Nella costruzione delle domande è necessario a. coprire più tipologie (scelta multipla, risposta
univoca,…) b. costruire almeno una domanda con più di un item
2. una situazione ricca - con dati, grafici, immagini - che possa costituire uno “stimolo” su cui il gruppo possa lavorare e costruire più item
I materiali predisposti da ogni autore costituiscono la base iniziale per il lavoro nei gruppi.
Le informazioni di base da cui si parte per l’analisi del funzionamento di un item sono sostanzialmente tre:
quanti alunni hanno risposto correttamente; quanti hanno scelto ciascuno dei possibili distrattori; quanti hanno omesso la risposta.
A partire da queste informazioni è possibile rispondere a tre domande:
quanto è difficile l’item? l’item è in grado di discriminare fra gli alunni più abili
e quelli meno abili? gli alunni hanno scelto tutte le opzioni? O ci sono
alcune opzioni che non sono state scelte da nessuno?