quali sono gli effetti del percorso di formazione pon m@tabel ?
DESCRIPTION
Quali sono gli effetti del percorso di formazione PON M@tabel ? Valutazione di una innovazione didattica mediante esperimento controllato Ottobre 2009. Perché valutare le ricadute di PON [email protected] sugli studenti ?. Le caratteristiche di PON M @ tabel. - PowerPoint PPT PresentationTRANSCRIPT
Quali sono gli effetti del percorso di formazione PON M@tabel ?
Valutazione di una innovazione didattica mediante esperimento controllato
Ottobre 2009
UNIONE EUROPEA MINISTERO DELL’ISTRUZIONE, DELL’UNIVERSITA’ E DELLA RICERCA
INVALSI
Le caratteristiche di PON M@tabel
La st
ruttu
ra d
ella
pre
sent
azio
ne
Perché valutare le ricadute di PON [email protected] sugli studenti ?
Il processo di randomizzazione e la dimensione del campione
La metodologia adottata per la valutazione: uno studio randomizzato
Identificazione degli effetti a 1, 2 e 3 anni
Per ulteriori informazioni:http://www.invalsi.it/invalsi/ri/matabel/
Cosa si misura
Calendario delle attività
Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello)
Fonte: OCSE-PISA 2006
I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica…
0,0
5,0
10,0
15,0
20,0
25,0
30,0
35,0
40,0
PABolzano
Campania Basilicata EmiliaRomagna
FriuliVeneziaGiulia
Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto
OCSE = 32,4%
Italia = 19,6%
Perc
hé v
alut
are
le r
icad
ute
di P
ON
M@
t.abe
l sug
li st
uden
ti ?
Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello)
Fonte: OCSE-PISA 2006
… e troppi quelli poveri di competenze
Italia=13,5%
-25,0
-20,0
-15,0
-10,0
-5,0
0,0
PABolzano Campania Basilicata
EmiliaRomagna
FriuliVeneziaGiulia Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto
OCSE=7,7%
Perc
hé v
alut
are
le r
icad
ute
di P
ON
M@
t.abe
l sug
li st
uden
ti ?
Obiettivi di servizio nel Mezzogiorno per il periodo 2007 – 2013
Perc
hé v
alut
are
le r
icad
ute
di P
ON
M@
t.abe
l sug
li st
uden
ti ?
Il Quadro Strategico Nazionale 2007-2013, nell’ambito del quale viene finanziato anche il PON Istruzione, prevede una nuova attenzione per l’istruzione quale fattore essenziali per contribuire allo sviluppo, alla crescita della produttività, al reddito individuale e collettivo e alla mobilità sociale.
Gli interventi finanziati nel periodo 2007-2013 si pongono tre obiettivi principali:- Ridurre la percentuale dei giovani che abbandonano prematuramente gli studi: al più il 10% - Ridurre la percentuale di 15-enni con scarse competenze in lettura secondo OCSE-PISA: al più il 20% - Riducendo la percentuale di 15-enni con scarse competenze in matematica: al più il 21%
… è sempre più importante capire “cosa funziona”
M@tabel: percorso di formazione e innovazione didatticaLe
car
atte
rist
iche
di P
ON
M@
tabe
l
Matematica. Apprendimenti di Base con e-learning Formazione nazionale rivolta in questa versione agli insegnanti delle Regioni PON (Calabria, Campania, Puglia, Sicilia).
Scarso rendimento in matematica
(PISA)
Problema risolvibile con nuove modalità di
insegnamento centrate sull’applicazione delle nozioni a casi concreti
Formazione degli insegnanti
Nuova didattica in classe da parte degli insegnanti
Miglior atteggiamento e rendimento degli
studenti in matematica
Le domande e il significato del termine “valutazione”
La m
etod
olog
ia a
dotta
ta
Cosa ne pensano gli insegnanti? Cambiano le loro modalità di insegnamento e alcuni atteggiamenti?
In che misura incide sulle competenze in matematica e sugli atteggiamenti degli studenti?
….. NON si valutano le scuole, NON si valutano gli insegnanti, NON si valutano i tutor, NON valutano gli studenti.Si valuta la proposta formativa Mat@bel+ (e con diversi “se”)
Come funziona Mat@bel Le
car
atte
rist
iche
di P
ON
M@
tabe
l La formazione è “blended” e strutturata in quattro fasi:
1. incontri introduttivi in presenza con il tutor;
2. incontri on line e scelta delle unità didattiche;
3. sperimentazione in classe di 4 attività didattiche, con assistenza on-line del tutor e compilazione di un diario di bordo;
4. incontro finale, consegna del diario di bordo e del questionario finale da parte degli insegnanti.
Alcune caratteristiche di M@tabel rafforzate dal PON Istruzione 2007-2013
Le c
arat
teri
stic
he d
i PO
N M
@ta
bel
Le unità didattiche28 unità rivolte alla scuola secondaria di primo grado costituite da una parte introduttiva rivolta al docente, una sorta di “sceneggiatura” che dettaglia le attività da fare in classe, i relativi documenti di supporto scaricabili, indicazioni metodologiche e spunti di approfondimento disciplinare, suggerimenti su attività addizionali, elementi di prova di verifica per valutare l’effettiva comprensione da parte degli studenti, una biblio/sitografia.L’approccio alla base delle unità enfatizza la componente applicativa degli insegnamenti di matematica (come OCSE-PISA).
La collaborazione on line e a scuolaLa discussione on line, con la classe virtuale e con il tutor è centrale e verte proprio su difficoltà incontrate e modi con cui si sono superate.
Gli insegnanti sono chiamati a “testare” le unità e a redigere un diario di bordo indicando difficoltà e punti di forza del lavoro svolto.
Misurare quali effetti sugli studenti?La
met
odol
ogia
ado
ttata
L’ apprendimento/competenza in matematica Prove INVALSI rilevate su un campione di classi: per la prima media, prove del SNV, per la seconda e terza media, prove collegate (sempre mediante scale di Raach)
L’atteggiamento verso la matematica (e la scuola)Il numero di assenze (rilevate presso le segreterie scolastiche)Il rendimento scolastico complessivo (rilevate presso le segreterie scolastiche e/o MIUR)Il gradimento della matematica (questionari specifici)Etc….
….. accompagnati da un insieme vasto di informazione sui contesti scolastici e sui rispettivi territori, e sulle caratteristiche economico-sociali degli studenti.
La metodologia adottata: uno studio randomizzatoLa
met
odol
ogia
ado
ttata
Gli studi randomizzati vengono utilizzati in campo educativo in tutto il mondo per capire come funzionano programmi, progetti, interventi, politiche ….
Il modello analitico di uno studio randomizzato si basa su due pilastri:1. suddivisione dei candidati al trattamento in due gruppi: trattati e controlli;2. assegnazione casuale dei candidati ai due gruppi.
Le differenze post trattamento tra i due gruppi sono considerabili come effetto del trattamento.
La metodologia adottata: uno studio randomizzatoLa
met
odol
ogia
ado
ttata
Le scuole del I ciclo interessate a partecipare al piano formativo PON [email protected]+ sono state divise mediante sorteggio in due gruppi:-scuole che partecipano da subito (A.S. 2009/10) -scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11).
L’estrazione mediante sorteggio è necessaria per crearedue gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essereplausibilmente attribuita alla sperimentazione del piano PON [email protected]+
La metodologia adottata: uno studio randomizzatoLa
met
odol
ogia
ado
ttata
Lo studio randomizzato riguarda solo le scuole / i docenti della secondaria di primo grado (la proposta educativa omogenea, è un nodo critico nel percorso scolastico …è la prima volta che facciamo questo tipo di valutazione!)
Tutte le scuole e i docenti verranno coinvolti nello studio, sia coloro che partecipano a M@tabel 2009/2010, sia quelli che vi partecipano nel 2010/2011:- i docenti, per capire se il percorso formativo ha ricadute sui metodi e le modalità di insegnamento;- gli studenti, per capire se questi metodi migliorano le loro competenze- le scuole, per raccogliere dati sul contesto
….. E anche i tutor, per capire se il percorso formativo è stato svolto come previsto, per aiutare nella valutazione ….
Come si confrontano i due gruppi per stimare gli effetti di PON M@tabel?
La m
etod
olog
ia a
dotta
ta
Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+
2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 3° media 2° coorte 2° media 3° media 2° media 3° media 3° coorte 1° media 2° media 3° media 1° media 2° media 3° media 4° coorte 1° media 2° media 1° media 2° media 5° coorte 1° media 1° media Legenda Esposto a [email protected]+ Non ancora esposto a [email protected]+
Stima degli effetti di un anno di coinvolgimento in M@tabelLa
met
odol
ogia
ado
ttata
Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+
2009/10 2009/10 1° coorte 3° media 3° media 2° coorte 2° media 2° media 3° coorte 1° media 1° media Legenda Esposto a [email protected]+ Non esposto a [email protected]+
confrontando i punteggi medi ottenuti ai test di apprendimento dagli studenti delle scuole sorteggiate per implementare [email protected]+ il primo anno con i punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare [email protected]+ l’anno successivo
I confronti per ottenere la stima dell’effettodi due anni: “effetto esperienza”
La m
etod
olog
ia a
dotta
ta
Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+
2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 2° coorte 2° media 3° media 2° media 3° coorte 1° media 2° media
Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente:
Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+
2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 2° coorte 2° media 3° media 3° coorte 2° media
…. Può essere eventualmente esteso al terzo anno
Le principali minacce alla solidità dell’esperimentoLa
met
odol
ogia
ado
ttata
- mancata partecipazione ai corsi di un gran numero di insegnanti;
- abbandono dei corsi da parte di un gran numero di insegnanti;
- rifiuto a partecipare alle rilevazioni da parte degli insegnanti;
- mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale (occorre almeno sapere cosa è stato fatto, a quel punto).
….. Serve la collaborazione di tutti per ridurre i danni!
Dimensione del campione e potenza del disegno (minimum detectable effect)
Dim
ensi
one
cam
pion
aria
e p
oten
za d
el d
iseg
no
Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%).
Nel caso in cui si riescono a seguire 100 scuole (K): 50% trattate e 50% controlli (P) – tenendo conto di eventuali “cadute” tra gli insegnanti originariamente iscritti;dato che vi sono tra le scuole iscritte una media di 4 docenti (J), con una classe per docenti e una media di 19 studenti per classe (stima prudenziale - N)
Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785.(fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media)Varianza spiegata dai predittori raccolti (R2):
-> stima pessimistica (10%) MDES 0,208 -> stima ottimistica (40%) MDES 0,2
La soglia standard per questo tipo di esperimenti è 0,20. Si tratta di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona…
Perché raccogliere tanti dati oltre ai risultati delle prove di apprendimento sugli studenti?
La m
etod
olog
ia a
dotta
ta
Raccolta di informazioni su contesto, scuola, insegnanti e studenticon tre obiettivi:
1. testare la “fortuna” avuta con la randomizzazione;
2. aumentare la precisione delle stime;
3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti.
Calendario di massima dei prossimi appuntamenti con la valutazione
Cal
enda
rio
delle
atti
vità
Autunno 2009 – breve raccolta di dati presso le scuole sul contesto e per individuare in quali classi insegnano i docenti PON [email protected] 2009/2010 e 2010/2011– comunicazione ai tutor delle classi in cui suggerire che venga effettuata la sperimentazione in classe delle 4 attività (solo per i docenti di PON [email protected] 2009/2010 )– prima rilevazione sui docenti PON [email protected] 2009/2010 e 2010/2011 (questionario da compilare prima dell’avvio delle sperimentazioni in classe) Maggio 2010– rilevazioni sugli studenti delle classi del campione sopraindividuato tramite prove del SNV / INVALSI (prima, seconda e terza media)– completamento del percorso PON [email protected] 2009/2010 con diario di bordo e questionario finale (rivolto a docenti e a tutor)– seconda rilevazione sui docenti PON [email protected] 2009/2010 e 2010/2011 (questionario da compilare)– eventuali interviste in profondità a tutor e insegnanti
Un primo “effetto” della valutazione di M@tabel ….U
n pr
imo
“eff
etto
” de
lla v
alut
azio
ne d
i M@
tabe
l?
Le unità didattiche – l’intensità del trattamentoAlmeno 18 ore complessive di trattamento in 6 settimane nell’anno scolastico.Tutor con ruolo attivo di promozione e controllo.Invito ad usare la piattaforma anche dal secondo anno in poi e comunicazione assidua.
La collaborazione a scuola – l’intensità del trattamento 2Invito nel bando a far partecipare tutti gli insegnanti di matematica della scuola, concretamente applicato poi nella decisione di osservare solo scuole in cui i partecipanti saranno due o più.
Il monitoraggio più miratoRafforzamento del monitoraggio: non solo il diario di bordo e i dati di log della piattaforma, difficilmente utilizzabili, ma anche questionari rivolti agli insegnanti e ai tutor nei quali si raccolgono informazioni utili su cosa viene fatto davvero.
Siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante. Questo si è tradotto in una razionalizzazione della logica dell’intervento e di orientamento alla raccolta dei dati necessari per la valutazione.