a cura di arduino salatin - sogisnc.it · a cura di arduino salatin . 1 ... opera...
TRANSCRIPT
a cura di Arduino Salatin
1
Modelli di valutazione di sistema
Valutare il sistema scuola: il SNV
Un esempio di valutazione di sistema 2
3
1. Modelli di valutazione di
sistema
4
Partiamo da alcuni esempi di guardare alla valutazione di un sistema formativo, in cui emergono diverse istanze, tra cui finalità di: - marketing - ranking - ricerca scientifica
5
Fonte: «La Repubblica», 4.11.2014, p. 25
Le scuole italiane ritenute
«eccellenti» in termini di innovazione degli spazi, del tempo o
della didattica
Esiti Seconda sec. di secondo grado: MATEMATICA
ROM
A –
10 lu
glio
201
4
Livelli decrescenti di risultati (dal migliore al peggiore) Friuli-Venezia Giulia 5 1 Ptov. Aut. di Trento 4 2 Veneto 4 Piemonte 2
3
Liguria 2 Prov. Aut. di Bolzano (l.it) 2 Lombardia 3 Emilia-Romagna 3 Marche 3 Lazio 0
4
Molise 0 Puglia 0 Valle d'Aosta 1 Toscana 1 Umbria 1 Abruzzo 1 Sardegna -2 5 Basilicata -1 Campania -4 6 Calabria -4 Sicilia -7 7
Le regioni italiane in cui si verificano i migliori o i peggiori risultati ai test Invalsi (maggio 2014)
System/Schools Resources Classes 1. Educational standards 2. School autonomy 3. Institutional differentiation 4. Public/private school 5. School size 6. School admittance policy
1. Number of qualified teachers
2. Physical infrastructures
3. Learning time 4. ICTs 5. Curriculum
1. Size 2. Discipline 3. Student
support 4. Pedagogy
Teachers Students Parents 1. salary and working
conditions 2. Motivation 3. Education/ development 4. Teachers assessment
1. Motivation 2. Sense of belonging 3. Students
assessment 4. Students-teachers
relations
1. Expectations 2. Involvement
I 25 fattori che, secondo l’OCSE, possono influenzare la performance scolastica degli studenti
(individuati a partire dai risultati delle rilevazioni PISA)
Bernard Hugonnier, Pisa and the performance of educational systems, (2009)
8
High influence Low influence Undetermined influence
1. Educational standards
2. School autonomy 3. Institutional
differentiation 4. Learning time 5. Discipline 6. Student support 7. Students-
teachers relations
1. Number of qualified teachers
2. School size 3. Public/private schools 4. School admittance
policy 5. Students interest 6. Students’ sense of
belonging 7. Student evaluation 8. Parents involvement
1. Physical infrastructures
2. ICTs 3. Classes size 4. Teachers’
motivation 5. Parents’
expectations
Livello di influenza associato ai vari fattori
9
Perché una istituzione e/o un sistema educativo, a livello
micro o macro, viene ritenuto «eccellente», o più «efficace», o
in generale «migliore» di un altro o di «maggiore qualità»?
Valutazione delle azioni
formative (didattica, …)
Valutazione dell’offerta formativa (POF, …)
Valutazione interna e/o esterna dell’istituto
Accreditamento Certificazione
Audit, …
Valutazione degli apprendimenti
Livelli e oggetti di valutazione dei/nei sistemi formativi
Valutazione del personale scolastico
Sistemi assicurazione e/o gestione
qualità
11
«Valutare la qualità» di un sistema educativo non è
però una cosa semplice ….
12
La valutazione nei e dei sistemi formativi richiede infatti una lettura multidimensionale e multilivello, in quanto l’education è un «oggetto» complesso…
Nel campo dell’analisi dei contesti educativi complessi, la valutazione può essere definita come una “raccolta sistematica di dati secondo strumenti affidabili e una interpretazione di tali dati in vista di un impatto di cambiamento sulla situazione di partenza” (Beeby, 1977 ; Wolf, 1987).
13
Per fare questo lavoro esistono diversi modelli e strumenti.
14
Esempi di modelli di valutazione di un sistema formativo
15
16
17
Secondo Giorgio Allulli (2012), esistono due principali modelli in questo campo:
- i modelli ispirati alla
gestione manageriale di derivazione industriale,
- i modelli “input-output»,
ispirati alle scienze economiche e sociali.
E’ un approccio ispirato alla gestione della qualità (intesa come capacità di rispondere alle attese implicite ed esplicite del sistema degli attori coinvolto nel servizio), E’ centrato sulla valorizzazione e sul controllo delle risorse, dei processi, dei prodotti e delle relazioni con il territorio in cui è presente ed opera l’organizzazione di formazione. Questi modelli, che derivano culturalmente dal mondo della produzione, hanno avuto particolare diffusione nel sistema delle aziende e in quello della formazione professionale
18
19
Tuttavia, rispetto agli approcci di «valutazione della qualità», le istituzioni scolastiche e formative presentano alcuni elementi di specificità che non ne rendono automaticamente applicabili tutte le metodologie.
20
- una minore controllabilità dell’organizzazione sia sui «clienti» (gli studenti) che sulle risorse umane (gli insegnanti) - un rapporto «continuativo» e non occasionale con il «cliente», - una più difficile applicabilità della strategia del «miglioramento continuo», data la variabilità dell’utenza e del personale - una certa ambiguità del concetto di “servizio per l’utente” soprattutto dove si tratta di istituzioni per la istruzione obbligatoria
Ad esempio: i buoni risultati di apprendimento degli allievi generano “automaticamente” buone ricadute sulla qualità del servizio formativo?
(in senso diacronico e a livello di sistema)
21
Di qui la necessità di: ampliare l’orizzonte della valutazione dai
risultati alle ricadute : ciò è utile anche per precisare i “fini in vista di” (Dewey) che guidano l’agire valutativo nei contesti concreti (l’approccio delle capability di Sen e Nussbaum)
Porre più attenzione alla natura sociale della valutazione, in direzione della dimensione collegata alla intersoggettività (co-valutazione e negoziazione sociale). 22
Quattro prospettive di equità formativa
A. Sen, Equality of What? In: Tanner Lecture on Human Values, Stanford University, May 22, 1979, University of Utah Press, Salt Lake City 1980
23
Questo tipo di approccio è orientato a considerare l’organizzazione di formazione/istruzione secondo uno schema di “input-output”, abitualmente utilizzato nell’ambito delle discipline scientifiche e tecnologiche, importato successivamente dalla scienza economica e da quella sociale. Questi modelli hanno trovato particolare attenzione da parte del sistema di Istruzione.
24
25
APPROCCIO EFQM - MODELLO C-A-F-
Risultati relativi alle performance
chiave
Risultati relativi al personale
Risultati orientati a
discenti -famiglie
Risultati relativi alla
società
Partnership e risorse
Politiche e strategie
Personale
Innovazione e apprendimento
Risultati Fattori abilitanti
Leadership Processi
DIDATTICA ESITI DI
APPRENDIMENTO MISSION DELLA SCUOLA
RENDICONTAZIONE SOCIALE
CONTESTO
25
Secondo Allulli, tra queste due tipologie di dispositivi valutativi non sono avvenuti molti scambi ed anzi il più delle volte si sono create delle paratie impermeabili, come se in effetti appartenessero a culture non solo diverse, ma addirittura antagoniste.
26
A livello europeo esiste un importante riferimento, a partire dalla: Raccomandazione del Parlamento Europeo e del Consiglio sull’Istituzione di un Quadro Europeo di riferimento per l’Assicurazione della Qualità dell’Istruzione e della Formazione Professionale (EQAVET), approvata il 18 giugno 2009. È uno strumento per la garanzia e di miglioramento della qualità dei sistemi formativi e si basa su 4 fasi essenziali.
27
28
(European Quality
Assurance Reference
Framework)
Oggi questo dispositivo è stato ridefinito nell’
Possiamo distinguere una prima fase, situabile tra gli anni Novanta ed i primi anni Duemila, segnata in particolare dall’avvio dell’indagine PISA (Programme for International Student Assessment), Essa ha per fulcro la predisposizione di dispositivi per la misurazione dei risultati (outcomes) dei sistemi educativi, mediante l’assessment ciclico di set distinti di competenze piuttosto che sulle conoscenze disciplinari curricolari.
29 Fonte. Dordit, Salatin (2012)
È articolato su:
COMPARATIVE ANALYSIS
COUNTRY REVIEWS
30
L’ OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes (2009) È un quadro di riferimento basato sulle prospettive di accountability e di improvement dei sistemi educativi.
Le componenti fondamentali del modello sono articolate su 5 dimensioni: Student assessment;
Teacher appraisal;
School evaluation;
The appraisal of school leaders;
Education system evaluation.
31
Synergies for Better Learning: An International Perspective on Evaluation and Assessment, Presentation by Paulo Santiago Directorate for Education and Skills, OECD, 2013
32
Policy review
Sono strutturate per far interagire gli esperti, i decisori e gli operatori sul campo
accountability
esiti processi
improvement
focus
final
ità
Modelli di autovalutazione delle istituzioni educative e formative
33
Tra i diversi lemmi e costrutti, il termine
accountability appare oggi una parola chiave emergente per la valutazione dei sistemi formativi (dal livello micro al livello macro).
Ma l’accountability, pur restando un
criterio necessario per l’analisi valutativa, in particolare per le dimensioni della trasparenza e della responsabilità, può essere anche sufficiente?
34
La logica orientata all’accountability, che generalmente implica l’uso di un approccio di tipo sommativo, applicata all’accertamento dell’esito di apprendimento degli studenti, si esplica - nelle diverse forme di accertamento, - in differenti stadi del percorso formativo, del livello di conseguimento di obiettivi curricolari espressi generalmente in conoscenze ed abilità, - sulla base di standard fissati dalle autorità di governo del sistema (standards-based systems)
35
L’attività di valutazione, interpretata in funzione di uno sviluppo dei sistemi e della loro capacità di risposta sia verso l’esterno che verso l’interno, richiede la predisposizione di un’adeguata architettura del sistema valutativo, la cui articolazione possa comprendere tanto il piano della valutazione dei risultati di apprendimento, quanto nuovi e meno tradizionali elementi, quali la valutazione delle istituzioni scolastiche, della performance degli insegnanti e del sistema nel suo complesso.
36
Il raccordo tra valutazione interna ed esterna
Ne risulta quindi la tendenza a promuovere lo sviluppo di sistemi integrati di valutazione, le cui componenti siano interconnesse sulla base di dispositivi di rilevazione e set di indicatori unitari entro un sistema informativo che consenta l’interoperabilità dei dati raccolti ed elaborati.
37
38
2. Valutare il sistema scuola:
il SNV
- E’ stato istituito con il decreto del Presidente
della Repubblica del 28 marzo 2013, n. 80 concernente il Sistema di Valutazione Nazionale di valutazione in materia di istruzione e formazione ,
- Riguarda tutto il sistema di istruzione e di formazione: scuole statali, scuole paritarie e IeFP 39
Il dispositivo di valutazione è orientato principalmente al miglioramento (improvement) pur non rinunciando anche ad una funzione di rendicontazione (accountability)
40
Si concentra sulla valutazione «interna» delle scuole, denominata autovalutazione,
ma
assume anche elementi di «valutazione esterna»
41
A partire dal 2008 l’INVALSI, sulla scia delle raccomandazioni Europee per l'attuazione di un Sistema di valutazione, ha avuto l'incarico di studiare e definire un modello di valutazione delle scuole in grado di rilevare gli assetti organizzativi e le pratiche didattiche che favoriscono un migliore apprendimento degli studenti. Con il progetto VALES, (2012-2014) l'INVALSI, alla luce delle precedenti esperienze, ha elaborato un nuovo quadro di riferimento, caratterizzato da un modello concettuale a tre dimensioni (Esiti, Processi, Contesto), articolato in specifiche aree .
42
Il modello elaborato si basa su due principali approcci alla valutazione delle scuole: - quello denominato
CIPP (context – input – process – product)
- quello multilivello integrato promosso dall’OCSE
43
44
Fonte: INVALSI-MIUR, 2013
Una buona scuola è una scuola che riesce a porre in essere un modus operandi e quindi dei processi organizzativi che, a partire dal contesto in cui opera, consentano di perseguire determinati esiti. Una buona scuola deve pertanto: consentire lo sviluppo di competenze di
qualità, promuovere efficacemente i valori e le norme
collettive congruenti con una società libera e democratica e
preparare adeguatamente al mondo professionale e del lavoro
45
Fonte: materiali si supporto al progetto VALES, Invalsi, 2012
il primo Regolamento del SNV e i principali ambiti di valutazione
(Art. 6: procedimento di valutazione)
a. Autovalutazione delle istituzioni
b. Valutazione esterna
c. Azioni di miglioramento
d. Rendicontazione sociale
46
Fonte: MIUR, materiali presentazione USR, 2013 (prima approvazione C. dei M. 24/08/2012)
RAV
47
La Direttiva del MIUR n. 11 del 18 settembre 2014 sulle priorità strategiche del Sistema Nazionale di Valutazione per gli anni scolastici 2014/15, 2015/16
La valutazione è finalizzata al miglioramento della qualità dell’offerta formativa e degli apprendimenti ed è indirizzata: alla riduzione della dispersione scolastica e
dell’insuccesso scolastico; alla riduzione delle differenze tra scuole e aree
geografiche nei livelli di apprendimento degli studenti;
al rafforzamento delle competenze di base degli studenti rispetto alla situazione di partenza;
alla valorizzazione degli esiti a distanza degli studenti con attenzione all’università e al lavoro 48
1. Fascicolo Scuola in chiaro
2. Dati prove Invalsi 3. Questionario scuola 4. Altri strumenti di indagine predisposti da Invalsi per le scuole 5. Dati e informazioni disponibili nella scuola, inclusi quelli derivanti da strumenti di autovalutazione adoperati in passato o comunque autonomamente definiti dalla scuola.
Gli strumenti e le fonti
49
Quadro teorico
Struttura del Rapporto di autovalutazione
Indicatori
50
E’ articolata in 5 sezioni. La prima sezione, «Contesto e risorse» permette alle scuole di esaminare il loro contesto e di evidenziare i vincoli e le leve positive presenti nel territorio per agire efficacemente sugli esiti degli studenti. Gli «Esiti degli studenti» rappresentano la seconda sezione. La terza sezione è relativa ai processi messi in atto dalla scuola.
51
La quarta sezione invita a riflettere sul processo di autovalutazione in corso e sull'eventuale integrazione con pratiche autovalutative pregresse nella scuola. La quinta sezione, «Individuazione delle priorità strategiche», consente alle scuole di individuare le aree di processo su cui si ritiene prioritario agire al fine di migliorare gli esiti, in vista della predisposizione di un piano di miglioramento.
52
1. Contesto e risorse 1.1. Popolazione scolastica 1.2. Territorio e capitale sociale 1.3. Risorse economiche e materiali 1.4. Risorse professionali
2. Esiti 1.1. Risultati scolastici 1.2. Risultati nelle prove standardizzate 1.3. Competenze chiave e di cittadinanza 1.4. Risultati a distanza
53
3. Processi o Pratiche educative e didattiche 3.1. Curricolo, progettazione, valutazione 3.2. Ambiente di apprendimento 3.3. Inclusione e differenziazione 3.4. Continuità e orientamento o Pratiche gestionali e organizzative 3.5. Orientamento strategico e organizzazione
della scuola 3.6. Sviluppo e valorizzazione delle risorse
umane 3.7. Integrazione con il territorio e rapporti con
le famiglie 54
4. Il processo di autovalutazione
5. Individuazione delle priorità strategiche 5.1. Priorità strategiche e Traguardi di 'lungo
periodo' orientati agli Esiti degli studenti 5.2. Obiettivi di processo
55
La misurazione attraverso indicatori e «rubriche»
il Sistema Nazionale di Valutazione si avvarrà
anche di una piattaforma operativa unitaria predisposta dai Servizi informativi del MIUR, in modo da poter gestire e coordinare il flusso delle informazioni e le elaborazioni dati provenienti dalle varie fonti;
il MIUR avvierà, in collaborazione con i soggetti del Sistema Nazionale di Valutazione, piani di formazione per tutte le scuole, con particolare attenzione ai dirigenti scolastici.
56
Nel corso del triennio scolastico considerato, verrà migliorato l’utilizzo del profilo longitudinale dei dati delle rilevazioni INVALSI anche al fine di individuare il valore aggiunto determinato dall’azione formativa delle scuole.
Per favorire l’utilizzo dei risultati in chiave autovalutativa, l’INVALSI predisporrà apposite linee guida per la lettura e l’utilizzo dei dati.
57
Entro marzo 2015, la Conferenza di
coordinamento adotterà, su proposta dell’INVALSI, i protocolli di valutazione delle scuole e gli indicatori di efficienza e di efficacia per individuare le scuole da sottoporre a verifica esterna.
Le attività di valutazione esterna, con le visite dei nuclei di valutazione costituiti dai dirigenti tecnici, che ne assumono il coordinamento, e dagli esperti individuati secondo i criteri di seguito indicati, avranno inizio a partire dall’anno scolastico 2015-2016.
58
Al fine di facilitare e regolare l’implementazione del sistema di valutazione, le scuole da sottoporre a verifica saranno, per il prossimo triennio, fino ad un massimo del 10 per cento del totale per ciascun anno scolastico, così individuate: - il 7 per cento attraverso gli indicatori di cui sopra e - il 3 per cento in base a campionamento casuale.
59
60
3. Alcuni esempi di valutazione di
sistema
61
Confronti con il modello e l’esperienza delle scuole
della Provincia Autonoma di Trento
62
Il modello della Provincia di Trento
1 .Contesto: 1.2 Livello culturale familiare degli alunni; 1.3 Livelli d’ingresso degli alunni; 1.4 Evoluzione delle iscrizioni; Indice di cultura familiare; Indice qualità ingresso studenti; Indice di disagio
2. Risorse: 2.3 Risorse umane; 2.4 Stabilità delle risorse umane
3. Processi: 3.1 Abbandono degli alunni; 3.2 Clima scolastico; 3.3 Aggiornamento organizzato dalla scuola
4. Risultati: 4.1 Risultato istituzionale; 4.2 Livelli di apprendimento; 4.3 Riuscita scolastica; 4.4. Soddisfazione dell’utenza; Indice di regolarità scolastica, solo per la scuola secondaria; Indice di successo scolastico; Indice di prestazione scolastica V. Report prodotto per il Comitato Provinciale di Valutazione del sistema educativo del Trentino: Analisi degli indicatori del processo di autovalutazione delle scuole della PAT a cura di Carlos Corvino e Franco Fraccaroli, Dipartimento di Scienze della Cognizione e della Formazione; Università di Trento- Polo di Rovereto; marzo 2010
63
Area Domande guida Aspetti rilevanti Situazione e input
Quanti, dove e –soprattutto- chi sono (che caratteristiche hanno) gli aventi diritto all’istruzione e formazione?
Popolazione Cittadinanza/Lingua/BES Condizione socioeconomica
Quali e quante risorse sono disponibili/usate per rendere effettivo l’esercizio del diritto di istruzione e formazione?
Umane Strutturali e strumentali Finanziarie
Obiettivi e risultati
Come, quanto e per chi si realizza il diritto all’istruzione e formazione?
Efficacia competenze rilevate loc naz internaz collocazione/risultati post-scolastici soddisfazione utenti diretti e indiretti Equità tassi di scolarità, regolarità e conclusione cicli varianza risultati rilevazione competenze riduzione livelli bassi, aumento livelli alti eccellenza Efficienza Spesa per alunno/risultato Analisi efficienza e valore aggiunto istituti
Che relazione c’è tra condizioni di partenza, risorse impiegate, processi formativi e risultati conseguiti?
Processi di sviluppo
Cosa si fa per migliorare (o almeno mantenere se è positiva) la qualità del servizio al diritto-dovere di istruzione formazione?
Partecipazione (genitori, comunità) Valutazione Formazione e innovazione Ricerca
E, per tutte le questioni ora indicate, come si posiziona il (sotto)sistema Trentino rispetto ad altri/analoghi sistemi d’istruzione e formazione?
Unità territoriali analoghe Italia Europa OCSE 64
L’auto-valutazione si prevede articolata in due passaggi distinti. Il primo, condotto in prevalenza su dati contenuti
nelle banche dati del Dipartimento della Conoscenza della PAT, fornisce i materiali per costruire un quadro descrittivo del contesto in cui opera la scuola.
Da questo punto di vista, sono utilizzate informazioni relative al grado di “complessità ambientale” in cui operano docenti, dirigente, personale tecnico e studenti. Tali dati potranno essere utilizzati per posizionare, in termini relativi, i vari istituti in base a indici di complessità, per esaminare trend temporali per singolo istituto o gruppi di questi, per verificare la relazione tra diversi tipi di indicatori (ad un tempo dato o nel tempo).
65
Il secondo passaggio richiede la raccolta di una serie di dati sui risultati conseguiti nelle singole scuole. Questo passaggio recupera in gran parte l’attività storicamente affidata ai Nuclei Interni di Valutazione che, di anno in anno, redigevano un report di autovalutazione di istituto. In questa nuova versione, la fase di auto-valutazione è semplificata e riferita ad un numero limitato di indicatori di risultati (descritti di seguito). Anche questi dati potranno essere usati per definire la performance relativa dell’istituto in rapporto ad altre scuole comparabili, per esaminare trend temporali e per esaminare la relazione tra vari indicatori ad un tempo dato o in una prospettiva diacronica.
66
Valutazione di contesto
Valutazione di risultato
Dati centralizzati di sistema
(PAT)
Dati periferici per singola scuola (NIV)
Elaborazione dati integrata con produzione report periodici
Integrazione con dati della valutazione esterna e stesura di report complessivi di sistema
Processi, attori e ruoli dell’auto-valutazione di istituto
67
POSSIBILE SCHEMA DI RIFERIMENTO
• CONTESTO+• QUALITA’-
• CONTESTO-• QUALITA’-
• CONTESTO+• QUALITA’+
• CONTESTO-• QUALITA’ +
SCUOLE VIRTUOSE
SCUOLE EFFICIENTI
SCUOLECRITICHE
SCUOLE INDIFFICOLTA’
2010-2012
68
A livello di policy - Rapporto tra valutazione interna ed esterna - Rapporto tra valutazione (interna/esterna) e valutazione
dei dirigenti scolastici (e dei docenti?) - L’uso dei risultati delle valutazioni a livello di scuole, di
docenti, di realtà territoriali, … (es. ranking o no, pubblicazione o no dei risultati, …)
A livello metodologico - Il rapporto tra contestualizzazione e standardizzazione - Il coinvolgimento dei vari attori (val. «partecipativa») - La valutazione della «scatola nera» rappresentata dalla
didattica
69