progetto valutazione e miglioramento
l’osservazione in classe
Gerard Ferrer-Esteban, Lorenzo Mancini, Paola Muzzioli
Fondazione G. Agnelli - INVALSI
check list e scale di valutazione: validità, attendibilità e primi risultati
osservazione in classe
• La checklist • Gli indicatori delle scale di valutazione Scheda di
osservazione
• Accordo inter-codificatore • Indici di Frequenza • Analisi struttura latente
La checklist
• Accordo inter-codificatore - ICC • I punteggi • Analisi della struttura latente
Le scale di valutazione
• Correlazioni • Regressioni Relazione
azioni-valutazioni
scheda di osservazione
scheda di osservazione in classe azioni e indicatori degli strumenti 1/2
Esempio 1 - Sostegno, guida e supporto
3. S
oste
gno,
gui
da e
sup
port
o
H. Insegnamento adattato ai diversi bisogni degli studenti
H.1. L’INSEGNANTE ADATTA LE ATTIVITÀ IN BASE ALLE DIFFERENZE TRA STUDENTI
H1. L’insegnante adatta le attività in base alle differenze tra studenti
H.2. L’INSEGNANTE SOSTIENE I BISOGNI EMOTIVI DEGLI STUDENTI
H2.a L’insegnante riconosce i bisogni emotivi degli studenti H2.b L’insegnante supporta l’autostima degli studenti
I. Attenzione agli studenti con BES
I.1. L’INSEGNANTE DÀ AGLI STUDENTI CON BES COMPITI ADATTATI RISPETTO AGLI ALTRI
I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri
I.2. L’INSEGNANTE MOSTRA ATTENZIONE AGLI STUDENTI CON BES
I2. L’insegnante mostra attenzione agli studenti con BES
scheda di osservazione in classe checklist
Esempio 1: Checklist
Orario quarti d’ora effettivi osservati
Azioni – contenuti (Numero di quarti d’ora osservati: |__|__| ) 1 2 3 4 5 6 7 8 9 10
3. S
oste
gno,
gui
da e
supp
orto
H. Insegnamento adattato ai diversi bisogni degli studenti
H1. L’insegnante adatta le attività in base alle differenze tra studenti
H2.a L’insegnante riconosce i bisogni emotivi degli studenti
H2.b L’insegnante supporta l’autostima degli studenti
I. Attenzione agli studenti con BES
I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri
I2. L’insegnante mostra attenzione agli studenti con BES
checklist
checklist indice per la valutazione dell’attendibilità
Creazione di una variabile dicotomica per ogni quarto d’ora di osservazione e indicatore all’interno delle 4 MacroAree e dell’Area relativa alle Attività Prevalenti: 1 : I due osservatori concordano sull’aver visto (o no) l’azione. 0 : Altrimenti.
Grado di concordanza per tempo di osservazione espresso
come frequenza relativa dei casi di accordo.
Sintesi globale sui tre tempi di osservazione.
Quarto d’ora Unità d’osservazione Tempi
checklist Accordo inter-codificatore per descrittore
0,81
0,74 0,75
0,84
0,76 0,75 0,73
0,77
0,71
0,86
0,75 0,73
0,92
0,78 0,79
0,90
0,76 0,77 0,72 0,70 0,70
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Accordo Inter-Codificatore medio
V Primaria : 0,80492 I Sec. Primo Grado: 0,80545
strategie sostegno gestione clima
checklist attività prevalenti
Registra l’attività prevalente realizzata in classe nell’arco temporale di 15 minuti
È un’informazione che serve per comprendere a quale attività si riferiscono gli indicatori di qualità del processo di insegnamento/apprendimento osservati
È utile anche per rilevare la scansione delle attività realizzate dall’insegnante nelle due ore di osservazione
checklist grado di accordo sulle attività prevalenti
0,87 0,88 0,91 0,89
0,97 0,94
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe
L4. Gli studenti lavorano individualmente
L5. Gli studenti lavorano in coppie o in gruppi
L6. Altro
Accordo Inter-Codificatore medio
checklist Definizione degli Indici di frequenza
Gli Indici di frequenze (IF) sono stati elaborati, per ogni singolo indicatore, sintetizzando le azioni rilevate dalla coppia di osservatori:
Sulla singola unità di osservazione.
Sui 3 tempi di osservazione.
checklist Il calcolo degli Indici di frequenza – un esempio
QDO 1 QDO 2 QDO 3 QDO 4 QDO 5 QDO 6 QDO 7 QDO 8
H1. L’insegnante adatta le attività in base alle differenze tra studenti Osservatore 1 Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2
QDO 1 QDO 2 QDO 3 QDO 4 Osservatore 1 Osservatore 2
T1 T2 T3
T1 T2 T3
checklist Gli indici di Frequenza per i descrittori
0,41
0,65
0,57
0,31
0,45 0,46
0,68
0,57 0,61
0,24
0,42
0,59
0,11
0,38 0,35
0,16
0,52
0,87
0,71 0,73
0,68
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Indici di Frequenza
strategie sostegno gestione clima
checklist Gli Indici di Frequenza per le attività prevalenti
0,34
0,37
0,17
0,32
0,11
0,13
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe
L4. Gli studenti lavorano individualmente
L5. Gli studenti lavorano in coppie o in gruppi
L6. Altro
Indici di Frequenza - Attività Prevalenti
checklist Approfondimento: differenze tra livelli
Tramite test non parametrici di Wilcoxon sono state valutate eventuali differenze negli IF tra i due livelli di classe osservati (V Primaria e I Sec. Di Primo Grado).
Ad un livello α = 0.05 risultano differenze non significative per i costrutti:
C1.a L'insegnante illustra il metodo o la procedura da usare. E1. L'insegnante fornisce indicazioni sui tempi. E2. L'insegnante gestisce i momenti di passaggio da una attività all'altra. H1. L'insegnante adatta le attività in base alle differenze tra studenti. H2.a L'insegnante riconosce i bisogni emotivi degli studenti. I1. L'insegnante dà agli studenti con BES compiti adattati rispetto agli altri.
L3. L'insegnante guida il discorso in classe.
checklist indici di fequenza per livello
0,35
0,69
0,53
0,30
0,46 0,50
0,63 0,65
0,62
0,24
0,42
0,57
0,11
0,39
0,36
0,17
0,55
0,89
0,75 0,75
0,69
0,48
0,60 0,60
0,32
0,44 0,42
0,72
0,50
0,60 0,60
0,37 0,33
0,15
0,48
0,84
0,67 0,71
0,66
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
A1 A2 B1 B2 C1.a C1.b D1.a D1.b D2 E1 E2 F1 H1 H2.a H2.b I1 I2 J1 J2 K1.a K1.b
Indici di frequenza per livello classe - Indicatori
V Primaria I Sec. Primo grado
checklist Indici di Frequenza dell’attività prevalente per livello
0,27
0,31
0,17
0,42
0,14
0,11
0,41 0,42
0,23
0,08
0,14
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
L1. L'insegnante spiega L2. L'insegnante interroga L3. L'insegnante guida il discorso in classe
L4. Gli studenti lavorano individualmente
L5. Gli studenti lavorano in coppie o in gruppi
L6. Altro
Indici di frequenza per livello classe - Attività prevalenti
V Primaria I Sec. Primo grado
checklist Altri test
Per la costruzione degli IF si è presupposta l’assenza di un effetto dovuto al tempo di osservazione sul costrutto.
L’effetto del tempo è stato opportunamente valutato tramite il test di Friedman per campioni correlati (non rispettate assunzioni di normalità e omoschedasticità).
checklist Le differenze tra i tempi di osservazione degli Indici di Frequenza
IF p - value B1 0 B2 0 E1 0 E2 0
H2.b 0 D1.a 0,001 F1 0,001 H1 0,001 I2 0,001
H2.a 0,003 I1 0,007 A1 0,02 D2 0,023 A2 0,035
K1.b 0,057 J1 0,193 J2 0,275
K1.a 0,307 C1.b 0,603 D1.b 0,627 C1.a 0,776
IF p-value L3 0,000
L5 0,001
L1 0,004
L6 0,008
L4 0,102
L2 0,267
checklist Analisi della struttura latente
Componenti
1 2 3 4 5
strategie didattiche
A1.L’insegnante spiega in modo strutturato -,070 ,733 ,176 -,026 -,019 A2.L’insegnante propone attività strutturate ,261 -,156 ,644 -,038 ,100 B1. L’insegnante fa domande che incoraggiano il ragionamento ,139 ,781 ,213 ,110 ,032
B2.L’insegnante dedica spazio alla discussione in classe ,293 ,658 -,217 ,026 ,099 C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire ,110 ,146 ,707 ,203 ,048
D1. L’insegnante monitora il lavoro degli studenti ,042 ,152 ,762 ,187 ,005 D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare ,347 ,294 ,469 ,133 ,164
gestione della classe
E1.L’insegnante fornisce indicazioni sui tempi ,301 ,108 ,107 ,088 ,587 E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra ,341 ,258 ,333 -,028 ,429 F.1. L’insegnante trasmette regole di comportamento -,304 -,060 -,003 ,064 ,777
sostegno, guida supporto
H1. L’insegnante adatta le attività in base alle differenze tra studenti ,067 ,171 ,159 ,742 ,044
H2. L’insegnante sostiene i bisogni emotivi degli studenti ,513 ,448 ,070 ,282 ,260 I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri ,083 -,033 ,096 ,835 ,029
I2. L’insegnante mostra attenzione agli studenti con BES ,500 -,021 ,132 ,592 ,137
clima di apprendimento
J1. Gli studenti mostrano di impegnarsi nelle attività ,751 ,122 ,309 -,015 -,134 J2. Gli studenti con BES mostrano di partecipare alle attività ,774 -,045 ,149 ,205 ,025 K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento ,707 ,395 ,107 ,132 ,088
le prime 5 dimensioni considerate spiegano il 61% della variabilità totale l’analisi riproduce tra il 47% e il 72% della variabilità delle variabili in analisi
Principal component analysis (varimax rotation)
scale di valutazione
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
A1 A2 B1 B2 C1 D1 D2 E1 E2 F1 G1 H1 H2 I1 I2 J1 J2 K1
Differenze tra punteggi nelle scale di valutazione
,00 Nessuna differenza 1,00 Differenza minima (scarti 1 e 2 punti)
2,00 Differenza media (scarti 3 e 4 punti) 3,00 Differenza elevata (scarti 5 e 6 punti)
scale di valutazione attendibilità: accordo inter-codificatore
... ...
scale di valutazione attendibilità: accordo inter-codificatore
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
H1 I1 E1 D1 J2 D2 C1 I2 H2 B2 A2 B1 A1 E2 F1 J1 K1 G1
individual rating average of ratings over 6 raters in 3 times
Inter-rater reliability: intraclass correlation coefficients (ICC)
insufficiente
medio
buono
eccellente
Cutoffs ICC values (Cicchetti, 1994): Poor - less than .40
Fair - between .40 and .59 Good - between .60 and .74
Excellent - between .75 and 1.0
scale di valutazione effetto azione docente: un’altra misura di attendibilità
l’insegnante…
percentuale di varianza
insegn. osserv. scuola tempo di oss. residuo
Reliability 1
osservatore (1 lezione)
3 osservatori (3 lezioni)
6 raters (3 lezioni)
A1. spiega in modo strutturato 39.6 11.3 5.4 0.1 43.6 41.8% 68.3% 81.1%
A2. propone attività strutturate 40.2 9.3 5.3 0.1 45.1 42.4% 68.8% 81.5%
B1. fa domande che incoraggiano il ragionamento 40.4 9.7 4.9 0.5 44.5 42.5% 68.9% 81.4%
B2. dedica spazio alla discussione in classe 39.4 11.7 4.4 0.3 44.2 41.2% 67.8% 80.7%
C1. fornisce indicazioni sulle strategie e i metodi 39.7 9.1 4.4 0.1 46.6 41.6% 68.1% 81.0%
D1. monitora il lavoro degli studenti 36.5 9.0 5.5 0.1 48.9 38.6% 65.3% 79.0%
D2. fornisce feedback 39.1 9.0 5.5 0.1 46.4 41.3% 67.9% 80.8%
E1. fornisce indicazioni sui tempi 35.2 11.8 4.9 0.0 48.0 37.0% 63.8% 77.9%
E2. gestisce i momenti di passaggio 42.1 8.5 7.0 0.0 42.3 45.3% 71.3% 83.2%
F1. trasmette regole di comportamento 45.2 8.2 6.7 0.1 39.8 48.4% 73.8% 84.9%
G1. organizzazione dello spazio 43.3 11.5 7.2 0.0 38.1 46.6% 72.3% 83.9%
H1. adatta le attività in base alle differenze 28.1 13.4 4.7 0.0 53.6 29.5% 55.7% 71.5%
H2. sostiene i bisogni emotivi 42.5 7.4 5.3 0.1 44.7 44.9% 70.9% 82.9%
I1. dà agli studenti con BES compiti adattati 36.6 8.6 6.3 0.2 48.4 39.0% 65.7% 79.2%
I2. mostra attenzione agli studenti con BES 44.1 6.1 7.1 0.2 42.5 47.5% 73.0% 84.3%
J1. studenti mostrano di impegnarsi 46.0 7.6 6.7 0.3 39.4 49.3% 74.4% 85.2%
J2. studenti con BES mostrano di partecipare 42.1 8.3 7.3 0.1 42.3 45.3% 71.3% 83.2%
K1. mostra rapporti che favoriscono l’apprend. 46.4 7.8 6.9 0.2 38.7 49.8% 74.8% 85.5%
scale di valutazione punteggi medi
inadeguato eccellente
strategie gestione sostegno clima
0 1 2 3 4 5 6 7
H1. adatta le attività in base alle differenze
E1. fornisce indicazioni sui tempi
I1. dà agli studenti con BES compiti adattati
B2. dedica spazio alla discussione in classe
I2. mostra attenzione agli studenti con BES
D2. fornisce feedback
H2. sostiene i bisogni emotivi
A1. spiega in modo strutturato
C1. fornisce indicazioni sulle strategie e i metodi
J2. studenti con BES mostrano di partecipare
E2. gestisce i momenti di passaggio
A2. propone attività strutturate
D1. monitora il lavoro degli studenti
B1. fa domande che incoraggiano il ragionamento
F1. trasmette regole di comportamento
G1. organizzazione dello spazio
J1. studenti mostrano di impegnarsi
K1. mostra rapporti che favoriscono l’apprend.
scale di valutazione differenze tra livelli
4,15
4,51
2,42
3,06 3,38
4,59
3,17
4,19 4,54
4,01 4,30
4,52
5,13 4,80
4,52 4,63
5,08 5,00
4,30 4,61
2,35
2,98 3,27
4,48
3,03
4,02 4,34
3,80 4,05
4,26
4,82
4,44 4,15 4,25
4,56
4,18
0
1
2
3
4
5
6
A1 B1 H1 E1 B2 D1 I1 D2 E2 I2 H2 C1 K1 F1 J2 A2 J1 G1_b
V primaria I Sec. Primo grado
Gli indicatori con più differenza tra livelli sono favorevoli alla scuola primaria: - L’organizzazione dello spazio - L’impegno degli studenti nelle attività - Lo svolgimento di attività strutturate - La partecipazione degli studenti con BES nelle attività - La gestione delle regole di comportamenti L’unico indicatore favorevole alla scuola secondaria di I grado è il relativo alle spiegazioni strutturate
scale di valutazione distribuzione dei punteggi medi
inadeguato eccellente
intervalli
47%
19%
27%
23%
10%
4%
3%
5%
32%
33%
30%
24%
16%
16%
17%
14%
10%
10%
9%
11%
9%
5%
8%
6%
4%
6%
15%
31%
22%
24%
28%
33%
26%
27%
29%
26%
23%
23%
21%
23%
20%
21%
18%
15%
5%
14%
15%
18%
30%
31%
30%
34%
30%
33%
37%
36%
33%
39%
38%
45%
33%
28%
3%
5%
10%
13%
15%
17%
20%
22%
24%
21%
24%
26%
25%
27%
25%
33%
30%
4%
3%
5%
3%
8%
5%
4%
4%
9%
6%
6%
10%
20%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
H1. Adatta le attività in base alle differenze tra studenti
I1. Dà compiti adattati agli studenti con BES
E1. Fornisce indicazioni sui tempi
B2. Spazio alla discussione in classe
I2. Mostra attenzione agli studenti con BES
D2. Fornisce feedback per aiutare gli studenti a migliorare
H2. Sostiene i bisogni emotivi degli studenti
A1. Spiega in modo strutturato
A2. Attività strutturate
C1. Indicazioni sulle strategie e i metodi da seguire
J2. Studenti con BES mostrano di partecipare alle attività
E2. Gestisce i momenti di passaggio da un'attività all'altra
B1. Domande che incoraggiano il ragionamento
F1. Trasmette regole di comportamento
G1. Organizzazione dello spazio
D1. Monitora il lavoro degli studenti
J1. Studenti mostrano di impegnarsi nelle attività
K1. Rapporti che favoriscono l'apprendimento
tra 1 e 2 tra 2 e 3 tra 3 e 4 tra 4 e 5 tra 5 e 6 tra 6 e 7
scale di valutazione analisi della struttura latente
Principal component analysis (varimax rotation)
1. Strategie didattiche
A. Insegnamento strutturato A1.L’insegnante spiega in modo strutturato A2.L’insegnante propone attività strutturate
B. Tecniche di interrogazione e discussione B1. L’insegnante fa domande che incoraggiano il ragionamento B2.L’insegnante dedica spazio alla discussione in classe
C. Strategie per sostenere l’apprendimento C1. L’insegnante fornisce indicazioni sulle strategie e i metodi da seguire D. Monitoraggio e valutazione D1. L’insegnante monitora il lavoro degli studenti D2.L’insegnante fornisce feedback per aiutare gli studenti a migliorare
2. Gestione della classe
E. Gestione del tempo e delle attività E1.L’insegnante fornisce indicazioni sui tempi E2.L’insegnante gestisce i momenti di passaggio da una attività all’altra
F. Gestione delle regole e dei comportamenti F.1. L’insegnante trasmette regole di comportamento G. Organizzazione dello spazio G.1. Organizzazione dello spazio
3. Sostegno, guida e supporto
H. Insegnamento adattato ai diversi bisogni degli studenti H1. L’insegnante adatta le attività in base alle differenze tra studenti H2. L’insegnante sostiene i bisogni emotivi degli studenti
I. Attenzione agli studenti con BES I1. L’insegnante dà agli studenti con BES compiti adattati rispetto agli altri I2. L’insegnante mostra attenzione agli studenti con BES
4. Clima di Apprendimento
J. Coinvolgimento degli studenti J1. Gli studenti mostrano di impegnarsi nelle attività J2. Gli studenti con BES mostrano di partecipare alle attività
K. Rapporti in classe K1. Gli studenti e l'insegnante mostrano rapporti che favoriscono l'apprendimento
La proporzione della varianza a livello insegnante nelle competenze analizzate per le prime tre componenti principali è di circa il 70%. È un valore al di sotto di quelli osservati nell’ambito internazionale utilizzando strumenti di osservazione basati sui video (UTOP: 82%; MQI: 87%; CLASS: 90%; FFT e PLATO: 97%). Lo strumento utilizzato contiene una prima componente principale che riflette le competenze associate alle strategie didattiche. Questa componente assorbe una gran parte della variazione dei punteggi (55%) Una seconda componente riflette le pratiche svolte a personalizzare l’insegnamento e a coinvolgere gli studenti con difficoltà di apprendimento. La terza comprende azioni di gestione delle procedure e del clima in classe (sostegno dei bisogni emotivi e rapporti che favoriscono l’apprendimento)
comp 1
comp 3
comp 2
* considerando la dimensione del campione, sono stati considerati i loading tra 0.2 e 0.3.
checklist - scale di valutazione
checklist e scale di valutazione correlazione tra punteggi e indici di frequenza
Coefficienti di correlazione tra i punteggi delle scale di valutazione e gli indici di frequenza
0,18
0,30
0,38
0,29
0,40
0,50 0,50 0,50 0,55
0,52
0,63 0,62 0,66 0,65 0,66
0,63 0,68 0,68
0,72 0,74 0,77
0,16
0,28 0,29
0,35
0,32
0,43 0,43 0,45 0,46 0,48 0,49 0,50
0,56 0,56 0,58 0,59 0,61 0,62 0,62 0,63
0,70
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
D1_a D1_b E2 A2 F1 C1_b C1_a A1 D2 I1 J1 H2_b J2 H2_a B1 H1 E1 I2 K1_a K1_b B2
correlation coefficient (aggregato a livello di insegnante) correlation coefficient (aggregato a livello di lezione)
checklist e scale di valutazione punteggi e indici di frequenza (checklist)
in che misura la valutazione aumenta con l’incremento della frequenza? *aumento dei punteggi associato all’incremento della frequenza del fenomeno osservato (in un 50%)
-0,5 0 0,5 1 1,5 2
F1. trasmette regole di comportamento D1. monitora il lavoro degli studenti E2. gestisce i momenti di passaggio
A2. propone attività strutturate A1. spiega in modo strutturato
J1. studenti mostrano di impegnarsi C1. fornisce indicazioni sulle strategie e i metodi
J2. studenti con BES mostrano di partecipare D2. fornisce feedback
K1. mostra rapporti che favoriscono l’apprend. B1. fa domande che incoraggiano il ragionamento
I1. dà agli studenti con BES compiti adattati I2. mostra attenzione agli studenti con BES
H2. sostiene i bisogni emotivi B2. dedica spazio alla discussione in classe
H1. adatta le attività in base alle differenze E1. fornisce indicazioni sui tempi
[modelli di regressione con effetto fisso insegnante e osservatore] * Tutti i coefficienti sono statisticamente significativi (5%) punteggi delle scale di valutazione
quantità (indici di frequenza)
qualità (punteggi delle scale di valutazione)
prospettive di analisi
• è stato raggiunto uno strumento attendibile in grado di individuare diverse pratiche di insegnamento
• ma queste pratiche contribuiscono effettivamente all’apprendimento degli studenti?
• quali sono le sfide da affrontare? 1. mettere in relazione dati e le misure a disposizione:
fonti differenti (questionario studenti e insegnante) misure di outcome, come i risultati dei test standardizzati dati di contesto degli insegnanti (es. formazione) dati di contesto degli studenti (es. caratteristiche sociodemografiche)
2. validità predittiva: le pratiche di insegnamento sono associate agli outcome
di apprendimento? ottenere misure adeguate di efficacia docente isolando gli effetti
dell’azione di insegnamento: modelli “value-added”
3. dalla ricerca alla pratica: elaborare proposte di policy e formazione
prospettive di analisi
grazie per l’attenzione
progetto valutazione e miglioramento
l’osservazione in classe
seminario residenziale Formia, 28 aprile 2015