Monitoraggio e valutazione dei servizi formativi

2° modulo

La qualità dell’informazione e la predisposizione degli strumenti di rilevazione

Perugia, 9 – 11 settembre 2008

Monitoraggio e valutazione dei servizi formativi

La qualità del prodotto e la qualità del processo

Perugia, 9 – 11 settembre 2008

Caratteristiche generali dell’informazione statistica

Rilevanza Accuratezza Tempestività Accessibilità e trasparenza Confrontabilità Coerenza Completezza

Caratteristiche generali dell’informazione statistica

Rilevanza Capacità dell’informazione di soddisfare le esigenze conoscitive. Tale caratteristica è strettamente collegata con gli obiettivi dell’indagine

Accuratezza Grado di corrispondenza tra la stima ottenuta dall’indagine e il vero (ma ignoto) valore della caratteristica di interesse

Caratteristiche generali dell’informazione statistica

Tempestività Brevità dell’intervallo di tempo compreso tra il momento della diffusione dell’informazione prodotta e l’epoca di riferimento della stessa

Accessibilità e trasparenza Semplicità di reperire e acquisire l’informazione disponibile in relazione alle proprie finalità

Caratteristiche generali dell’informazione statistica

Confrontabilità Possibilità di paragonare nel tempo e nello spazio le statistiche riguardanti il fenomeno di interesse

Coerenza Possibilità di combinare le inferenze semplici in induzioni più complesse

Completezza Capacità di integrazione dei singoli processi al fine di fornire un quadro informativo soddisfacente

… in aggiunta

Tutela della riservatezza Garanzia dell’anonimato per i soggetti che hanno fornito informazioni utili all’indagine

Caratteristiche generali delle procedure di acquisizione dell’informazione

Universalità e stabilità Praticabilità Verificabilità Parsimonia

Caratteristiche generali delle procedure di acquisizione dell’informazione

Universalità e stabilità Quanto la procedura è compresa in modo omogeneo dagli interessati e per un tempo sufficientemente lungo

Praticabilità Grado di comparabilità delle procedure con il contesto legale e culturale entro il quale devono essere applicate e si riferisce anche all’esistenza di chiarimenti adeguati su come applicare le regole e come affrontare particolari problemi

Caratteristiche generali delle procedure di acquisizione dell’informazione

Verificabilità Necessità che la procedura preveda anche le istruzioni volte a definire i metodi e gli strumenti e le informazioni che consentono di controllare la sua applicazione

Parsimonia Valutazione dell’impatto delle procedure sui costi dell’indagine

… in aggiunta

Definizione di una serie di azioni di prevenzione, correzione e valutazione dell’errore relativamente alle varie fasi dell’indagine

Azioni preventive al fine di rendere meno probabile l’errore

Azioni di individuazione e correzione degli errori per risolvere incoerenze nelle informazioni raccolte prima dell’elaborazione o comunque della produzione statistica

Azioni finalizzate a quantificare il livello di errore

Alcune azioni di controllo Il contatto delle unità di rilevazione e la

gestione della raccolta delle informazioni La tempistica e l’interazione fra gli Enti

preposti alla rilevazione Le campagne di sensibilizzazione dei

rispondenti La formazione del personale addetto alla

rilevazione La supervisione delle operazioni e il

recupero delle informazioni incomplete

Monitoraggio e valutazione dei servizi formativi

La predisposizione degli strumenti

Perugia, 9 – 11 settembre 2008

Una prima definizione

Strumento: arnese, attrezzo, apparecchio atto

all’esecuzione di determinate operazioni proprie di un’arte, di un mestiere o di una tecnica

ciò di cui ci si serve per ottenere qualcosa strumento di precisione: strumenti di

misura o di controllo che forniscono indicazioni più esatte di quelli di uso corrente

La coerenza degli strumenti di acquisizione dati

Con la tipologia di monitoraggio/valutazione

Con l’oggetto del monitoraggio/ valutazione

Con la metodologia di rilevazione Con il piano di indagine

Cosa monitoriamo/valutiamo

Un sistema di formazione/servizi L’attuazione di una norma Un progetto complesso Un corso di formazione …………………………….

Qual è l’oggetto del monitoraggio/valutazione

Livelli di apprendimento Gradimento dei servizi Impatto Economicità dell’intervento Realizzazione delle attività ………………………..

Quale metodologia di indagine

Relativamente: Alla tipologia di fonte (primaria,

secondaria) Alla tipologia di dati (qualitativi,

quantitativi) Alla tipologia di tecniche di rilevazione

(in presenza, a distanza guidata, a distanza libera, ecc.)

Al tempo della rilevazione

L’elaborazione del piano di indagine

Progettazione Definizione del campione Raccolta dati Gestione organizzativa Registrazione dati Diffusione

Esercitazione 1 Definizione di un piano di indagine

relativamente al progetto già esaminato durante il primo modulo di formazione.

In particolare individuare:

Azioni da sottoporre a monitoraggio Soggetti interessati Tempi di rilevazione Metodologia di rilevazione Tipologia di strumenti

Le caratteristiche degli strumenti

Non strutturati (stimolo aperto/risposta aperta)

Semistrutturati (Stimolo chiuso/ risposta aperta)

Strutturati (stimolo chiuso/risposta chiusa)

Alcuni accorgimenti generali

Chiedere una sola cosa alla volta Ricercare una sola informazione alla

volta Evitare domande lunghe e complesse Chiarire il contenuto dell’informazione

richiesta direttamente nel quesito Evitare l’uso di negazioni

Alcuni accorgimenti generali Fare attenzione all’introduzione delle

“domande filtro” Organizzare i quesiti in sezioni tematiche Evitare questionari (interviste) troppo lunghi Essere certi di poter gestire le informazioni

acquisite Valutare l’opportunità della risposta “non so”

Alcuni accorgimenti particolariDove ci sono risposte multiple: Costruire tutte le alternative di risposta con

la stessa struttura grammaticale e la stessa lunghezza

Le alternative di risposta devono essere tutte verosimili o plausibili tranne quella giusta che è assolutamente vera

Evitare risposte generiche o che escludono le altre (nessuna delle precedenti)

Valutare attentamente il numero di alternative, anche in relazione al numero di risposte da fornire

Alcuni accorgimenti particolariNella fase di somministrazione: Presentare brevemente ma con cura le caratteristiche

della somministrazione Evitare particolari accentuazioni di frasi o risposte

nella fase di somministrazione (ad esempio nell’intervista in presenza)

Cercare di far ruotare le alternative di risposta soprattutto se queste sono molte (ad esempio nelle interviste telefoniche)

Fare particolare attenzione alla lunghezza dello strumento (soprattutto nelle interviste a distanza in cui non c’è controllo sull’intervistato)

Alcuni accorgimenti particolari

L’uso delle scale (scala di Likert, differenziale semantico)

Porre attenzione sui gradi in cui la scala si articola

Valutare la possibilità di “forzare” una presa di posizione

Esercitazione 2

Predisporre uno o più strumenti per la valutazione di un modulo di formazione

In particolare considerare:

Aree da sottoporre a monitoraggio Soggetti interessati Indicatori Soglie