Il disegno della Il disegno della ricerca valutativa ricerca valutativa **
1
* Fonte: Claudio Bezzi
Progettazione e valutazione delle politiche socialiProgettazione e valutazione delle politiche socialiUniversità di Genova Università di Genova
Scienze della Formazione Scienze della Formazione
Filippo CiucciFilippo Ciucci
I tre livelli del I tre livelli del disegnodisegno
Le nove fasi del disegnoLe nove fasi del disegno11
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
1 – Definizione del 1 – Definizione del mandatomandato
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione
del mandato
Mandato = Perché me lo chiedi?• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?
• Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?
• Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)?
Problemi etici e deontologici
Conferimento autorità
Contesto Metodo
Problemi
implicati
Livello gestionale Livello metodologico generale Connessioni
1 – Definizione del 1 – Definizione del mandatomandato
2 – Obiettivi programma e 2 – Obiettivi programma e domande valutativedomande valutative
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
Domande valutative = Cosa è importante analizzare?• Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare?
• Quali obiettivi ha l’evaluando?
• Quale ‘teoria’ (logica) c’è dietro il programma?
Adeguate fonti informative
Orientamento epistemologico
Evaluando Metodo
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
2 – Obiettivi programma e 2 – Obiettivi programma e domande valutativedomande valutative
3 – Accertamento delle 3 – Accertamento delle risorserisorse
[9] Sostegno all’uso della valutazione
[3] Accertament
o delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
Risorse = Cosa posso veramente fare?• Quali risorse economiche, di tempo, di risorse umane?
• Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?
• Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)?
Aspetti amministrativi
Approcci possibili
Risorse Metodo
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
3 – Accertamento delle 3 – Accertamento delle risorserisorse
4 – Disegno specifico 4 – Disegno specifico (offerta tecnica)(offerta tecnica)
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione
disegno preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
Disegno2 specifico = Quali definizioni operative generali?• Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)?
• Approcci e tecniche opportuni sono compatibili con le risorse disponibili?
• Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi?Offerta tecnica 1° impianto
metodologicoApproccio Adeguatezza
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
4 – Disegno specifico 4 – Disegno specifico (offerta tecnica)(offerta tecnica)
5 – Esplorazione campo 5 – Esplorazione campo semanticosemantico
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[2] Analisi obiettivi del
programma e formulaz. domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione
spazio semantico
[5] Esplorazione
spazio semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[1] Definizione del mandato
Spazio semantico = Cosa valutiamo, esattamente?• Cosa intendiamo quando parliamo di…?
• Cosa intendono loro quando voi dite…?
• Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)?
Possibilità partecipazione
Attenzione epistemologica
Senso Metodo
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
5 – Esplorazione campo 5 – Esplorazione campo semanticosemantico
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
6 – Stipulazione valori 6 – Stipulazione valori valutativivalutativi
Valori valutativi = Da quale punto di vista valutare?• Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?
• Cosa ‘vale’ di più? Da quale punto di vista?
• Quale ordine, quale priorità, quale logica?
Possibilità partecipazione
Negoziazione di ‘una’ logica
Valori Metodo
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
6 – Stipulazione valori 6 – Stipulazione valori valutativivalutativi
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
[7] Definizioni operative specifiche
[7] Definizioni operative specifiche
7 – Definizioni operative 7 – Definizioni operative specifichespecifiche
Definizioni operative = Come si giunge, in concreto, al giudizio valutativo?• Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca?
• Qual è l’approccio? Come si integrano le tecniche?
Adeguatezza al mandato
Facevalidity
Metodo Risultato
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
7 – Definizioni operative 7 – Definizioni operative specifichespecifiche
[9] Sostegno all’uso della valutazione
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati[8] Raccolta e analisi dei dati
[7] Definizioni operative specifiche
8 – Raccolta e analisi dei 8 – Raccolta e analisi dei datidati
Raccolta e analisi dati = Come organizziamo concretamente il lavoro?• Come reclutiamo e gestiamo i collaboratori?
• Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali?
• Quali strategie per la risoluzione dei problemi?
Gestione della ricerca
Validità, affidabilità, …
Metodo Uso Livello gestionale Livello metodologico generale ConnessioniProble
mi implica
ti
8 – Raccolta e analisi dei 8 – Raccolta e analisi dei datidati
[3] Accertamento delle risorse
[1] Definizione del mandato
[2] Analisi obiettivi
dell’evaluando e formul.
domande valutative
[6] Stipulazione valori valutativi
[6] Stipulazione valori valutativi
[5] Esplorazione spazio
semantico
[5] Esplorazione spazio
semantico
[7] Definizioni operative specifiche
[4] Definizione disegno
preliminare
[8] Raccolta e analisi dei dati
9 – Sostegno e uso della 9 – Sostegno e uso della valutazionevalutazione
Uso = La valutazione è servita?• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione?
• Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente?
• E’ possibile una metavalutazione?
• I costi della valutazione sono giustificati?Comunicaz. e sensibilizzaz.
Uso Mandato val.
Livello gestionale Livello metodologico generale ConnessioniProblemi
implicati
Sintesi
9 – Sostegno e uso della 9 – Sostegno e uso della valutazionevalutazione