Cos’è la valutazione
E soprattutto: a cosa dovrebbe servirci?
Claudio Bezzi Presidente Associazione Italiana di
Valutazione
Claudio Bezzi, [email protected]
La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte
Claudio Bezzi, [email protected]
La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte
Risorse sempre più ridotte; Cittadini (e beneficiari in genere)
sempre più attenti e consapevoli; Sempre più attori coinvolti nelle
decisioni (parti sociali, comitati, portatori di interessi);
Impossibilità di sintesi semplici.
Claudio Bezzi, [email protected]
La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte
Claudio Bezzi, [email protected]
La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte
Quali i diversi bisogni espressi?
Quali gli elementi di ostacolo?
Cosa posso imparare di utile?
Il progetto (o servizio) ha effettivamente raggiunto gli obiettivi? Perché?
Claudio Bezzi, [email protected]
Alcuni punti da chiarire
La valutazione NON dà certezze
NON è un semplice insieme di procedure
Non è una scorciatoia per eludere i problemi
Non è mai delegabile interamente a professionisti esterni
La valutazione aiuta a vedere i problemi
E’ ricerca e analisi “cucita su misura”
E’ un modo per capire la natura dei problemi
E’ un percorso da fare assieme, tecnici e amministratori
La valutazione NON dà certezze
NON è un semplice insieme di procedure
Non è una scorciatoia per eludere i problemi
Non è mai delegabile interamente a professionisti esterni
La valutazione aiuta a vedere i problemi
E’ ricerca e analisi “cucita su misura”
E’ un modo per capire la natura dei problemi
E’ un percorso da fare assieme, tecnici e amministratori
la valutazione è analisi specifica, adattata al
contesto specifico, che mira alla comprensione
dei meccanismi che facilitano il successo o l’insuccesso dei nostri programmi, progetti e
servizi
Claudio Bezzi, [email protected]
turbolenzaequilibrio
Decisione, gestione e cambiamento,e il ruolo della valutazione
Vers
ione M
AG
GIO
20
07
Ciò cui ogni Amministrazione tende:• Servizi efficienti e cittadini contenti
• Bilancio senza problemi
• Sviluppo del territorio…
Claudio Bezzi, [email protected]
turbolenzaequilibrio
Decisione, gestione e cambiamento,e il ruolo della valutazione
Vers
ione M
AG
GIO
20
07
Quello che accade in realtà:• Il bilancio è sempre insufficiente
• Ci sono sempre eventi esterni imprevisti cui rispondere
• Le risposte date sembrano sempre non bastare
Claudio Bezzi, [email protected]
evento turbolenz
aequilibrio
Decisione, gestione e cambiamento,e il ruolo della valutazione
Vers
ione M
AG
GIO
20
07
• Un decreto, una legge, un nuovo adempimento, …
• Una richiesta politica, un impellente bisogno espresso dal territorio, …
• Un evento imprevisto (il terremoto in Umbria, l’arrivo di immigrati clandestini in Sicilia, …)
Claudio Bezzi, [email protected]
turbolenza
Decisione, gestione e cambiamento,e il ruolo della valutazione
Vers
ione M
AG
GIO
20
07
evento
evento
decisione imple-ment.
equilibrio
gestione adattamento sollecita-zione
(precedenti) valutazioni di varia
natura
valutazione ex ante di risultati e
impatti
val. in itinere monitoraggiovalutazione in itinere e
intermedia
valutazione in itinere ed ex post di realizzazioni
e risultati
valutazione ex post di impatti ed
ex ante
Claudio Bezzi, [email protected]
Valutazione e attività correlatein relazione a intervento e criticità Analisi, riflessione, critica
Inte
rven
to s
ul p
roce
sso
Ast
ensi
one
dall
’int
erve
nto
Valutazione
Certificazione
Audit
Registrazione, informazione
Monitoraggio
Ricerca di base
Benchmarking
Bilancio sociale
Claudio Bezzi, [email protected]
Gli attori sociali rilevanti per la valutazione
(Bisogni) Decisione Implementazione Gestione Fruizione
Att
ori c
he p
rese
ntan
o is
tanz
e
Soggetto che promuove
l’intervento
Soggetti deputati al controllo
Parti sociali
Eventuali soggetti convenzionati
Ben
efic
iari
del
l’in
terv
ento
(u
tent
i, cl
ient
i, be
nefi
ciar
i ind
iret
ti, ‘
vitt
ime’
)
Alta dirigenzaConsulenti
Operatori(Funzionari, quadri, consulenti)
Valutatore
Legenda: Decisori
Operatori
Beneficiari
Claudio Bezzi, [email protected]
Competenza tecnico-scientifica della valutazioneConoscenzanel merito
dell’evaluando Bassa Media Alta
Bassa PregiudizioMetodologia
dogmatica
MediaValutazione
spontanea
AltaSpecialismo
dogmatico
Valutazione
competente
Valutazione
esperta
La valutazione fra competenza tecnica e conoscenza nel merito
Claudio Bezzi, [email protected]
Come realizzare un sistema di valutazione?
Facile da gestire(ma poco sensibile)
Sensibile(ma più complesso
da gestire)
Autoritario (solo l’Ente gestore)
Dialogico(concertazione con gli altri
stakeholder rilevanti)Come
(forse) lo vorremmo realizzare
Come (forse) dovremo iniziare
Claudio Bezzi, [email protected]
Come individuare il bravo valutatore Non ha fretta, e si informa in più
modi sui vostri bisogni, sul contesto, sul programma da valutare
Non usa mai, o raramente, parole rassicuranti come “ho un MODELLO…”, “questo strumento è stato VALIDATO…” etc.
Claudio Bezzi, [email protected]
Come individuare il bravo valutatore Vi chiede di partecipare alla
valutazione, mirando più alla vostra comprensione dei problemi, che alla fattura che gli dovete saldare
E’ disponibile a cambiare la strategia valutativa in corso d’opera, se scoprite elementi nuovi e inattesi
Claudio Bezzi, [email protected]
Come individuare il bravo valutatore Dopo avere ricevuto l’incarico non
vi manda, per eseguire il lavoro, solo bravi giovanotti/e che non sono in grado di decidere, assieme a voi, cosa si deve fare
Vi parla degli aspetti etici e deontologici del lavoro di valutazione
Claudio Bezzi, [email protected]
Valutate solo se:
Siete interessati a processi di apprendimento organizzativo
Avete chiaro che una valutazione negativa vale quanto una positiva, perché si impara dagli errori quanto dai successi
Avete voglia di faticare un po’, per un risultato concreto
Claudio Bezzi, [email protected]
Evitate la valutazione se:
Sappiamo già da noi cosa si deve fare, e poche chiacchiere!
Una valutazione negativa? E cosa ti abbiamo pagato a fare?
Ma una ricettina semplice di facile applicazione per la valutazione degli impatti non ce l’avete?
Seconda parte
Alcuni esempi applicativi
Sanità
La valutazione di risultato nei Ser.T di Modena (2006)
Claudio Bezzi, [email protected]
Il problema: difficile condivisione della valutazione di risultato Difficile condivisione di valori e linguaggi data la
complessità e le diversità delle varie professionalità (Assistenti Sociali, Educatori, Infermieri, Medici, Psicologi, Sociologi)
Implicazione di valori extra-professionali, non negoziabili, su cosa sia ‘bene’ (‘giusto’, ‘opportuno’, ‘corretto’, …)
Implicazioni extra-organizzative (norme nazionali, protocolli internazionali, altre organizzazioni coinvolte con diversa mission, …)
Fonti di autorità diverse: leggi, codici deontologici, vertici aziendali, coscienza personale, …
Claudio Bezzi, [email protected]
Il programma realizzato
1. Comprendere i criteri generali del nostro lavoro e condividere un lessico di base minimo;
2. Avviare una discussione sulle dimensioni del ‘risultato’;
3. Ciascuna dimensione (sottodimensione, indicatore specifico) viene argomentato e discusso per verificarne una qualche validità;
4. Dimensioni (e indicatori) non argomentabili sono scartati; quelli argomentabili sono accettati anche se relativi a dimensioni valoriali, culturali e professionali non da tutti condivise;
5. Tutte le dimensioni (e gli indicatori) accettati sono operativizzati (tradotti in strumenti di valutazione), implementando come routine quelli traducibili nel Sistema Informativo ed utilizzando per ricerche ad hoc gli altri.
Claudio Bezzi, [email protected]
Risorse/Strumenti/Modalità
Personale Il “set”Strumenti
(Economia)E’ un pre-requisito, e agisce trasversalmente su tutti gli altri
Diagnostici Terapeutici Tempi Luoghi
Istituzionali/Organizzativi
Di supporto
Formazione
Sistema valoriale
individualeLeadershipTratti
personologici
•Formazione pregressa individuale
•Aggiornam
ento e formazione continua
•Formazione nell’équipe
•Formazione nell’A
zienda (comprensione degli obiettivi
•Capacità di lavorare in gruppo
•Disagio, burn-out, Turn over
•Motivazione
•Formale (autorità)
•Informale (autorevolezza)
•Protocolli/Procedure:•D
i servizio•A
livello professionale•Farm
aci•T
estistici:•Medici
•Psicologici
•Educativi
•Colloquio e osservazione
•Protocolli/Procedure (come per “D
iagnostici”)•Farm
aci•Psicoterapia•C
olloqui•M
onitoraggio terapeutico•A
ffiancamento/O
rientamento
•Atteggiam
ento pedagogico•R
icoveri ospedalieri•Invio ad altre strutture
•Rete (i concreti ‘nodi’ della rete: A
sl, Com
uni, Provincia, …)
•Accordi inter-istituzionali di ogni tipo
•Afeguata quantità delle R
.U.
•Adeguata com
posizione delle R.U
.
•Rete inform
atica•Infrastruttura inform
atica•A
ltri strumenti di base (telefono, fotocopiatrice, …
)•A
ltri strumenti specialistici (e di controllo)
•Spostamenti (da struttura a struttura, per sedi diverse, …
)•R
elazioni (terapeutiche, di programm
azione, …)
•Accesso alle prestazioni (da parte degli utenti)
•Il SerT:
•Progettazione e organizzazione degli spazi interni
•Il Front Office, l’accoglienza
•La rete
Claudio Bezzi, [email protected]
Mandato/Richieste(o: Contesto socio-sanitario)
Norme(Leggi,
Regolamenti, procedure e
consuetudini)
UtenteE suo contesto
sociale
•Applicazione (delle leggi)
•Efficacia (delle procedure)
•Vuoto di norm
e e procedure•C
hiarezza degli obiettivi•Superfetazione degli obiettivi
•Età, Sesso, Stato C
ivile, Titolo studio
•Presenza di figli•C
onvivenza•A
lloggio (possiede una dimora/non ha fissa dim
ora)•Situazione professionale (ha un lavoro/non ce l’ha)•Provenienza geografica (rinvia a m
odelli culturali e comport.)
•Religione
Caratteristiche
sociografiche
Modalità accesso
al servizio
Dipendenze
patologiche
Uso e comportamen
to
Patol. Organ
.
Psico
-pat.
Modalità
Approccio al servizio e alle cure
Adeguamento e conformità alle norme
sociali
•Correlate
•Non correlate
•Invalidanti•N
on invalidanti
•Correlate
•Non correlate
•Invalidanti•N
on invalidanti
•Coattivo
•Volontario
•Mediato
•Tem
po in carico•A
desione/Motivazione
•Altri program
mi precedenti e loro esito
•Altri servizi che hanno in carico
•Non problem
atico ma sanzionato
•Abuso (danneggia sé e gli altri)
•Dipendenza:
•Fisica
•Psichica
•Viraggio:•P
eggiorativo•M
igliorativo•Polidipendenza (com
e forma di cam
biamento)
•Com
portamentali (p.es. alim
entari)•Sostanze legali (alcol, caffè, nicotina)•Sostanze illegali:
•Eroina
•Cocaina
•Cannabis
•Poli-dipendenze
•Frequenza•V
ia di assunzione•durata
•Com
portamenti:
•Affettivi
•Lavorativi
•Verso il S
ert•D
annoso per sé:•C
on conseguenze legali•S
enza conseguenze legali•D
annoso per gli altri:•C
on conseguenze legali•S
enza conseguenze legali
Correlate/Non correlate
Claudio Bezzi, [email protected] INDICATORE: 2) Situazione abitativa
PESO: 1
CHI LO ISTRUISCE: T0: Op. 1° Contatto/Accettazione T1 e +: Case Man. o/e Op. Socio-E
STRUTTURA INDICATORE: 5 = Ha un alloggio, e le condizioni di utilizzo e l’eventuale convivenza (voluta e
accettata) sono comunque giudicate molto buone (al T0) o molto migliori della volta precedente (al T1 e successivi)
4 3 2 1 = Non ha alloggio; condizioni comunque molto negative (al T0) o molto peggiorate
rispetto alla volta precedente (al T1 e successivi)
SISTER: Sk3 probabile Alloggio + Convivenza
DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: Si tratta di una scala autoancorata. Tra Primo Contatto e Osservazione & Diagnosi si registra la situazione abitativa (T0); il nostro interesse riguarda l’eventuale cambiamento al momento della valutazione (T1). Possibili esempi di peggioramento: da vive solo a convivenza forzata; da convivenza forzata a convivenza conflittuale; da casa grande ad alloggio piccolo e periferico, ecc… Notare che:
1. le variabili utilizzate da Sister (Stabilità dimora e Convivenza) coprono solo in parte l’insieme delle questioni coperte dal nostro indicatore, che fa riferimento, assieme, alla Stabilità della dimora e all’eventuale conflittualità/forzosità/difficoltà della convivenza (e non alla convivenza di per sé). Quindi la variabile OEDT “Convivenza”, così com’è, non è sufficiente per l’indicatore, mentre deve essere parte dell’indicatore questa “conflittualità” (o comunque disagio) che l’operatore conosce solo come conseguenza a suoi colloqui e altre informazioni non registrate.
Ribadiamo che ogni scala autoancorata, basata per di più su elementi di conoscenza diretta non registrati da Sister (come è nel nostro caso), presuppone di lasciare un certo margine alla cosiddetta “soggettività”, alla quale opponiamo l’indicazione di scrivere, in una breve nota inclusa nel database, la ragione del punteggio; inoltre, si lascerà una matrice compilata in automatico (la trovate qui sotto l’indicatore). Nel complesso, fra la matrice, l’indicatore, e la breve nota esplicativa, si forniranno tutti gli elementi per una comprensione massima.
Nota esplicativa aggiuntiva (a cura dell’operatore che attribuisce il punteggio) E’ stato attribuito il punteggio ha causa di……………………………………………………………. ………………………………………………………………………………………………………… NB: Volendo, sarà possibile disporre di un quadro riepilogativo automatico con le 2 variabili Europee (OEDT) disponibili in SISTER. Aiuta a leggere le informazioni utili per la compilazione dell’indicatore
DIMORA
CONVIVENZA
Dimora STABILE (abitazione privata)
Dimora Temporanea (Hotel/Pensione)
Dimora Instabile (Senza Fissa Dimora)
Istituzioni (Comunità, Carcere, Ospedale, ecc..)
Non Noto
Solo con Genitori con Partner con Partner & Figli Con Amici Altro Non Noto
Claudio Bezzi, [email protected]
INDICATORE: 4) Competenza Relazionale ed AutoPercettiva
PESO: 2
CHI LO ISTRUISCE: Psicologo o psichiatra
STRUTTURA INDICATORE: 1. riconosce il rischio? 2. ha una buona qualità della relazione con altri? 3. ha capacità di attesa? 4. è in grado di chiedere aiuto? è consapevole della problematicità della propria dipendenza?
è in grado di conseguire obiettivi di medio-lungo termine (p.es. titolo di studio, patente, …)?
SISTER: Sk10 o newSK24 Quadro da aggiungere in Sister con: -data -operatore
-le 6 variabili (SI-NO+note
DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: E’ una semplice check list; alla presa in carico (o appena è possibile avere una informazione certa) si segna ‘1’ per ogni ‘Sì’ e ‘0’ per ogni ‘No’. Il punteggio in valutazione è la semplice somma. Il punteggio totale può quindi andare da 0 (ha ricevuto tutti ‘zero’, quindi non riconosce il rischio, non ha una buona relazione con gli altri, etc,) a 6 (ha ricevuto tutti ‘1’, ovvero tutti ‘Sì’).
Claudio Bezzi, [email protected] INDICATORE: 9) Sostanza e modalità d’uso
PESO: 3 (primaria)
1 (secondaria)
CHI LO ISTRUISCE: Medico, considerando i dati già immessi nella Sk12 tossicologica.
STRUTTURA INDICATORE:
+ coefficiente NON tabagismo regolare quotidiano +2 + coefficiente NON poliassuntore +4
SOSTANZA PRIMARIA (peso 3)
Uso compulsivo, episodi di
intossicazione acuta
Uso quotidiano, o periodico ricorrente
Uso discontinuo o sporadico
Astensione (rilevata da almeno 30
giorni)
Eroina e altri oppiacei
1 2 4 5
Cocaina 1 2 4 5 Psicostimolanti anfetaminici ed
ecstasy 1 2 4 5
Alcolici 1 2 4 5 Derivati della
Canapa indiana 1 3 4 5
Benzodiazepinici, barbiturici
1 2 4 5
Allucinogeni 1 2 4 5
SOSTANZA SECONDARIA (peso 1)
Uso compulsivo, episodi di
intossicazione acuta
Uso quotidiano, o periodico ricorrente
Uso discontinuo o sporadico
Astensione (rilevata da almeno 30
giorni)
Eroina e altri oppiacei
1 2 4 5
Cocaina 1 2 4 5 Psicostimolanti anfetaminici ed
ecstasy 1 2 4 5
Alcolici 1 2 4 5 Derivati della
Canapa indiana 1 3 4 5
Benzodiazepinici, barbiturici
1 2 4 5
Allucinogeni 1 2 4 5
SISTER:
DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: La definizione operativa prevede di moltiplicare il valore di sostanza primaria per il coefficiente di peso 3 e sommare il risultato al valore di sostanza secondaria (peso 1) e ai due coefficienti di NON tabagismo (2) e di NON Poliassunzione (4). Nei casi più gravi quindi il punteggio sarà pari a 4 (valore 1 x 3 nella sostanza primaria + valore 1 x 1 nella secondaria), mentre in quelli assolutamente più lievi sarà pari a 26 (valore 5 x 3 nella primaria + 5 x 1 nella secondaria più coefficiente non tabagismo 2 + coefficiente non poliassunzione +4).
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Claudio Bezzi, [email protected]
Politiche sociali
Progetto Equal “Artemis”, 2004-2005
Claudio Bezzi, [email protected]
Sigla Indicatore
OBUT Conseguimento obiettivi sull’utenza (Servizi all’utenza; Integrazione; Coinvolgimento categorie interessate; Informazione; Miglioramento qualità della vita; Approccio preventivo; Omologazione procedure; …)
OBCN Conseguimento obiettivi di contesto (Coordinamento; Costruzione rete istituzionale; Integrazione; Sensibilizzazione; Rapporto interistituzionale; Informazione alla collettività; Sperimentalità; …)
SOST Sostenibilità (Coordinamento; Costruzione rete istituzionale; Integrazione; Sensibilizzazione; Rapporto interistituzionale; Coinvolgimento categorie interessate; Figure professionali competenti future; …
GRLV Gruppo di lavoro (Linguaggi diversi; Più punti di vista; Conoscenza altre realtà; Problemi del gruppo; Visione multidisciplinare; Competenze del gruppo; Arricchimento professionale; …)
GRIN Lavoro di gruppo verso l’interno (Coordinamento; Laboratorio; Conoscenza altre realtà; Coinvolgimento categorie interessate; Linguaggio comune su tematica handicap; Cambiamento culturale; Incontri; Difficoltà operative; Condivisione dei risultati; Accettazione eventuale fallimento; …
Claudio Bezzi, [email protected]
1 SOST
2 OBCN
3 AMIS
4 GRES
5 RIST
6 RIUM
7 AMCL
8 OBUT
9 MTEN
10 ENTI
11 GRIN
12 RINF
13 GRLV
OB
IE
TT
IV
I
DI
C
ON
TE
ST
O
14 MOTV
14 13 12 11 10 9 8 7 6 5 4 3 2 1
O P E R A T I V I T À D E L G R U P P O
1
4
3
2
Claudio Bezzi, [email protected] Indic. Commenti alla valutazione Valutazione (1÷5)
Peso Valore totale (val x peso)
AMCL Si è cercato di individuare nel Territorio iniziative, progetti, programmi da utilizzare quale indice per valutare l’interesse, la sensibilità della Regione ad Artemis. In sintesi gli elementi raccolti sono stati i seguenti: 1. Esistenza di un Bando rivolto ai Disabili finalizzato
alla realizzazione di percorsi di inserimento lavorativo, nello specifico attivazione di un numero limitato di stage retribuiti. Dalla condivisione di gruppo è emerso che il Bando risponda più ad un’esigenza politica immediata (necessità di utilizzare fondi) che ad un intervento che tenga conto della presenza dell’Equal Artemis dedicato alla disabilità ed ai risultati che lo stesso ha finora prodotto; inoltre è stato osservato quanto il Bando profili un’iniziativa spot lontana da una progettazione ad ampio respiro;
2. Si evince l’Assenza al tavolo di Artemis di Rappresentanti della Regione Molise, sebbene gli stessi siano stati opportunamente invitati;
3. Si riporta l’assenza significativa al Tavolo DIN (Disability Italian Network) della Regione Molise, nota di demerito condivisa con la Regione Calabria;
4. Il CDH offre supporto teorico informativo attraverso la messa a disposizione della Biblioteca, che seppur fornita resta un supporto teorico, in quanto il CHD non ha per il momento messo in campo interventi di tipo operativo;
5. E’ emersa una grande difficoltà nel reperire informazioni che attestino la conoscenza di Artemis da parte del territorio. tale assenza è già un indice della scarsa conoscenza..
Alla luce della condivisione dei punti sopra riportati, il gruppo ha individuato le azioni da mettere in atto: A/ Azioni di sensibilizzazione che divulghino le linee
guida di Artemis. Tali azioni di sensibilizzazione sono dirette in primis alle istituzioni, alle scuole, e ai punti di snodo della rete sociale (coordinatori, associazioni…)
B/ Mainstreaming Orizzontale e Verticale C/ Piccolo Piano di Comunicazione della cui realizzazione
si curerà la Dott. Paola Di Sabato.
2 2 4
Claudio Bezzi, [email protected]
MINIMO di performance
valore centrale
performance MASSIMA
MINIMO di performance
valore centrale
performance MASSIMA
1^ valutazione
3^ valutazione
2^ valutazione
MINIMO di performance
valore centrale
performance MASSIMA
valore della prima valutazione
seconda valutazione
terza valutazione
e
Claudio Bezzi, [email protected]
5
4
3
2
1
17 giugno 2004 31 marzo 2005 4 ottobre 2005
RIUM
AMCL
ENTI
MTEN
GRLV GRIN
RINF
MOTV
GRES AMIS
RIST
OBCN SOST
OBUT
Claudio Bezzi, [email protected]
Elemento 1 2 3 4 5 6 7 8 9 Tot. 1) gestione universitaria -1 +2 -1 0 0 0 +1 0 +1
2) Molti partner anche diversi +1 0 0 0 0 +1 0 0 +2
3) Motivazione e qualità risorse um. +1 -1 -1 -1 -1 +1 0 -1 -3
4) Rigidità budget e sua gestione +1 +1 0 0 0 0 0 0 +2
5) Comunicazione, marketing, … 0 0 0 +1 +1 0 +1 +1 +4
6) Scarso coinvolgim. utenti 0 0 0 +1 +2 0 0 +2 +5
7) Bisogno reale, attualità del prog. 0 0 0 0 0 0 0 +2 +2
8) Mancanza di paternità istituzioni +2 0 0 0 +1 +1 0 +2 +6
9) Mancanza gener. sensibilità 0 0 0 0 +2 +1 0 +1 +4
Tot. 5 3 2 4 6 4 2 3 8
Claudio Bezzi, [email protected]