livrabil 5: recomandări și · îngrijire paliative 8710 crms-ii eficienţă şi eficacitate...
TRANSCRIPT
-
Livrabil 5: Recomandări și
evaluare
Task 6 – Recomandări și
evaluare
Componenta 2
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 2 din 23
Cuprins
Abrevieri .................................................................................................................................................. 3 Lista tabelelor .......................................................................................................................................... 3 Lista căsuțelor text .................................................................................................................................. 3 Lista figurilor ............................................................................................................................................ 3 Introducere .............................................................................................................................................. 4 1. Modalități și metode de implementare a evaluărilor ..................................................................... 5
1.1 Sistemul de indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate 5 1.2 Metode de colectare a datelor ............................................................................................... 7 1.3 Metode de analiză și prezentare a datelor ............................................................................ 9 1.4 Modalități de contactare a furnizorilor și beneficiarilor de servicii sociale ........................... 10
2. Recomandări privind organizarea funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale ...................................................................................................................... 11
2.1 Modalități de extindere a exercițiului de evaluare................................................................ 11 2.2 Sistem de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale .......... 12
2.2.1 Asigurarea sustenabilității exercițiului de evaluare derulat ............................................. 12 2.2.2 Modalități de consolidare și dezvoltare a funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale ............................................................................................ 13
2.3 Instruirea personalului Ministerului Muncii și Justiției sociale în domeniul evaluării și monitorizării ....................................................................................................................................... 21
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 3 din 23
Abrevieri
Acronim Descriere
MMJS Ministerul Muncii şi Justiţiei Sociale
CAWI Computer Assisted Web Interviewing (Cercetare on line)
SWOT Strengths, Weaknesses, Opportunities, and Threats (Puncte Tari, Puncte Slabe,
Oportunități, Amenințări)
Lista tabelelor
Tabel 1 Centralizator privind categoriile de beneficiari, tipurile de servicii sociale și seturile de
indicatori calitativi .................................................................................................................................... 5
Tabel 2 Metode de colectare a datelor de la beneficiarii de servicii sociale – grad de adecvare, în
funcție de categoria de beneficiar ......................................................................................................... 11
Tabel 3 Exemple de întrebări de evaluare, în funcție de scopul evaluării ............................................ 13
Tabel 4 Etapele unui proces de evaluare ............................................................................................. 14
Tabel 5 Analiza opțiunilor de realizare a proiectelor de evaluare și monitorizare pe baza unor criterii
de selecție ............................................................................................................................................. 20
Tabel 6 Subiecte generale de instruire în domeniul evaluării și monitorizării serviciilor sociale .......... 21
Lista căsuțelor text
Căsuță text 1 Moduri prin care poată fi folosită evaluarea .................................................................... 16
Căsuță text 2 Opțiunea 1 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse
interne ale MMJS și organizațiile subordonate ..................................................................................... 20
Căsuță text 3 Opțiunea 2 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse
externe .................................................................................................................................................. 20
Căsuță text 4 Opțiunea 3 – realizarea proiectelor de evaluare și monitorizare folosind atât resurse
interne cât și resurse externe MMJS .................................................................................................... 20
Lista figurilor
Figura 1 Evaluare vs. monitorizare ....................................................................................................... 14
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 4 din 23
Introducere
Prezentul raport reprezintă livrabilul final al Componentei 2 a proiectului, ce corespunde Task 6.
Recomandări și evaluare.
Raportul prezintă pe baza exercițiului de evaluare derulat în cadrul Componentei 2 a proiectului,
orientări privind modalitățile și metodele de implementare a evaluărilor în domeniul serviciilor sociale,
și formulează recomandări cu privire la organizarea funcției de evaluare și monitorizare la nivelul
Ministerului Muncii și Justiției Sociale.
În cadrul capitolului 1 al raportului sunt prezentate modalitățile și metodele de implementare a
evaluărilor, pe baza experienței exercițiului de evaluare derulat, în ceea ce privește: sistemul de
indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate, metodele de
colectare a datelor, metodelor de analiză și prezentare a datelor și modalitățile de contactare a
furnizorilor și beneficiarilor de servicii sociale în vederea participării la exerciții de evaluare.
Capitolul 2 al raportului tratează modalitățile de extindere a exercițiului de evaluare dar și o serie de
opțiuni cu privire la consolidarea și dezvoltarea funcției de evaluare și monitorizare la nivelul Ministrului
Muncii și Justiției Sociale.
Anexa prezentului raport (constituită sub forma unui document separat) include varianta revizuită a
Ghidului pentru monitorizarea şi evaluarea calităţii serviciilor sociale dezvoltat în cadrul Task-ului 3 al
proiectului.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 5 din 23
1. Modalități și metode de implementare a evaluărilor
1.1 Sistemul de indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate
Sistemul de indicatori calitativi definit iniţial pe tipuri de servicii sociale selectate în urma discuţiilor
purtate cu echipa MMJS acoperea doar trei din cele șapte categorii de beneficiari (persoane vârstnice,
persoane fără adăpost, persoane fără venituri sau cu venituri reduse), la care s-a adăugat o a patra
categorie, respectiv tinerii aflați în dificultate. Pentru aceste categorii de beneficiari au fost definite 14
seturi de indicatori calitativi grupaţi pe trei dimensiuni: eficienţă şi eficacitate, satisfacţia beneficiarului
şi impact social.
Tabel 1 Centralizator privind categoriile de beneficiari, tipurile de servicii sociale și seturile de indicatori calitativi
Servicii sociale conform legislaţiei (Legea 292/2011 şi HG 867/2015)/cod
nomenclator
Standard aplicabil
Indicatori
Unităţi de îngrijire la domiciliu 8810 ID-I
Anexa 8/ Ordin nr.2126/2014
Set 1
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-25 26-49 50-68
Centre de tip respiro/centre de criză 8730 CR-V-II
Anexa 1/ Ordin nr.2126/2014
Set 2
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-42 43-86 87-104
Centre de zi de asistenţă şi recuperare 8810 CZ-V-I
Anexa 6/ Ordin nr.2126/2014
Set 3
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-36 37-74 75-95
Serviciile de asistenţă comunitară 8899CZ – PN - V
Anexa 7/ Ordin nr.2126/2014
Set 4
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-47 48-61
Cămine pentru persoane vârstnice 8730 CR-V-I
Anexa 1/ Ordin nr.2126/2014
Set 5
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-45 46-95 96-116
Locuinţe protejate 8730 CR-V-III
Anexa 2/ Ordin nr.2126/2014
Set 6
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-39 40-87 88-113
Centre rezidenţiale medico-sociale 8710 CRMS-I
Anexa 10/ Ordin nr.2126/2014
Set 7
Centre rezidenţiale de îngrijire paliative 8710 CRMS-II
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-27 28-48 49-63
Echipa mobilă 8899 SIS - I
Anexa 7/ Ordin nr.2126/2014
Set 8
Servicii mobile de acordare a hranei - masa pe roţi 8899 CPDH - II
Ambulanța socială 8899 SIS – II
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-45 46-61
Servicii de asistență comunitară 8899CZ – PN - V
Anexa 7/ Ordin nr.2126/2014
Set 9
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-48 49-64
Centre rezidenţiale de asistenţă şi reintegrare/integrare social 8790CR – PFA - I
Anexa 4/ Ordin nr.2126/2014
Set 10
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-40 41-89 90-113
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 6 din 23
Servicii sociale conform legislaţiei (Legea 292/2011 şi HG 867/2015)/cod
nomenclator
Standard aplicabil
Indicatori
Cantine sociale 8899CPDH-I
Anexa 9/ Ordin nr.2126/2014
Set 11
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-46 47-61
Servicii de asistență comunitară 8899CZ – PN - V
Anexa 7/ Ordin nr.2126/2014
Set 12
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-47 48-63
Serviciile de asistență comunitară 8899CZ – PN - V
Anexa 7/ Ordin nr.2126/2014
Set 13
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-22 23-48 1-22
Centre multifuncţionale 8790CRT - I
Anexa 3/ Ordin nr.2126/2014
Set 14
Centre de tranzit 8790CRT- II
Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social
1-39 40-88 89-112
Sursa: EY
Ghidul iniţial cuprindea o descriere detaliată a indicatorilor calitativi definiţi pentru fiecare categorie de
beneficiari şi serviciile sociale asociate, avute în vedere, indicatori dezvoltați pornind de la standardele
și sub-standardele minime de calitate definite prin legislația actuală. În cadrul sistemului iniţial au fost
definiţi indicatori calitativi corespunzători furnizorilor – manageri şi angajaţi şi beneficiari - persoane
vârstnice, reprezentanţi legali, convenţionali, familii ale acestora, persoane fără adăpost, persoane fără
venituri sau cu venituri reduse, tineri aflați în dificultate.
În faza următoare definirii indicatorilor calitativi, s-a trecut la testarea acestora. Exerciţiul de evaluare s-
a derulat în rândul furnizorilor şi beneficiarilor de servicii sociale pentru categoriile de servicii sociale
selectate de comun acord cu echipa MMJS, respectiv servicii de îngrijiri la domiciliu pentru persoanele
vârstnice; servicii cu cazare, organizate ca locuințe protejate pentru persoanele vârstnice; centre
rezidenţiale de asistenţă şi reintegrare/integrare socială a persoanelor fără adăpost. În cadrul
exerciţiului de evaluare a fost posibilă doar o operaţionalizare parţială a indicatorilor în cadrul
instrumentelor de colectare dezvoltate atât pentru furnizori, cât şi pentru beneficiari. În urma derulării
exerciţiului de evaluare şi analizei datelor colectate, au fost aduse două categorii de modificări ghidului
de indicatori calitativi:
• Modificări ale indicatorilor operaţionalizaţi şi pentru care s-au colectat date – seturile de indicatori
2,6,10;
• Modificări ale celorlalţi indicatori calitativi.
Disponibilitatea datelor pentru calculul indicatorilor
Exerciţiul de evaluare a pus în evidenţă faptul că:
• indicatorii calitativi permit colectarea de date care să faciliteze calculul acestora;
• indicatorii calitativi sunt fezabili din perspectiva resurselor de timp şi financiare necesare pentru
colectarea informaţiilor.
Modificările principale aduse seturilor de indicatori pentru care au fost operaţionalizaţi indicatori au avut
în vedere:
• modificarea scalelor de măsurare a percepţiei, fără a aduce atingere semnificaţiei datelor colectate
– scalele care fac referire la satisfacţie au fost înlocuite cu scale de măsurare care fac referire la
gradul de mulţumire.
• redefinirea parțială a indicatorilor cu schimbarea formulelor de calcul pentru acei indicatori care
aveau probabilitate crescută de obținere a unor răspunsuri incomplete;
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 7 din 23
• definiţiile indicatorilor care fac referire la personal au fost completate (în anumite cazuri şi seturi de
indicatori) prin adăugarea precizării că se pot operaţionaliza, respectiv calcula şi pe diferite categorii
de personal (de specialitate şi auxiliar), în funcţie de necesităţile de evaluare.
• înlocuirea unor termeni cu privire la care s-a apreciat că pot genera confuzie în rândul anumitor
categorii de beneficiari – în cazul indicatorilor care fac referire la gradul de mulţumire al persoanelor
vârstnice cu privire la diferite caracteristici ale mediului de viaţă, a fost înlocuit termenul confort cu
dotare, considerat mai specific prin raportare la ce anume se doreşte măsurarea percepţiei.
• în cazul indicatorilor definiţi pentru dimensiunea impact social, operaţionalizarea în cadrul
instrumentelor de colectare necesită precizarea momentului de timp cu privire la care se face
comparaţia astfel încât să se poată urmări progresul de la un an la altul.
Modificările celorlalţi indicatori calitativi au vizat în principal armonizarea schemei de operaţionalizare
pentru a asigura comparabilitate cu indicatorii calitativi pentru care s-a derulat exerciţiul de evaluare.
Ca urmare a faptului că exerciţiul de evaluare nu a permis testarea unui număr mai mare de indicatori,
s-a decis păstrarea în cadrul ghidului a tuturor indicatorilor calitativi definiţi initial, inclusiv a celor definiţi
pentru anumite categorii de beneficiari (angajaţi în cazul furnizorilor, respectiv reprezentanţi legali,
convenţionali, familii ale persoanelor vârstnice în cazul beneficiarilor) chiar dacă aceştia nu au fost avuţi
în vedere în mod expres prin termenii de referinţă, datorită faptului că în anumite situaţii pot oferi o
evaluare mult mai corectă.
Ghidul final a păstrat schema de operaţionalizare pentru fiecare indicator: dimensiune (se indică
dimensiunea căreia îi corespunde indicatorul: eficienţă şi eficacitate, satisfacţia beneficiarului sau
impact social); definiţie (coincide cu definiţia indicatorului din Setul de indicatori definiţi per beneficiar şi
serviciul social corespondent), frecvenţa colectării (face referire la frecvenţa de colectare a datelor, cu
indicarea instrumentului - chestionar/interviu recomandat pentru colectarea datelor); măsurare/formulă
de calcul (unitatea de măsură, definirea numărătorului şi numitorului, în funcţie de modul de calcul
propus); scop/utilitate.
1.2 Metode de colectare a datelor
Conform solicitărilor MMJS din Caietul de Sarcini și din cadrul întâlnirililor de lucru organizate în cadrul
proiectului, echipa de experți a dezvoltat 3 instrumente de colectare a datelor (chestionare aplicate
furnizorilor de servicii sociale: servicii de îngrijiire la domiciliu pentru persoane vârstnice, locuințe
protejate pentru persoane vârstnice și centre rezidenţiale de asistenţă şi reintegrare/integrare socială
pentru persoanele fără adăpost) ce au fost aplicate prin tehnica CAWI (Computer-Assisted Web
Interviewing) utilizând softul SurveyMonkey® ce a fost agreat cu MMJS. Aceste chestionare au cuprins
întrebări închise, dar și deschise, ce au acoperit următoarele dimensiuni:
• Eficacitatea procesului de furnizare a serviciilor sociale;
• Eficiența serviciilor sociale;
• Satisfacția beneficiarilor (acoperire redusă ce derivă din grupul țintă care intră în exercițiul de
evaluare - furnizori de servicii sociale: manageri / personal de conducere);
• Impactul social al serviciilor sociale.
În cazul beneficiarilor de servicii sociale selectate (servicii de îngrijiire la domiciliu pentru persoane
vârstnice, locuințe protejate pentru persoane vârstnice și centre rezidenţiale de asistenţă şi
reintegrare/integrare socială pentru persoanele fără adăpost) au fost dezvoltate 3 fișe de interviu sub
formă de chestionare ce utilizează întrebări închise și deschise. La fel ca și în cazul chestionarelor
destinate furnizorilor de servicii sociale și chestionarele destinate beneficiarilor de servicii sociale au
cuprins întrebări închise, dar și deschise ce acoperă dimensiunile:
• Eficacitatea procesului de furnizare a serviciilor sociale (acoperire redusă ce derivă din grupul țintă
care intră în exercițiul de evaluare: beneficiari de servicii sociale);
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 8 din 23
• Eficiența serviciilor sociale (acoperire redusă ce derivă din grupul țintă care intră în exercițiul de
evaluare: beneficiari de servicii sociale);
• Satisfacția beneficiarilor;
• Impactul social al serviciilor sociale.
Proceduri de eșantionare propuse
Baza de eșationare utilizată, atât pentru exercițiile de colectare a informațiilor în rândul furnizorilor de
servicii sociale, cât și pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii
sociale a fost Registrul electronic unic al furnizorilor și serviciilor sociale existent la data de 28.06.2018
și pus la dispoziția echipei de proiect de către echipa MMJS.
Pașii de selecție a furnizorilor de servicii sociale pentru cele 3 categorii de servicii sociale aflate în
evaluare (servicii de îngrijiire la domiciliu pentru persoane vârstnice, locuințe protejate pentru persoane
vârstnice și centre rezidenţiale de asistenţă şi reintegrare/integrare socială pentru persoanele fără
adăpost) au fost următorii:
Pas 1. Existența adresei de e-mail a furnizorului în baza de date (Registrul furnizorilor și serviciilor
sociale existent la data de 28.06.2018 și pus la dispoziția echipei de proiect de către MMJS) – păstrarea
furnizorului de servicii sociale în baza de date;
Pas 2. Existența unei licențe valide de funcționare la momentul derulării exercițiului de evaluare a
serviciului social (septembrie 2018) – păstrarea serviciului în baza de date.
Pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii sociale, echipa de proiect
a propus ca în completarea celor doi pași expuși anterior să existe un filtru al furnizorilor de servicii
sociale care să îi păstreze în baza de eșantionare doar pe cei care au răspuns afirmativ la exercițiile
de colectare a informațiilor pe bază de chestionar în rândul furnizorilor. În acest fel s-a considerat că s-
ar reduce rata de refuz din partea furnizorilor în a asigura acces la beneficiari. Acest aspect a fost agreat
cu MMJS.
Pentru exercițiile de colectare a informațiilor în rândul furnizorilor de servicii sociale, grupul țintă a fost
reprezentat de manageri/personal de conducere al unităților ce furnizează servicii sociale pentru
categoriile de beneficiari selectate de MMJS (persoane vârstnice și persoane fără adăpost). Având în
vedere numărul relativ mic de furnizori de servicii sociale existenți în Registrul furnizorilor și serviciilor
sociale existent la data de 28.06.2018, echipa de proiect a propus implementarea celor 3 exerciții de
colectare a informațiilor prin chestionare CAWI (Computer Assisted Web Interviewing) în luna
septembrie a anului 2018 prin utilizarea metodei exhaustive de investigare (trimiterea chestionarelor
către toți furnizorii de servicii sociale existenți în Registrul furnizorilor și serviciilor sociale la data de
28.06.2018 și care au rămas în baza de date în urma procedurii de selecție specificată mai sus).
Pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii sociale, grupul țintă a
fost reprezentat de: persoane vârstnice care beneficiază de servicii de îngrijiire la domiciliu, persoane
vârstnice care beneficiază de servicii sociale în locuințe protejate pentru persoane vârstnice și persoane
fără adăpost care beneficiază de servicii sociale în centre rezidenţiale de asistenţă şi
reintegrare/integrare socială pentru persoanele fără adăpost. Echipa de proiect a propus o selecție
probabilistică a punctelor de eșantionare (respectiv a furnizorilor de servicii sociale) după variabila
regiune de dezvoltare în primă etapă, urmată apoi de o selecție probabilistică a beneficiarilor, dar cu
utilizarea unor cote egale de respondenți în raport cu variabila sex. Acest exercițiu de eșantionare vine
în sprijinul sporirii capacității personalului MMJS de a înțelege modul de realizare a eșantioanelor
probabilistice (cu reprezentativitate statistică) și neprobablistice.
Analiza SWOT a exerciţiilor de evaluare realizatea a pus în evidenţă următoarele aspecte:
• Colectarea datelor de anchetă în rândul furnizorilor prin ancheta CAWI (Computer Assisted Web
Interviewing) reprezintă o modalitate relativ accesibilă ca și cost în implementare, dar ridică
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 9 din 23
problema non-răspunsurilor crescute. Realizarea unor anchete pe eșantioane reprezentative
statistice pentru furnizorii intervievați poate fi un proces greu de implementat prin metoda CAWI în
lipsa unor resurse umane bine pregătite în implementarea anchetelor prin tehnici CAWI.
• Cadrul de eșantionare utilizat (Registrul electronic unic al furnizorilor și serviciilor sociale) nu
cuprinde pentru toți furnizorii/serviciile, adrese de e-mail/telefon care să permită derularea unor
anchete CAWI. De ceea, este important pe viitor a se completa aceste informații în registrul oficial.
• Colectarea datelor de anchetă în rândul beneficiarilor prin intervievare față în față reprezintă cea
mai bună modalitate de culegere a datelor în cazul beneficiarilor de servicii sociale. Acest lucru
generează costuri ridicate de implementare, mai ales în cazul anchetelor ce se doresc a fi
reprezentative statistic pentru populația de beneficiari de servicii sociale.
1.3 Metode de analiză și prezentare a datelor
În cadrul exerciţiului de evaluare, personalul MMJS a fost instruit în derularea de analize statistice
descriptive şi inferenţiale. Statistica descriptivă (indicatori ai tendinţei centrale, indicatori ai dispersiei)
permite descrierea, sintetizarea datelor în diferite moduri, în timp ce statistica inferenţială permite
identificarea legăturilor dintre variabile/grupuri de variabile, definirea şi testarea unor ipoteze diverse.
Datele colectate în urma derulării exerciţiului de evaluare au fost preponderent date calitative
(nenumerice) nominale şi ordinale. A existat un număr destul de însemnat de întrebări deschise prin
care s-au colectat opinii, motivaţii care au fost supuse unor proceduri de postcodificare, respectiv de
grupare a răspunsurilor în categorii definite în faza de analiză a datelor. Datorită specificului, datele
colectate în cadrul exerciţiului de evaluare au permis derularea de analize utilizînd tehnici descriptive –
calcularea unor indicatori ai tendinţei centrale (frecvenţe absolute şi frecvenţe relative). Modalităţile de
prezentare a datelor au inclus graficele de tip bară şi plăcintă.
Pentru analiza datelor colectate se recomandă:
• Definirea sintaxei bazei de date aferentă instrumentului de colectare şi a scalelor de măsurare
pentru fiecare variabilă, ţinând cont de specificul acestora (cantitative, calitative).
• Transformarea unor variabile din calitative în cantitative, astfel încât să poată fi derulate prelucrări
ulterioare.
• Alegerea metodei de analiză statistică în funcţie de tipul variabilelor şi de scalele pe care sunt
acestea măsurate. Calcularea indicatorilor tendinţei centrale în funcţie de specificul datelor,
respective frecvenţe absolute şi relative, mediană şi modul pentru situaţia în care datele sunt
calitative (exprimate prin cuvinte) de tipul datelor socio-demografice (mediu de rezidenţă, ultima
şcoală absolvită, vârsta, sex), date categoriale (tipul de serviciu social furnizat, etc.); frecvenţe
absolute şi relative, medie, mediană, modul, cuartile pentru situaţia în care datele sunt cantitative
(de tip interval sau de raport).
• Ulterior se pot calcula tabele de contingenţă care să pună în evidenţă legături posibile între datele
colectate.
În fazele ulterioare ale analizei se pot defini şi testa ipoteze diverse, prin aplicarea de tehnici
parametrice şi non parametrice în funcţie de tipul variabilelor disponibile şi de scalele de măsurare.
Pentru variabilele cantitative cu distribuţie normală (de tipul vârstă, venituri disponibile, costul îngrijirii,
etc.) se pot aplica teste parametrice (de ex. corelaţia Person, testul t pentru eşantioane
independente/dependente, analiza varianţei în sens unic), non parametrice pentru variabile cantitative
fără distribuţie normală şi variabile ordinale/nominale (de ex. testul Chi-pătrat al asocierii, Spearman,
Kendall).
În concluzie, recomandările în ceea ce priveşte metodele de analiză şi prezentare a datelor au în vedere
aplicarea metodelor de analiză descriptivă şi/cele inferenţiale în funcţie de tipul datelor colectate. Se
recomandă de asemenea colectarea, alături de datele calitative şi a unor date cantitative (de ex.
venituri, costuri aferente serviciilor sociale, valoarea salariului pe categorii de personal etc.) astfel încât
să poată fi derulate analize mai aprofundate care să completeze, să explice şi să ajute la formularea
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 10 din 23
unor concluzii. Se recomandă prezentarea datelor în vederea calculării indicatorilor sub formă de
grafice (de tip bară sau plăcintă), tabele.
1.4 Modalități de contactare a furnizorilor și beneficiarilor de servicii sociale
Contactarea furnizorilor de servicii sociale s-a făcut pe bază de e-mail/telefon. În cazul beneficiarilor au
fost pregătite scrisori oficiale semnate de conducerea MMJS prin care s-a solicitat colaborarea cu
operatorii de anchetă în vederea realizării interviurilor.
Pentru a obține rate ridicate de răspuns la chestionarele aplicate CAWI este necesar să fie parcurși cel
puțin următorii pași:
Pas 1. Crearea uneui adrese de e-mail special destinată proiectului de evaluare a a serviciilor la
momentul t;
Pas 2. Elaborarea unei adrese oficiale (MMJS) prin care să se explice scopul anchetei, adresă care să
însoțească e-mail-ul de trimitere a link-ului de chestionar;
Pas 3. Revenirea de cel puțin 3 ori cu e-mail-uri de reamintire a completării link-ului chestionarului.
În cazul beneficiarilor sunt necesare scrisori oficiale semnate de conducerea MMJS prin care se va
solicita colaborarea cu operatorii de anchetă în vederea realizării interviurilor.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 11 din 23
2. Recomandări privind organizarea funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale
2.1 Modalități de extindere a exercițiului de evaluare
Modalități de extindere a exercițiului de evaluare – perspectiva contactării furnizorilor și
beneficiarilor de servicii sociale
În vederea derulării unui exercițiu de evaluare de succes, gradul de participare și implicare a grupului
țintă în procesul de colectare a datelor este considerat a fi important, indiferent de categoria serviciului
social evaluat. Așadar, având în vedere experiența exercițiului de evaluare derulat în cadrul proiectului,
se recomandă utilizarea unor scrisori prin care să se solicite participarea în cadrul evaluării fie
furnizorilor de servicii sociale, fie beneficiarilor de servicii sociale, după caz. Mai mult decât atât, în
situația în care grupul țintă pentru colectarea datelor este format din beneficiari, în funcție de tipul de
serviciu contactat și de benefeciar, accesul la aceștia din urmă, urmează sa fie asigurat de furnizorul
respectiv în baza unei scrisori din partea MMJS.
Modalități de extindere a exercițiului de evaluare – perspectiva metodelor de colectare a
datelor
Ghidul pentru monitorizarea şi evaluarea calităţii serviciilor sociale include indicatori dezvoltați pentru o
serie de servicii sociale. În scopul exercițiului de evaluare derulat, conform selecției făcută de Ministerul
Muncii și Justiției Sociale într-o etapă anterioară a proiectului, au intrat următoarele categorii de servicii:
pentru categoria de beneficiari persoane vârstnice – unități de îngrijire la domiciliu (8810 ID-I) și locuințe
protejate (8730 CR-V-III) iar pentru categoria de beneficiari persoane fără adăpost – centre rezidențiale
de asistență și reintegrare/integrare socială (8790CR-PFA-I).
Metodele de colectare a datelor de la beneficiarii de servicii sociale pot fi diferite din perspectiva
categoriei de beneficiari din grupul țintă. Mai exact, anumite metode de colectare a datelor pot fi mai
potrivite decât altele, în funcție de natura serviciului social evaluat (și implicit a categoriei de beneficiari
cărora i se adresează). Așadar, tabelul de mai jos își propune să prezinte într-o manieră sintetică gradul
de adecvare a două dintre cele mai comune și recomandate metode de colectare a datelor, din
perspectiva extinderii exercițiului de evaluare, la nivelul MMJS.
Tabel 2 Metode de colectare a datelor de la beneficiarii de servicii sociale – grad de adecvare, în funcție de categoria de beneficiar
Servicii sociale Metode de colectare a datelor de la beneficiarii de servicii sociale
Comentarii
Beneficiar
Tip de intervenție
Servicii acoperite Anchetă pe bază de chestionar
Chestionar administrat online
Persoane vârstnice
Non-rezidențială sau rezidențială temporară (centre respiro + centre de zi de recuperare)
Centre de tip respiro/centre de criză 8730 CR-V-II Recomandabil Nerecomandabil
Lipsa cadrului de eșantionare (lipsa
adreselor de e-mail ale beneficiarilor) dar și
probabilitatea ca
beneficiarii să utilizeze/să aibă acces
la dispozitive electronice moderne
Centre de zi de asistenţă şi recuperare 8810 CZ-V-I
Recomandabil Nerecomandabil
Asistență comunitară
Serviciile de asistenta comunitara 8899CZ – PN - V
Recomandabil Nerecomandabil
Rezidențială Cămine pentru persoane vârstnice 8730 CR-V-I
Recomandabil Nerecomandabil
UMS Centre rezidenţiale medico- Recomandabil Nerecomandabil
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 12 din 23
Servicii sociale Metode de colectare a datelor de la beneficiarii de servicii sociale
Comentarii
Beneficiar
Tip de intervenție
Servicii acoperite Anchetă pe bază de chestionar
Chestionar administrat online
sociale 8710 CRMS-I
care este considerată a fi mai scăzută față de
alte categorii de populație, recomandă colectarea datelor prin utilizarea anchetei pe bază de chestionar.
Centre rezidenţiale de îngrijire paliative 8710 CRMS-II
Recomandabil Nerecomandabil
Persoane fără adăpost
Unități mobile Echipa mobilă 8899 SIS - I
Recomandabil Nerecomandabil
Ambulanța socială 8899 SIS - II
Recomandabil Nerecomandabil
Asistență comunitară
Servicii de asistență comunitară 8899CZ – PN - V
Recomandabil Nerecomandabil
Persoane fără venituri sau cu venituri reduse
Hrană Cantine sociale 8899CPDH-I
Recomandabil Nerecomandabil
Servicii mobile de acordare a hranei - masa pe roţi 8899 CPDH - II
Recomandabil Nerecomandabil
Asistență comunitară
Servicii de asistență comunitară 8899CZ – PN - V
Recomandabil Nerecomandabil
Tineri aflați în dificultate
Asistență comunitară
Serviciile de asistență comunitară 8899CZ – PN - V
Recomandabil Recomandabil
Rezidențial Centre multifuncţionale 8790CRT - I
Recomandabil Recomandabil
Centre de tranzit 8790CRT- II
Recomandabil Recomandabil
Sursa: EY
În ceea ce privește metodele calitative de colectare a datelor (i.e. focus grup), se consideră că aceasta
sunt potrivite situațiilor care necesită o redefinire a sistemului de indicatori sau situațiilor care presupun
clarificarea anumitor aspecte rezultate în urma derulării unui exercițiu de evaluare.
Cu privire la metodele de colectare a datelor de la furnizorii de servicii sociale, indiferent de tipul
serviciului social acordat, se consideră potrivită colectarea de date prin intermediul chestionarelor
administrate online (i.e. softuri CAWI) dar și prin intermediul anchetelor pe bază de chestionar.
Modalități de extindere a exercițiului de evaluare – perspectiva metodelor de analiză și
interpretare a datelor
Cu privire la analiza și interpretarea datelor, nu apar diferențe în funcție de grupul țintă utilizat pentru
colectarea datelor. Metodele statistice de analiză și interpretare se aplică în același mod, indiferent de
subiecții investigați.
Totuși, recomandările referitoare la metodele de analiză şi prezentare a datelor vizează aplicarea
metodelor de analiză descriptivă şi/cele inferenţiale în funcţie de tipul datelor colectate.
2.2 Sistem de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale
2.2.1 Asigurarea sustenabilității exercițiului de evaluare derulat
În vederea asigurării sustenabilității exercițiului de evaluare derulat, recomandăm adoptarea unei serii
de măsuri care să vină în întâmpinarea soluționării aspectelor ridicate în cadrul exercițiului de evaluare
derulat, în măsura în care sunt considerate relevante și de către Ministerul Muncii și Justiției Sociale.
Mai specific, cel puțin două acțiuni sunt necesare în această direcție:
• utilizarea rezultatelor exercițiului de evaluare derulat în cadrul acestui proiect în vederea adoptării
unei serii de măsuri care să adreseze o parte dintre aspectele semnalate (de exemplu: completarea
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 13 din 23
Registrului electronic unic al furnizorilor și serviciilor sociale existent la data de 28.06.2018 și pus la
dispoziție echipei de proiect, cu informațiile lipsă).
• consolidarea și dezvoltarea funcției de monitorizare și evaluare la nivelul Ministerului Muncii și
Justiției Sociale care să se asigure nu doar de planificarea și realizarea exercițiilor de monitorizare
și evaluare necesare, în funcție de politicile publice gestionate de către acesta, dar și de integrarea
concluziilor și recomandărilor acestora în planificarea strategică la nivelul MMJS.
În acest sens, sub-capitolul de mai jos furnizează o imagine de ansamblu cu privire la:
• ceea ce se așteaptă de la un proces de evaluare și monitorizare;
• posibilitățile în care funcția de evaluare ar putea fi consolidată și dezvoltată la nivelul ministerului;
• ceea ce produce activitatea de evaluare;
• modurile în care pot fi utilizate rezultatele unei evaluări.
2.2.2 Modalități de consolidare și dezvoltare a funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale
Evaluare: definiție, scop, întrebări de evaluare
Comisia Europeană definește evaluarea drept o “judecată cu privire la valoarea unei intervenții (de
regulă) publice în funcție de anumite criterii și standarde explicite (ex. relevanță, eficiență,
sustenabilitate, echitate, etc). Judecata se referă de obicei la nevoile cărora intervenția trebuie să le
răspundă și la efectele produse de aceasta. Evaluarea se bazează pe informații care sunt colectate și
interpretate special pentru a veni în sprijinul judecății (de exemplu: evaluarea calității unui serviciu
destinat publicului, evaluarea eficacității unui program, evaluarea cost-beneficiu a unui program și
evaluarea validității unei politici)1”.
Pe lângă scopul său general de a aduce o contribuție majoră unui anumit domeniu al politicilor publice
și al programelor/serviciilor destinate publicului aferente, evaluarea prezintă o serie de scopuri
particulare, precum:
• Planificare / eficiență – să se asigure că există o justificare clară pentru anumite politici/programe
și că resursele sunt utilizate în mod eficient;
• Responsabilizare – să demonstreze măsura în care un program si-a extins obiectivele, cât de
eficient au fost utilizate resursele si care este impactul său;
• Implementare – să îmbunătățească performanța programelor și eficiența modului în care acestea
sunt aplicate si administrate;
• Întărirea capacității instituționale – îmbunătățirea și dezvoltarea capacității participanților la
program, a rețelelor si instituțiilor acestora.
În funcție de aceste scopuri, diverșii beneficiari ai evaluării vor fi interesați de răspunsurile la diferitele
întrebări de evaluare. Exemple de întrebări de evaluare, definite în funcție de scopul evaluării sunt
prezentate în tabelul de mai jos.
Tabel 3 Exemple de întrebări de evaluare, în funcție de scopul evaluării
Scopul evaluării Utilizatorul evaluării Exemple de întrebări de evaluare
Planificarea / eficiența Evaluarea va fi utilă în principal persoanelor responsabile cu planificarea cu elaborarea politicilor.
• Acesta este cel mai bun mod în care pot fi utilizați banii publici?
• Există modalități alternative de folosire a resurselor care pot aduce beneficii sporite?
• Există o echivalență între costurile implicate și beneficiile preconizate?
1 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru
Evaluarea Dezvoltării Socio-Economice.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 14 din 23
Scopul evaluării Utilizatorul evaluării Exemple de întrebări de evaluare
Responsabilizarea Evaluarea va răspunde acelor părți interesate care, după aprobarea de programe sau politici, doresc să afle ce s-a întâmplat cu resursele alocate.
• Care a fost succesul înregistrat de programul în cauză? • Au fost îndeplinite obiectivele programului? • Banii au fost cheltuiți în mod eficient și care a fost impactul
înregistrat?
Implementarea Evaluarea va fi utilă managerilor de programe
• Este managementul eficient? • Partenerii de program sunt implicați corespunzător? • Este definită eligibilitatea (ce zone, ce grupuri țintă sunt
eligibile pentru a primi asistență prin program)?
• Este respectat graficul de timp stabilit?
Întărirea capacității
instituționale
Evaluarea va fi utilă partenerilor implicați în program și altor părți interesate. Aceștia vor fi interesați de modul în care își pot spori eficiența, de modul în care capacitățile lor pot fi extinse sau de modul în care beneficiarii pot obține maximum din ceea ce un program poate oferi.
• Sunt beneficiarii (inclusiv comunitățile locale) suficient de implicați în conceperea programului și a măsurilor aferente?
• Ce se poate face pentru a spori nivelul de participare și pentru a obține consensul?
• Mecanismele programului asigură suficient sprijin, iar abordarea este descentralizată?
Sursa: Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru Evaluarea
Dezvoltării Socio-Economice.
Funcția de evaluare este strâns legată de funcția de monitorizare, acesta din urmă fiind principalul
furnizor de date pentru realizarea evaluării. Figura de mai jos ilustrează sinergiile dintre cele două
funcții.
Figura 1 Evaluare vs. monitorizare
Sursa: Procesul Evaluării. Curs adresat Comitetului de Coordonare a Evaluării, disponibil la http://www.evaluare-
structurale.ro/images/stories/Documente/Beginner/01_ppoint%20training%20esc%20-%20evaluarea.pdf, accesat în
12.02.2019.
În general, un proces de evaluare presupune parcurgerea următoarelor etape:
Tabel 4 Etapele unui proces de evaluare
Etapă Activități și aspecte necesare etapei
Planificarea evaluării Planificarea evaluării presupune: ► Definirea obiectului evaluării ► Identificarea și implicarea părților interesate ► Analiza obiectivelor politicii care stau la baza
intervențiilor
Definirea întrebărilor și criteriilor de evaluare Definirea întrebărilor de evaluare este o parte esențială a începutului oricărui exercițiu de evaluare. Întrebările de evaluare, care includ criterii de apreciere (evaluare) se încadrează în principal într-una dintre următoarele patru categorii: relevanță, eficacitate, eficiență și utilitate.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 15 din 23
Etapă Activități și aspecte necesare etapei
O dată ce întrebările de evaluare au fost stabilite, trebuie analizată evaluabilitatea lor.
Alegerea metodelor de evaluare La întrebările de evaluare se poate răspunde în mai multe feluri. De aceea, alegerea metodei este esențială pentru a utiliza la maxim resursele de evaluare disponibile.
Atribuirea responsabilităților și alocarea resurselor Decizii cu privire la patru aspecte trebuie luate: ► Motivele pentru elaborarea evaluărilor ► Cine este responsabil pentru exrcițiul de evaluare ► Care este bugetul evaluării ► Cine realizează evaluarea (evaluarea ar trebui
realizată de o echipă externă sau ar trebui să fie elaborată intern?)
Scrierea Caietului de Sarcini Caietul de Sarcini reprezintă documentul care servește ca bază a relației contractuale dintre contractantul unei evaluări și echipa de evaluatori responsabilă pentru realizarea evaluării. Elaborarea Caietului de Sarcini este un pas vital atunci când evaluarea trebuie să fie realizată de către consultanți externi.
Implementarea și managementul evaluării În situația în care evaluarea se realizează de o echipă externă, este necesară asigurarea alegerii evaluatorilor potriviți (prin elaborarea cu atenție a Caietului de Sarcini și organizarea unui proces de selecție riguros). După începerea evaluării, managementul unei evaluări necesită a interacțiune continuă și semnificativă între toți partenerii implicați (inclusiv echipa de evaluare în sine).
Administrarea și asigurarea comunicării în procesul de evaluare
Comunicarea este o parte importantă a procesului de evaluare. Comunicarea trebuie să fie de preferat un proces constant: un prilej pentru dialog și pentru acumularea înțelegerii rezultată din evaluare.
Managementul asigurării calității și al controlului calității Analiza calității unei evaluări reprezintă o parte integrantă și fundamentală a procesului de evaluare. O evaluare care nu întrunește minime standarde de calitate poate să inducă în eroare factorii de decizie și managerii de program.
Sursa: Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru Evaluarea
Dezvoltării Socio-Economice.
Utilitatea evaluării și utilizarea rezultatelor acesteia
Utilitatea evaluării poate fi cuantificată prin intermediul celor trei elemente asupra cărora contribuie,
respectiv învățare, responsabilizare și explicare2:
• Învățare: Evaluările conduc la învățare în două moduri: prin implicare și prin colaborare. Învățarea
se referă la ceea ce oamenii știu și la ceea ce trebuie să știe pentru a-și îndeplini cu succes
îndatoririle. Procesul de învățare trebuie să-i implice pe toți partenerii și ar trebui să aibă loc în toate
etapele ciclului de viață al evaluării;
• Responsabilizare: Evaluarea contribuie la demonstrarea răspunderii. O responsabilizare adecvată
înseamnă elaborarea unor politici corecte. De asemenea, responsabilizarea trebuie să-i implice pe
toți partenerii și să fie un proces continuu;
• Explicare: Evaluarea trebuie să explice de ce se întâmplă lucrurile. În acest fel, pot fi învățate lecții
și pot fi îmbunătățite programele actuale și viitoare.
2 Editor: Unitatea Centrală de Evaluare, Autoritatea pentru Coordonarea Instrumentelor Structurale, Evaluarea:
un instrument cheie pentru îmbunătățirea sistemului instrumentelor structurale, Octombrie 2011, disponibil la http://www.evaluare-structurale.ro/images/stories/Documente/brosura/evaluarea-un%20instrument%20cheie.pdf, accesat: 29/01/2019.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 16 din 23
Realizarea unei evaluări se justifică numai dacă aceasta conduce la utilizarea rezultatelor sale și
contribuie la îmbunătățirea cunoașterii în rândul celor care au efectuat-o. În general, pot fi definite cel
puțin trei moduri3 prin care evaluarea poate fi folosită:
Căsuță text 1 Moduri prin care poată fi folosită evaluarea
1. Evaluările pot fi folosite în mod direct sau într-o manieră “instrumentală” prin care sunt
utilizate în practică rezultatele, constatările, concluziile și recomandările acestora.
2. Unele evaluări sau evaluările combinate cu alte dovezi și opinii sunt folosite cumulativ
pentru a furniza o bază informațională pentru dezbateri și a influența factorii de
decizie.
3. Chiar și când rezultatele evaluării nu sunt folosite, procesul de inițiere și reflectare asupra
evaluării poate fi util datorită ocaziilor pe care le furnizează de a schimba informații, de a
clarifica raționamente și de a dezvolta un cadru de dialog.
Dezvoltarea capacității de evaluare și monitorizare
Pentru a putea oferi beneficii sustenabile, dezvoltarea capacității de evaluare și monitorizare presupune
un proces de dezvoltare care necesită timp. Totuși, evaluarea nu reprezintă un proces de sine-stătător:
aceasta necesită un cadru instituțional adecvat și trebuie totodată să fie integrată în cadrul unor
reglementări instituționale.
Deși în unele situații capacitatea de evaluare și monitorizare evoluează în mod organic într-un lung
interval de timp, în cele mai multe cazuri însă e nevoie de o strategie și un plan concret pentru ca
evaluarea să devină funcțională într-un interval de timp dat.
Există multe decizii cheie, de natură strategică, ce trebuie luate în momentul începerii dezvoltării
capacității de evaluare și monitorizare. Printre cele mai importante se numără următoarele:
• arhitectura: localizarea și structurarea funcțiilor de evaluare și monitorizare și coordonarea acestora;
• consolidarea cererii de evaluare și monitorizare: existența unei cereri pentru evaluare eficace și bine
structurată;
• consolidarea ofertei de evaluare și monitorizare: existența aptitudinilor și a competențelor necesare
cu un sprijin organizațional adecvat;
• instituționalizarea evaluărilor și a monitorizărilor: integrarea evaluării și a monitorizării în cadrul
sistemelor de elaborare a politicilor și totodată în cadrul sistemului mai larg de politici.
Capacitatea de evaluare și monitorizare prezintă fațete multiple și poate fi localizată la diferite nivele
care se sprijină reciproc. De exemplu, există un4:
• nivel individual, ce constă în aptitudinile și competențele necesare;
• nivel organizațional, al cadrului și al structurilor manageriale;
• nivel inter-organizațional, ce acționează ca o punte de legătură între administrațiile publice și
organizațiile private prin intermediul unor rețele, proceduri și parteneriate;
3 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru
Evaluarea Dezvoltării Socio-Economice. 4 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru
Evaluarea Dezvoltării Socio-Economice.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 17 din 23
• nivel societal, care integrează gândirea evaluativă în cadrul societății civile - incluzând aici
organizațiile profesionale - dar și în cadrul sectorului public.
Pentru consolidarea și dezvoltarea capacității de evaluare și monitorizarea la nivelul Ministerului Muncii
și Justiției Sociale pot fi avuți în vedere o serie de pași strategici orientativi, prezentați în cele ce
urmează5. Mai mult decât atât, se recomandă definirea unei strategii care să stabilească modul în care
proiectele de evaluare și monitorizare să fie realizate la nivelul MMJS (în acest sens, mai jos sunt
prezentate opțiuni de realizare a proiectelor de evaluare și monitorizare fie cu resurse interne ale MMJS
și organizațiile subordinate, fie cu resurse externe, fie folosind atât resurse interne cât și resurse externe
MMJS). Așadar, pentru pașii de mai jos, sunt detaliate anumite activități necesar a fi întreprinse, în
situația în care proiectele de evaluare și monitorizare se vor realiza cu resurse externe.
Pasul 1: Definirea profilului, rolurilor, atribuțiilor și resurselor necesare funcției de evaluare și
monitorizare
• Profil
Funcția de evaluare și monitorizare trebuie prevăzută în mod distinct în structura Ministerului Muncii și
Justiției Sociale, organigrama sau regulamentele interne de funcționare, furnizând detalii despre
direcția/serviciul/compartimentul/persoanele responsabile. Această formalizare a funcției de evaluare
și monitorizare este necesară în vederea asigurării resurselor necesare dar și a integrării acestei
activități în fluxul obișnuit de lucru la nivelul MMJS.
• Rolul și atribuții
Rolul evaluării și monitorizării trebuie definit în mod clar și distinct de rolurile altor funcții. Prin realizarea
de monitorizări și evaluări, funcția de monitorizare și evaluare oferă sprijin în formularea politicilor în
domeniul protecției sociale precum și în procesele de management. În îndeplinirea acestui rol, funcţia
de monitorizare și evaluare va:
• coordona activităţile de monitorizare și evaluare; • stabili un plan anual de evaluare care va include și planul de monitorizare; • coordona şi monitoriza implementarea acestui plan; • promova calitatea metodologică şi continuitatea activităţilor de monitorizare și evaluare; • asigura ca rezultatele evaluării sunt utile pentru definirea priorităţilor în domeniul politicilor
sociale de asemenea, pentru îmbunătăţirea calităţii politicilor, programelor şi activităţilor.
• Resurse
Resursele umane, financiare și de infrastructură necesare derulării activității de monitorizare și evaluare
vor fi clar identificate şi planificate. Aceste resurse trebuie să fie suficiente în vederea implementării
planului anual de evaluare și a celui de monitorizare definit.
Resursele alocate funcţiei de evaluare și monitorizare vor fi adecvate în ceea ce priveşte fondurile,
personalul necesar şi pregătirea profesională a acestuia astfel încât să asigure îndeplinirea
corespunzătoare a responsabilităţilor ce le revin. Pregătirea profesională a resurselor alocate funcției
de evaluare și monitorizare vizează deținerea de experiență în ceea ce privește, de exemplu, analiza
statistică a datelor, aplicarea metodelor cantitative de colectare a datelor dar și deținerea unei
experiențe tematice în domeniul serviciilor sociale.
Pasul 2: Asigurarea managementului activităților de monitorizare și evaluare
5 EY, pe baza Standarde de Evaluare. Ministerul Fondurilor Europene.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 18 din 23
• Planificarea
În vederea derulării activităților de monitorizare și evaluare, se va elabora un plan anual de evaluare.
Planul va indica activitățile de evaluare pe care MMJS intenționează să le desfășoare. Planul va
cuprinde o estimare a resurselor umane și financiare necesare implementării acestuia. Mai exact o
structură indicativă a unui plan de evaluare include6:
• Contextul de elaborare a planului de evaluare; • Obiectivele planului de evaluare; • Proiectele de evaluare planificate (inclusiv sugerarea metodologiei de evaluare); • Bugetul aferent evaluărilor planificate; • Sistemul recomandat pentru achiziția de servicii externe de evaluare; • Calendarul proiectelor de evaluare; • Tipul de date care urmează a fi colectate prin activitatea de monitorizare; • Calendarul procesului de colectare a datelor; • Utilizarea și comunicarea rezultatelor evaluărilor.
În ceea ce privește estimarea bugetului aferent proiectelor de evaluare planificate, o serie de ipoteze
de bugetare pot fi luate în considerare. Mai exact, bugetul estimat pentru fiecare proiect de evaluare (în
situația în care evaluarea se va realiza cu evaluatori externi), poate fi format din:
• Onorariile experților calculate în funcție de numărul estimat de zile necesare pentru fiecare proiect de evaluare și o rata medie de X EUR / zi. Numărul de zile necesare pentru fiecare proiect de evaluare poate fi estimat luând în considerare experiența în efectuarea evaluărilor în diferite alte state membre, în domeniul evaluării calității serviciilor sociale, dar și factori precum: metodologia sugerată pentru proiectul de evaluare, natura serviciilor sociale ce urmează a fi evaluate, numărul de grupuri țintă și accesibilitatea acestora.
• Cheltuieli conexe. Categoriile tipice de cheltuieli conexe includ de exemplu: organizare de evenimente (cum ar fi evenimente de diseminare a concluziilor raportului de evaluare), inclusiv închirierea de săli și echipamente, cheltuieli pentru servicii de restaurant / catering pentru participanți, servicii de interpretariat; imprimare / producție de materiale de informare și materiale promoționale legate de evenimente; cazare si transport pentru participanții la evenimente. În plus, este necesar să se ia în considerare și cheltuieli pentru colectarea datelor (inclusiv cu premiile acordate respondenților; experiența altor state membre arată astfel de cheltuieli cu respondenții, s-au dovedit a fi utile pentru asigurarea co-participării și, prin urmare, a unei rate de răspuns acceptabilă din partea participanților la procesul de colectare a datelor).
• Exploatarea rezultatelor: transmiterea rezultatelor şi luarea în considerare a acestora în
procesul de decizie
Este necesar ca toate tipurile de rezultate ale evaluării să fie transmise efectiv tuturor persoanelor
implicate în procesul de luare a deciziilor (persoane de conducere şi alţi factori interesaţi, inclusiv
persoane responsabile cu formularea politicilor). Funcţia de evaluare și monitorizare va monitoriza
implementarea recomandărilor rapoartelor de evaluare elaborate, prin intermediul unui plan de urmărire
a acestora (follow up).
Rezultatele evaluărilor pot fi puse la dispoziția publicului, cu excepția situațiilor în care confidențialitatea
este impusă. Este recomandabil ca acestea să fie transmise/comunicate într-un format care să
întrunească nevoile celor implicaţi în procesul decisional și ale cetăţenilor/beneficiarilor.
Pasul 3: Derularea procesului de evaluare
• Proiectul de evaluare
6 EY, pe baza Planului de Evaluare aferent Programului Operațional Capitalul Uman 2014-2020. Octombrie
2015. Ministerul Fondurilor Europene.
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 19 din 23
Fiecare evaluare poate va fi structurată sub forma unui proiect care să cuprindă trei faze separate:
elaborare, implementare şi exploatare. Este necesar să se stabilească cine va lua parte în aceste trei
faze, în concordanţă, acolo unde este cazul, cu regulile şi procedurile interne aplicabile.
La elaborarea oricărui proiect de evaluare (indiferent de modul în care va fi realizat acesta, respectiv
intern sau extern), aria de acoperire a evaluării va fi în mod clar definită. Proiectul de evaluare va
cuprinde cel puțin următoarele puncte:
• contextul, motivul şi scopul evaluării; • cui i se adresează şi cine o va utiliza; • aria de cuprindere a evaluării; • întrebările cheie; • detalii privind informaţiile disponibile; • rapoarte; • termene limită.
În cazul evaluărilor realizate în mod extern, proiectul de evaluare trebuie să includă de asemenea,
clauze contractuale, financiare şi administrative precum şi criterii de calitate. Punctele mai sus
menţionate vor fi formalizate prin elaborarea unor Caiete de Sarcini.
• Stabilirea unui grup de coordonare și definirea Caietelor de Sarcini
Funcţia de evaluare și monitorizarea poate decide, daca se consider oportun, înfiinţarea de grupuri de
coordonare pentru fiecare evaluare în parte. În situația în care se decide înființarea unui grup de
coordonare, este necesar ca sarcinile acestuia să vizeze cel puțin:
• facilitarea accesului evaluatorului la informaţiile necesare îndeplinirii sarcinilor sale; • susţinerea procesului de evaluare, în special din punct de vedere metodologic; • participarea la măsurarea calităţii evaluării, în punctele importante ale procesului de evaluare; • asigurarea că prevederile caietului de sarcini sunt respectate.
• Conducerea evaluărilor
Procesele de evaluare vor fi conforme cu o serie de standard ce vo fi proiectate în vederea asigurării calităţii lor. Se va stabili un manager al proiectului de evaluare ce va fi responsabil de modul în care evaluarea se realizează. Managerul proiectului de evaluare va măsura în mod constant calitatea evaluării, pe baza criteriilor de calitate menţionate în Caietele de Sarcini. De asemenea, va fi respectată independenţa evaluatorului în activitatea sa şi nu se va interveni asupra rezultatelor evaluării. • Calitatea rapoartelor (analizelor) de evaluare
Textul rapoartelor / analizelor de evaluare va fi relevant, bazat pe analize riguroase, va respecta criteriile
de calitate cuprinse în Caietele de Sarcini şi va fi livrat conform termenelor limită.
Rapoartele/analizele de evaluare trebuie să descrie scopul evaluării şi contextul acesteia precum şi
obiectivele, întrebările, procedurile, rezultatele şi concluziile justificate ale evaluării, astfel încât
informaţiile esenţiale să fie făcute disponibile într-o formă uşor de înţeles.
Rapoartele /analizele trebuie să descrie sursele de informare astfel detaliate încât corectitudinea
informaţiei să poată fi verificată. Datele colectate sau selectate trebuie să fie adaptate la metodologiile
utilizate şi trebuie să fie suficient de corecte pentru utilizarea necesară.
Punctul de vedere şi fundamentarea pe care se bazează interpretarea rezultatelor trebuie descrise şi
explicate. Rezultatele trebuie să fie logice şi fundamentate de analize şi interpretari de date bazate pe
ipoteze explicative prezentate cu atenţie.
Raportul / analiza final(ă) de evaluare trebuie să prezinte rezultatele şi concluziile evaluatorului, iar
opinia cuprinsă în acesta nu trebuie amendată fără consimţământul acestuia.
Forme de realizare a activității de monitorizare și evaluare
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 20 din 23
În vederea consolidării și dezvoltării funcției de monitorizare și evaluare la nivelul Ministerului Muncii și
Justiției Sociale, se recomandă stabilirea unei strategii care să definească modul în care proiectele de
monitorizare și evaluare vor fi derulate. Mai specific, pot exista trei opțiuni, respectiv:
Căsuță text 2 Opțiunea 1 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate
Proiectele de evaluare se vor realiza integral de personalul Ministerului Muncii și Justiției
Sociale și al organizațiilor subordonate (inclusiv procesul de colectare a datelor).
Căsuță text 3 Opțiunea 2 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe
Proiectele de evaluare se vor realiza integral de către terți care pot fi organizații
specializate (de exemplu: institute de cercetare stiințifică, companii de consultanță, cu
expertiză în domeniu). În această situație, personal din cadrul funcției de evaluare și
monitorizare de la nivelul Ministerului Muncii și Justiției Sociale va coordona activitatea
realizată de evaluatorii externi și valida rezultatele aceste activități.
Căsuță text 4 Opțiunea 3 – realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS
Această opțiune reprezintă o opțiune hibrid, care cumulează părți dintre caracteristicile
opțiunilor 1 și 2 prezentate mai sus. În ceea ce privește această opțiune, rolurile în
realizarea proiectului se împart între resursele interne ale Ministerului Muncii și Justiției
Sociale și organizațiile subordonate, și resurse externe. O împărțire indicativă a rolurilor se
poate referi la:
- resurse interne – analiza datelor;
- resurse externe – colectare date.
Mai mult decât atât, personalul din cadrul funcției de monitorizare și evaluare va
supraveghea și coordona activitatea de colecatre de date realizată de terți externi.
Tabelul de mai jos își propune să furnizeze o analiză sintetică efectuată prin prisma unor criterii de
selecție definite în relație cu o serie de potențiale avantaje și dezavantaje aferente celor trei opțiuni de
realizare a proiectelor de evaluare și monitorizare definite.
Tabel 5 Analiza opțiunilor de realizare a proiectelor de evaluare și monitorizare pe baza unor criterii de selecție
Criteriu Opțiunea 1 - Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate
Opțiunea 2 -Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe
Opțiunea 3 - Realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS
Control cu privire la derularea proiectului de evaluare (i.e. controlul asupra pregătirii și a realizării operationale și tehnice a metodologiei de evaluare)
Ridicat Scăzut Mediu
Cunoaștere tematică a Ridicat Mediu Ridicat
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 21 din 23
Criteriu Opțiunea 1 - Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate
Opțiunea 2 -Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe
Opțiunea 3 - Realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS
subiectelor investigate (cum ar fi înțelegerea serviciilor sociale supuse cercetării)
Resurse umane cu competențe generale de analiză și interpretare a datelor
Mediu Ridicat Mediu
Competențe de derulare a proiectelor de monitorizare și evaluare
Mic Mare Mediu
Probabilitatea de a obține date corecte și complete de la beneficiari
Scazut Ridicat Mediu
Necesar resurse umane și financiare pentru analiza și interpretarea datelor
Ridicat* Scăzut** Mediu***
Sursa: EY
* Presupunerea este că o organizație cu experiență relativ redusă în derularea de exerciții de evaluare și monitorizare, va realiza
un astfel de exercițiu cu un număr ridicat de resurse umane și financiare.
** Presupunerea este că organizațiile specializate în servicii de monitorizare și evaluare, datorită experienței vaste și a
economiilor de scală din alte proiecte similare, va derula un exercițiu de evaluare și monitorizare cu un număr redus de resurse.
*** Presupunerea este că există o eficiență de costuri obținută prin externalizare.
În practică, în funcție de subiectul și aria de cuprindere a proiectului de evaluare ce urmează a fi derulat,
anumite proiecte pot fi realizate exclusiv cu resurse interne ale MMJS și organizațiile subordonate.
Similar, în situația în care gradul de complexitate a proiectului de evaluare este ridicat, și/sau datele
necesare evaluării nu se află în posesia MMJS și/sau a organizațiilor subordonate, proiectele de
evaluare și monitorizare poate fi realizat cu ajutorul resurselor externe.
Însă, dintr-o altă perspectivă, respectiv cea a tranziției către o funcție de evaluare și monitorizare
consolidată/dezvoltată, considerăm oportuna analiza opțiunii de a realiza această tranziție cu sprijin
extern specializat. Acest sprijin extern specializat ar putea fi implicat în îndrumarea și realizarea unor
activități cheie de pregătire precum:
• formarea suplimentară a personalului relevant;
• pregătirea planurilor de evaluare și monitorizare;
• analiza comprenehsivă a situației datelor necesare în vederea realizării evaluărilor (inclusive din
punct de vedere calitativ).
2.3 Instruirea personalului Ministerului Muncii și Justiției sociale în domeniul evaluării și monitorizării
Indiferent de opțiunea la care se apelează, în vederea acumulării și fundamentării cunoștințelor de
specialitate, este necesară instruirea personalului Ministerului Muncii și Justiției Sociale și a instituțiilor
subordonate, în domeniul evaluării și monitorizării serviciilor sociale. Subiectele de instruire indicate
mai jos reprezintă o platformă minimă de cunoaștere și competențe pentru orice resursă umană
implicată în aceste proiecte.
Tabel 6 Subiecte generale de instruire în domeniul evaluării și monitorizării serviciilor sociale
Tematica Exemple de subiecte aferente tematicii
Evaluarea Noțiuni generale: definiție, obiective, tipuri, avantaje, limitări,
diferențe între evaluare și monitorizare
-
Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”
Pagina 22 din 23
Tematica Exemple de subiecte aferente tematicii
Planificarea evaluării Definirea obiectului evaluării
Elaborarea unui plan de evaluare
Bugetarea evaluării
Design-ul evaluării Întrebări de evaluare, criterii de evaluare, durata evaluării
Implementarea evaluării Etapele procesului de evaluare
Colectarea de date
Asigurarea calității unei evaluări
Metodologii de cercetare Metodologii cantitative
Metodologii calitative
Utilizarea rezultatelor Formularea de politici publice pe baza rezultatelor unui
exercițiu de evaluare
Eșantionare Tipuri de eșantioane (probabilistice și neprobabilistice)
Managementul performanței în serviciile sociale Calitatea în serviciile sociale
Definirea calselor de calitate
Definirea indicatorilor de performanță în serviciile sociale
Sursa: EY
-
EY | Assurance | Tax | Transactions | Advisory About EY EY is a global leader in assurance, tax, transaction and advisory
services. Worldwide, our 175,000 people are united by our shared
values and an unwavering commitment to quality. We make a
difference by helping our people, our clients and our wider
communities achieve their potential.
For more information, please visit
www.ey.com
© 2018 EYRO
All Rights Reserved.
EY refers to one or more of the member firms of EY Global Limited (EYG), a UK private
company limited by guarantee. EYG is the principal governance entity of the global EY
organization and does not provide any services to clients.