134

Studiul evalurii este relativ nou, ndeosebi n Romnia. Una dintre primele referiri la o evaluare a fost studiul privind eficacitatea terapeutic a sucului de lmie realizat de marina britanic n secolul XVIII1.

Evaluarea a debutat ca un domeniu practic i a devenit o disciplin recunoscut a cercetrii tiinifice ncepnd din anii 1960. Pe parcursul evoluiei s-au remarcat o serie de dispute privind terminologia, metodologia i etica evalurii. n 2004, Fitz Patrick, Sanders i Worthern au identificat aproape 60 de modele aprute ntre 1960 i 19902. Anul 1965, a nsemnat startul masiv n Statele Unite a unor programe destinate combaterii srciei (War on Poverty rzboi mpotriva srciei, denumirea general a setului de programe)3.

Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-au lsat ateptate. S-a ajuns la concluzia c

EVALUAREA PROGRAMELOR

Raluca Grboan

asistent cercetare, Centrul de Cercetare n Administraia Public, Institutul de Cercetri Sociale, Facultatea de tiine Politice, Administrative i ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napoca

Program Evaluation is a relatively new academic research field in Romania. This article introduces some basic aspects of Program Evaluation, such as: definitions of program evaluation, differences between evaluation and monitoring, evaluation criteria and evaluation types and systems.

Transylvanian Reviewof Administrative Sciences,

19/2007, pp. 134-144

1 Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de Marina Britanic n secolul XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cnd armatele normande au realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of elearning, wiki. ossite. org/index. php?title=Models_for_the_evaluation_of_elearning

2 J.L. Fitzpatrick, Sanders, J.R., i Worthen, B.R., Program Evaluation. (3rd Edition) Boston: Pearson. 2004

3 Sorin Dan andor, Analiz i cercetare n administraia public, Accent, 2005, p. 73

135

nu existau suficieni bani pentru rezolvarea tuturor problemelor existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile, banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou constrngeri,4 dar i prin adoptarea sistemului de bugetare Planning-Programming Budgeting System (PPBS), care ncuraja monitorizarea i evaluarea programelor. Opinia public a devenit din ce n ce mai precaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n aceste condiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuita unui program crescnd spectaculos.

Dup cum se anticipa5, evaluarea se diversific metodologic nencetat, depete graniele naionale, i devine extrem de util ntr-o sfer din ce n ce mai larg de preocupri.

1. Evaluare, monitorizare i audit

Definiii ale evalurii

Evaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i al organizatiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nali funcionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programe i coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a colecta sistematic informaii despre rezultate, output i administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni.

De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evalurii date de diferite dicionare relev anumii termeni-cheie: determinarea meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de metodologie.

n cartea sa despre Analiz i cercetare n administratia public, Dan andor descrie sintetic faptul c pentru un program, evaluarea implic o analiz sistematic cu scopul de a afla dac i n ce msur proiectele i programele au fost implementate conform inteniilor i i-au atins obiectivele6.

Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate, sustenabilitate i impact7. Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice, putem msura gradul n care proiectele au obiective i rezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i dac impactul lor este resimit pe termen lung.

Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial - realizat n anumite momente din viaa unui program)

4 Patton, Michael Quinn Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage Publications, 1997

5 E. Chelimski, W. R. Shadish (Editori) Evaluation for the 21st Century, SAGE Publications Inc., 19976 Sorin Dan andor Analiz i cercetare n Administraia Public, Accent, Cluj-Napoca, 20057 www.evalsed.info

136

i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C. Allum, M.W. Bauer, G. Gasgell Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau program.(tr. n., Allum, 1990)8

Sintetiznd, putem reliefa urmtoarele elemente eseniale ale unei evaluri:

Este un instrument util n managementul politicilor publice, programelor i proiectelor;

Implic aprecieri pe baza unor criterii;

Este util n oricare dintre stadiile dezvoltrii unui program:o Design;o nainte de implementare evaluarea ex-ante;o n timpul implementrii evaluarea concomitent;o Ulterior implementrii evaluarea ex-post;

Este un proces explicativ: pornete de la anumite ntrebri pentru care identific rspunsuri;

Este mai comprehensiv dect monitorizarea;

Este o activitate sistematic i implic analize tiinifice (colectarea de date, analiza lor, compararea lor pe baza anumitor criterii);

Poate sta la baza lurii unor decizii n legtur cu programul evaluat: modificarea designului sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar stoparea programului.

Pentru a nelege ce este evaluarea, trebuie fcut distincia ntre aceasta i ali termeni cu utilizare paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de programe.

Evaluarea

n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite persoane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective (tr.n.)9. Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program).

Monitorizarea

Monitorizarea se refer la anumite verificri (raportul inputoutput, venituricheltuieli, activiti planificateactiviti realizate, grup int propusgrup int atins) pe tot parcursul implementrii proiectului sau programului. Prin monitorizare nu numai c se analizeaz aceste raporturi, dar se

8 N. C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research, London, Sage, 2000, citat de Jenny Hughes n Project Managers Guide ot Evaluation, p. 3, www.evaluate-europe.net/handbook/handbook.pdf

9 Michael Quinn Patton - Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications, 1986, citat de Jenny Hughes n Project Managers Guide of Evaluation, p. 3, www.evaluate-europe.net/handbook/handbook.pdf

137

i nregistreaz eventualele discordane. Evaluarea explic de ce respectivele discordane exist. Monitorizarea este descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare.

Auditul

Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul respectiv10. (tr.n.)

Scopul evalurii

Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la problemele existente. Mai exact, evaluarea poate avea, printre altele, urmtoarele scopuri:

Analiza rezultatelor, output-ului i impactului unui program; Compararea rezultatelor cu costurile unui program; Identificarea eventualelor mbuntiri necesare privind designul i implementarea

programelor; Asistarea autoritilor n elaborarea de rspunsuri pertinente n faa cetenilor vis-a-vis de

aciunile lor; Furnizarea de indicii pentru alocarea resurselor; mbuntirea managementului programelor; Identificarea modelelor de bun practic ce pot fi diseminate i utilizate n programele

viitoare.

Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare, ct i a celui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prin rspunsul care se d ntrebrilor: ce funcioneaz?, pentru cine? i n ce condiii? Evaluarea susine deasemenea procesul de planificare a activitilor viitoare, de repartizare a resurselor umane, financiare etc.

Evaluarea este un instrument de baz n managementul organizaiilor publice (i private) asigurnd o baz informativ robust care vine n sprijinul celor care trebuie s ia decizii. Soluiile identificate prin evaluare i deciziile care se iau pornind de la date furnizate de studiile de evaluare vor fi foarte bine documentate i vor beneficia de dovezi clare, tiinifice, n favoarea lor.

Rezumnd multiplele abordri ale utilitii evalurii, ajungem la concluzia c evaluarea este necesar n creterea performanei proiectelor i programelor i n procesul de dare de seam pentru banii utilizai. Cu ajutorul evalurii, putem demonstra c programul respectiv este necesar, funcioneaz i trebuie continuat sau dimpotriv. Putem investiga dac banii investii i-au atins inta, dac standardele de calitate au fost respectate etc. n ceea ce privete creterea performanei programelor, evaluarea contribuie la identificarea problemelor i recunoaterea punctelor tari. Totui, evaluarea poate fi utilizat i n scopuri ne-etice. Ne referim aici la manipularea datelor obinute din evaluri pentru susinerea diferitelor interese nelegitime.

10 Jenny Hughes - Project Managers Guide ot Evaluation, p. 3, www.evaluate-europe.net/handbook/handbook.pdf

138

Criterii de evaluare

Pe ce se bazeaz aprecierile evaluatorilor? Rspunsul este simplu: criteriile de evaluare. Abordarea UE are la baza 5 criterii:

Relevan Eficacitate Eficien Impact Sustenabilitate

Impact

Utilitate,Sustenabilitate

Contextsocio-economic

Program

Evaluare Relevanta Eficienta

Eficacitate

OutputInputObiective

Rezultate

Nevoi,Probleme

Figura 1. Principalele criterii de evaluare11

Relevana se refer la msura n care programul analizat reuete s rspund nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultat anumite modificri n ceea ce privete tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhia acestora. Un program este relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri de context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde nevoilor la care i propune s rspund. Iar un program devine irelevant n momentul n care, pe parcursul existenei sale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos, raportat la planul iniial. Un aspect al relevanei este i necesitatea ca anumite programe s fie susinute din bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice n implementarea lor? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce? Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate aceste elemente.

Eficacitatea are n vedere msura n care programele i ating obiectivele propuse. De asemenea, gradul n care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitii unui program.

Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar. Mai mult, eficiena are n vedere i urmtoarele aspecte:

Ar fi putut fi obinute aceleai rezultate cu mai puine resurse? Sunt costurile unitare prea ridicate? Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea fi

continuat?

11 Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003

139

Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe, distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectul unui program ntr-un context socio-economic extrem de complex. Totui folosind metode adecvate este posibil, cu o marj de eroare asumat s dm rspunsul la urmtoarele ntrebri:

Ce schimbri au rezultat n urma programului? Exist alte beneficii ale programului, alturi de cele preconizate?

O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung.

Sustenabilitatea se refer la continuitatea programului dup ntreruperea finanrii din sursa iniial.

Efectele programelor sau programele nsele continu dup ncheierea implementrii? Pot fi identificate surse alternative de finanare?

Sustenabilitatea d, alturi de celelalte criterii, msura performanei unui proiect sau program.

Alturi de aceste criterii, mai pot fi menionate i altele, la fel de importante pentru aprecierea performanelor unui program. Cele la care ne vom referi n continuare sunt echitatea i implicarea comunitii.

Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex, condiii materiale i sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de orice tip.

Participarea comunitii este un alt criteriu de care se ine cont n evaluarea anumitor proiecte. Desigur, este vorba despre proiectele care permit aceasta.

Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, sunt utilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar la o parte dintre acestea.

Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fie analitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, n funcie de modelul de evaluare utilizat.

2. Tipuri i sisteme de evaluare

Exist numeroase criterii n funcie de care putem clasifica tipurile de evaluare: dup scopul evalurii, dup momentul de timp n care se desfoar evaluarea, dup unitatea de analiz, dup poziia membrilor echipei de evaluare etc.

1. Dup scopul evalurii: a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la nceperea

programului, cu scopul de a stabili performana programului i de a estima valoarea sa b. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluare interim) cu

scopul de a analiza situaia i de a facilita mbuntirea programului.

Aceast terminologie a fost utilizat pentru prima dat de Michael Scriven, (1991), ulterior fiind preluat de toate sursele relevante n domeniu.

Robert Stake ofer n Standards-Based and Responsive Evaluation o definiie extrem de sugestiv a evalurii sumative i formative: Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeii gust supa, este evaluare sumativ12 (tr.n).

12 Robert Stake, Standards-Based and Responsive Evaluation, 2003, p. 52

140

Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. n conformitate cu tradiia Verstehen, Stake percepe evaluarea ca serviciu i ca reflectare de valori.

Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor13. Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente:

Pune un accent mai mare asupra activitilor unui program, dect asupra inteniilor sale. Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n menionarea eecurilor i a

succeselor unui program.

Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar spontan n cadrul programului (cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti etc.).

Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale.

Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere.14 n concluzie, trebuie avute n vedere ambele tipuri de evaluare n funcie de program.

Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea prestabilit se suprapune parial evalurii sumative15.

Caseta 1. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i sumativ pe de alt parte.

Evaluareareactiv

Flexibilitatea metodologic Preferina pentru metode calitative Concentrarea pe activiti Accentul pe mbuntirea practicilor Se realizeaz de regul pe parcursul unui program

Evaluareaformativ

Evaluareaprestabilit

Preferina pentru metode cantitative Concentrarea pe obiective i pe gradul de

realizare a acestora Se realizeaz, de obicei, la finalul unui program

Evaluareasumativ

13 Stake, Robert E. Program evaluation, particularly responsive evaluation n W.B. Dockrell&D. Hamilton (Eds.) Rethinking educational research (pp72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii, FIMAN, p. 278

14 Idem, p. 28315 Este vorba de conceptele promovate de Scriven.

141

Caracterizat de anumii critici ca fiind atractiv superficial16, distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc.

Ambele sunt considerate relevante i utile pentru sectorul public.

2. Dup momentul evalurii:a. Evaluarea ex-anteb. Evaluarea interimc. Evaluarea ex-post

Evaluarea ex-ante17

Evaluarea ex-ante este un tip de evaluare realizat n cea dinti etap a ciclului unui program sau proiect (faza de planificare i design), nainte de a fi luat decizia de implementare a sa, nainte de a se manifesta presiunea termenelor limit. Evaluarea ex-ante poate presupune o analiz SWAT, n cadrul creia vor fi luate n considerare caracteristicile definitorii ale localitii, regiunii, statului n care se implementeaz proiectul, o analiz a nevoilor i anumite simulri ale efectelor socio-economice. Acest tip de evaluare asigur relevana i coerena programului n functie de context.

n cazul n care este vorba de un program care urmeaz a fi pus n aplicare prin mai multe proiecte, iar acestea vor fi selectate prin licitaie, evaluarea ex-ante a programului ajut la determinarea criteriilor de selecie a proiectelor i la selectarea proiectelor care urmeaz a fi finanate. De asemenea cu noul statut al Romniei de stat membru al Uniunii Europene trebuie acordat o atenie specific respectrii regulamentelor i standardelor Uniunii Europene de calitate n furnizarea de bunuri i servicii.

Evaluarea interim

Evaluarea interim se realizeaz n cea de-a doua etap a ciclului unui proiect sau program, n timpul implementrii. Scopul acestei evaluri este mbuntirea designului i a procesului de implementare a unui proiect sau program. Evaluarea interim are elemente comune cu evaluarea formativ n sensul c: urmrete gradul de realizare a obiectivelor pn n momentul evalurii, gradul de respectare a calendarului, ncadrarea n buget, gradul de utilizare a celorlalte resurse etc. Prin comparaie cu situaia iniial, n cursul evalurii interim, pot fi semnalate anumite schimbri relevante n contextul socio-economic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de la normele europene n furnizarea de bunuri i servicii.

Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. De regul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns este recomandabil i o analiz detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul ct i managementul programelor analizate, pot fi prevenite eventuale impacturi negative..

Evaluarea ex-post

Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelor comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroase elemente comune ntre evaluarea ex-post i evaluarea sumativ. Pe lng metode de evaluare

16 Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1995), Fundamentele evalurii programelor: Teorii ale practicii, SAGE Publications, Inc., p. 317

17 Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003, pp. i, ii.

142

precum analiza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode: benchmarking, analiza cost-beneficiu i cost-eficien, analiza proceselor i analiza multi-atribut.

Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nu ale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentru mbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat cu performanele altor programe similare etc.

3. Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare:a. Evaluarea internb. Evaluarea extern

a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei care implementeaz programul. De regul, instituia implementatoare are personalul calificat i datele necesare pentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorul public) sau organizaii (dac lum n calcul i sectorul non-profit) care nu beneficiaz de o capacitate intern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern a programelor la serviciile unor experi n evaluare din exterior, de preferin independeni (fr alte conexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului).

Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acces la date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tip de evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte explicit i explicativ. Cei care au implementat proiectul cunosc cel mai bine teoria, procesele i rezultatele acestuia i motivele pentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu a fost respectat calendarul iniial, s-a depit bugetul sau, dimpotriv, nu s-au utilizat resursele, care au fost elementele distorsionante aprute pe parcurs i ce efecte au avut aceste elemente asupra programului.

Evaluarea intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitii evalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor expertize sectoriale i lipsa independenei.

c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii care particip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independena i potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative. Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nu ajut la dezvoltarea capacittii interne de evaluare i costurile ridicate pe care le presupune.

4. Alte tipuri de evaluare

Alturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionate i o serie de alte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie.

n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectivele actorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluzii i recomandri relevante i utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete att cu evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aduce de obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adesea prezentat ca un tip modern de evaluare i este prezentat n opoziie cu evaluarea tradiional.18

18 De vzut Sorin Dan andor, Analiz i cercetare n administraia public, Accent, 2005, p. 81

143

Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane care creeaz dependen19 sau n evaluarea iniiativelor comunitare comprehensive20. Acest tip de evaluare se caracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele mai multe ori datorit diversitii acestora. Prin urmare, vor fi utilizate preponderent metode calitative de cercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiative comunitare, ale cror efecte nu pot fi analizate statistic, dar care pot furniza informaii despre eficacitatea acestui tip de iniiativ. Anumii cercettori21 susin c, prin combinarea datelor legate de rezultatele unui program cu informaii privind desfurarea procesului de implementare a proiectului, putem obine informaii valoroase privind efectele programului i impactul acestuia.

Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz o teorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cu modelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroase informaii edificatoare pentru modul de implementare a unor programe complexe similare, indicnd riscurile, elementele-cheie i leciile nvate pe parcursul implementrii.

Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete ale interveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termen mediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorate programului i a celor datorate altor cauze. Impactul net poate fi determinat att naintea implementrii (preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediu i lung poate fi anticipat anterior implementrii i n timpul acesteia, i poate fi calculat ulterior implementrii. Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediu i lung, evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordare detaliat a analizelor de impact va fi prezentat n a doua parte a lucrrii.

Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat

Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica administraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare, fie c se alege descentralizarea ca model de organizare a sistemului de evaluare a programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a metodologiei etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult, dei o atenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, Fonduri Structurale etc.), nu trebuie ignorate i celelalte programe finanate din surse interne, dar i din alte surse externe. Sistemul de evaluare va ctiga astfel n complexitate.

19 H. T Chen, Theory-driven evaluation. Thousand Oaks, CA: Sage Publications, 199020 Carol Hirschon Weiss, Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for

Comprehensive Community Initiatives for Children and Families. In James P. Connell, Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol. 1: Concepts, Methods, and Contexts. Washington D.C.: The Aspen Institute, 1995

21 Schorr and Kubisch, New approaches to evaluating community initiatives. Washington DC: The Aspen Institute, 1995

144

Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul centralizat a fost adoptat n intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea de Evaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pe programele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al sistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de Management care implementeaz programul operaional respectiv. Modelul descentralizat a fost implementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecrei Autoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie de avantaje: permite Autoritilor de Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic.

Modelul Propus pentru Romnia pe perioada 2007-2013 este o combinaie ntre modelul centralizat i cel descentralizat.

Bibliografie:1. E. Chelimski, W.R. Shadish (Editori), (1997) Evaluation for the 21st Century, SAGE Publications Inc.

2. Chen, H.T. (1990). Theory-driven evaluation. Thousand Oaks, CA: Sage Publications.

3. Fitzpatrick, J.L., Sanders, J.R., i Worthen, B.R. (2004)- Program Evaluation. (3rd Edition) Boston: Pearson

4. Hughes, Jenny - Project Managers Guide ot Evaluation, p. 3, www.evaluate-europe.net/handbook/handbook.pdf

5. Kubish A, Schorr L et al (1995) New approaches to evaluating community initiatives. Washington DC: The Aspen Institute.

6. Patton, Michael Quinn, (1997) Utilization-Focused Evaluation: The New Century Text, 3rd ed., Beverly Hills: Sage Publications

7. andor, Sorin Dan, Analiz i cercetare n administraia public, Accent, 2005

8. Shadish, William R. Jr., Thomas D. Cook, Laura C. Leviton (1999), Fundamentele evalurii programelor: Teorii ale practicii, FIMAN

9. Tavistock Institute et all (2003), The Evaluation of Socio-Economic Development: The GUIDE

10. Stake, Robert (2003) Standards-Based and Responsive Evaluation

11. United Nations 1991. World Development Report (New York: Oxford University Press).

12. Weiss, Carol Hirschon. 1995. Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. In James P. Connell, Anne C. Kubish, Lisbeth B. Schorr and Carol H. Weiss (eds.) New Approaches to Evaluating Community Initiatives. Vol. 1: Concepts, Methods, and Contexts. Washington, D. C.: The Aspen Institute