Cercetarea evaluativ. Introducere n metode i tehnici

Ad ri a n Ha to s Actu a l i za t ma i 2014

Cercetarea evaluativ. Introducere (Definiie. Tipuri) Studiul evaluativ nu este o metod anume, specific, ci este o cercetare care are un obiectiv specific, acela de a evalua o activitate social, de obicei un program social,care a fost pus n practic pentru a ameliora o problem social, o nevoie social.

Dezvoltarea tehnicilor de cercetare evaluativ a fost motivat de presiunile pe care finanatorii programelor sociale le-au fcut n ultimele decenii mai ales asupra celor care implementau respectivele programe ctre eficientizarea modalitilor de alocare a resurselor. Cei care ofer resurse pentru rezolvarea unor nevoi sociale au dreptate s solicite dovezi c banii lor sunt cheltuii eficient.

Una dintre marile probleme ale diverselor programe care se deruleaz sau au fost implementate n ara noastr n ultimii ani este lipsa interesului pentru evaluarea lor corect. Majoritatea aa-ziselor evaluri certific realizarea aciunilor prevzute i cheltuirea corect a banilor nu att efectele rezultate, comparativ cu cele urmrite raportate, eventual, la rezultatele altor programe similare. Avem aici un indiciu al faptului c ntre beneficiarii de finanri nu exist nc o concuren real, care ar putea impune rigori mai strnse pentru calitatea aciunilor finanate i c pe cei care furnizeaz sprijinul material nu-i intereseaz ntotdeauna cel mai mult succesul aciunilor exprimat n rezultatele scontate ct marcarea unor aciuni ca ncheiate.

Scopul cercetrilor evaluativeScopul este formulat cel mai adesea de ctre beneficiar. Cercettorul poate contribui i el la formularea obiectivelor evalurii. Evaluarea unui program poate fi realizat din mai multe motivaii:1. ndeplinirea unui contract sau a unui angajament de grant multe finanripentru programe solicit beneficiarilor finanrii s furnizeze evidene valide privind succesul sau eficiena aciunilor sprijinite;2. evaluarea unor proceduri diverse, care abordeaz aceeai problem, din punctul de vedere al eficienei, pentru a identifica procedura cea mai bun nsituaia respectiv;3. evaluarea poate fi o tactic de amnare a punerii n practic a unor msuri, saupentru a transfera responsabilitatea n cazul unui eec sau pentru a realiza publicitate pentru program.

Adrian Hatos Evaluarea de program (curs material cu drept de autor)n optica autorilor acestui manual, evaluarea apare ca util n cele dou situaii descrise de punctele 1 i 2 de mai sus: cnd planificatorul trebuie s aleag aciunea, procedura cea mai potrivit pentru a acoperi o anumit nevoie, este bine s se poat

1

baza pe evaluri valide n alegerea sa, iar n proiectul su de intervenie trebuie sindice foarte clar care vor fi procedurile de evaluare a succesului propriului program.

Beneficiarii unei cercetri evaluative pot fi mai multe categorii de actori implicai n realizarea de programe sociale:- organizaiile finanatoare- agenii naionale, guvernamentale- instituii locale responsabile cu programe sociale- directorii de proiect- membri echipei proiectului- beneficiarii programului- cercettorii i ali specialiti

O alt clasificare a studiilor de evaluare ia n considerare momentul din derularea programului n care are loc analiza. Din acest punct de vedere avem evaluare:- Formativ care se realizeaz asupra programelor aflate n derulare i careevalueaz calitatea proceselor presupuse de derularea programului i nu eficiena pur i simplu a acestuia.-Sumativ care se realizeaz la ncheierea programelor cu scopul de a formula recomandri referitoare la eficiena programului, s subliniezeslbiciunile i realizrile programului.

Tipuri de cercetare evaluativ1. Evaluarea impactului (efectul net pe care un program l produce)a. Design cvasi-experimental ex-post-facto b. Evaluarea impactului n comunitatec. Analiza longitudinal2. Analiza eficienei (de ex. cost-beneficiu)

Alte tipuri de cercetare evaluativ dup criterii de evaluare:- relevana- eficacitatea- sustenabilitatea

Evaluarea efectului programului

Consideraiile privind efectele programului pleac de la conceptul de rezultat la programului.

Un rezultat este o stare a grupului int sau este condiia pe care ne ateptm s o schimbe programul. Un exemplu de rezultat este cantitatea de alcool consumat de adolesceni dup o campanie de combatere a consumului de alcool desfurat n coal. Atitudinea fa de consumul de alcool a celor care nu au nceput nc s consume este, de asemenea, un rezultat al unei astfel de campanii.

Dou aspecte trebuie reinute relativ la rezultate n acest moment:1) Rezultatele se refer la caracteristici ale grupului int sau ale condiiilorsociale, nu ale programului iar definiia unui rezultat nu se refer n mod direct, n nici un fel la activitile programului. Astfel, trebuie s facem

distincie ntre rezultatele i produsele unui program. Prezentrile privind efectele nocive ale consumului de alcool sunt produse, i nu rezultate ale unei campanii de combatere a alcoolismului. Rezultatele, n schimb, se refer la caracteristici care ar trebui s poat fi msurate (nregistrate) i n absena programului.2) Chiar dac vorbim de rezultate ale programului/proiectului, nu este necesar caprogramul s fi schimbat, de fapt ceva n starea membrilor grupului int. Chiar dac a sczut consumul de alcool nrndul elevilor unui liceu n timpul unei campanii de genul celei la care facem referire, aceasta se putea ntmpla din diferite motive (adoptarea unor droguri i mai periculoase, scumpirea buturilor, decesul pe fond de consum de alcool al unui coleg, etc.). Sarcina cea mai dificil pentru evaluatori nu este s msoare rezultatele doar dar i s stabileasc n ce msur modificrile acestora se datoreaz programului.

ntr-o cercetare de evaluare a efectului programului evaluatorul trebuie s msoare urmtoarele aspecte:-nivelul efectului starea rezultatului la un anumit moment dat (cantitatea de alcool consumat de adolesceni)-schimbarea rezultatului diferenele dintre niveluri ale efectului la diferite momente de timp- efectul programului partea din schimbarea rezultatului ce poate fi atribuitdoar programului, spre deosebire de ali factori

Adrian Hatos Evaluarea de program (curs material cu drept de autor)

3

Variabila rezultatNivel al rezultatului post -program

Efectul programului

Schimbareaefectului

Nivel al rezultatului pre-program

naintea programul

n timpul programului

Dupprogram

Figura 1. Nivelul rezultatului, modificarea rezultatului i efectul programului

Msurarea rezultatului (efectului)Independent de scopul evalurii, rezultatele trebuie s poat fi exprimate cantitativ. Caracteristica msurat cea mai important pentru un studiu evaluativ este cea care exprim rezultatele programului. nc n faza de proiectare a unei aciuni, specialitii trebuie s i propun obiective SMART. M-ul din acest acronim nseamn msurabil. Dac rezultatul programului este identificat ntr-o caracteristic msurabil le va fi mult mai uor att celor care implementeaz intervenia ct i altora s evalueze eecul sau succesul aciunii. Acest obiectiv msurabil, prin urmare poate fi foarte bine variabila dependent, sau efectul msurat n studiul de evaluare.De exemplu, un program educativ care are ca scop s sporeasc competenele colare ale unor copii din clasa a 2-a, poate s aib ca obiectiv msurabil obinerea ntr-un an a unui spor de 20% la teste standardizate de citire i de aritmetic. Evaluarea succesului unui asemenea program s-ar putea realiza prin compararea rezultatelor la aceste teste ale copiilor care au beneficiat de program cu rezultatele obinute ntr-un grup similar cruia nu i s-au aplicat tehnicile de predare noi.

Alte obiective msurabile ale unor programe posibile sunt:ScopVariabil dependent

Reducerea srcieiPonderea persoanelor aflate sub pragulsrciei

Combaterea HIVNumrul de persoane nregistrate ca nouinfectate cu virusul HIV

Combaterea abandonului colarNumrul de elevi din clasele 1-8 care auabandonat cursurile nvmntului obligatoriu

Dei pare simpl, problema gsirii unei trsturi msurabile prin care s se evalueze rezultatul unui program este suficient de important pentru a nu fi tratat cu superficialitate. n plus, nici nu este simpl adeseori. Specialitii (Babbie, 1997) fac unele recomandri privind stabilirea variabilelor dependente:- n cazul n care efectul este o atitudine, este bine ca respectiva atitudine s fiemsurat cu ajutorul unor scale deja folosite de alii, i a cror fidelitate i validitate a fost demonstrat. Aceste scale se gsesc n studiile publicate de alii, sau pot s fie furnizate de ctre specialiti din domeniu.- Dac este posibil, s se foloseasc msuri multiple. Cu alte cuvinte, n loc de ovariabil, mai bine dou. Astfel, se poate controla mai bine validitatea concluziilor privind succesul programului.-Este cel mai bine ca variabila dependent i modalitatea de msurare a acesteia s fie stabilit prin comun acord cu beneficiarul evalurii. Astfel se evitposibile suspiciuni privind calitatea msurrilor indicate ca surs a concluziilor evalurii.

Msurarea rezultatelor oricrui program trebuie s in cont de toate problemele pe care msurarea le ridic (vezi Babbie, 2010). Astfel, msurrile trebuie s in cont de urmtoarele aspecte:

Precizie i acuratee

Precizia msurtorilor este diferit de acurateea acestorao Precizia se refer la gradul de detaliu al msurtoriio Acurateea se refer la corectitudineo ntre cele dou caliti ale msurrii poate exista o contradicie

FidelitateMsurtorile trebuie s asigure un nivel satisfctor de fidelitate (adic de stabilitate, de ncredere). Msurarea rezultatelor programului poate avea numeroase probleme de fidelitate. Printre soluiile de mbuntire a ncrederii:o Folosirea msurilor confirmate (nu e ntotdeauna o soluie infailibil)o mbuntirea fidelitii personalului angajat n cercetare! Instruire bun! Dublarea codificatorilor

ValiditateaMsurtorile trebuie s fie i valide (adic s msoare ceea ce pretind c msoar).Cei care stabilesc variabila independent trebuie s fie ateni s gseasc trstura msurabil just pentru rezultatul scontat. Altfel, se produce o eroare serioas n evaluare succesului programului. Aceasta este de fapt povestea multor programe implementate n Romnia, la care am fcut deja referire mai sus. Astfel, dac evalum succesul unui program de educaie pentru planificare familial prin numrul de participani ne aflm ntr-o grav eroare. Cu alte cuvinte nu se pot msura rezultatele unui proiect prin produsele sale. n acest caz rezultatul depinde de obiectiv. Dac obiectivul a fost doar cunoaterea mijloacelor contraceptive, evaluare trebuia s includ un test de cunotine pentru participani, prin care s se poat arta c, la finalizarea cursurilor participanii cunosc mai bine tehnicile de planificare familial. Dac obiectivul ar fi fost reducerea numrului de sarcini nedorite n comunitate, evaluarea ar fi trebuit s arate c, ntr-adevr, numrul de sarcini nedorite a sczut semnificativ n cazul celor care au beneficiat de curs, sau, dimpotriv, au crescut variant nefericit n mod evident.Validitatea unei msurri poate fi evaluat dup multe criterii:o Validitatea aparento Validitata de criteriu validitatea predictiv (gradul n care o anumitmsur se relaioneaz cu un criteriu extern)o Validitatea de construct gradul n care o msur se relaioneaz cu alte variabile conform ateptrilor teoreticeo Validitatea de coninut gradul n are o msur acoper variaia de nelesuri a unui concept

Este de reinut faptul c msurare bun trebuie s aib simultan acuratee, fidelitate i validitate i, dac se poate, ct mai mult precizie.

Determinarea variabilelor independente i a celor de control Rezultatul este determinat de mai muli factori, care includ i procedura sau tratamentul care este evaluat. Factorii i relaiile dintre acestea alctuiesc ceea ce nlimbajul evalurii de program este denumit teoria impactului programului. Acetifactori trebuie luai n considerare pentru a aprecia corect sursa eventualelor schimbriAdrian Hatos Evaluarea de program (curs material cu drept de autor)

ale variabilei dependente. Neidentificarea corect a factorilor care produc aceste schimbri pot s compromit evaluare, prin atribuirea eronat a efectelor nregistrate, programului sau altor factori.

Desenul de mai jos indic categoriile de factori care contribuie la realizarea unui anumit efect: cauza nsi, caracteristicile subiecilor, condiiile n care se produce aciunea cauzei, timpul, momentul n care se produce interaciunea, dar mai ales observaia i, n fine, efectul nsui. Identificarea greit a fiecruia dintre cele 5 elemente, n cazul evalurii unui program, poate conduce la concluzii greite cu privire la eficiena interveniei.

Figura 2. Elementele producerii rezultatului unui programCauza

Subiecii

Condiiile

Efectul

Timpul

Astfel eecul unui program de dezvoltare comunitar ntr-o comunitate de romi poate fi greit atribuit echipei proiectului, dac nu se ine cont de apartenena religioas a celor din comunitatea respectiv. Cunoscnd c posibilitile de implementare sunt diferite ntr-o comunitate neo-protestant, comparativ cu colectivitile rome care nu aparine acestor denominaiuni, vom putea constata chiar c aa-zisul eec este un succes, avnd n vedere circumstanele.

Un alt exemplu la ndemn este cel al programelor colare. Rezultatele colare ale elevilor nu depind numai de strdaniile, competena i tehnica profesorilor, dar i de diverse resurse disponibile copiilor, care nu sunt controlate de coal, cum ar fi bunstarea material, nivelul de instrucie al prinilor, atitudinea fa de coal i motivaia pentru nvtur. Astfel, rezultatele elevilor din anumite instituii colare trebuie s fie raportate la resursele de acest gen ale copiilor din aceste coli. Vom fi surprini c, adeseori, diferenele de rezultate dintre colile de elit i cele maislabe nu au nici o explicaie n calitatea corpului profesoral din aceste instituiieducative ci n calitatea elevilor care aleg respectivele instituii.

n acelai fel, succesele sau insuccesele instituiilor care gzduiesc copii abandonai trebuie s fie judecate relativ la caracteristicile iniiale ale copiilor care intr n respectivele stabilimente.

6

Planul cercetriiModul n care studiul va fi realizat depinde n primul rnd de metoda aleas pentru evaluare. Fiecare metod are rigorile, limitele i cerinele ei. Analiza longitudinal va solicita realizarea unor msurri repetate, dac se poate i nainte i dup aplicarea programului. Metodele cvasi-experimentale l oblig pe evaluator s stabileasc dac va lucra sau nu cu grup martor (de control), dac va face msurri nainte de aplicarea programului, etc. Resursele, materiale i de timp, impun i ele restricii adeseori celor care planific un studiu evaluativ. Atunci cnd astfel de limite impun anumite compromisuri, specialitii trebuie s fie ateni ca aceste compromisuri s nu compromit evaluarea nsi.

Implicaiile etice i politice ale evaluriiChiar dac este o tem nou pentru specialitii din Romnia, etica cercetrii capt o mare atenie n rile mai dezvoltate. Este obligatoriu ca pe parcursul evalurii drepturile subiecilor, ale celor din grupul int, s nu fie nclcate, iar acceptul lor la realizarea evalurii s fie obinut. n plus, procedurile, tehnicile aplicate nu trebuie s fie umilitoare nici traumatizante. n cazul n care ne ateptm ca tehnicile de culegere a datelor folosite s aib unele efecte sociologice sau psihologice negative trebuie enumerate aceste consecine subiecilor n prealabil i obinut acceptul lor.n acelai timp, cel care evalueaz trebuie s se gndeasc i la implicaiile denatur politic, sau mai bine zis de efectele pe termen lung. Este bine de tiut c:- Multe persoane sau agenii pot s fie mpotriva realizrii evalurii i potncerca obstrucionarea ei. Specialistul trebuie s lupte att mpotriva celor care vor s mpiedice evaluarea, ct i a celor care vor urmri s o deturneze, distorsionnd astfel rezultatele ei.- Rezultatele care nu sunt utilizate ntr-un fel sau altul sunt inutile. Evaluatorultrebuie s manifeste mult grij la formularea concluziilor, astfel ca, fr a altera validitatea celor enunate, s produc efectul cel mai bun asupra beneficiarului evalurii.

Cvasiexperimentarea (evaluarea tratamentelor)Multe programe sociale pot fi considerate tratamente care sunt aplicate membrilor grupului-int. Unele, de natur medical, constituie literalmente tratamente, altele intr n aceast categorie dac utilizm termenul la figurat. Astfel de tratamente sunt, de exemplu, un supliment nutritiv pentru alimentaia mamelor dar i o tehnic de predare nou pentru copiii cu un oarecare handicap educaional.

Adrian Hatos Evaluarea de program (curs material cu drept de autor)Evaluarea efectului unui asemenea tratament, a eficienei sale, se realizeaz, n condiii ideale, experimental. Msurarea experimental a efectului presupune stabilirea prin selecie aleatoare a dou grupuri de mrime similar. Unuia dintre grupuri, denumit grup experimental, i se aplic tratamentul iar celuilalt, denumit grup de control, nu. Dup ce se presupune c tratamentul i-a fcut efectul, se compar cele dou grupuri din punctul de vedere al efectului ateptat. n cazul n care diferena dintre cele dou grupuri este semnificativ n ceea ce privete efectul (variabila dependent), i n direcia ateptat de specialiti, spunem c tratamentul este eficient. Dac, n schimb, diferena este nesemnificativ ori este contrar ateptrilor, concluzionm c tratamentul nu este eficient.

10

T0t1

Grup experimentalSe aplic tratamentulSe msoar caracteristica efect

Grup de controlNu se aplic tratamentulSe msoar caracteristica efect

n linii mari, aceasta este procedura care se utilizeaz pentru a evalua eficiena unorprocese precum tratamentele medicamentoase.

n cazul programelor sociale, dar i n alte situaii, nu se poate hotr aleatoriu care sunt indivizii care vor beneficia de program. n cazul programelor de dezvoltare comunitar, de exemplu, grupul experimental este alctuit din colectiviti ntregi, care nu constituie n nici un caz eantioane aleatoare. Atunci cnd comparaiile dintre grupurile care beneficiaz de un program i grupurile asupra crora nu se intervine (grupul de control) se realizeaz fr ca apartenena la aceste grupuri s fie rezultatul seleciei aleatoare, spunem c realizm evaluare prin cvasi-experiment.

Astfel, evaluarea interveniilor n domeniul social poate fi clasificat, ntr-o prim variant n tehnici experimentale i cvasi-experimentale. Tehnicile experimentale presupun compararea efectelor tratamentelor asupra unor grupuri compuse aleatoriu. Tehnicile cvasi-experimentale nu permit astfel de comparaii, mai ales datorit imposibilitii stabilirii beneficiarilor interveniei prin selecie aleatoare.

n ceea ce privete evaluarea cvasi-experimental, aceasta poate fi clasificat i ea n funcie de numrul de grupuri cu care se lucreaz. Avem, pe de o parte, planuri de evaluare cvasi-experimentale n care se compar un grup al celor care au suferit tratamentul cu un grup al celor care nu au suferit intervenia. Acest tip este numit cvasi-expeeriment ex-post-facto. Pe de alt parte, exist strategii de evaluare care utilizeaz un singur grup, pe care l vom denumi strategii cvasi-experimentale cu un singur grup.

n ambele tipuri de evaluare cvasi-experimental, problema fundamental este cea a validitii concluziilor evalurii. Cu alte cuvinte, evaluatorul trebuie s i asume cu multe precauii concluzii privind cauzele care determin modificri ale strii efect. Din acest motiv, vom detalia n rndurile de mai jos posibilele surse de eroare n stabilirea relaiei dintre tratament i efectul produs prin astfel de metode.

Experimente cu mai multe grupe

Experimente ex-post-facton experimentarea ex-post-facto situaia este furnizat de natur iar cercettorul reconstruiete mintal relaia de cauzalitate dintre variabilele pe care nu el le-a introdus n cercetare. Aceast categorie de proceduri experimentale include dou tipuri: experimente ex-post-facto cauz-efect i ex-post-facto efect-cauz. n primul caz, cercettorul cunoate numrul i situaia celor care au suferit aciunea unui factor i va urmri modificrile anumitor variabile prezumabil dependente. n cel de-al doilea tip, cercettorul cunoate numrul i situaia celor care manifest un anumit efect, i se caut variabilele care sunt corelate cu prezena i absena efectului respectiv.

Acest tip de cvasiexperimente este important n cercetarea aplicat din urmtoarele motive:

1. Apariia anumitor efecte nu poate fi controlat prin proceduri experimentaleveritabile. Spre exemplu, delincvena. n asemenea cazuri este necesar s segseasc factorii care genereaz anumite fenomene prin experimente ex-post- facto- efect cauz. Imposibilitate controlrii relaiei dintre variabile are att o determinare ontologic ct i una moral. Cea moral este evident iar n ceea ce privete raporturile dintre factori, adeseori apariia efectelor este lent i discret, ori n situaii greu de reprodus experimental.2. Cvasiexperimentul este calea de evaluare a unor politici, intervenii destinate aafecta anumite categorii de uniti sociale (indivizi sau colectiviti).

Exemple de experimente ex-post-facto efect-cauz1. Investigarea cauzelor cancerului de plmn. Se constituie un lot de persoane care sufer de aceast teribil boal i se alctuiete un al doilea grup ct mai similar din punctul de vedere al unor variabile considerate importante dar n care cancerul nu a aprut. Se pune n relaie variabila dependent (apariia sau neapariia cancerului de plmn) cu diferenele semnificative dintre cele dou loturi. Evident, se vor urmri relaiile directe, eliminarea celor false, ca i a efectelor cumulative.2. Investigarea cauzelor retardrii intelectuale la copii. Se compar datele privind mediul socio-economic a dou grupuri de copii, unii diagnosticai cu retard intelectual, alii evaluai ca normali din acest punct de vedere. n funcie de variabilele care se controleaz la selecia membrilor celui de al doilea grup, acestea sunt eliminate din analiz, urmrindu-se aciunea altora. Dac ncercm s evalum impactul deprivrilor materiale, nu vom controla apartenena la grupurile care se compar din punctul de vedere al calitii vieii. n cazul n care ne intereseaz impactul unor aspecte mai de detaliu, vom cuta ca grupurile s fie ct mai similare din punctul de vedere al veniturilor sau al stilului de via din familiile de provenien.

Exemple de experimente ex-post-facto cauz- efectAcesta este genul de cercetare utilizat frecvent n evaluarea impactului politicilor sociale.1. Evaluarea unui succesului unui program educativ pentru copiii cu dizabilitiuoare, bazat pe integrarea acestor copii n clase normale. n acest caz se pot testa abilitile colare ale unui lot de copii cu dizabiliti care au fost promovat un numr de ani de coal n cadrul nvmntului formal. Rezultatele se compar cu cele ale unui lot de copii cu dizabiliti uoare, ct mai asemntor cu primul lot din punctul de vedere al unor caracteristici importante (vrst, tipul de dizabiliti, statusul social de origine etc.). n cazul unei diferene semnificative pozitive n favoarea grupului care a fost integrat n clase normale se constat succesul programului. Evident, evaluarea trebuie s nregistreze i reaciile educatorilor i ale prinilor colegilor elevilor cu nevoi speciale, mcar pentru obiective formative pentru o ct mai bun acceptare a programului.2. Investigarea efectelor diferitelor modaliti de ngrijire a copiilor abandonai.Acesta este un subiect de intens dezbatere, nu numai tiinific dar i politic. Cu toate acestea, evalurile obiective ntrzie s apar. O modalitate de evaluare simpl ar fi compararea abilitilor cognitive, interacionale i de alt natur a unor loturi de copii similari ca vrst, starea psiho-fizic n momentul abandonului, durat a ngrijirii, care au trecut prin experiene diferite: ngrijire

n cmin de copii, adopie sau ngrijire de ctre asisteni maternali. Analize detaliate pe aceast tem ar putea trana dezbaterea dintre adepii ngrijirii rezideniale i cei care susin plasamentul la domiciliu.3. Stabilirea eficienei unor activiti educative preventive. Deinuilor li seorganizeaz tot felul de activiti educative care ar trebui s i pregteasc practic dar i moral ideologic pentru reintegrarea social. Compararea ratei recidivelor deinuilor care au trecut prin astfel de activiti i a celor care nu au beneficiat de astfel de modaliti de instruire, restul condiiilor fiind similare, ar putea arta dac aceste activiti au fost bine organizate.

Observaii:1. n mare msur, aceast metod utilizeaz tehnici specifice ancheteisociologice. Deoarece situaia n care se produce experimentul este natural, necontrolat, trebuie msurate toate variabilele care ar putea avea relaie cu variabile dependent. Prin urmare, instrumentul de msurare va fi de obicei un chestionar.2. Mai mult, experimentul ex-post facto poart i dezavantajele specifice anchetei, existnd ntotdeauna riscul ca o a treia variabil, nemsurat s explice relaia dintre variabilele independente i variabila dependent.

Experimente cu o singur grup

Planuri nainte-dupn 2000 rata srciei era de 33%. n 2003 a cobort la 27%. Pe baza acestei comparaii se poate concluziona c programele anti-srcie ale guvernului din respectiva perioad au dar rezultate semnificative. Evaluarea cvasiexperimental cu plan nainte- dup presupune compararea acelorai uniti nainte i dup aplicarea tratamentului. Diferena caracteristicii efect ntre cele dou momente arat eficiena tratamentului. Aceasta este una dintre modalitile cele mai simple de evaluare a eficienei programelor.

Msura efectului nainte de tratament Tratament Msura efectului dup tratament

Erori n stabilirea efectului programuluiBineneles c sursa cea mai important de erori n cvasiexperimente o constituie diferenele din compoziia grupurilor care sunt supuse comparaiei (grupul de tratament i grupul de control). Aceasta survine n cazul strategiilor cvasiexperimentale din cauza imposibilitii compunerii acestora prin selecie aleatoare, ceea ce deschide calea unor corelaii ntre caracteristici necontrolate i rezultatele proiectului. Constatarea eficienei tratamentului poate fi afectat, n pluls, de alte cteva distorsiuni care i pot reduce serios validitatea.

Istoriantre cele dou observaii pot interveni evenimente sau procese, altele dect tratamentul care afecteaz efectul. Astfel, participarea politic a spaniolilor a crescut

dramatic dup 11 martie 2004, indiferent de programele de stimulare a participrii, datorit tragicului atentat terorist din data respectiv.Evaluatorul trebuie s fie sigur c diferena dintre cele dou momente msurate nu este datorat unor evenimente necontrolate, independente de tratament.De exemplu, dac se nregistreaz o prezen masiv a romilor la urne, dup un program de educaie civic, trebuie s ne asigurm c nu au intervenit ali factori careau sporit prezena la urne, nainte de a concluziona c programul a fost un succes.

MaturizareaMembri grupului cruia i se aplic tratamentul se pot schimba n timp. Oamenii devin mai btrni, mai nelepi, mai bolnvicioi, mai obosii. Este evident vorba de procese de schimbare care se desfoar treptat, n intervale mai lungi, n contrast cu evenimentele dramatice, la care am fcut referire mai sus. Creterea ratei morbiditii, sau a consumului de medicamente, ntr-o comun, ntr-un interval de 10 ani nu este neaprat un semn al eecului activitilor dedicate sntii la nivel local, dac aceast cretere este asociat cu mbtrnirea populaiei.

TestareaSimplul act al aplicrii unor instrumente de msurare, de obicei pentru msurarea efectului, poate altera rezultatul evalurii. Cei care sunt nefamiliarizai cu testele de inteligen, obin la a doua aplicare a unui test de acest gen, rezultate semnificativ mai bune dect la prima ncercare, prima testare fiind ca antrenament n rezolvarea problemelor de inteligen. Astfel, mbuntirea performanelor la teste standardizate ale copiilor dintr-un centru de zi poate fi determinat, cel puin n parte i de obinuina cptat n lucrul cu astfel de teste i nu de impactul muncii educative de la respectivul centru.

InstrumentareaEfectele pot s se modifice datorit schimbrii modalitilor de calcul. Adeseori, schimbri dramatice ale unor indicatori nu au n spate dect alterri ale procedurilor de calcul, sau ale formulelor.

Un exemplu la ndemn este cel al disputei din jurul evalurii rezultatelor PSD la alegerile locale din 2004. n funcie de modalitatea de exprimare aritmetic a rezultatelor, partidul de guvernmnt a ctigat sau a pierdut alegerile. Astfel, dup numrul de mandate de primar obinute, PSD a ctigat detaat. n schimb, apreciind n funcie e numrul de mandate de consilieri judeeni, sau de voturi primite, PSD s-a situat abia pe locul al doilea, dup aliana DA.

Exemplu: msurarea numrului de copii instituionalizai/ rata srciei

Regresia spre medie a valorilor extremeScderea semnificativ a numrului de infraciuni comise cu violen dup un an cu o rat a acestor infraciuni foarte mare are ca explicaie msurile eficiente ale guvernului. Faptul c numrul celor care s-au mbolnvit din cauza consumului de ciuperci otrvitoare a sczut ntr-o msur important, dup ce atinsese cote record este determinat de eforturile educative ale primarului i ale autoritilor medicale? Dei s-ar prea adeseori c programele sunt eficiente, reducerea incidenei unor evenimente nedorite se ntmpl adeseori pur i simplu datorit fenomenului uor de

prezis c dup o inciden record, neateptat de ridicat a unui fenomen, frecvena apariiei fenomenului va scdea. Acest fenomen, denumit regresie spre medie, este exploatat adeseori de instituii, chiar dac neintenionat, pentru a demonstra eficiena activitilor proprii.

Mortalitatea din grupul intDac tratamentul dureaz intervale mai lungi, rezultatele pot s fie distorsionate de faptul c compoziia grupului se schimb prin eliminarea, sau abandonul unora dintre membri de la nceput. Cei care prsesc grupul nu sunt identici cu ei care rmn, astfel c rezultatele finale difer de cele iniiale datorit compoziiilor diferite ale grupurilor. Astfel, rezultatele unor msurri privind motivaia pentru nvtur pot s difere semnificativ ntre studenii anului 4 i cele ale anului 1, nu att pentru c n cei4 ani de nvtur motivaia studenilor sufer modificri importante ci deoarece studenii cu motivaie sczut au fost eliminai pe parcurs, rmnnd n anul 4 doar cei cu motivaie ridicat.La fel, morbiditatea dintr-o comunitate rural putea s fi sporit, nu datorit scderiicalitii serviciilor medicale, de pild, ci datorit emigrrii persoanelor celor mai apte de munc, ceea ce a dus la mbtrnirea populaiei din comunitate.

Evaluarea impactuluinainte de a detalia acest tip de studiu evaluativ trebuie s remarcm faptul c noiunea de impact are o semnificaie ambigu n literatura de specialitate. n multe texte, impactul se refer la efectul pe care programul l are asupra grupului int, deznodmntul programului nsui. Vom rezerva pentru acest neles conceptul de eficien iar noiunea de impact o vom aloca reaciilor atitudinale ale celor din grupul int sau al membrilor altor grupuri la intervenia implementat.Astfel, studiile de evaluare a impactului urmresc s aprecieze gradul de acceptare sau de respingere provocat de un program ntr-o anumit colectivitate. Studiile de impact pot s fie clasificate dup situarea lor n timp n raport cu implementarea programului: n studii de impact realizate naintea implementrii i studii de impact realizate n timpul implementrii i dup finalizarea programului.Studiile de impact realizate naintea programelor pot dezvlui posibile piedicin calea succesului unui program, piedici care pot izvor din ostilitatea sau lipsa de nelegere a unor categorii de actori implicai. A le cunoate poate ajuta la refacerea planului de activiti de o manier care s fie mai puin generatoare de reacii negative fie la organizarea unor activiti de relaii publice corespunztoare care s indice clar obiectivele programului i beneficiile pentru comunitate ale acestuia.Studiile de impact de acest fel, realizate naintea implementrii unor programeau i o valoare democratic ele constituie o dovad a faptului c vocile celor din grupul int au fost ascultate i c programul nu este gndit i pus n practic fr acceptul lor. Pe de alt parte, astfel de momente din planificarea programelor pot pune specialitii adeseori n situaii dilematice. Destul de des se ntmpl ca o parte a comunitii s fie de acord cu programul propus n timp ce o alt parte s doreasc alt variant, alte soluii. Cum se decide n astfel de situaii nu este o problem facil i n nici un caz una care se rezolv algoritmic. Voi ilustra astfel de situaii prin dou exemple:

Exemplu 1: naintea punerii n practic a unui proiect de dezvoltare comunitar ntr-o comunitate de romi, proiect care consta n realizarea unui centru de zi, grupul de

iniiativ constat c doar o parte a celor din grupul int agreeaz aceast aciunea, opozanii considernd c repararea unui drum de acces ctre centrul de comun este mai urgent dect constituirea centrului de zi pentru copii.

Exemplu 2: ncercnd s implementeze un proiect vast de dezvoltare comunitar ntr- o comunitate de romi (alta dect cea din exemplul anterior), echipa proiectului ntmpin o rezisten acerb din partea elitei majoritii romne care ar dori ca resursele alocate romilor s fie investite n beneficiul majoritii.

Cele dou situaii ne demonstreaz c opiunile, n astfel de situaii dilematice, sunt mai puin bazate pe criterii de eficien ci mai degrab bazate pe opiuni de valoare, n care principii precum bunstarea general i drepturile omului sunt fundamentale. Astfel, n primul caz, polarizarea comunitii n jurul celor dou idei reflect de fapt polarizarea n grupuri de interes divergente, chiar opuse. Orice program de dezvoltare comunitar vizeaz sporirea capitalului social al comunitii, a resurselor de solidaritate, astfel c programele care pot duce la fracturi, la rupturi n snul colectivitilor sunt nerecomandabile. n situaii precum cele din primul exemplu de mai sus, grupul de iniiativ ar fi trebuit s negocieze cu toate prile implicate, i s investeasc creativitatea i imaginaie n planificarea unor noi aciuni, pn ar fi reuit s ajung la o soluie de consens. Acest consens ar fi reprezentat chiar un succes colectiv, poate primul.Cel de-al doilea exemplu, este diferit, pentru c aici opoziia reflect de faptraporturi de putere inegale ntre colectiviti, n care o majoritate puternic evalueaz cu prejudeci i discriminatoriu progresele unei minoriti marginale. n cazul acesta, principiul de urmat nu putea fi dect unul inclusiv, non-discriminatoriu, de continuare a programului de dezvoltare comunitar pentru romi i de negociere cu reprezentanii comunitii majoritare pentru atenuarea ostilitii acesteia.Studiile realizate n timpul implementrii proiectelor pot ajuta la corectareaunor erori de comunicare care pot interveni n implementarea unui proiect. n fine cele realizate dup derularea interveniei arat, n primul rnd, receptarea de ctre public a aciunii i, n al doilea rnd, pot oferi indicii cu privire la proceduri i aciuni, sau alte elemente ale programului care trebuie ajustate, corectate, eliminate sau accentuate.Atitudinea publicului fa de interveniile din domeniul social este un bun indicator al succesului unui program. n primul rnd, atitudinea este corelat, foarte probabil, cu eficiena programului. Programele ineficiente vor fi taxate ca atare ctre beneficiarii lor. Pe de alt parte, fiecare program este i un efort de relaii publice, n care se transmit nu doar nite resurse, obiectivul primordial al aciunii, dar i anumite valori, anumite principii. n cazul n care, dup finalizarea unei aciuni de genul furnizrii unui serviciu social, grupul int are o prere negativ despre serviciu sau despre instituia furnizoare, se poate vorbi de un eec. Ideea de servicii, imaginea instituiilor furnizoare i receptarea ideilor acestora sunt toate n regres.Impactul poate fi evaluat prin mai multe metode. Calea cea mai popular estecea a anchetei pe baz de chestionar. Avantajul metodei este acela c permite rezultate cantitative a cror generalizabilitate este calculabil n cazul eantioanelor aleatoare. O alt modalitate de culegere de date privind reacia membrilor grupului int la un anumit program este focus-grupul, sau interviul de grup. Chiar dac nu permite descrieri cantitative ale atitudinilor, interviurile de grup permit acces mai aprofundat la opiniile, reaciile celor din grupul int i, n plus, dezvluie modalitile obinuite n care persoanele din grupul de beneficiari reacioneaz cognitiv, atitudinal sauAdrian Hatos Evaluarea de program (curs material cu drept de autor)

emoional la ceea ce li se ofer. ntruct ambele metode au fost prezentate pe larg n alt parte, nu insist aici s le detaliez.

Analiza longitudinalAceast metod, denumit n literatura de specialitate i serie temporal ntrerupt () testeaz eficiena sau impactul unei politici prin urmrirea evoluiei n timp a unui fenomen supus politicilor respective.Reichardt i Marck (1998) descriu un asemenea studiu, care a urmtit evoluia n timp a unui fenomen supus unei intervenii. Programul Outward Bound (Iei afar! Ar putea fi o traducere destul de aproxoimativ) este un program adresat tinerilor, n cadrul cruia participanii trebuie s fac fa mai multor provocri fizice i psihosociologice prin activitate n natur, ntr-o organizare asemntoare cercetailor. Cercettorii citai de cei doi au evaluat efectul programului asupra participanilor n ceea ce privete mai multe variabile, printre care i ncrederea n sine. Timp de 16 sptmni nainte de derularea programului, cei 200 de tineri selectai pentru participarea la activitile sale au fost testai cu privire la diverse aspecte psihosociologice. Aplicarea msurtorilor a continuat i n timpul celor 3 sptmni de program ct i nc alte cteva luni dup terminarea programului. Graficul de mai jos, care aproximeaz scorurile medii la testul de ncredere n sine arat c acest scor nregistreaz un salt n sptmna n care a nceput programul.

Figura 3. Evoluia n timp a ncredere n sine a participanilor la programncredere n sine

ncepe programul

timp

Saltul ncrederii n sine, care apare odat cu demararea programului, pare a fi efectul participrii la program.

Se pot face cteva recomandri privind utilizarea seriilor temporale pentru a evalua efectul unor programe sau al unor politici.

14

1. O dovad mai puternic a eficienei programului o constituie saltul variabilei care msoar efectul dect o cretere lin, n timp. Apariia unei modificri brute a valorilor efectului, simultan cu aciunea programului e greu de atribuit altor fenomene dect eficienei cauzei. n schimb, atunci cnd cretere este continu, s-ar putea ca o transformare natural, independent de programul implementat s fie atribuit eronat aciunii care se evalueaz.2. n funcie de procedura implementat, efectul se poate manifesta imediat, sau mai trziu n timp. Acest aspect nu trebuie neglijat, astfel c atunci cnd efectul este ntrziat sunt necesare msurtori o perioad mai ndelungat.3. Pentru a avea o validitatea mai bun a concluziilor, este recomandabil, acolounde este posibil, s se realizeze msurtori i asupra unui grup de control, similar celui cruia i se aplic intervenia, dar care nu beneficiaz de nici un tratament. O asemenea comparaie, descris n Reichardt i Marck (idem) a demonstrat c ridicarea vrstei la care consumul de alcool este permis, de la 18 la 21 de ani, a dus la reducerea numrului de decese provocate de accidente de automobil la persoanele din aceast grup de vrst, n Michigan. Evaluatorii respectivului program au comparat pur i simplu evoluia numrului de decese prin accidente de automobil suferite de tinerii cu vrsta cuprins ntre 18 i 20 de ani, nainte i dup de introducerea interdiciei privind consumul de alcool la tinerii din aceast categorie cu evoluia aceleiai variabile pentru tinerii cu vrsta cuprins ntre 21 i 24 de ani. Liniile graficului demonstrau fr tgad c, n timp ce la tinerii de 18-20 de ani rata accidentelor mortale a sczut, la ceilali a sporit.

Analiza eficienei programelor.Adeseori li se cere celor care implementeaz programe s demonstreze c aciunile lor sunt eficiente. Programele sociale cost bani, iar resursele monetare alocate acestora sunt limitate. Acest gen de demonstraie este important mai ales atunci cnd sunt n concuren strategii, reete diferite de a face fa unor probleme iar argumentul monetar devine adeseori decisiv pentru alegerea ntre diverse variante. Cteva exemple de programe aflate n concuren, n situaii de resurse limitate, pot fi edificatoare n acest sens:

1) Care sunt tipurile de activiti de educaie a adulilor ctre care trebuie orientate fondurile POSDRU (Programul Operaional Sectorial Dezvoltarea Resurselor Umane)? Care sunt programele care aduc cel mai mare beneficiu social (alfabetizarea, recalificarea omerilor, formarea profesional a angajailor)?2) Care sunt programele de combatere a abandonului colar cele mai eficiente ntr-o universitatea subfinanat, cu mari probleme de eficacitate educaional?3) Care program de sntate aduce cele mai mari beneficii pentru sntate (ex. Programele devaccinare, programele anti-SIDA etc.)?4) Care program de gestiune a problemei persoanelor fr adpost aduce cele mai mari beneficii pentru societate?

Adrian Hatos Evaluarea de program (curs material cu drept de autor)Sunt cteva ci simpliste prin care aceast demonstraie poate fi realizat. Ci care sunt, aa cum sugerm, greite. S ne nchipuim c se caut modalitatea cea mai bun de a aborda intervenia destinat reducerii numrului de cazuri de hepatit ntr-o anumit comunitate. O greeal este de a prefera o strategie n defavoarea celorlalte doar pentru c are costurile brute cele mai mici. Greeala invers este de a alege un program doar pentru c are rezultatele brute cele mai bune. Nu alegem orbete nici

15

programul cel mai ieftin nici neaprat pe cel care reduce cel mai rapid numrul de mbolnviri ntr-o anumit perioad de timp. Prima variant poate s fie asociat cu o reducere nesemnificativ a cazurilor de hepatit n timp ce cea de-a doua se poate ntmpla n condiiile unor costuri prohibitive.

n termenii evalurii, primul exemplu msoar eficiena n termeni de costuri, iar cel de-al doilea n termenii rezultatelor.

Tipuri de analiz a eficieneiArgumentul nostru este simplu: recunoscnd c obiectivul cel mai important al unui program este de a spori ct mai mult bunstarea beneficiarilor admitem totui c procedura aleas pentru a aborda o nevoie trebuie s fie fezabil: resursele existente trebuie s asigure realizarea obiectivelor programului de o manier rezonabil. Nici valoarea costurilor nici cea a eficienei brute nu constituie argumente suficiente pentru a alege ntre proceduri de intervenie diferite. Pentru a acoperi neajunsurile exemplificate mai sus, studiile de evaluare folosesc msuri ale eficienei economice care combin att necesitatea reducerii costurilor ct i imperativul creterii eficienei. Cele mai uzitate astfel de msuri sunt eficiena monetar i raportul cost-beneficiu. n ambele modaliti de evaluare intr n calcul costurile programului. Diferena const n modalitatea de msurare a eficienei: n cazul calculului eficienei monetare, eficiena este exprimat n unitatea de msur a obiectivului n timp ce n calculul cost/beneficiu efectele programului sunt exprimate n valoare monetar.

Important este i momentul n care analiza eficienei este realizat: dac analiza are un caracter prognostic, n care se evalueaz costurile raportate la rezultate sau la beneficiile scontate naintea deciziei, tocmai cu scopul de a ajuta la luarea unei hotrri, vorbim despre analiz de eficien ex-ante. n schimb, dac evaluarea are loc dup implementare vorbim despre analiz de eficien ex-post. Pentru ca rezultatele unei evaluri ex-post s fie valide ntr-o msur important cteva condiii trebuie s fie ndeplinite (Rossi, Lipsey, Freeman, 2004, pp. 361-362):- Programul are finanare indepedent sau separat, ceea ce permite separarea costurilor de cele ale altor activiti- Programul a depit faza de implementare i are efecte semnificative (ceea ce presupune cevaluarea eficacitii a indicat rezultate semnificative) care pot fi estimate n mod valid- Beneficiile pot fi transformate n valori monetare- Decidenii iau n considerare programe alternative, nu doar simpla alegere dintre a continua sau a opri programul.

Eficiena monetar. ExempleCea mai la ndemn msur a eficienei monetare este, pentru multe programe, costul per client al serviciului. Calculul su presupune stabilirea costurilor totale ale programului i raportarea acestor costuri la numrul total de beneficiari.

Acest gen de calcul poate fi aplicat pentru foarte multe dintre programele sociale. De exemplu:- cost/ toxicoman consiliat- cost/ elev consiliat- cost/ mam asistat- etc.

n alte situaii, o baz de raportare mai valid pentru eficiena programului este schimbarea n situaia celor care beneficiaz. n acest caz vorbim despre calculul costului per rezultat. Relund exemplul de mai sus cu programul de lupt mpotriva hepatitei, o msur de acest gen poate fi costul pentru reducerea cu 1% a numrului de cazuri de hepatit. Alte exemple pot fi: costul pentru reducerea cu 1% a ratei srciei, costul pentru reducerea cu 1% a ratei omajului, costul pentru creterea cu 1kg a greutii medii a copiilor de 10 ani dintr-o comunitate srac, costul pentru creterea cu o 10 puncte a rezultatelor medii la teste de citire ale copiilor colari dintr-o colonie de romi etc.

Realizarea acestor calcule permite judecarea eficienei reale a programelor, innd cont att de constrngerile materiale ct i de obiectivele referitoare la beneficiari. n plus, astfel de calcule pot ajuta la planificarea programelor viitoare. Dezbaterea din jurul oportunitii ngrijirii la domiciliu pentru vrstnici, care este comparat cu ngrijirea rezidenial, ar beneficia din plin dac ar fi evaluate mai multe astfel de programe mcar dup criteriul costului pe beneficiar. Acelai avantaj l-ar avea planificatorii i n cazul disputei din jurul serviciilor pentru copii abandonai, nefiind foarte clar care variant cea a cminelor sau cea a asistenilor maternali este mai eficient.

Reportarea costurilor la rezultate trebuie s se fac pentru un anumit interval de timp. Costurile se acumuleaz n timp, astfel c nu se pot realiza comparaii valide ntre diverse programe dac rezultatele i costurile nu sunt standardizate dup variabila timp.

Analiza cost/beneficiuAnaliza cost/beneficiu este o procedur mai complicat deoarece implic exprimarea n valori monetare nu numai a resurselor investite ntr-un program dar i a efectelor acestora. Beneficiul este considerat suma de bani corespunztoare resurselor care se economisesc n cazul n care este implementat un program. De pild, atunci cnd re reuete recuperarea fizic a unei persoane care a suferit un accident locomotor, se economisesc sumele de care respectiva persoan ar fi trebui s beneficieze n calitate de asistat. Eficiena recuperrii sale se calculeaz prin raportarea costului tratamentului de recuperare la sumele pe care le-ar fi primit ca ajutoare, subvenii etc. n calitate de invalid. Bineneles c asemenea calcule vor cuta programele care are raportul cost/beneficiu cel mai mic.

Problema acestui gen de evaluare este dificultatea stabilirii beneficiilor unui program. Evident c re-integrarea social a unui delincvent aduce beneficii materiale pentru societate faptele antisociale produc daune iar ncarcerarea unui infractor cost. Dac sumele pe care le cheltuiete statul pentru ntreinerea unui deinut nu sunt greu de aflat, calculul pagubelor medii, pe unitate de timp, produse de un infractor este mai dificil. Cea mai simpl soluie la aceast problem o constituie renunarea la calculul tuturor beneficiilor mai mult sau mai puin evidente i identificarea celor asociate direct cu intervenia evaluat sau cu absena ei. Astfel, realizarea unei legturi rutiere ntre o comunitate de romi i un centru urban poate duce la creterea anselor de angajare ale adulilor din comunitate. n acest caz, beneficiul direct este scderea sumelor pltite ca ajutor pentru venitul minim garantat (celebra Lege 416/2001) i alte ajutoare sociale cum ar fi ajutoarele de omaj. Calculul raportului cost beneficiu ar presupune, prin urmare, raportarea costului construciei drumului la ajutoarele sociale

economisite n perioada pe care o presupune amortizarea i exploatarea normal aoselei.Un alt exemplu posibil de analiz cost/beneficiu poate fi acela al introducerii unui program de educaie pentru sntate, ntr-o anumit colectivitate, a crui beneficiu economic nseamn reducerea cheltuielilor de sntate prin scderea morbiditii.

n cunoscutul manual de evaluare a programelor al lui Peter Rossi, Mark Lipsey i Howard Freeman (2004, p. 350) gsim un exemplu de analiz cost-beneficiu ex-ante, menit s susin decizia public din SUA n materie de pedeaps penal citat din Gray, Larrsen i Haynes (1991). Decidentul trebuie s aleag ntre trei forme ale pedepsei penale: nchisoarea, arestul preventiv (o form mai scurt i mai uoar de ncarcerare pn la pronunarea pedepsei) i probaiune (libertate restrns). Oricare dintre pedepse produce una din urmtoarele trei beneficii care poate fi exprimat n valoare monetar:- incapacitarea infractorului, prin ndeprtarea acestuia din comunitate- reabilitarea infractorului, prin resocializarea i corectarea comportamentului acestuia- descurajarea altor infractori, prin avertismentul pe care pedeapsa l constituie pentru ali posibili infractori.

Beneficiile sociale (pentru comunitate) anuale ale fiecrei din cele trei forme de pedepsire pe fiecare din cele trei dimensiuni exprimate n valoare monetar (aici n dolari) sunt expuse n tabelul de mai jos:

Tabel 1. Costurile i beneficiile pedepselor penale (cf. Gray, Larrsen i Haynes (1991) apud Rossi, Lipseu i Freeman, 2004, p. 350)PedeapsIncapacitareReabilitareDescurajareCosturiBeneficii nete

nchisoare6732-103566113-10435-7946

Arest preventiv774-54105094-27722315

Probaiune0-28745725-16751176

Conform acestor calcule, cele mai mari beneficii pentru societate sunt obinute prin arestul preventiv, n timp ce pedepsele cu nchisoare au costuri foarte mari att n termeni direci (costurile de ntreinere i operare ale nchisorilor, costurile de cazare ale deinuilor) dar i prin efectele catastrofale pe care le au asupra posibilitilor de reabilitare ale celor nchii. Chiar i autorii (Rossi, Lipsey i Freeman, 2004, p. 350) recunosc c astfel de rezultate trebuie tratate cu precauie, costurile i beneficiile depinznd n msuri foarte mari de tipul i gravitatea infraciunii.

Cteva probleme ale evalurii eficienei monetareChiar dac procedurile de mai jos par clare, punerea lor n practic, n situaii concrete, implic multe probleme i ascunde multe capcane.

O prim problem este cea a stabilirii corecte a costurilor. n afara costurilor monetare directe salarii, materiale, etc. implementarea unor programe implic adeseori costuri ascunse, care ns nu pot fi ignorate.

Cele mai multe astfel de costuri sunt denumite de economiti costuri de oportunitate (sau costuri indirecte) i arat c anumite resurse ar fi putut fi folosite altfel, dect pentru programul implementat. Astfel, voluntarii, care nu primesc salariu, ar fi putut n timpul muncii lor nepltite, s se angajeze undeva pentru bani, sau, cel puin, s leneveasc. La fel, o cldire, cum este un spital sau un cmin, ar fi putut foarte bine s produc venituri ca discotec sau ca i imobil cu locuine de nchiriat. n lipsa, voluntarilor, sau a cldirilor primite de la administraie, cei care furnizeaz servicii sociale ar trebui s angajeze personal, contra cost, sau s nchirieze spaii. Aceste resurse trebuie cuantificate la costuri. Altfel, multe dintre programe par foarte ieftine.

Munca voluntarilor poate fi cuantificat foarte simplu prin multiplicarea numrului de ore efectuate n cadrul programului cu salariul mediu orar al unui angajat corespunztor. La fel, costul unei cldiri poate fi echivalat cu chiria lunar a unui imobil similar. n acelai fel trebuie cuantificat valoarea bunurilor primite din donaii i utilizate.

Alte probleme serioase sunt implicate de identificarea i evaluarea monetar a beneficiilor unui program. Potrivit lui Rossi, Lipsey i Freeman (2004, pp. 353-354), de obicei se folosesc 5 abordri pentru exprimarea beneficiilor n termeni monetari:1) Msurarea monetar, cea mai uzitat, care nseamn estimarea beneficiilor monetare directe.Beneficiile unui program de dup-mas al unei clinici pot fi echivalate cu salariile pe care salariaii bolnavi nu le mai pierd lipsind de la serviciu pentru a merge la investigaii sau tratamente n timpul programului.2) Valoarea de pia: beneficiile pot fi estimate prin echivalarea lor cu valoarea de pia. Dac rata infracionalitii este redus ntr-o colectivitate beneficiile acestei reduceri pot fi estimate cu ajutorul preurilor bunurilor imobiliare (creterea total a preurilor terenurilor i caselor din vecintatea respectiv constituie beneficiul programului de reducere a infracionalitii).3) Estimare econometric, utilizat mai ales n evalurile ex-ante, presupune estimarea ctigurilor prin nlocuirea rezultelor monetare relevante (de exemplu ctigurile din taxe mai multe pltite, din salarii mai mari etc.) ale colectivitilor int cu unele similare n care condiiile sunt cele care se presupun a fi implementate prin program. De exemplu creterea de salarii n domenii de nalt tehnologie obinut prin succesul unui parc tehnologic nfiinat n Oradea (unde ar lucra specialiti n industrii hi-tech) ar putea fi estimat prin raportare la salariile din Cluj sau Timioara unde astfel de iniiative au fost deja implementate. Acest gen de estimare presupune un efort analitic destul important (colectare de date, aplicarea de modele cantitative multivariate).4) ntrebri ipotetice. n anumite situaii valoarea monetar a unor beneficii poate fi stabilit pe baza estimrilor directe ale beneficiarilor nii. Valoarea n bani a economiilor personale realizate prin reducerea numrului de zile de boal, rezultate ca urmare a unui posibil program de sntate poate fi stabilit prin interogarea beneficiarilor programului nii.5) Analiza alegerilor politice este una din strategiile de estimare cele mai aproximative. Metodaconst n analiza bugetelor pe anumite programe, iar resursele pe care decidenii sunt dispui s le aloce pot indica beneficiile monetare ale respectivului program. Dac, de pild, decidenii locali din Romnia sunt dispui s aloce n medie 100E pentru fiecare cine comunitar procesat (microcipat, capturat, vaccinat, cazat eventual eutanasiat) ar rezulta c beneficiul social mediu al aplicrii acestui program este de 100 de euro. Complexitatea, inconsistena i volatilitatea alegerilor politice fac genu acesta de estimri destul de riscant.

Efecte directe i indirecteEstimarea beneficiilor i costurilor unui program nu este ntotdeauna rezultatul unor opiuni simple de multe ori efectele care sunt luate n considerare fiind subiect al unor

alegeri justificate valoric sau politic. n majoritatea cazurilor efectele cele mai evidente sunt cele directe, cele urmrite de ctre program i care sunt presupuse de teoria programului. Majoritatea interveniilor sociale au ns i efecte indirecte (denumite i externaliti) care pot fi benefice sau negative. Astfel, formarea profesional poate transmite n mod secundar competene celor apropiai beneficiarilor direci. Pe de alt parte, programele de regenerare urban (de refacere a infrastructurii urbane, mai ales n centrele degradate ca urmare a dezindustrializrii) duc la creterea preurilor imobilelor i la formarea de pungi de srci la periferiile oraelor. Literatura de specialitate vorbete despre dou tipuri de efecte secundare ale programelor sociale care sunt frecvent luate n considerare n evaluare:- efectul de nlocuire (beneficiarii unui program de sntate care presupune spitalizare vor concura cu ali pacieni pentru locurile i tratamentele din spitale)- efectul de golire (beneficiarii aceluiai program vor lipsi, cel puin n parte, serviciile alternative de beneficiari de exemplu este posibil ca naintea iniierii respectivului program s se fi dezvoltat servicii private pentru acest grup de beneficiari).

n funcie de efectul lor, benefic sau negativ, astfel de consecine pot fi trecute la beneficii sau la costuri ale programelor.

Ca i n cazul evalurii cvasiexperimentale, compararea mai multor programe pe criteriul raportului cost/client, cost/rezultat sau cost/beneficiu trebuie s in cont de diversele condiii care afecteaz eficiena unor programe. Relaia dintre procedurile de intervenie, cele care sunt consumatoare de resurse, i efectul scontat i nregistrat, este mediat de numeroase condiii, care pot face comparaiile simple lipsite de validitate.

Astfel, succesul unui program de re-integrare colar a copiilor instituionalizai depinde de severitatea handicapului colar iniial al beneficiarilor. Copiii care pleac de la rmneri mari n urm au anse de succes mult mai mici dect cei care au un handicap relativ mic. La fel, un program de educaie sexual va avea mult mai mare succes ntr-o comunitate educat dect ntr-una cu capital educaional sczut. Comparaii brutale ale costurilor i efectelor unor programe de tipul celor de sus puse n practic n contexte diverse poate duce la concluzii neadevrate.

Cazul cel mai fericit, prin urmare, al comparrii eficienei unor programe, este cnd condiiile n care programele sunt derulate sunt identice. n realitate acest lucru este imposibil de gsit, ns evaluatorul poate s nzuiasc s gseasc condiii ct mai apropiate pentru a compara programe diverse, ori, atunci cnd aceste condiii sunt semnificativ diferite, s standardizeze comparaiile, prin proceduri mai mult sau mai complicate cum ar fi introducerea n calculul rezultatelor sau al beneficiilor a efectelor diferenelor de condiii.

Bibliografie

1) Babbie, Earl. "Practica cercetrii sociale." Iai, Editura Polirom (2010).2) Bickman, Leonard, and Debra J. Rog, eds. Handbook of applied social research methods. Sage, 1998.3) Rossi, Peter H., and Mark W. Lipsey. Evaluation: A systematic approach. Sage,2004.