wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym

Wprowadzenie do ewaluacji programów o charakterze

społeczno - gospodarczym

opracowanie:Agnieszka Haber

prowadzący: Agnieszka Haber

Maciej Szałaj

30 października 2008Wrocław

Ewaluacja – podstawowe pojęciaProces ewaluacji Raport ewaluacyjnyWykorzystanie wyników ewaluacji

zakres szkolenia

część Ipojęcia podstawowe

Ewaluacja to.....

• Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction)

• Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice)

• Wnikliwe badanie charakterystyki i zalet ewaluowanego programu (…) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology")

• Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)

Ewaluacja – definicja UE / KE

Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne

dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999:

Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1

Definicja ewaluacji wg. Komisji Europejskiej:Ocena interwencji według jej rezultatów, oddziaływania

oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004

Pojęcia pokrewne • Audyt - sprawdzenie zgodności wykorzystania

zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy.

• Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji.

• Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

Kontrola-monitoring-ewaluacja

WDRAŻANIE PROGRAMU (PROJEKTU)

KONTROLA KONTROLA KONTROLA

MONITOROWANIE PROGRAMU (PROJEKTU)

ewaluacja ewaluacja ewaluacja .

CZAS

Pojęcia pokrewne ewaluacja – monitoring – audyt

różnice:

• zakres badania • moment badania

• ramy badania

• sposób realizacji

• podmioty realizujące

• konsekwencje badania

Funkcje ewaluacji

Formatywna – zapewnienie

postępu – funkcja stymulowania

usprawnień i rozwoju

organizacyjnego

Konkluzywna – selekcja lub

sprawozdawczość – funkcja

rozliczenia i egzekwowania

odpowiedzialności

Społeczno-polityczna –

kształtowanie motywacji i

uzyskanie poparcia społecznego

Administracyjna – sprawowanie

władzy

http://www.ssc.govt.nz

Zastosowania• wspomaganie procesu podejmowania decyzji / planowanie,

poprawa wdrażania i kontrola jakości /

• podniesienie skuteczności i efektywności działań

identyfikacja słabych i mocnych stron

• wskazanie kierunków rozwoju

• sygnalizowanie pojawiających się problemów

• oszacowanie możliwości i ograniczeń

• określanie stopnia zgodności z przyjętymi założeniami

• badanie potrzeb • zwiększanie profesjonalizmu świadczonych usług

• demokratyzacja procesu zarządzania

• element uczenia się i samodoskonalenia

Klasyfikacja ewaluacji

Klasyfikacja ewaluacji 1. przedmiot

„Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb 2004-2006”

„Ocena procesu zarządzania projektami z zakresu infrastruktury

transportowej w kontekście realizacji NPR-u”

„Analiza problemów związanych z realizacją projektów

infrastrukturalnych realizowanych w ramach ZPORR wynikających ze

zmieniającej się stytuacji na rynku”

Klasyfikacja ewaluacji 2. Cel przeprowadzania ewaluacji

CELE EWALUACJI:

poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu –

sprawowania władzy

EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu

KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)

Klasyfikacja ewaluacji 3. kryterium wykonawcy

Klasyfikacja ewaluacji 4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed

rozpoczęciem programu mid – term – ocena w połowie realizacji

programu ex – post – ocena pełna po zakończeniu

programu on-going – ocena uzupełniająca, bieżąca

Ewaluacja ex-ante

Przeprowadzana przed wdrażaniem programu.

Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji.

Bada kontekst społeczny, gospodarczy, prawny.

Służy identyfikacji potencjalnych trudności.

Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.

Ewaluacja on-going

Przeprowadzana w trakcie realizacji programu.

Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu.

Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów.

Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji.

Daje możliwość bieżącej analizy pojawiających się efektów programu.

Ewaluacja mid-term

Realizowana jest w połowie wdrażania interwencji.

Poddaje analizie osiągnięte na tym etapie produkty i rezultaty.

Dokonuje pierwszej oceny jakości realizacji programu.

Ocenia poczynione na etapie programowania założenia (cele, wskaźniki).

Diagnozuje kontekst realizacji przedsięwzięcia.

Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.

Ewaluacja ex-post

Przeprowadzana po zakończeniu realizacji programu.

Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość.

Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność.

Ocenia na ile udało się osiągnąć założone cele.

Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

Ramy badania ewaluacyjnego

Logika programów UE

Potrzeby

CeleNakłady / Wkład

(Zasoby)

Działania Programu

Produkty / Wyniki

(Stworzone dobra i usługi)

Rezultaty

(Bezpośrednie i natychmiastowe)

Oddziaływanie / Wpływ

(efekty w długim okresie)

Źródło: opracowanie K. Olejniczak na podstawie opracowanie własne na podstawie KE – DG Regio 2001

Ewaluacja a logika programów UE

kryteria ewaluacji

EWALUACJA:TRAFNOŚĆ

EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ

EWALUACJA: SKUTECZNOŚĆ

EWALUACJA: WYDAJNOŚĆ

Potrzeby

Cele Nakłady Działania Produkty

Rezultaty planowane

Oddziaływanie planowane

MONITORING

i nieplanowane

i nieplanowane

Kryteria ewaluacji

Najczęściej stosowane kryteria ewaluacji:

• Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów • ex ante; ex-post

• Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas • mid–term; ex-post

• Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte • mid–term; ex-post

Kryteria ewaluacji

Najczęściej stosowane kryteria ewaluacji cd.:

• Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju • mid–term; ex-post

• Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju • ex-post

cele / wskaźniki Logika interwencji unijnych

Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001

Cele ogólne

Nakłady / Wkład

(Zasoby)

Działania Programu

Produkty / Wyniki

(Wyprodukowane dobra i usługi)

Rezultaty

(Bezpośrednie i natychmiastowe)

Oddziaływanie / Wpływ

(efekty w długim okresie)

Cele bezpośrednie

Cele operacyjne

Wskaźniki bazowe i kontekstu

Wskaźniki działań

Wskaźniki produktów

Wskaźniki rezultatów

Wskaźniki oddziaływania

Wskaźniki nakładów

część IIPodejścia badawcze,

proces badania ewaluacyjnego oraz jego uczestnicy

Zakres tematyczny ewaluacji• realizacji założeń programu (cele, wskaźniki)

• skuteczności i efektywności interwencji oraz jej trafności i użyteczności

• osiągniętych produktów i rezultatów

• kontekstu społecznego, gospodarczego, prawnego interwencji

• trudności realizacji przedsięwzięcia bądź ich kontekstu

• potrzeb i oczekiwań docelowej grupy odbiorców

• efektów (oczekiwane / nieoczekiwane)

• mocnych/ słabych stron interwencji

• kierunków rozwoju i modyfikacji przyszłych interwencji

• oddziaływania przedsięwzięcia • i trwałości jego osiągnięć

PROCES EWALUACJIPlan ewaluacji

Projekt ewaluacji

Realizacja badania ewaluacyjnego

Raport końcowy

Wykorzystanie wyników ewaluacji

Wdrażanie rekomendacji

REALIZACJA TERENOWA

ANALIZA

OCENA

WNIOSKI

REKOMENDACJE

wcześniejsze ewaluacje

zakres monitoringu

zakres audytu

dane statystyczne

promocja wyników

Etapy planowania ewaluacji

• określenie celów ewaluacji• wyznaczenie czasu badania• określenie zakresu ewaluacji • określenie odbiorców ewaluacji• identyfikacja dostępnych danych wyjściowych (dokumenty,

raporty monitoringowe, dane statystyczne, ekspertyzy itd.)• określenie regulacji instytucjonalnych • oszacowanie posiadanych zasobów (czasowych, finansowych,

instytucjonalnych, technicznych)• sformułowanie projektu ewaluacji• określenie sposobu wykorzystania wyników ewaluacjiA następnie:• określenie warunków kontraktu (terms of reference)• wybranie ewaluatora

Elementy projektu ewaluacji• opis przedmiotu ewaluacji • określenie strategii ewaluacji• określenie partnerów/uczestników/odbiorców ewaluacji• kodyfikacja kluczowych pytań ewaluacyjnych (badawczych)• określenie kryteriów ewaluacji• dobór metod badawczych • określenie próby badawczej• określenie zasobów instytucjonalnych, czasowych,

ludzkich, finansowych• opracowanie harmonogramu prac• wyspecyfikowanie zakresu zadań, wymagań i procedur

prowadzenia danego badania ewaluacyjnego• określenie formatu raportu• określenie sposobów wykorzystania i promocji wyników

ewaluacji

!??

? ???

?

?

? ?

?

?? ? ?

?

Warunki realizacji

odbiorcy wniosków i rekomendacji

http://www.shutterstock.com/pic-3328278-young-businesspeople-having-meeting-in-the-office.html

Etapy realizacji ewaluacji

Strukturalizację

Obserwację

Analizę

Ocenę

Etapy realizacji ewaluacjifazy realizacji badania

Strukturalizacja wybór i określenie kryteriów i elementów, które mają być

poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie

badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania;

Stosowane metody ewaluacyjne

Analiza SWOTMatryca logicznaMapa oddziaływaniaMetaplan


Strukturalizacja

Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów.

Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane:

pytania

kryteria

wskaźniki

wybór metody


StrukturalizacjaOkreślając przedmiot oceny musimy podjąć decyzje, jakie są nasze

potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy.

Należy określić czy:• i jaką perspektywę czasową oddziaływania i rezultatów

bierzemy pod uwagę• odnosimy się do jednego czy też kilku elementów interwencji• odnosimy się do jednej czy tez kilku grup odbiorców

(beneficjenci, partnerzy itd..),• bierzemy pod uwagę wyłącznie badaną interwencje czy tez

uwzględniamy ewentualne jego synergie z innymi interwencjami,

• bierzemy pod uwagę regiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie,

• bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.


Obserwacja

Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./;

zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe;


Metody ilościowe Metody jakościowe


Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu;


Metody statystyczneMetody analizy jakościowejGIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawczePanel ekspertów


Ocena ocena efektów programu w odniesieniu do uprzednio

sformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny.


Analiza kosztów i korzyściAnaliza kosztów i efektywnościAnaliza wielokryteriowa Panel ekspertówBenchmarking


Ocena powinna być

przejrzysta

trafna

bezstronna / obiektywna /niezależna

uzasadniona – wynikająca z faktów

oparta na wynikach badań

oparta na wiarygodnych danych

szczegółowej analizie

• ewaluacja to proces

• od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność

• końcowym produktem procesu ewaluacji jest

raport końcowy

część IIIRaport ewaluacyjny

Aktorzy sceny ewaluacyjnej

INNI ZAINTERESOWANI

ZAMAWIAJĄCY

EWALUATORZY EWALUOWANI

środowisko zewnętrzne

kontekst społeczno – polityczny

środowiskoinstytucji

zamawiającej

kontekst instytucjonalny

ODBIORCY RAPORTU EWALUACYJNEGOODBIORCY RAPORTU EWALUACYJNEGO

wyników ewaluacjiwyników ewaluacji

rekomendacjirekomendacji

wniosków wniosków

metodologii ewaluacjimetodologii ewaluacji

Raport ewaluacyjnyodbiorcy ewaluacji

Proces ewaluacjietapy projektowania/konstrukcji/wykorzystania raportu

ProjektProjekt zakresu raportuzakresu raportu

OpracowanieOpracowanie raportu wstępnegoraportu wstępnego

Wstępna wersjaWstępna wersja raportu końcowegoraportu końcowego

PrezentacjaPrezentacja raportu końcowegoraportu końcowego

Raport końcowyRaport końcowy (ostateczna wersja)(ostateczna wersja)

REALIZACJAREALIZACJA

ANALIZAANALIZA

OCENA PROGRAMU OCENA PROGRAMU WNIOSKIWNIOSKI

REKOMENDACJEREKOMENDACJE

PROMOCJA RAPORTU

E

TA

PY

OD

BIO

RU

E

TA

PY

OD

BIO

RU

R

AP

OR

TU

R

AP

OR

TU

K

OŃ

CO

WE

GO

KO

ŃC

OW

EG

O

Typy raportów klasyfikacja ze względu na moment w systemie

oceny i fazie badania

moment

w systemie oceny interwencji w procesie realizacji

raporty podsumowujące raporty metodologiczne

raporty cykliczne/cząstkowe raporty z badań terenowych

raporty wew. / zewn. raporty końcowe

Raport ewaluacyjny

cechy dobrego raportu

??

Raport ewaluacyjnyRaport ewaluacyjny

europejskie standardyeuropejskie standardyRAPORT EWALUACYJNYC POWINIEN:RAPORT EWALUACYJNYC POWINIEN:

• być związany z tematem, opierać się na dokładnej być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i analizie i odpowiadać standardom naukowym i ewaluacyjnymewaluacyjnym

• opisywać przesłanki ewaluacji, jej przedmiot, jak cel, opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i wnioski (wszystko to powinno mieć przystępną i zrozumiała formę)zrozumiała formę)

• podawać dokładne źródła informacji. Zebrane dane podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniościobniżenia wiarygodności, czy odpowiedniości


europejskie standardyeuropejskie standardyRAPORT EWALUACYJNYC POWINIEN:RAPORT EWALUACYJNYC POWINIEN:

• zawierać dostatecznie szczegółowy i krytyczny opis i zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacjebazują wnioski i rekomendacje

• zawierać zidentyfikowane przykłady zawierać zidentyfikowane przykłady good practicegood practice obrazujące przedstawiane tezy, tym niemniej raport nie obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by powinien - mimo częstych nacisków na ewaluatorów by „produkować historie sukcesów” - stać się przewodnikiem „produkować historie sukcesów” - stać się przewodnikiem w zakresie w zakresie good practisegood practise, gdyż jest wówczas odbierany , gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentówpodejrzliwie przez społeczeństwo i decydentów

• podawać dokładne źródła informacji (tak by można je było podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i do metodologii badania bez obniżania ich wiarygodności i adekwatnościadekwatności


europejskie standardyeuropejskie standardy

• Proces dedukcji i interpretacji rezultatów powinien być Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. szczegółowo zaprezentowanej hipotezie.

• Ostateczne wnioski i rekomendacje są opiniami Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. wiedzy i zgody.

• Wnioski i rekomendacje powinny być jasne, bezstronne Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć. i wystarczająco precyzyjne by można je było wdrożyć.

PROCES EWALUACJIPlan ewaluacji

Projekt ewaluacji

Realizacja badania ewaluacyjnego

Raport końcowy

Wykorzystanie wyników ewaluacji

Wdrażanie rekomendacji

REALIZACJA TERENOWA

ANALIZA

OCENA

WNIOSKI

REKOMENDACJE

wcześniejsze ewaluacje

zakres monitoringu

zakres audytu

dane statystyczne

promocja wyników

część IVWykorzystanie

wyników ewaluacji

informacje wiedza

http://libizblog.files.wordpress.com/2007/10/question-mark.jpg

promocja wyników

http://www.parp.gov.pl/index/more/2046

więcej na temat ewaluacji w publikacji PARP

więcej na temat ewaluacji w publikacji PARP

http://www.parp.gov.pl

http://www.parp.gov.pl/index/index/110

Raporty z ewaluacji

http://www.konferencja-ewaluacja.pl/2008/

Baza raportów ewaluacyjnych Fundusze Strukturalne

http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/8292BC86-7BE0-4D50-8F02-DEBECDCE56AF/41792/bazawww1912.xls

Dziękujemy za uwagę[email protected]

0505 600 580 022432 83 65

[email protected]

022432 85 55

wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym

Documents