b04 ewaluacja
TRANSCRIPT
Łódzka AkademiaPO KL
EwaluacjaB04
Urząd Marszałkowski w ŁodziDepartament ds. PO Kapitał Ludzki
Instytucja Pośrednicząca
Osoba prowadząca:Justyna Bodek
Plan prezentacji Cel prowadzenia ewaluacji
Definicja ewaluacji
Standardy ewaluacji
Ewaluacja a monitorowanie, audyt, kontrola
Rodzaje ewaluacji
Etapy procesu ewaluacji
Triangulacja
Zakończenie ewaluacji
2
Badanie jakości projektu
Poprawa skuteczności i efektywności projektu
Wspomaganie procesu podejmowania decyzji
Identyfikacja słabych i mocnych stron projektu
Wskazanie kierunków rozwoju
Sygnalizowanie problemów
Oszacowanie możliwości i ograniczeń
Określanie stopnia zgodności realizacji projektu z założeniami
Badanie potrzeb
Zwiększanie profesjonalizmu świadczonych usług
Cele ewaluacji
3
Definicje ewaluacji
Zgodnie z Wytycznymi w zakresie ewaluacji programów operacyjnych na lata 2007-2013:
osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów
dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów
oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.
4
Monitorowaniepozwala ocenić prawidłowość przebiegu danego projektu; dostarcza informacji na temat osiągniętych celów i rezultatów w stosunku do poniesionych nakładów; ma charakter systematyczny
AudytSprawdzenie zgodności wykorzystywanych środków oraz zasobów, głównie finansowych, z obowiązującym prawem oraz standardami; ma charakter kompleksowy
Kontrolaporównanie stanu faktycznego z wymaganym, weryfikacja kwestii prawnych oraz finansowych; może dotyczyć systemu zarządzania oraz struktur organizacyjnych; może mieć charakter wycinkowy
Ewaluacja a monitorowanie, audyt, kontrola
5
Definicje ewaluacji c.d.
Ewaluacja
Zbieranie, analiza oraz interpretacja
danych nt. znaczenia i wartości
tego, co podlega badaniu, przy
zwróceniu uwagi na zagadnienia istotne
dla zainteresowanych
Opisywanie przebiegu oraz
wyników badanych działań ze strony
pozytywnej i negatywnej, wyjaśnienie związków pomiędzy
nakładami i rezultatami,
porównywanie rezultatów ze
wstępnymi założeniami
Okresowa ocena efektywności, skuteczności, oddziaływania,
trwałości i zgodności projektu
w kontekście założonych celów
6
Definicja c.d.Ewaluacja w projekcie polega na:
sprawdzeniu, czy w wyniku podjętych działań osiągnięto rezultaty, które zostały założone na etapie planowania oraz czy te rezultaty przełożyły się na realizacje celów projektu.
ZAPAMIETAJ!
Działania ewaluacyjne powinny zostać zaplanowane już na etapie tworzenia projektu.
Zaplanuj odpowiedni budżet na badania ewaluacyjne.
Jeśli planujesz zlecić działanie ewaluacyjne zewnętrznemu podmiotowi, weź pod uwagę standardy ewaluacji.
7
Standardy ewaluacji
Standardy Ewaluacji zostały opracowane przez Polskie Towarzystwo Ewaluacyjne w 2008r.
Określają zasady współpracy pomiędzy podmiotami zaangażowanymi w proces ewaluacji, określają ich wzajemne prawa i obowiązki.
Opracowanie dokumentu było możliwe dzięki współpracy przedstawicieli administracji publicznej, organizacji pozarządowych, pracowników firm realizujących badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów.
Zasady ujęte w Standardach mogą znaleźć zastosowanie zarówno w sektorze publicznym jak i prywatnym.
8
Rodzaje ewaluacji
Kryterium wykonawcy:
Ewaluacja zewnętrzna(przeprowadzana przez niezależnego wykonawcę)
Ewaluacja wewnętrzna(przeprowadzana przez osoby bezpośrednio lub pośrednio związane z podmiotem realizującym projekt)
9
Rodzaje ewaluacji
Kryterium czasu realizacji:
Ewaluacja ex-ante (przed realizacją projektu)
Ewaluacja mid-term (mniej więcej w połowie realizacji projektu)
Ewaluacja ex-post (po zakończeniu realizacji projektu)
Ewaluacja on-going(w trakcie trwania projektu)
10
Kryterium czasu realizacji
Ewaluacja ex-ante
Przeprowadzana przed
wdrażaniem projektu; ma na celu poprawę
jakości projektu będącego w
trakcie opracowania
Ocenia projekt pod kątem potrzeb,
planowanych celów oraz
sposobów ich realizacji
Bada kontekst społeczny,
gospodarczy, prawny
Bada stan wyjściowy
w kontekście ewaluacji ex-post;
identyfikuje ewentualne trudności
Określa potrzeby
i oczekiwania grupy
docelowej
11
Kryterium czasu realizacji
Ewaluacja mid-term
Przeprowadzana w połowie realizacji
projektu; oparta na danych
dostarczonych przez proces
monitorowania
Ocenia i analizuje
osiągnięte do tej pory efekty
i rezultaty
Ocenia po raz pierwszy jakość
realizacji projektu
Ocenia założone cele
i wskaźniki podczas etapu programowania
Może doprowadzić
do modyfikacji realizacji
projektu oraz aktualizacji przyjętych założeń
12
Kryterium czasu realizacji
Ewaluacja ex-post
Przeprowadzana po zakończeniu
realizacji projektu; stanowi
całościowe podsumowanie danego projektu
Ocenia poziom
osiągniętych celów
Ocenia skuteczność i efektywność projektu oraz jego trafność i użyteczność
Bada długotrwałe
efekty projektu oraz ich trwałość
Stanowi źródło informacji
niezbędne przy planowaniu kolejnych projektów
13
Kryterium czasu realizacji
Ewaluacja ex-post projektu powinna zostać przeprowadzona wtedy, gdy widoczne są efekty realizacji projektu.
Często przyjmuje postać audytu, który ma na celu sprawdzenie, czy wszystko zostało wykonane zgodnie z założeniami wniosku.
Celem ewaluacji ex-post jest całościowa ocena projektu.
14
Kryterium czasu realizacji
Ewaluacja on-going
Ma charakter uzupełniający do
wszystkich pozostałych typów
ewaluacji; przeprowadzana
niezależnie od nich
Ma na celu zgłębić problemy
pojawiające się często
w trakcie prowadzenia innych typów
ewaluacji
Dotyczy głównie zarządzania
realizacją projektu
Ma na celu zbadanie efektów
realizowanego projektu z innymi
projektami podobnego typu realizowanymi w
tym samym czasie
15
1. Planowanie ewaluacji(analiza potrzeb, określenie zakresu ewaluacji)
2. Projektowanie ewaluacji(określenie koncepcji badania)
3. Zbieranie i analiza danych(prace badawcze)
4. Raportowanie(konsultacje oraz dyskusja nt. wyników ewaluacji)
5. Wykorzystywanie wyników ewaluacji(udoskonalanie projektu na podstawie rekomendacji zawartych w raporcie)
Etapy procesu ewaluacji
16
Planując ewaluację projektu należy odpowiedzieć na kilka pytań:
Po co projekt ma zostać oceniony?
Jakie są granice oceny?
Co ma zostać ocenione, a co nie?
Czy projekt da się ocenić?
Jak ocenić projekt?
Kto będzie przeprowadzał badanie?
Kiedy ewaluacja będzie prowadzona?
Jakie środki zostały przeznaczone na ewaluację?
Dla kogo będzie przeznaczony raport ewaluacyjny?
Etapy procesu ewaluacji
17
Projektowanie ewaluacji:
Opis przedmiotu ewaluacji(precyzyjne określenie zakresu ewaluacji)
Sformułowanie pytań kluczowych(pytania, na które odpowiedzi udzieli przeprowadzone badanie ewaluacyjne)
Określenie kryteriów ewaluacji(mają charakter wartościujący, standardy wg których projekt będzie oceniany)
Dobór metod i próby badawczej(określenie sposobu zbierania danych oraz osób, które będą w stanie dostarczyć najwięcej informacji na temat przedmiotu badania ewaluacyjnego)
Określenie formatu raportu(określeniu sposobu zaprezentowania wyników badania ewaluacyjnego oraz grupy docelowej)
Etapy procesu ewaluacji
18
W początkowej fazie realizacji procesu ewaluacji należy dokładnie określić co zostanie poddane ewaluacji.
Każdy projekt ma swoje ramy czasowe; określonych odbiorców; zadania i cele do osiągnięcia; obszar na którym jest wdrażany – każdy z tych elementów wyznacza przedmiot ewaluacji.
ZAPAMIETAJ!
W procesie ewaluacji nie da się zbadać wszystkiego.Zdobyte dane powinny jednak wiarygodnie świadczyć o realizacji projektu.
Przedmiot ewaluacji
19
Planując ewaluację należy zastanowić się:
czy wystarczy nam środków finansowych, aby objąć badaniem cały projekt?
czy efekty ewaluacji będą współmierne do poniesionych na jej przeprowadzenie wydatków?
Jeśli odpowiedź po powyższe pytania będą negatywne należy zastanowić się, czy przedmiotem ewaluacji nie powinien być element projektu np.:
- system zarządzania
- współpraca między partnerami
- jakość szkoleń
- stopień osiągnięcia celów
Przedmiot ewaluacji
20
Cel określenia kryteriów ewaluacji:
Wskazują co w ramach ewaluacji będzie podlegało ocenie
Ewaluator zawsze ocenia projekt pod kątem konkretnych kryteriów i stopnia ich spełnienia
Kryteria ewaluacji
21
Kryteria ewaluacji
KRYTERIA
TRAFNOŚĆ
UŻYTECZNOŚĆ
EFEKTYWNOŚĆ
SKUTECZNOŚĆ
TRWAŁOŚĆ
22
Trafność (relevance)pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów (zastosowanie: ewaluacja ex-ante, mid-term i on-going)
Efektywność (efficiency)pozwala ocenić stosunek poniesionych nakładów (finansowych, czasowych, ludzkich) do uzyskanych wyników i rezultatów (zastosowanie: ewaluacja ex-ante, mid-term, on-going, ex-post)
Skuteczność (effectiveness)pozwala ocenić stopień osiągniętych celów projektu zdefiniowanych na etapie programowania (zastosowanie: ewaluacja ex-ante, mid-term, on-going, ex-post)
Kryteria ewaluacji c.d.
23
Użyteczność (utility)pozwala ocenić, w jakim stopniu realizacja projektu przyczyniła się do rozwiązania problemu i/lub przyniosła korzyść beneficjentom (zastosowanie: ewaluacja on-going, ex-post)
Trwałość (sustainability)pozwala ocenić, czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego oraz czy możliwe jest utrzymanie się wpływu projektu w dłuższym okresie czasu na procesy rozwojowe na poziomie sektora, regionu czy kraju(zastosowanie: ewaluacja ex-post)
Kryteria ewaluacji c.d.
24
Dobrze sformułowane pytania kluczowe to połowa sukcesu!
Ogólne pytania, na które odpowiedź ma przynieść badanie ewaluacyjne, następnie należy przełożyć na pytania badawcze, wskaźniki i pytania do respondentów.
W celu poprawnego sformułowania pytań należy wypisać wszystkie interesujące nas kwestie np.:
- czy projekt dotarł do odbiorców
- czy zwiększył ich wiedzę
- czy projekt wpłynął na zachowania odbiorców
- jaka jest ocena projektu przez uczestników
- co należy poprawić w kolejnych edycjach
Pytania kluczowe
25
Pytania kluczowe
Odpowiedzi dostarczą wyniki
badania ewaluacyjnego
Powinny zostać sformułowane
w sposób ogólny
Stanowią filar badania
ewaluacyjnego
Nie są to pytania, które wprost będą zadane osobom
objętym ewaluacją
26
Po sformułowaniu pytań kluczowych należy zastanowić się:
czy jesteśmy w stanie na nie odpowiedzieć
jakie dane muszą zostać zebrane
kto może udzielić odpowiedzi na pytania i jak dotrzeć do tych osób
ile to kosztuje
Następnie, w celu porównania osiągniętych rezultatów należy znaleźć punkt odniesienia, czyli np. podobny projekt, który był realizowany wcześniej lub na innym obszarze (benchmarking).
Pytania kluczowe
27
Kolejnym krokiem projektowania procesu ewaluacji powinno być określenie grup, które zostaną poddane badaniom.
Najważniejszą grupę stanowią odbiorcy projektu oraz osoby realizujące projekt.
ZAPAMIETAJ!
W celu uzyskania bardziej wiarygodnych odpowiedzi należy zapewnić respondentom anonimowość!
Dobór respondentów
28 28
Znając już respondentów badania ewaluacyjnego należy określić metody zbierania danych do badania ewaluacyjnego.
Metodologia ewaluacji powinna zostać dostosowana do zamierzeń badawczych, a także do celów projektu.
Różne metody służą do zbierania różnych danych, np.
- jeśli trzeba poznać opinię dużych społeczności lokalnych można zastosować badania sondażowe
- jeśli trzeba zgłębić dane zagadnienie należy zastosować metody jakościowe, np. wywiady
Metodologia
29
Metody badań ewaluacyjnych
ILOŚCIOWE
dotyczą informacji liczbowych; pozwalają poznać zależności pomiędzy występującymi zmiennymi; podlegają analizie statycznej, np. liczba odbiorców projektu.
JAKOŚCIOWE
dotyczą opisu, poznania i zrozumienia badanych zjawisk; niezbędne dla właściwej interpretacji informacji liczbowych; taki charakter badań kładzie nacisk na procesy i znaczenia, które nie podlegają rygorom pomiaru w znaczeniu ilościowym, np. opinie
30
Metody badań ewaluacyjnych
ANALIZA DOKUMENTÓW
dotyczy badania faktów; zbierania informacji w sposób formalny; pozwala na wykorzystanie dokumentów zgromadzonych podczas planowania i realizacji projektu; należy uważać, by nie interpretować danych w zbyt ogólny sposób.
WYWIADY
dotyczy zbierania opinii od osób zaangażowanych w realizację danego projektu oraz jego uczestników; daje możliwość poruszenia szczegółowych problemów i poznania interpretacji uczestników; metoda czasochłonna, kosztowna, obejmuje niewielką ilość respondentów.
OBSERWACJA
bezpośredni udział ewaluatorów w danym projekcie; może mieć charakter jawny lub niejawny; pozwala poznać kontekst danego działania; ułatwia interpretację, może prowadzić do przyswojenia stereotypów.
KWESTIONARIUSZ
uporządkowana lista pytań zamkniętych lub otwartych na jeden lub więcej tematów; umożliwia objęcie badaniem dużej grupy osób, jest anonimowa przez co daje swobodę wypowiedzi; odpowiedzi mogą okazać się zdawkowe; techniki: ankieta pocztowa, telefoniczna, internetowa.
31
Inne metody badań ewaluacyjnych:
Analiza dostępnych danych – desk research (raporty, ekspertyzy, informacje z urzędów statystycznych)
Studium przypadku(szczegółowe studium danego zagadnienia z różnych perspektyw)
Grupy fokusowe(forma moderowanej dyskusji uwzględniająca różne poglądy uczestników)
Opinie ekspertów(ze względu na subiektywny charakter opinii nie może być jedynym źródłem informacji)
Metody badań ewaluacyjnych c.d.
32
Warto pamiętać, aby proces ewaluacji uwzględniał:
Różnorodne metody zbierania danych i analizy
Różnorodne źródła informacji
Różnorodne spojrzenia badawcze
W celu zróżnicowania metod badawczych wykorzystaj dostępne narzędzia internetowe!Triangulacja pozwala na lepsze poznanie i zrozumienie badanego projektu, uwzględnia różne punkty widzenia na daną kwestię, pozwala pogłębić wiedzę na temat zebranych danych, a także sprzyja zwiększeniu obiektywizmu prowadzonej ewaluacji.
Triangulacja
33
Do poprawnego zastosowania wybranych metod zbierania danych służą narzędzia ewaluacyjne.
Najbardziej popularnym narzędziem ewaluacyjnym jest ankieta.
Ankieta może zawierać zarówno pytania otwarte jak i zamknięte, np.:
1.Pytanie otwarte:
Proszę wyjaśnić dlaczego będą Państwo aplikować o środki w ramach PO KL w przyszłym roku?
2.Pytanie zamknięte:
Czy w przyszłym roku będą Państwo aplikować w środki w ramach PO KL?
a) tak
b) nie
c) nie wiem
Narzędzia badań ewaluacyjnych
34
Narzędzia badań ewaluacyjnych
35
Zakończenie procesu ewaluacji:
Każda ewaluacja powinna zakończyć się opracowaniem raportu ewaluacyjnego
Raport ewaluacyjny powinien zawierać wnioski i rekomendacje
Wyniki ewaluacji powinny służyć polepszeniu jakości projektów realizowanych w przyszłości
Zakończenie ewaluacji
36
Rodzaje raportów:
raport metodologicznyzawiera następujące informacje: dane nt. przedmiotu ewaluacji, cele i założenia, metodologię, wyniki, harmonogram prac, narzędzia badawcze
raport cząstkowyzawiera informacje z części badania ewaluacyjnego
raport końcowystruktura raportu obejmuje: streszczenie; spis treści, wprowadzenie, opis zastosowanej metodologii, wyniki ewaluacji, wnioski, rekomendacje, aneksy
ZAPAMIETAJ!
Ewaluacja tylko wtedy przynosi efekty, jeśli jej wyniki przekazywane są w sposób zrozumiały.
Raport ewaluacyjny
37
Rekomendacje:
powinny zostać tak opracowane, by były możliwe do zaakceptowania i zrealizowania
mogą być ogólne (odbiorca ma większą swobodę w podejmowaniu decyzji o sposobie ich wdrożenia) lub bardziej szczegółowe (określają dokładnie podmiot odpowiedzialny za ich wdrożenie oraz wskazują co powinno zostać zrobione)
powinny być realistyczne, czyli określać w jaki sposób ich wdrożenie wpłynie na realizacje projektu oraz jakie wydatki z nich wynikają
powinny wskazywać adresatów rekomendacji
Rekomendacje
38
Ćwiczenie
Podział uczestników na 4 grupy
Na podstawie otrzymanego opisu projektu proszę opracować strategię ewaluacji projektu
Czas trwania: 20 minut
Etapy procesu ewaluacji
39
Źródła informacjiWytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-2013
Podręcznik zarządzania projektami miękkimi
K. Choromański, B. Ciężka, G. Dziarski, J. Ratajczak, A. Rudolf, T. Skierniewski oraz firma KPMG Ewaluacja – kwestie ogólne - Szkolenie dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednostki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi – Polskie Towarzystwo Ewaluacyjne, Warszawa 2005
Polskie Towarzystwo Ewaluacyjne - Standardy ewaluacji
www.pte.org.pl
40
Dziękuję za uwagę