zarządzanie badaniem ewaluacyjnym
DESCRIPTION
Zarządzanie badaniem ewaluacyjnym. Elżbieta Opałka Krajowa Jednostka Oceny Departament Koordynacji Polityki Strukturalnej Ministerstwo Rozwoju Regionalnego. Decyzja o ewaluacji. Zakres ewaluacji. Realizacja badania. Instytucja Zarządzająca/Pośrednicząca (Zespół Sterujący Ewaluacją). - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/1.jpg)
Zarządzanie badaniem ewaluacyjnym
Elżbieta Opałka
Krajowa Jednostka OcenyDepartament Koordynacji Polityki Strukturalnej
Ministerstwo Rozwoju Regionalnego
![Page 2: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/2.jpg)
Proces realizacji badania ewaluacyjnego
Instytucja Zarządzająca/Po
średnicząca (Zespół Sterujący
Ewaluacją)
Jednostka Ewaluacyjna/
Grupa Sterująca
Decyzja o ewaluacji
Wykorzystywanie wyników
Opinie/wnioski
Raport z ewaluacji
Realizacja badania
Zakres ewaluacji
Zespół ewaluacyjny
![Page 3: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/3.jpg)
Kryteria jakości procesu ewaluacji: Odpowiedni opis przedmiotu zamówienia (SOPZ): opis zamówienia
został dobrze przygotowany, był przydatny i nie wymagał weryfikacji
Prawidłowe zamówienie publiczne: zostało prawidłowo przeprowadzone a wybrany wykonawca był w stanie przeprowadzić ewaluację na odpowiednio wysokim poziomie
Dostępność: informacji/danych (z systemu monitorowania), respondentów
Odpowiednie zarządzanie procesem: bieżąca współpraca zamawiających i innych partnerów z ewaluatorami
Skuteczne wykorzystanie wyników ewaluacji (z dostarczonych raportów ewaluacyjnych) przez zlecających ewaluację oraz wszystkich zainteresowanych partnerów (w tym popularyzacja wyników ewaluacji)
![Page 4: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/4.jpg)
Współpraca z Wykonawcą
Spotkanie inicjujące badanie:
Ustalenie szczegółowych zasad współpracy (w tym częstotliwość spotkań)
Szczegółowe omówienie koncepcji badania Uwagi i pytania do treści oferty będącej podstawą raportu
metodologicznego (dyskusja nad słabościami oferty)
Wymagania dot. raportu metodologicznego Dostępność danych oraz namiary na uczestników badania Ustalenie treści pisma wprowadzającego Podpisanie umowy na realizację badania
![Page 5: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/5.jpg)
Współpraca z Wykonawcą
Spotkania w trakcie realizacji badania:
Spotkania wcześniej zaplanowane (najlepiej dostosowane do etapów prac badawczych) oraz spotkanie ad hoc (w razie konieczności)
Możliwość kontroli nad przebiegiem badania
Identyfikacja barier w realizacji badania
Ewentualne modyfikacje koncepcji badania (np. w przypadku obiektywnych trudności w uzyskaniu danych; weryfikacja i zmiana wymagań odnośnie zakresu wyników badania, w tym modyfikacja prób, grup respondentów, narzędzi)
![Page 6: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/6.jpg)
Współpraca z Wykonawcą
Prezentacja raportu metodologicznego:
Ok. 2-3 tygodnie od dnia podpisania umowy
Prezentacja projektu raportu na forum Grupy sterującej (uwagi, dyskusja - zlecający pełni rolę moderatora)
Raport wcześniej rozesłany do członków Grupy sterującej
Rola zlecającego/jednostki ewaluacyjnej: weryfikacja zasadności uwag zgłaszanych przez zainteresowane strony/członków grupy sterującej
![Page 7: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/7.jpg)
Raport metodologiczny
Układ raportu metodologicznego:1. opis obszaru badawczego2. metodologia badania (metody, narzędzie)3. plan organizacji pracy badawczej
ocena raportu metodologicznego analogiczna jak w przypadku oceny ofert (raport metod. stanowi uszczegółowienie oferty)
poprawna weryfikacja raportu metodologicznego pod kątem celów badania i dostępności danych determinuje przebieg całego procesu badawczego
![Page 8: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/8.jpg)
Raporty cząstkowe
w przypadku badań dużych, etapowych lub gdy części składowe badania stanowią odrębne całości (np. analiza ilościowa/diagnoza stanu)
możliwość większej kontroli nad przebiegiem badania
możliwość ukierunkowania badania w trakcie realizacji
uzależnienie płatności od postępów badania (czynnik motywacyjny)
![Page 9: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/9.jpg)
Raport końcowy
Oczekiwania odnośnie raportu końcowego i prezentacji wyników (wskazane w SOPZ):
Struktura raportu końcowego:
streszczenie raportu (w języku polskim i angielskim), spis treści, wprowadzenie, opis zastosowanej metodologii oraz źródła informacji
wykorzystywanych w badaniu, opis wyników ewaluacji, wnioski i rekomendacje, aneksy
![Page 10: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/10.jpg)
Raport końcowy
Oczekiwania odnośnie raportu końcowego i prezentacji wyników:
określenie terminu prezentacji (np. na forum Grupy Sterującej),
w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji
![Page 11: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/11.jpg)
Raport końcowy
Oczekiwania odnośnie raportu końcowego i prezentacji wyników:
określenie terminu prezentacji (np. na forum Grupy Sterującej),
w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji.
![Page 12: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/12.jpg)
Raport końcowy
Forma raportu:
Raport ewaluacyjny powinien zawierać krótkie (10 stronicowe) podsumowanie przebiegu badania, w tym głównych obserwacji, wniosków i rekomendacji (tzw. executive summary). Ten dokument będzie podstawą rozpowszechniania wyników ewaluacji.
Raport wraz ze streszczeniem powinien być napisany zwięzłym i przejrzystym językiem; liczyć ok. 100 stron (dodatkowo w aneksach przedstawić można przeanalizowane studia przypadków czy przeprowadzone analizy ilościowe).
Wnioski i rekomendacje mogą być powtórzone w formie listy na wstępie raportu (po executive summary). Powinny jednak mieć jasne uzasadnienie w tekście – przy każdym z nich powinno się znaleźć odesłanie do szczegółowej części raportu.
![Page 13: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/13.jpg)
Raport końcowy
Forma raportu:
Wskazane jest by, każdy z rozdziałów miał krótkie podsumowanie.
Rekomendacje powinny być jasne i praktyczne, najlepiej pogrupowane tematycznie Jeśli to możliwe dobrze jest podać rekomendacje wiodące (np. 10 rekomendacji) i do każdej z nich szczegółowe zalecenia o bardziej operacyjnym charakterze.
Rekomendacje powinny mieć załączoną skalę czasową (czy są to działania pilne, czy możliwe do wprowadzenia w średnim okresie), a także określać/sugerować, do kogo należeć powinno w pierwszej kolejności ich wdrażanie.
![Page 14: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/14.jpg)
Raport końcowy
Forma raportu:
Jeśli grupa odbiorców raportu jest duża i zróżnicowana warto pomyśleć o przewodniku dla czytających (krótkie sugestie, które części raportu będą dla danego czytającego – np. KE, beneficjenta, samorządu – najbardziej użyteczne).
Krótkie komentarze na marginesie – prezentujące sedno danego akapitu czy części raportu bardzo ułatwiają szybkie czytanie i znajdowanie interesujących dla czytelnika informacji.
Przejrzystość i przystępność tekstu zwiększają tabele, schematy i zestawienia zamieszczone w ramkach studia przypadku (case studies).
W aneksach do raportu powinny znaleźć się: wykorzystane dane statystyczne, załączniki z formularzami użytych ankiet, listy konsultowanych osób i wykorzystane źródła. Do raportu (w oddzielnym aneksie) można również dołączyć tekst SOPZ.
![Page 15: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/15.jpg)
Ocena raportu końcowego(elementy oceny)
Spełnione oczekiwania: Czy ewaluacja rozstrzyga wszystkie zagadnienia ewaluacyjne i czy odpowiada wymaganiom sprecyzowanym w SOPZ?
Właściwy zakres: Czy trafność programu, jego produkty, rezultaty, oddziaływania, interakcje z innymi politykami i nieoczekiwane efekty zostały objęte analizą?
Odpowiedni projekt: Czy wybrane podejście badawcze i użyte
narzędzia były adekwatne w stosunku do postawionych pytań (uwzględniając istniejące ograniczenia metodologiczne)?
Poprawność doboru danych: Czy użyte dane pierwotne i wtórne były odpowiednie do przedmiotu analizy? Czy są wystarczająco wiarygodne?
![Page 16: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/16.jpg)
Ocena raportu końcowego
• Solidna analiza: Czy informacje jakościowe i ilościowe były poprawnie analizowane, zgodnie z bieżącą metodologiczną wiedzą i standardami? Czy były kompletne i wystarczające by odpowiedzieć na zadane pytania?
• Wiarygodne wyniki: Czy wyniki badania są logiczne, wypływają z przeprowadzonej analizy i mają oparcie w zebranych danych oraz ich interpretacji opartej na sformułowanych hipotezach wyjaśniających?
• Ważne konkluzje: Czy raport dostarcza jasnych konkluzji? Czy są one poparte wiarygodnymi dowodami?
![Page 17: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/17.jpg)
Ocena raportu końcowego
Bezstronne i użyteczne rekomendacje: Czy rekomendacje są uczciwe, niezniekształcone przez osobiste uprzedzenia zlecającego? Czy są wystarczająco szczegółowe by móc je wdrożyć?
Przejrzystość raportu: Czy raport opisuje kontekst, cele, organizację i rezultaty analizowanego programu w taki sposób, że przedstawiane informacje są przystępne?
![Page 18: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/18.jpg)
Najczęstsze błędy w raportach ewaluacyjnych
raport zbyt obszerny opisujący wszystko co się wydarzyło
wyciąganie nieuprawnionych wniosków, nie mających uzasadnienia w ustaleniach
zalewanie danymi, z których tylko część poddana jest analizie
formułowanie mało użytecznych rekomendacji
pobieżność analiz
ograniczona wiedza o szerszym kontekście ewaluowanej interwencji (innych podobnych przedsięwzięciach i ich ewaluacjach)
![Page 19: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/19.jpg)
Najczęstsze błędy w raportach ewaluacyjnych
brak interpretacji, wniosków, komentarzy
zbędna koncentracja na szczegółach bez ogólnego obrazu wyników
schematyzm i rutyna w doborze metod badawczych
wykorzystywanie informacji bez podawania jej źródeł
chaotyczna struktura raportu, streszczenie napisane w pośpiechu
używanie żargonu badawczego (skrótów językowych)
![Page 20: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/20.jpg)
Kanały komunikacyjne raportów ewaluacyjnych
Kanały Komunikacji
Spotkanie połączone
z dyskusją
Skrócony
raport
Publikacja
Prezentacja
Broszury, artykuły
Konferenc
ja praso
wa
Odbiorcy
Zarządzający i wdrażający program
Instytucje europejskie, regionalne, krajowe
Obywatele, Prasa
![Page 21: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/21.jpg)
Zarządzanie rekomendacjami
Wnioski i rekomendacje powinny być:
jasne / konkretne realistyczne, pragmatyczne (z podanym horyzontem
wdrożenia) aktualne bezstronne, obiektywne skierowane do konkretnych adresatów uzasadnione – wynikające z faktów i oparte na wynikach
badań, na wiarygodnych danych, szczegółowej wielowymiarowej analizie i trafnej ocenie
kluczowym wnioskom odpowiadają konkretne rekomendacje
![Page 22: Zarządzanie badaniem ewaluacyjnym](https://reader035.vdocuments.pub/reader035/viewer/2022062517/56813623550346895d9d9909/html5/thumbnails/22.jpg)
Zarządzanie rekomendacjami
o zakresie i sposobie wykorzystania rekomendacji decyduje w zakresie swoich kompetencji Instytucja Zarządzająca/Pośrednicząca,
rolą Jednostki Ewaluacyjnej we współpracy z Grupą sterującą jest analiza i operacjonalizacja zaproponowanych przez ewaluatora rekomendacji,
umowa z wykonawcą może zakładać doradztwo ewaluatora w zakresie sposobu wdrażania rekomendacji,
Instytucja Zarządzająca/Pośrednicząca monitoruje proces wdrażania rekomendacji sformułowanych w wyniku przeprowadzonych ewaluacji (Informacja roczna w zakresie ewaluacji)