1

Opracowanie zakresu badania ewaluacyjnego

(SOPZ)

Krzysztof GuzekElżbieta Opałka

Krajowa Jednostka OcenyDepartament Koordynacji Polityki Strukturalnej

Ministerstwo Rozwoju Regionalnego

2

Podstawowe kroki, jakie należy podjąć w celu opracowania zakresu badania =

SOPZ (Szczegółowy Opis Przedmiotu Zamówienia) / TOR

1) Podjęcie decyzji o realizacji ewaluacji2) Zdefiniowanie celów badania 3) Określenie grupy odbiorców ewaluacji4) Ustalenie zakresu realizacji badania (przedmiotowego, czasowego i

terytorialnego)5) Określenie sposobu realizacji badania, w tym sformułowanie pytań

badawczych w kontekście postawionych celów szczegółowych i kryteriów ewaluacyjnych

6) Wybór metodologii badania7) Sformułowanie wymagań odnośnie prezentacji wyników badania8) Zaplanowanie harmonogramu realizacji badania

3

Podjęcie decyzji o realizacji badania/uzasadnienie

Należy odpowiedzieć sobie na pytania:• dlaczego zamierzamy zrealizować badanie (do czego jest potrzebne:

decyzja systemowa –plan ewaluacji lub decyzja ad-hoc -badanie operacyjne)

• kto będzie odbiorcą wyników ewaluacji – (zagrożenie: Kawał dobrze wykonanej nikomu niepotrzebnej roboty...)

Kwestie te precyzujemy w uzasadnieniu stanowiącym pierwszy element opisu przedmiotu zamówienia.

• Jeżeli ewaluacja przeprowadza jest na potrzeby jakiegoś departamentu lub wydziału uzasadnienie tworzymy wspólnie

Uzasadnienie – wartość informacyjna w konsultacjach wewnętrznych przygotowywanego zakresu jest nie do przecenienia!!!

4

Określenie odbiorców wyników ewaluacji

Kim będą odbiorcy ewaluacji? (np. zamawiający, instytucje zaangażowane w realizację projektu lub programu, bezpośredni beneficjenci pomocy, inne podmioty, np. partnerzy społeczni, Komisja Europejska)

Czy proces prezentacji wyników badania będzie

dostosowany do różnych grup odbiorców? (odpowiednie zaadresowanie rekomendacji, różne formy prezentacji wyników badania: wykorzystanie odpowiednich kanałów komunikacji)

5

Określenie celu głównego oraz ewentualnie celów szczegółowych

• Cel główny badania powinien być jasny i konkretny

• Określenie celu głównego i (jeżeli uznamy to za wskazane ) celów szczegółowych jest bardzo ważne bo wszystkie prace analityczne będą prowadzone właśnie w tym kontekście.

• Cele szczegółowe strukturyzują badanie - zalecane jest by pytania badawcze i sposób realizacji odnosiły się do danych celów

6

Przykład: „Wpływ polityki spójności na stan zróżnicowań i rozwój polskich regionów”.

Celem badania jest: Określenie skali wpływu całości interwencji finansowanej z

funduszy unijnych w okresie 2004 -2006 na konwergencję polskich regionów na tle innych zachodzących równolegle procesów gospodarczych i społecznych.

Cele szczegółowe: • Określenie udziału interwencji funduszy unijnych w

całości zachodzących pozytywnych procesów gospodarczo-społecznych i niwelowaniu procesów negatywnych.

• Określenie czy realizowane w ramach funduszy unijnych przedsięwzięcia wpływają na wyrównywanie poziomu społeczno-gospodarczego kraju, czy pogłębiają zróżnicowania regionalne i wewnątrzregionalne.

7

Zakres realizacji badania Zakres możemy określić w co najmniej trzech aspektach:

przedmiotowym, terytorialnym i czasowym.

• zakres przedmiotowy będzie obejmował konkretne dane (np. dane statystyczne monitoringowe, bazy projektów itp.), dokumenty systemowe, rodzaje interwencji, określenie cech próby, struktury administracyjne (zależnie od charakteru badania)

• zakres terytorialny może obejmować cały obszar oddziaływania interwencji lub możemy go zawęzić do mniejszego terytorium np. województwa lub subregionu

• zakres czasowy wskazuje jaki okres chcemy objąć naszym badaniem (w przypadku porównań wyznaczamy okres bazowy – najczęściej jest to czas sprzed akcesji, np. 2003 rok lub kilka lat).

8

określenie kryteriów ewaluacyjnych • kryteria często niesłusznie traktowane są „po macoszemu” a

uwaga zamawiającego i wykonawcy przenoszona jest na pytania badawcze (tymczasem część pytań wypływa z kryteriów!!!)

• biorąc pod uwagę cel badania i nasuwające się pytania badawcze (UWAGA – te wypływające z celów), jak również moment w którym badanie realizujemy, powinniśmy określić podstawowe kryteria jakimi posłuży się ewaluator w trakcie przeprowadzania ewaluacji

Kryteria: trafność, skuteczność, efektywność, użyteczność, trwałość

• W załączeniu „Drzewo pytań ewaluacyjnych”

9

Sformułowanie pytań badawczych• szczegółowe pytania badawcze - powinny

doprecyzowywać cele badania i być zgodne z kryteriami ewaluacyjnymi

• W badaniu nie powinno być pytań które spełniają inne kryterium/a niż te określone i które nie realizują żadnego z celów badania

• Uwaga - zbyt duża ilość pytań badawczych nie jest wskazana!!!

• Konsultujmy pytania badawcze wewnątrz organizacji!!!

• Dodatkowe pytania badawcze może tez zaproponować wykonawca jeśli sobie tego zażyczymy lub z własnej inicjatywy

10

Określenie sposobu realizacji badania • sposób realizacji ewaluacji – określamy czego oczekujemy w

trakcie przebiegu badania, założenia przeprowadzenia badania - np. rodzaje zestawień, grupę respondentów objętą badaniem daną techniką, przetworzenia określonych danych w określony sposób i inne oczekiwania

• Uwaga -pytania badawcze mogą być włączone w opis sposobu realizacji !!!

• Po co wylistowywujemy pewne kwestie w s.r.b. – pułapka przetargu - chcemy mieć pewność, że zostaną wykonane te konkretnie kroki i sporządzane minimum te zestawienia jakich oczekujemy!!! Jeśli tego byśmy nie zrobili „skazujemy się” wyłącznie na inwencje wykonawcy

• Właściwy układ – to co my chcemy „jako minimum”+ inwencja wykonawcy

11

metodologia• przy określaniu metodologii możemy zastosować dwa

podejścia:

– albo szczegółowo określić metodologię badania,

– albo pozostawić sprecyzowanie metodologii badania wykonawcy i ograniczyć się jedynie do pewnych sugestii w tym zakresie.

• W badaniach opartych na konkursie bardziej właściwe wydaje się to drugie podejście - ocenie merytorycznej powinna podlegać zaproponowana przez zespół badawczy metodologia – im lepsza tym lepiej - tym wykonawcy konkurują oprócz ceny

• Są też warianty mieszane (przykład „demarkacja”)

• Wskazujemy też źródła danych

12

Metodologia – źródła danych przykład „konwergencja”

Badanie ma opierać się przede wszystkim na analizie danych dostępnych, jednak nie wyklucza się zebrania dodatkowych danych w trakcie realizacji badania.

Dane wtórne• Podstawowymi danymi dla realizacji badania są dane statystyki państwowej oraz

dane monitoringu FS, sprawozdań itp. posiadane przez IZ.• Niektóre aspekty istotne z punktu widzenia badania zostały w ostatnim czasie

szczegółowo zbadane w ramach osobnych badan ewaluacyjnych (wpływ na zatrudnienie, na rozwój podregionów) i ich wyniki mogą być wykorzystane w badaniu.

• Do celów realizacji badania ewaluatorowi zostanie udostępniona przez MRR baza projektów finansowanych z funduszy strukturalnych UE. Zestawienia ilościowe odnoszące się do FS powinny zostać opracowane w oparciu o ten materiał. Zespół badawczy w przedstawionej ofercie powinien zaproponować dodatkowe zestawienia ilościowe istotne w kontekście celu badania.

• Analiza dokumentów strategicznych (PWW/NPR, programy operacyjne, itp.)• Ewaluator powinien sprecyzować jakie dodatkowe dane, dokumenty zamierza

wykorzystać w trakcie realizacji badania.Dane pierwotne• Ewaluator może zebrać informacje od osób zaangażowanych we wdrażanie

interwencji (na poziomie gmin, powiatów, województw).

13

Metodologia - zbieranie danych pierwotnych

Polecany zapis:W przypadku zbierania danych pierwotnych wykonawca będzie

również zobowiązany do udokumentowania realizacji zaproponowanych w ofercie i raporcie metodologicznym narzędzi badawczych (transkrypcje wywiadów, wypełnione ankiety i inne narzędzia mają być przekazane Zamawiającemu)[1].

[1] Z zachowaniem zasady poufności informacji i ochrony anonimowości respondentów.

Problem dyskusyjny – kto bierze odpowiedzialność za dobór nieskutecznych metod (pułapka przetargu/sposób realizacji)

14

harmonogram realizacji badaniaPowinien być sprecyzowany choćby w ogólnych ramach– kroki milowe:• podpisanie umowy • wstępny raport metodologiczny• raport metodologiczny• wstępny raport końcowy• raport końcowy

Uwaga - Wykonawca może zaproponować krótszy czas realizacji badania (ale zwyczaj się tak nie dzieje....) a harmonogram powinien szczegółowo rozpisać z uwzględnieniem elementów przewidywanych w ofercie.

Wskazane jest także uwzględnienie spotkań konsultacyjnych ze zlecającym.

15

Przykładowy harmonogram (1)Wykonawca zobowiązany jest do stałej roboczej współpracy z

Zamawiającym. Realizacja badania będzie przebiegać zgodnie z następującym harmonogramem:

1. w terminie do 2 tygodni od dnia podpisania umowy – przygotowanie projektu raportu metodologicznego – raport przekazany zostanie Zamawiającemu w formie elektronicznej

i drukowanej (2 egzemplarze)– przedstawienie raportu w formie prezentacji multimedialnej i dokonanie

uzgodnień z Zamawiającym,

2. w terminie do 3 tygodni od dnia podpisania umowy – przygotowanie raportu metodologicznego – raport przekazany zostanie Zamawiającemu w formie elektronicznej

i drukowanej (2 egzemplarze)– na żądanie Zamawiającego przedstawienie raportu w formie prezentacji

multimedialnej.

16

Przykładowy harmonogram (2)Wykonawca będzie zobowiązany do zaprezentowania wyników

badania (projekt raportu końcowego oraz ostateczny raport końcowy) audytorium wskazanemu przez Zamawiającego. Termin oraz miejsce ewentualnych prezentacji zostaną uzgodnione z Zamawiającym.

3. w terminie do 15 tygodni od dnia podpisania umowy – przedstawienie projektu raportu końcowego[1]oraz broszury – projekt raportu oraz broszury mają być przekazane

Zamawiającemu w formie elektronicznej i drukowanej (5 egzemplarzy)

– na żądanie Zamawiającego Wykonawca zobowiązany jest do przedstawienia projektu raportu w formie prezentacji multimedialnej. Prezentacja zostanie wyznaczona w terminie do 2 tygodni od dnia przekazania projektu raportu Zamawiającemu.

– do 3 tygodni od dnia przekazania projektu raportu Zamawiający przekaże Wykonawcy uwagi do projektu raportu końcowego.

•[1] Projekt raportu powinien spełniać wszystkie wymagania dotyczące realizacji zamówienia. Zleceniodawca zastrzega, że opracowania częściowe, niedokończone lub niezredagowane nie będą przyjmowane i traktowane jako projekt raportu końcowego.

17

Przykładowy harmonogram (3)4. w terminie do 20 tygodni od dnia podpisania umowy –

przedstawienie ostatecznej wersji raportu końcowego oraz broszury– raport oraz broszura zostaną przekazane Zamawiającemu w

formie elektronicznej i drukowanej (5 egzemplarzy)– na żądanie Zamawiającego przedstawienie raportu w formie

prezentacji multimedialnej Prezentacja zostanie wyznaczona w terminie do 2 tygodni od dnia przekazania raportu Zamawiającemu. Zamawiający zastrzega sobie prawo do wniesienia uwag do ostatecznej wersji raportu po prezentacji multimedialnej.

Całość prac zostanie zamknięta w terminie nie dłuższym od 23 tygodnie od dnia podpisania umowy.

Ponadto, wykonawca powinien przedstawić w ofercie przewidywany harmonogram spotkań konsultacyjnych ze zlecającym oraz z ewentualnymi (objętymi badaniem) instytucjami centralnym i samorządowymi.

18

Sposób prezentacji danych

Precyzujemy jakiego rodzaju prezentacji danych, struktury i szaty graficznej raportu końcowego oczekujemy

• Struktura raportu• Streszczenie – to nie to samo co wnioski i

rekomendacje!!!• Broszura – nowy pomysł• Prezentacje – forma i czas audytorium

19

Struktura raportu - przykładWykonawca powinien wykazać się inwencja w sposobnie prezentacji

opracowania. Wstępna propozycja powinna być zawarta w ofercie – wszelkie uzupełnienia graficzne analiz powiększające przejrzystość (tabele, wykresy, grafy, mapy itp.) będą premiowane. Przejrzystość i pomysłowość prezentacji raportu końcowego i rekomendacji będzie ważnym czynnikiem wyboru oferty.

Wykonawca dostarczy raport w wersji elektronicznej (CD-ROM) oraz papierowej. Raport ma być opracowany w języku polskim i mieć następującą strukturę:

• (1) streszczenie raportu[1] – max. 5 stron A4 w wersji polskiej i angielskiej;• (2) spis treści;• (3) wprowadzenie;• (4) opis wyników ewaluacji;• (5) wnioski i rekomendacje,• (6) aneksy przedstawiające zestawienia i analizę danych oraz opis

zastosowanej metodologii i źródła informacji wykorzystywanych w badaniu.

[1] Streszczenie nie jest tożsame wnioskom i rekomendacjom.

20

Broszura – nowy pomysł na komunikację

Wykonawca zobowiązany jest ponadto do przedstawienia 4-stronnicowej broszury, napisanej w przystępnym, zrozumiałym języku. Broszura ta ma zawierać krótki opis badania i najważniejsze wyniki i rekomendacje płynące z raportu. Stanowić ma ona zachętę do lektury całego dokumentu. Broszura ma zawierać również wykresy, mapy, ewentualnie zdjęcia i być opracowana graficznie w formie umożliwiającej jej publikację bez dodatkowych korekt.

21

Powierzamy wykonanie - Jak osiągnąć SUKCES jako zlecający?

W całości procesu przygotowywania i realizacji badania ograniczamy czynniki ryzyka.

• Przygotowanie:– Dobry SOPZ (nie gwarantuje sukcesu badania ale zwiększa

szanse powodzenia jego realizacji – jego zapisy są kluczowe we wszelkich sporach)

– Świadomy wybór - przemyślane kryteria wyboru oferty i kompetentna komisja

• Realizacja– Pierwsze spotkanie – otwarta rozmowa o słabościach oferty– Konsultacje raportu metodologicznego– Spotkania robocze z wykonawcą – kamienie milowe badania– Konsultacje raportu końcowego

22

Dobry SOPZ – co to znaczy?

• Jasny i logiczny – naczelna zasada - jak Ty wiesz czego chcesz to jest to połowa sukcesu…

• Skonsultowany ze stroną merytoryczną (odbiorcy badania lub eksperci zewnętrzni)

• Wypływający z prawdziwych, świadomych potrzeb

Eksperci zewnętrzni nie są niezbędni, ale w niektórych przypadkach mogą być wykorzystywani do konsultowania zakresu i konsultacjach ofert.

POWODZENIA!!!

23

Dwie grupy warsztatowe

• GRUPA I Analiza przyczyn braku aktywności i lub niskiej aktywności niektórych samorządów gminnych w sięganiu po wsparcie z funduszy unijnych

• GRUPA II Ocena wsparcia z funduszy unijnych w zakresie modernizacji i rozbudowy infrastruktury społecznej w kontekście realizacji celów rozwojowych regionów

24

Dziękujemy za uwagę

krzysztof.guzek@mrr.gov.pl

elzbieta.opalka@mrr.gov.pl