ewaluacja programów i przedsięwzięć społecznych. katalog

Regionalny Orodek Polityki Spoecznejw Krakowie

EWALUACJA PROGRAMW

I PRZEDSIWZI SPOECZNYCH

KATALOG DOBRYCH PRAKTYK

PUBLIKACJA JEST DYSTRYBUOWANA BEZPATNIE

ISBN 978-83-60242-61-2

EWALUACJA PROGRAMW

I PRZEDSIWZI SPOECZNYCH

KATALOG DOBRYCH PRAKTYK

KRAKW 2012

Publikacja powstaa na zlecenie Regionalnego Orodka Polityki Spoecznej w Krakowie w ramach projektu Maopolskie Obserwatorium Polityki Spoecznej - Etap I.

Wydawca:Regionalny Orodek Polityki Spoecznej w Krakowieul. Piastowska 3230-070 Krakwwww.rops.krakow.pl

Opracowanie:Monika Bartosiewicz-Nizioek

Redakcja:Magorzata SzlzakAnna Kiedrowska

Layout okadki i opracowanie graficzne publikacji:Micha Rytter

Druk publikacji:Rytter Investment Zbigniew Rytterul. Przemysowa 2009-400 Pock

ISBN 978-83-60242-61-2

Nakad: 500 egz.

Publikacja dostpna jest take w wersji elektronicznej pod adresem:www.politykaspoleczna.obserwatoria.malopolska.pl

Kopiowanie i rozpowszechnianie moe by dokonane z podaniem rda.Publikacja jest dystrybuowana bezpatnie.

Publikacja wspfinansowana przez Uni Europejsk w ramach Europejskiego Funduszu Spoecznego

Szanowni Pastwo

Temat ewaluacji pozostaje jednym z kluczowych zagadnie w dyskusji na temat odpowiedzialnej realizacji przedsiwzi majcych na celu tworzenie spjnego spoeczestwa. Ewaluacja wspo-maga nasze procesy decyzyjne, bdc tym samym niezbdnym narzdziem planowania strate-gicznego. Jednoczenie realizacja bada ewaluacyjnych w systemie pomocy i integracji spoecz-nej moe nadal stanowi swoiste wyzwanie.

Planujc utworzenie niniejszego katalogu dobrych praktyk, ktry dzi Pastwu przekazujemy, jako cel gwny wyznaczylimy sobie ukazanie, i podejmowanie tego wyzwania w postaci pro-wadzenia ewaluacji wasnych dziaa jest potrzebne, i co najwaniejsze, moliwe do realizacji. Tegoroczna publikacja jest logiczn kontynuacj rozpocztych w 2010 roku prac. Zainicjowalimy je badaniem, dziki ktremu, midzy innymi, udao si zdiagnozowa stan wiedzy na temat ewa-luacji, skal realizacji bada ewaluacyjnych, a take pozna opinie maopolskich kadr pomocy i integracji spoecznej na temat jakoci i przydatnoci przedsiwzi ewaluacyjnych. Wnioski wy-cignite z badania stay si przyczynkiem do opracowania podrcznika, ktry zawiera wska-zwki dla wszystkich zainteresowanych prowadzeniem ewaluacji w pomocy spoecznej. W lad za wydanym podrcznikiem zaprosilimy Pastwa do udziau w szkoleniach oraz w konferencji powiconych temu zagadnieniu. Pastwa ywe zainteresowanie zorganizowanymi wydarzenia-mi umocnio nas w przekonaniu, i obralimy suszn drog, decydujc si na systematyczne dzielenie si z Pastwem wiedz i przykadami z dziedziny ewaluacji.

Dzi, z wielk przyjemnoci, oddaj w Pastwa rce kolejn publikacj, majc na celu przybli-y t tematyk. Mam nadziej, e przedstawione dobre praktyki, zainspiruj Pastwa do wpro-wadzenia ewaluacji jako integralnej czci realizowanych przedsiwzi.

Zachcam Pastwa do lektury!

Wioletta WilimskaDyrektor Regionalnego Orodka Polityki Spoecznej w Krakowie

SPIS TRECIWprowadzenie

Ministerstwo Administracji i Cyfryzacji Ewaluacja Programu na rzecz spoecznoci romskiej w Polsce

Fundacja Rozwoju Spoeczestwa Informacyjnego Ewaluacja Programu Rozwoju Bibliotek

Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych Ewaluacja projektw budujcych potencja organizacji wspierajcych osoby niepenosprawne poszukujce pracy

Fundacja Rozwoju Demokracji Lokalnej Orodek Samorzdu Lokalnego w Olsztynie Ewaluacja klubw integracji spoecznej wojewdztwa warmisko-mazurskiego

Powiatowe Centrum Pomocy Rodzinie w Gorlicach Ewaluacja projektu systemowego Aktywno i integracja szans na lepsze jutro

Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych Ewaluacja kampanii informacyjno-promocyjnych przeamujcych negatywne stereotypy osb niepenosprawnych

Urzd Marszakowski Wojewdztwa Warmisko-Mazurskiego w Olsztynie Ewaluacja potencjau instytucji realizujcych zadania polityki spoecznej w wojewdztwie warmisko-mazurskim

Podsumowanie

PRZyKAD 1

7

PRZyKAD 2

17

PRZyKAD 3

25

PRZyKAD 4

33

PRZyKAD 5

41

PRZyKAD 6

47

PRZyKAD 7

55

63

6

WYKAZ UYWANYCH SKRTW

CATI wywiady telefoniczne wspomagane komputerowo, jedna z technik bada ilociowych (ang. Computer-Assisted Telephone Interview)

CAWI ankieta internetowa (ang. Computer-Assisted Web Interview)

EFS Europejski Fundusz Spoeczny

FGI zogniskowane wywiady grupowe (ang. Focus Group Interview)

IDI pogbione wywiady indywidualne (ang. In-depth Individual Interview)

IP Instytucja Poredniczca

IW Instytucja Wdraajca

JST jednostka samorzdu terytorialnego

KIS klub/y integracji spoecznej

MAC Ministerstwo Administracji i Cyfryzacji (dawne MSWiA Ministerstwo Spraw Wewntrznych i Administracji)

MPiPS Ministerstwo Pracy i Polityki Spoecznej

MRR Ministerstwo Rozwoju Regionalnego

NGO organizacje pozarzdowe (ang. Non-governmental Organization)

OPS orodek/ki pomocy spoecznej

ONZ Organizacja Narodw Zjednoczonych

PAPI ankieta papierowa (ang. Paper and Pencil Interview)

PCPR powiatowe centrum/a pomocy rodzinie

PFRON Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych

PO KL Program Operacyjny Kapita Ludzki

PUP powiatowy/e urzd/y pracy

RGSE PO KL Regionalna Grupa Sterujca Ewaluacj PO KL

ROPS regionalny orodek polityki spoecznej

SPO RZL Sektorowy Program Operacyjny Rozwj Zasobw Ludzkich (wdraany w poprzednim okresie programowania tj. w latach 2004-2006)

UE Unia Europejska

UM Urzd Marszakowski

5

WPROWADZENIEJak odnale mdro zagubion pord wiedzy?

Jak odnale wiedz zagubion pord informacji?

T.S. Eliot

Serdecznie dzikujemy przedstawicielom podmiotw zamawiajcych oraz wykonawcw prezentowanych w katalogu ewaluacji, ktrzy udzielili nam szczegowych informacji

umoliwiajcych jego opracowanie. ywimy nadziej, e opisane przykady i zwizane z nimi dowiadczenia przyczyni si do zwikszenia wiedzy o ewaluacji i upowszechnienia praktyk

ewaluacyjnych w obszarze polityki spoecznej.

W niniejszym katalogu dobrych praktyk zostao zaprezentowanych siedem ewaluacji przeprowa-dzonych w obszarze polityki spoecznej. Gwnym celem tej inicjatywy byo przedstawienie przy-kadw, ktrych rne aspekty mona poleci osobom planujcym, zlecajcym oraz realizujcym ewaluacje. W doborze opisanych przypadkw kierowano si rnymi kryteriami. Szczeglnie istotne byo dostosowanie ewaluacji do potrzeb zamawiajcego, trafno metodologiczna, ja-ko wypracowanej koncepcji, przeprowadzonego badania oraz opracowanego raportu, uytecz-no rekomendacji, efekty ich wdroenia, a take jako wsppracy pomidzy zamawiajcym a wykonawc.

Wybierajc dobre praktyki staralimy si take uwzgldni ich rnorodno, dlatego przedsta-wione w katalogu przykady ilustruj zarwno ewaluacje wewntrzne, jak i zewntrzne, biece (on-going), okresowe (mid-term) i kocowe (ex-post). Wrd zamawiajcych ewaluacje znajdu-j si jednostki sektora finansw publicznych oraz przedstawiciele trzeciego sektora, natomiast wrd wykonawcw firmy badawcze i konsultingowe, organizacje pozarzdowe, a take nieza-leny ewaluator. Prezentowane przykady ewaluacji rnicuje take przedmiot oraz zakres bada obejmuj one zarwno projekty i programy lokalne, jak i oglnopolskie, od kilkunastomiesicz-nych po wieloletnie przedsiwzicia. Stopniowi ich zoonoci i zasigu odpowiadaj: skala ba-da ewaluacyjnych, prowadzonych na poziomie lokalnym, regionalnym lub krajowym, czas trwa-nia od kilku miesicy do kilku lat, a take budety, liczce od kilku do kilkuset tysicy zotych.

Opis zamieszczonych w katalogu przykadw opiera si przede wszystkim na informacjach po-chodzcych z raportw ewaluacyjnych, a take innych rde, takich jak dokumentacja przetargo-wa. Naley jednak podkreli, e znaczc rol w gromadzeniu tych informacji odegray wywiady z przedstawicielami zamawiajcych oraz wykonawcw ewaluacji. Bez ich cennych wskazwek oraz wnioskw bazujcych na konkretnych dowiadczeniach, niniejsze opracowanie byoby znacznie ubosze.

6

7

Ministerstwo Administracji i Cyfryzacji

Program na rzecz spoecznoci romskiej w Polsce

Podmiot realizujcy przedsiwicie: Ministerstwo Administracji i Cyfryzacji (wczeniej - Ministerstwo Spraw Wewntrznych i Administracji) Odbiorcy Programu: spoeczno romska

Termin realizacji: lata 2004-2013

Obszar realizacji: teren caej Polski

Kluczowe informacje: Program stanowi element polityki rwnoci szans i suy gwnie wyrwnywaniu dysproporcji pomidzy grup mniejszociow a wikszociow etnicznie w spoeczestwie polskim. Zasadniczym celem Programu jest doprowadzenie do penego uczestnictwa Romw w yciu spoeczestwa obywatelskiego i zniwelowanie rnic dzielcych t grup od reszty spoeczestwa.

W ramach Programu wspieranych jest osiem dziedzin: edukacja, rynek pracy, zdrowie, sytuacja bytowa, bezpieczestwo ludnoci romskiej i przeciwdziaanie przestpstwom popenianym na tle etnicznym, edukacja obywatelska, kultura i zachowanie romskiej tosamoci etnicznej, a take wiedza o spoecznoci romskiej wrd spoecznoci polskiej.

W realizacji Programu uczestnicz, poza instytucjami rzdowymi: przedstawiciele spoecznoci romskiej, JST (podstawowymi jednostkami, na ktrych opiera si Program, s gminy) oraz organizacje pozarzdowe, ktrym bliskie s problemy spoecznoci romskiej.

rdo: Program na rzecz spoecznoci romskiej w Polsce. Warszawa, sierpie 2003.

PRZY

KA

D 1

Tytu raportu ewaluacyjnego: Raport z badania ewaluacyjnego Programu na rzecz spoecznoci romskiej w Polsce

Termin realizacji ewaluacji: czerwiec-listopad 2011 r.

Data opracowania raportu: grudzie 2011 r.

Rodzaj ewaluacji: okresowa (mid-term)

Zlecajcy: Ministerstwo Spraw Wewntrznych i Administracji (obecnie Ministerstwo Administracji i Cyfryzacji - MAC)

Strona, na ktrej znajduje si raport: www.mac.gov.pl (zakadka Mniejszoci i wyznania/ Mniejszoci narodowe i etniczne w Polsce/Romowie w Polsce)

rdo finansowania: rodki budetowe w ramach dotacji MAC (120 000,00 z)

Zasadno ewaluacji: zalecenie audytu wewntrznego, potrzeba podsumowania przez MAC dziaa pomocowych realizowanych w ramach Programu (sygnalizowana rwnie przez rodowiska romskie oraz organizacje wdraajce projekty na rzecz tej spoecznoci), a take konieczno zaplanowania dalszego ksztatu Programu w kolejnych latach.

Procedura wyonienia wykonawcy: otwarty konkurs ofert (ewaluacja zostaa zrealizo-wana ze rodkw zarezerwowanych w ramach dotacji1 a nie zamwie publicznych).

Komisja oceniajca oferty skadaa si z pracownikw Departamentu Wyzna Religijnych oraz Mniejszoci Narodowych i Etnicznych MAC, specjalisty ds. ewaluacji, a take przedsta-wicieli rodowisk romskich i akademickich. Kryteria wyboru wykonawcy miay charakter for-malny oraz merytoryczny. O wykonanie zamwienia mogy si ubiega podmioty bdce m.in. organizacjami pozarzdowymi lub innymi jednostkami wymienionymi w art. 3 ust. 3 ustawy o dziaalnoci poytku publicznego i o wolontariacie. Wrd kryteriw merytorycz-nych uwzgldniono m.in. dowiadczenie w prowadzeniu podobnych ewaluacji, kompetencje osb zaangaowanych w realizacj tego zadania, znajomo problematyki romskiej i specyfi-ki Programu, proponowan metodologi badania (w tym opis i sposb doboru prb), a take przedstawione dodatkowe zagadnienia badawcze (wraz z ocen ich zasadnoci i celowoci).

1 Na podstawie art. 13 ust.1 ustawy z dnia 24 kwietnia 2003 r. o dziaalnoci poytku publicznego i o wolontaria-cie (tekst jednolity Dz. U. z 2010 r. Nr 234, poz. 1536 ze zm.)

OPIS EWALUACJI

PODSTAWOWE INFORMACJE

ZARZDZANIE

8

Przedmiot i zakres ewaluacji: Program na rzecz spoecznoci romskiej w Polsce realizowa-ny w latach 2004-2010 z uwzgldnieniem wszystkich omiu dziedzin wsparcia. Badanie ewa-luacyjne zostao przeprowadzone na poziomie krajowym, regionalnym i lokalnym w piciu wojewdztwach zamieszkaych przez najwiksze skupiska ludnoci romskiej (mazowieckim, maopolskim, dzkim, lskim oraz dolnolskim).

Cele ewaluacji: gwnym celem badania ewaluacyjnego bya identyfikacja mocnych i sa-bych stron dziaa podejmowanych w ramach Programu w latach 2004-2010 oraz ocena ich wpywu na podniesienie poziomu integracji spoecznoci romskiej w Polsce.

Szczegowe cele ewaluacji obejmoway:

analiz dotychczasowych efektw Programu z uwzgldnieniem omiu dziedzin wsparcia, ocen sposobu wdraania Programu na poziomie centralnym, regionalnym i lokalnym, diagnoz istniejcych luk w poszczeglnych obszarach wsparcia, wypracowanie rekomendacji do kontynuacji Programu w latach 2014-2023.

Powizanie z innymi badaniami/ewaluacjami: brak bezporedniego powizania2

Kryteria ewaluacyjne:

trafno celw Programu w odniesieniu do problemw i potrzeb spoecznoci romskiej, skuteczno stopie, w jakim prowadzone dziaania s zgodne z zaoeniami Programu i umoliwiaj osignicie jego celw,

uyteczno korzyci odniesione przez realizatorw projektw oraz odbiorcw Programu,

efektywno analiza systemu wdraania Programu, m.in. procedur aplikacyjnych dla podmiotw ubiegajcych si o dotacj.

2 W 2008 r. Wadza Wdraajca Programy Europejskie (realizujca w imieniu Rzdu Rzeczypospolitej Polskiej zada-nia zwizane z zarzdzaniem rodkami m.in. Programu Operacyjnego Kapita Ludzki - Poddziaanie 1.3.1) zlecia realizacj badania pod nazw Ocena zakresu i ukierunkowania Poddziaania 1.3.1 PO KL w kontekcie efektw wczeniejszych dziaa na rzecz spoecznoci romskiej, odnoszcego si do tego obszaru tematycznego.

KONCEPCJAEWALUACJI

9

Fot.

Elb

ieta

Mirg

a-W

jto

wic

z

Wybrane pytania badawcze:

strategiczna rola Programu

Czy i jakiego rodzaju zmiany naley wprowadzi do Programu na rzecz spoecznoci romskiej w Polsce na lata 2014-2023 w stosunku do Programu realizowanego obecnie? Jakiego typu wsparcia oczekuj odbiorcy Programu? Czy i jak zmieni jego dziedziny? Ktre z nich powinny zosta uznane za priorytetowe?

ocena dziaa na rzecz odbiorcw Programu

Jak przedstawiciele spoecznoci romskiej oraz wykonawcy Programu oceniaj dotych-czasowe dziaania podejmowane na rzecz jego odbiorcw? Jakie efekty przynosz dzia-ania realizowane w poszczeglnych dziedzinach Programu?

opinie Romw nt. asystenta edukacji romskiej i nauczyciela wspomagajcego edukacj romsk

Jak przedstawiciele spoecznoci romskiej i pracownicy szk oceniaj wprowadzenie do placwek owiatowych zawodw asystenta edukacji romskiej i nauczyciela wspomaga-jcego edukacj romsk? Jakie efekty przynosi praca tych osb? Jak asystenci edukacji romskiej i nauczyciele wspomagajcy edukacj romsk oceniaj swoj rol w rodowi-sku szkolnym oraz romskim, jakie problemy i przeszkody wskazuj jako najistotniejsze, jakiego rodzaju wsparcia, zmian oczekuj w przyszoci?

poradnictwo prawne, partycypacja spoeczna

W jakim stopniu wsparcie finansowe dla romskich organizacji pozarzdowych oraz po-radnictwo prawne i obywatelskie przyczyniaj si do zwikszenia poziomu wiedzy przed-stawicieli mniejszoci romskiej na temat przysugujcych im praw i obowizkw? Czy i jak zmienia to standard ich ycia?

rynek pracy, kwestie zdrowotne, sytuacja bytowa, kultura romska, zachowanie tosamoci

Jakiego rodzaju instrumenty rynku pracy s najbardziej skuteczne w aktywizacji zawodo-wej Romw (zarwno kobiet, jak i mczyzn)? W jakim stopniu praca pielgniarek ro-dowiskowych i organizacja tzw. biaych dni przyczynia si do zwikszenia wiadomoci zdrowotnej Romw? Czy i w jakim stopniu wsparcie sytuacji bytowej3 rodzin romskich wpywa na zwikszenie integracji obywatelskiej Romw? W jakim stopniu organizacja imprez promujcych kultur romsk oraz prowadzenie dziecicych i modzieowych ze-spow romskich wpywa na poziom tej integracji? Ktre kierunki wsparcia spoecznoci romskiej przynosz efekty, a ktre nie i z jakich przyczyn?

zarzdzanie programem

Jak wykonawcy Programu oceniaj procedur aplikowania o rodki Programu? Jakiego rodzaju problemw dowiadczaj? Jak oceniaj wspprac z instytucjami koordynu-jcymi i nadzorujcymi realizacj Programu (MAC, Ministerstwo Edukacji Narodowej, urzdy wojewdzkie)? Jakie ograniczenia Programu widz urzdnicy odpowiedzialni za jego wdraanie na poziomie regionalnym i jakiego wsparcia oczekuj?

3 Rozumianej jako poprawa warunkw mieszkaniowych (remonty domw i mieszka).10

11

Osoby badane:

administratorzy Programu na rzecz spoecznoci romskiej w Polsce na poziomie central-nym oraz regionalnym w piciu wybranych wojewdztwach (urzdnicy odpowiedzialni za wdraanie Programu w tych wojewdztwach),

wszyscy wykonawcy Programu w latach 2004-2010, ze szczeglnym uwzgldnieniem podmiotw, ktre zrealizoway w jego ramach najwicej projektw,

przedstawiciele spoecznoci romskiej, w tym jej liderzy i liderki oraz osoby biorce udzia w projektach (ich odbiorcy),

eksperci/ekspertki zajmujcy si tematyk romsk oraz osoby zwizane z Zespoem do Spraw Romskich Komisji Wsplnej Rzdu i Mniejszoci Narodowych i Etnicznych,

podmioty wsppracujce na danym obszarze z realizatorami projektw np. orodki po-mocy spoecznej, policja, szkoy, przedszkola, domy kultury.

Wykorzystane metody badawcze:

O charakterze jakociowym:

analiza dokumentacji (m.in. bazy wnioskw o dotacj w ramach Programu, wnioskw z terenu wybranych rodowisk4),

pogbione wywiady indywidualne (IDI) z przedstawicielami MAC, projektodawcami, li-derami romskimi, urzdnikami odpowiedzialnymi za wdraanie Programu na poziomie wojewdzkim,

zogniskowane wywiady grupowe (FGI) z partnerami lokalnymi, panel ekspertw zajmujcych si sytuacj spoecznoci romskiej w Polsce.

O charakterze ilociowym:

ankiety papierowe (PAPI) dla odbiorcw projektw na rzecz spoecznoci romskiej z te-renu piciu wybranych wojewdztw,

ankiety internetowe (CAWI) skierowane do wszystkich realizatorw projektw, a take urzdnikw odpowiedzialnych za wdraanie Programu na poziomie wojewdzkim.

Ponadto przy pomocy informacji pochodzcych z analizy dokumentacji, wywiadw oraz an-kiet opracowano studia przypadkw piciu wybranych rodowisk lokalnych.

Zaoenia ewaluacji zostay wypracowane przez zamawiajcego (przedstawicieli Departamentu Wyzna Religijnych oraz Mniejszoci Narodowych i Etnicznych MAC) we wsppracy np. z osobami reprezentujcymi rodowisko romskie. W opracowaniu koncepcji ewaluacji pomocne byy raporty dotyczce podobnych Programw wdraanych w innych kra-jach europejskich. Wstpne ramy badania zostay uszczegowione przez wykonawc, ktry (we wsppracy z ekspertami pracujcymi w spoecznoci romskiej) wnis dodatkowe za-gadnienia badawcze, kryteria i pytania ewaluacyjne, doprecyzowa kwestie metodologiczne np. dobr prb, a take zaproponowa wykorzystanie studium przypadku w celu przeanali-zowania kilku gmin pod ktem rnych podmiotw wdraajcych dziaania na rzecz spoecz-noci romskiej.

4 Do studium przypadku wybrano 5 miejscowoci: Pabianice, Ochotnic, Zabrze, Wrocaw i Radom.

Ostateczna wersja koncepcji ewaluacji Programu powstaa w wyniku doprecyzowania po-trzeb zamawiajcego, z uwzgldnieniem moliwoci wykonawcy w zakresie dostpnych za-sobw oraz poprawnoci metodologicznej badania.

Sposb opracowania wnioskw i rekomendacji: gwne wnioski oraz towarzyszce im rekomendacje zostay zebrane w formie tabelarycznej, w podziale na trzy obszary te-matyczne: strategiczna rola Programu, efekty jego dziaania oraz zarzdzanie Programem. W tabeli uwzgldniono mocne strony Programu, aspekty problematyczne, proponowane modyfikacje (stan podany) i sposoby ich osignicia, a take adresatw danego zalecenia (wskazanie kto i na jakim poziomie np. centralnym, regionalnym, lokalnym, powinien dan zmian wdroy).

Rozpowszechnienie wynikw: raport zosta zamieszczony na stronie internetowej MAC oraz na stronie www.romowie.info (informacj o jego udostpnieniu przesano do organi-zacji romskich oraz asystentw edukacji romskiej). Wyniki badania zostay zaprezentowane podczas posiedzenia sejmowej Komisji ds. Mniejszoci Narodowych i Etnicznych. Informacje nt. przeprowadzonej ewaluacji zostay te przedstawione na forum Rady Europy oraz ONZ.

Najwaniejsze efekty ewaluacji - w ramach rekomendacji zaproponowano m.in.:

wzmocnienie dziaa na rzecz wypracowywania i dofinansowywania projektw strate-gicznych (nakierowanych na wdroenie trwaych zmian w spoecznoci romskiej) rw-nie w innych ni edukacja5 dziedzinach wspieranych w ramach Programu,

nadanie wikszej wagi przy ocenie wnioskw o dofinansowanie kryterium trwaoci i in-nowacyjnoci, upowszechnienie projektw wdraajcych nowe rozwizania (w formie opisu dobrych praktyk, w ramach spotka dla projektodawcw, itp.),

wczanie Romw w proces planowania i wdraania projektw realizowanych na ich rzecz,

wzmocnienie dobrze dziaajcych organizacji, zwikszenie liczby liderw romskich (szczeglnie wrd modziey) w celu zrnicowania rodowiska reprezentujcego spo-eczno romsk,

wzmocnienie zaangaowania samorzdw w dziaania na rzecz spoecznoci romskiej (np. poprzez wczenie tematyki romskiej do szkole dla samorzdowcw),

wzmocnienie wparcia oferowanego urzdnikom na szczeblu wojewdzkim (np. poprzez zwikszenie liczby spotka, utworzenie internetowego forum wymiany informacji do-tyczcych konkursu grantowego, organizowanie szkole na temat partycypacyjnego planowania, realizacji oraz ewaluowania polityk publicznych dotyczcych integracji spo-ecznoci romskiej),

prowadzenie w ramach Programu dziaa skierowanych do grupy wikszociowej (tj. nie romskiej) np. poprzez ksztacenie pracownikw socjalnych, a take podjcie wsppracy z Ministerstwem Pracy i Polityki Spoecznej (MPiPS), publicznymi subami zatrudnienia, regionalnymi orodkami polityki spoecznej),

5 W obszarze edukacji do takich inicjatyw naleao wdroenie funkcji asystenta edukacji romskiej, a take syste-mu stypendialnego dla uczniw romskich.

WYKORZYSTANIEWYNIKW

EWALUACJI

12

ujednolicenie podejcia gwnych interesariuszy polityki integracyjnej do spoecznoci romskiej MAC, MPiPS, Penomocnika Rzdu do Spraw Rwnego Traktowania, admini-stracji rzdowej szczebla regionalnego, samorzdw lokalnych, a take organizacji poza-rzdowych, szczeglnie romskich.

Raport ewaluacyjny zosta opracowany niecae 2 lata przed zakoczeniem biecej edy-cji Programu6, w zwizku z czym niektre rekomendacje mog zosta wdroone dopiero w kolejnym okresie jego realizacji. W 2013 r. planowane jest objcie systemowym wspar-ciem asystentw edukacji romskiej (w formie szkole), a take zwikszenie udziau Romw w podejmowaniu decyzji dotyczcych dziaa realizowanych na ich rzecz poprzez powoanie w dziesiciu urzdach wojewdzkich komisji oce-niajcych projekty (o wartoci powyej 260 tys. z), w skad ktrych wejd przedstawiciele spoecznoci romskiej. Ponadto planowane jest objcie wspar-ciem urzdnikw odpowiedzialnych za wdraanie Programu w tyche wojewdztwach (czciowo wdroone w 2012 r.).

Obecnie opracowywana jest koncepcja nowej edycji Programu na lata 2014-2023, uwzgldniajca wnio-ski i zalecenia wynikajce z ewaluacji (m.in. z analizy SWOT).

Trudno w literalnym wdroeniu niektrych re-komendacji (np. wczanie spoecznoci romskiej w ocen wnioskw) stanowi specyfika rodowiska romskiego, jego wewntrzne zrnicowanie i skon-fliktowanie.

Wczeniejsze dowiadczenia: instytucja zlecajca po raz pierwszy podja si prowadze-nia ewaluacji, jednak jej pracownicy brali wczeniej udzia w ewaluacji realizowanej przez Wadz Wdraajc Programy Europejskie. Wykonawca nie realizowa dotd bada w rodo-wisku romskim, jednak od wielu lat zajmuje si zagadnieniami antydyskryminacyjnymi oraz tematyk rwnociow, co uatwio mu prowadzenie tej ewaluacji.

Elementy uatwiajce prowadzenie ewaluacji:

powiadomienie o prowadzeniu badania Zespou do Spraw Romskich Komisji Wsplnej Rzdu i Mniejszoci Narodowych i Etnicznych, skupiajcego dwudziestu przedstawicieli tego rodowiska oraz urzdnikw odpowiedzialnych za wdraanie Programu na pozio-mie wojewdzkim, przygotowanie przez zamawiajcego listu polecajcego do asysten-tw romskich (zwierajcego informacje na temat prowadzonej ewaluacji),

zorganizowanie spotkania z wykonawc przed rozpoczciem ewaluacji, sucego om-wieniu wzajemnych potrzeb i oczekiwa,

6 Wczeniejsze podjcie ewaluacji uniemoliwia brak rodkw finansowych.

PRZYDATNEINFORMACJE

Fot.

Elb

ieta

Mirg

a-W

jto

wic

z

13

14

partnerski charakter relacji z wykonawc, obustronna elastyczno i otwarcie na wsp-prac, dobry kontakt i komunikacja, umiejtno przyjcia innego punktu widzenia, au-tentyczny dialog,

wczenie do badania ekspertw znajcych specyfik rodowiska romskiego (np. asy-stentw edukacji romskiej, tumaczy), zapewnienie sieci tego typu osb w terenie (ko-ordynujcych i prowadzcych badanie), dogbna znajomo specyfiki i problemw spo-ecznoci romskiej przez zamawiajcego,

realizacj kolejnych ewaluacji uatwiaby dostpno rodkw finansowych przeznaczo-nych na ten cel oraz uproszczenie procedur formalnych.

Napotkane utrudnienia:

potrzeba wyduenia czasu przeznaczonego na prowadzenie ewaluacji, konieczno aneksowania umowy (ze wzgldu na problemy z realizacj bada terenowych) i zwiza-ne z tym dugotrwae procedury,

trudnoci z pozyskaniem przez zamawiajcego papierowej wersji zarchiwizowanej doku-mentacji projektowej, tj. wnioskw z lat 2004-20067 ,

rwnolega realizacja bada przez inne podmioty w tej samej spoecznoci, powodujca spadek motywacji Romw do udziau w badaniu ewaluacyjnym,

trudnoci w realizacji bada terenowych wynikajce ze specyfiki badanej spoecznoci, tj.: a. migracje Romw w okresie wakacji konieczno przeoenia bada na wrzesie

i wyduenia o dwa tygodnie terminu zoenia raportu czstkowego (wykonawca na bieco informowa o trudnociach w prowadzeniu badania);

b. nieadekwatno ilociowej metody badawczej ankietowanie spoecznoci romskiej nastrczao wiele problemw ze wzgldu na nieufno respondentw (niezbdna bya pomoc asystentw edukacji romskiej) oraz bazowanie tej kultu-ry na przekazie ustnym. Ankiety zostay opracowane w jzyku polskim, jednak poziom ich zrozumienia nie tylko ze wzgldu na barier jzykow, ale i brak obycia z metod sondau by zrnicowany. Wykonawca napotka na trudno w formuowaniu pyta dotyczcych problematycznych, zoonych kwestii (np. sytuacji na rynku pracy) w prostym i przystpnym dla respondentw jzyku. Ponadto metoda sondau uniemoliwiaa zebranie wielu informacji przekazywa-nych przez osoby badane. Rozbudowana wersja ankiety okazaa si zbyt wyczer-pujca dla respondentw i wymagaa znacznego skrcenia. W stosunku do tej spoecznoci bardziej wskazane byoby posuenie si technikami jakociowymi8;

c. zrnicowana gotowo do wsppracy ze strony niektrych urzdnikw odpo-wiedzialnych za wdraanie Programu na poziomie wojewdzkim.

7 Dokumenty te zostay przekazane wykonawcy w wersji elektronicznej.8 W przypadku czci wywiadw indywidualnych korzystano z pomocy tumaczy.

Dowiadczenia wyniesione z ewaluacji (lessons learned):

Ze strony zamawiajcego:

utwierdzenie si w potrzebie prowadzenia bada ewaluacyjnych, konieczno zarezerwowania wikszej iloci czasu na realizacj tego zadania9, konieczno starannego wyboru wykonawcy, powierzenia ewaluacji profesjonalnemu i zaangaowanemu zespoowi badaczy.

Ze strony wykonawcy:

dogbne poznanie uwarunkowa kulturowych rodowiska osb badanych, poszanowanie i przywizywanie duej wagi przy konstruowaniu narzdzi badawczych oraz realizacji badania do wartoci i norm kulturowych funkcjonujcych w grupie re-spondentw (nalecych do jednej z grup tzw. wraliwych spoecznie).

Elementy warte polecenia:

analiza SWOT (mocnych i sabych stron Programu, a take szans oraz zagroe dla jego prawidowej realizacji),

streszczenie raportu, lista wykorzystanych w tekcie skrtw, przywoanie pyta badaw-czych w rozdziale prezentujcym wyniki badania, zestawianie wynikw ilociowych (po-chodzcych z sonday) z jakociowymi (zebranymi w ramach wywiadw),

dyskusja nad wnioskami i rekomendacjami przeprowadzona w ramach panelu eksper-tw,

zachowanie przez wykonawc bezstronnoci w prezentowaniu pogldw rnych grup tworzcych rodowisko romskie,

wczenie do badania oraz zapewnienie w terenie sieci osb znajcych specyfik spo-ecznoci romskiej,

zaprezentowanie wynikw ewaluacji pracy urzdnikw odpowiedzialnych za wdraanie Programu na poziomie wojewdzkim.

9 Ze wzgldu na okres wakacyjny, w czasie ktrego dua cz respondentw jest niedostpna.

15

Fot.

Elb

ieta

Mirg

a-W

jto

wic

z

Fundacja Rozwoju Spoeczestwa Informacyjnego

Program Rozwoju Bibliotek

Podmiot realizujcy przedsiwzicie: Fundacja Rozwoju Spoeczestwa Informacyjnego (FRSI)

Beneficjenci Programu: biblioteki (wraz z ich filiami) znajdujce si w gminach i mia-stach liczcych do 20 tys. mieszkacw

Termin realizacji: lata 2009-2014

Obszar realizacji: teren caej Polski

Kluczowe informacje: Program Rozwoju Bibliotek (PRB) ma uatwi polskim bibliotekom publicznym dostp do komputerw, Internetu oraz szkole z ich obsugi. Program jest realizowany w ramach szerszej inicjatywy pn. Global Libraries, prowadzonej w dzie-siciu krajach, ktrej celem jest zapewnienie ich obywatelom bezpatnego dostpu do technologii informacyjnych i komunikacyjnych poprzez sie bibliotek publicznych. Przedsiwzicie to suy przeksztacaniu bibliotek w nowoczesne i atrakcyjne miejsca, odpowiadajce na potrzeby spoecznoci lokalnych.

Program jest finansowany ze rodkw Fundacji Billa i Melindy Gates, ktrej partnerem jest Polsko-Amerykaska Fundacja Wolnoci.1

1 PRB jest realizowany przy wsppracy Biblioteki Narodowej, Instytutu Ksiki, Ministerstwa Kultury i Dziedzictwa Narodowego, Stowarzyszenia Bibliotekarzy Polskich, Orange Polska, Urzdu Komunikacji Elektronicznej, Zwizku Gmin Wiejskich RP oraz Grupy Onet.pl.

PRZY

KA

D 2

OPIS EWALUACJI


Tytuy przykadowych raportw ewaluacyjnych1: Program Rozwoju Bibliotek prze-bieg i efekty (raport ewaluacyjny), a take: Po co Polakom biblioteki? Raport po 3-ch la-tach dziaania PRB, Co robimy w bibliotekach i co dziki temu zyskujemy? Raport z badania mieszkacw wsi i miast do 20 tysicy [mieszkacw - przyp. red.], Biblioteki oczami ich dyrektorw. Raport z badania dyrektorw bibliotek biorcych udzia w PRB, Co robimy na komputerach w bibliotece i co z tego mamy? Badania uytkownikw komputerw dostar-czonych w ramach PRB, Analiza wizerunku bibliotek publicznych w prasie: rok 2008 i prze-om 2010/2011, Analiza Planw Rozwoju Bibliotek przygotowanych przez bibliotekarki po szkoleniach.

Data opracowania raportw: od 2010 r.

Rodzaje ewaluacji: w odniesieniu do PRB zaoono trzy rodzaje dziaa ewaluacyjnych:

ewaluacj biec (on-going), ktra bazuje na danych z monitoringu i umoliwia okre-lenie aktualnego stopnia osignicia zaoonych wynikw oraz ocen ich jakoci w celu dokonania ewentualnej korekty prowadzonych dziaa, takich jak: realizacja szkole, dostawa sprztu (na podstawie raportw miesicznych) oraz wykorzystanie sprztu, re-alizacja dziaa wspierajcych, realizacja planw pracy bibliotek (na podstawie raportw kwartalnych),

ewaluacj kocow (ex-post), ktra suy caociowej ocenie danego etapu PRB i jest podstaw do wprowadzenia ewentualnych modyfikacji kolejnej rundy Programu,

ewaluacj odroczon (badanie wpywu), ktra pozwala na okrelenie oddziaywania Programu i jego dugoterminowych efektw (prowadzona rok oraz dwa lata po zamkni-ciu pierwszej rundy PRB, a take rok po zakoczeniu rundy II).

Zlecajcy: Fundacja Rozwoju Spoeczestwa Informacyjnego

Strona, na ktrej znajduj si raporty: www.biblioteki.org.pl (zakadka pn. Publikacje/raporty badawcze)

rdo finansowania: rodki Fundacji Billa i Melindy Gates

Zasadno ewaluacji: jest to zarazem wymg i powszechna praktyka stosowana w od-niesieniu do programw realizowanych w ramach Global Libraries, ktrych istotny ele-ment stanowi ocena wpywu tych przedsiwzi (ang. impact assessment). Ewaluacja bie-

1 W ramach ewaluacji PRB powstao wiele rnych raportw badawczych i ewaluacyjnych cz z nich jest dostpna na stronie Programu.

ZARZDZANIE

18

19

ca suy doskonaleniu dziaa realizowanych w ramach PRB, natomiast ewaluacja ex-post (prowadzona po zakoczeniu kadego z kilku etapw Programu) zaplanowaniu kolejnej run-dy Programu. Ponadto wyniki ewaluacji s wykorzystywane w planowaniu innych dziaa Fundacji Rozwoju Spoeczestwa Informacyjnego.

Procedura wyonienia wykonawcy: negocjacje z oferentami zgodnie z wewntrznymi zasadami Fundacji. Zewntrznym wykonawcom powierzono ewaluacj ex-post oraz badanie wpywu, a take cz prac zwizanych z prowadzeniem ewaluacji biecej. Zapytanie oferto-we przesano do kilku podmiotw. Oceniano gwnie aspekty merytoryczne zoonych ofert, w mniejszym stopniu finansowe.

Przedmiot i zakres ewaluacji: w 2011 r. prowadzono ewaluacj procesu wdraania Programu, koncentrujc si na skutecznoci w osiganiu zaoonych rezultatw, natomiast w 2012 r. skupiono si na badaniu uytkowni-kw PRB oraz wynikajcych z Programu korzyci.

Cele ewaluacji: ocena procesu implementacji PRB umoliwiajca zarzdzanie oraz modyfikowanie reali-zowanych dziaa, ocena stopnia osignicia zaoo-nych wynikw i rezultatw Programu, a take ocena stopnia zmiany spoecznej sytuacji beneficjentw PRB.

Powizanie z innymi badaniami/ewaluacjami: w 2008 r. (w fazie przygotowa do realizacji PRB) prze-prowadzono badania, w efekcie ktrych opracowano szereg raportw (osiem z nich udostpniono na stro-nie internetowej Programu). W ramach ewaluacji PRB realizowanych jest wiele bada ilociowych i jakocio-wych; opracowywane s raporty czstkowe (np. doty-czce zakresu dziaa prowadzonych przez biblioteki uczestniczce w Programie, zmian w ich funkcjono-waniu, wizerunku i uytkowania bibliotek publicznych, Planw Rozwoju Bibliotek). Ewaluacja PRB bazuje m.in. na danych zebranych w ramach automatycznego monitoringu wykorzystywania komputerw w biblio-tekach oraz jest powizana z ewaluacjami programw realizowanych w innych krajach w ramach inicjatywy Global Libraries.


skuteczno ocena stopnia osignicia zaoonych rezultatw, efektywno ocena procesu wdraania PRB, oddziaywanie badanie wpywu Programu.

KONCEPCJAEWALUACJI

rd

o: F

unda

cja

Rozw

oju

Spo

ecze

stw

a In

form

acyj

nego


Odnoszce si do badania wpywu PRB:

Czy zwikszya si aktywno bibliotek w spoecznociach lokalnych i ich oddziaywa-nie na te spoecznoci? Czy aktywno bibliotek przyczynia si do rozwoju spoecznoci lokalnej? Czy dziki PRB udao si zmniejszy nierwnoci midzy jakimi grupami spo-ecznymi?

Czy wzrs stopie integracji rodowiska bibliotekarskiego? Czy system biblioteczny w wikszym stopniu wspiera dziaalno bibliotek gminnych?

Czy uytkownicy bibliotek korzystaj z nowych usug oferowanych przez biblioteki? Czy korzystanie z bibliotek przyczynia si do rozwoju osobistego ich uytkownikw? Czy zmieni si spoeczny wizerunek bibliotek?

Odnoszce si do analizy planw rozwoju bibliotek:

Czy w planach rozwoju bibliotek wida nowe funkcje bibliotek, czy nastpuj procesy zmierzajce do przywrcenia biblioteki do wspczesnoci?

Czy planowane dziaania s powizane z sytuacj spoecznoci lokalnej, czy wynikaj z jej potrzeb i odpowiadaj na lokalne problemy?

Jak s prowadzone badania potrzeb lokalnych? Czy w planach jest uwzgldniona per-spektywa uytkownika?

Wykorzystywane metody badawcze:


analiza dokumentacji (np. planw rozwoju bibliotek, treci dotyczcych bibliotek za-mieszczanych w mediach publicznych),

pogbione wywiady indywidualne (IDI), np. z kierownikami bibliotek, przedstawicielami rodowiska bibliotekarskiego, wadz lokalnych, organizacji pozarzdowych,

zogniskowane wywiady grupowe (FGI) z reprezentantami spoecznoci lokalnej.

20

rd

o: F

unda

cja

Rozw

oju

Spo

ecze

stw

a In

form

acyj

nego

21


techniki sondaowe np. ankiety dla uczestnikw szkole, ankieta internetowa (CAWI) dla dyrektorw bibliotek oraz uytkownikw komputerw, ankiety telefoniczne wspomaga-ne komputerowo (CATI) realizowane na prbie mieszkacw gmin.

W oparciu o informacje zebrane przy pomocy FGI oraz IDI opracowano rwnie studia przy-padkw wybranych gmin (konkretnych bibliotek i spoecznoci lokalnych), prezentujce zmia-n, ktra miaa miejsce w wyniku realizacji Programu. Oglna koncepcja ewaluacji zostaa opracowana przez eksperta w 2008 r., jednak w pniejszym czasie ulega pewnym zmianom. Narzdzia badawcze s kadorazowo konsultowane z zamawiajcym.

Sposb opracowania wnioskw i rekomendacji: pocztkowo niektre rekomendacje byy zbyt oglne, mao precyzyjne lub nietrafione, np. nierealistyczne. Obecnie organizowa-ne s warsztaty, podczas ktrych odbywa si dyskusja na temat przygotowywanych reko-mendacji. Zalecenia s opracowywane w porozumieniu z osobami realizujcymi dany kom-ponent Programu.

Rozpowszechnienie wynikw: raporty z przeprowadzonych bada s zamieszczane na stronie internetowej PRB oraz na innych portalach, a take rozpowszechniane wrd interesa-riuszy Programu. Kluczowe wyniki s rwnie promowane w prasie (np. w Rzeczpospolitej, Polityce), radiu (Program I PR), telewizji (Polsat News)2.

Najwaniejsze efekty ewaluacji w ramach rekomendacji3 zaproponowano m.in.:

rozpoczcie wspierania przez Program nowych obszarw dziaa pojawiajcych si w bi-bliotekach np. prozdrowotnych, w zakresie edukacji medialnej, poszukiwania pracy, do-stpu do e-usug, e-bankowoci, e-zakupw (poprzez e- learning lub dedykowane porad-niki), w tym rwnie dziaa skierowanych do seniorw (take innych ni realizowane ju szkolenia komputerowe).

wsparcie bibliotek w prowadzeniu dziaa promocyjnych np. za pomoc szkole, porad-nikw, e-learningu,

dokonanie znaczcej zmiany jednego z komponentw PRB, tj. wsparcia dla koalicji gmin-nych sucych pozyskiwaniu przez biblioteki nowych partnerw,

dalsze wspieranie wymiany dowiadcze pomidzy bibliotekami, a take umacnianie ich poziomych relacji (np. w formie promocji dobrych praktyk), sucych niwelowaniu defi-cytw systemu bibliotecznego,

2 Na zakoczenie PRB planowane jest opracowanie publikacji zawierajcej opis podjtych dziaa, osignitych rezultatw i wynikw badania jego wpywu, w celu ich przedstawienia rnym grupom interesariuszy (opinii publicznej, kluczowym aktorom w systemie bibliotecznym, decydentom na rnych szczeblach, realizatorom programw prowadzonych w ramach Global Libraries. Dziaanie to bdzie miao na celu wzrost trwaoci PRB poprzez zwikszenie zainteresowania interesariuszy inicjatywami sucymi modernizacji bibliotek publicznych w gminach i maych miastach oraz podejmowanie podobnych inicjatyw w przyszoci.

3 Wymienione poniej rekomendacje zostay zaczerpnite z raportu: Program Rozwoju Bibliotek przebieg i efekty (raport ewaluacyjny).

WYKORZYSTANIEWYNIKWEWALUACJI

22

cilejsze powizanie komponentu technicznego ze szkoleniowym w celu zapewnienia lepszego wykorzystania komputerw, poszerzenie tematyki szkole o kwestie zarzdza-nia bibliotek, relacji z wadzami, pozyskiwania rodkw na rozwj bibliotek,

popraw jakoci kursw komputerowych poprzez zaproponowanie gotowych rozwiza merytorycznych, np. lepszego dostosowania tematyki do potrzeb seniorw,

wspieranie strategii zagospodarowania moliwoci pracy bibliotek w weekendy poprzez, np. rozpoznanie grup potencjalnych uytkownikw, skonstruowanie sprofilowanej oferty,

umiejtne kontynuowanie rozwoju portalu Programu (wyjtkowo wysoko ocenianego komponentu PRB) w celu penego wykorzystania jego potencjau.

W efekcie przeprowadzonych ewaluacji zostay poczone dwa komponenty PRB, a take wprowadzono do niego nowe dziaania (np. wspprac bibliotek z organizacjami pozarz-dowymi w zakresie wspierania osb poszukujcych pracy, a take Link do przyszoci spo-tkania modziey z modymi profesjonalistami, opowiadajcymi o swojej ciece zawodowej). Ponadto zmieniono wykonawc jednego z dziaa oraz program szkolenia powiconego pla-nowaniu pracy bibliotek, a take zmodyfikowano rol przedstawicieli gmin w Programie. Nie wszystkie rekomendacje mogy zosta od razu wdroone ze wzgldu na stan zaawansowania prowadzonych prac (niektre z nich zostan zrealizowane dopiero w III rundzie PRB). Poza tym, cz zalece wykraczaa poza zakres wpywu realizatorw PRB (np. treci publikowane w prasie).

Wczeniejsze dowiadczenia: organizacja zlecajca ewaluacj (FRSI) zostaa powoana na potrzeby realizacji PRB, tote nie miaa wczeniejszych dowiadcze w tym zakresie posiadali je natomiast poszczeglni pracownicy FRSI. Wykonawca ewaluacji przeprowadzi rwnie badania wstpne, suce wypracowaniu zaoe PRB, ma take due dowiadczenie w badaniu spoecznoci lokalnych.


kompetentne zespoy po stronie zamawiajcego oraz wykonawcy, obustronna otwar-to, elastyczno, ch dialogu i wsppracy, gotowo zamawiajcego do udzielania pomocy przy realizacji badania,

zrozumienie przez zamawiajcego, czemu suy ewaluacja, dostrzeganie potrzeby jej re-alizacji oraz korzyci z niej wynikajcych,

wczeniejsze zaplanowanie procesu ewaluacji i monitoringu PRB, przeprowadzenie spo-tkania zamawiajcego z wykonawc poprzedzajcego rozpoczcie ewaluacji, sucego wsplnemu wypracowaniu jej celw oraz uzgodnieniu szczegw koncepcyjnych,

dobre relacje zamawiajcego z uczestnikami Programu, zwikszajce ich gotowo do udziau w badaniach, udostpnienie respondentom raportw badawczych,

znajomo Programu przez wykonawc, jego dowiadczenie w prowadzeniu bada na obszarach wiejskich oraz osadzenie w rodowisku organizacji pozarzdowych,

zorganizowanie przez wykonawc dwch warsztatw w celu omwienia wynikw prze-prowadzonych bada oraz wsplnego wypracowania propozycji zmian w PRB i rozwae-nia ich konsekwencji,

PRZYDATNEINFORMACJE

23

poszerzenie perspektywy ewaluacyjnej ze wzgldu na fakt, e Program stanowi ele-ment midzynarodowej inicjatywy (podobne warunki wdraania maj miejsce na Litwie, otwie i w Bugarii),

zagwarantowanie rodkw na prowadzenie bada ewaluacyjnych.


konieczno prowadzenia ewaluacji w sposb umoliwiajcy porwnanie efektw Programw realizowanych w ramach Global Libraries w innych krajach (pocztkowo nie byo to zakadane),

stopie skomplikowania Programu, obejmujcego wiele rnych komponentw, a tak-e zrnicowanie dziaa realizowanych w poszczeglnych bibliotekach4 przekadajce si na zoono badania ewaluacyjnego potrzeb zaangaowania licznego zespou badawczego w zwizku z duym nakadem pracy, konieczno selekcji i analizowania znacznej iloci informacji oraz trudno w ich konsumowaniu (tj. wykorzystaniu gro-madzonych wynikw), problemy z pomiarem (na poziomie caego kraju) stopnia reali-zacji celw dziaa formuowanych przez poszczeglne biblioteki, jak rwnie trudnoci w badaniu spoecznych efektw Programu Rozwoju Bibliotek

konieczno uzyskania zgody na wykorzystanie (np. w raportach, w celach promocyj-nych) zdj i filmw zrobionych w bibliotekach.

Pozostae utrudnienia odnosiy si do kwestii zwizanych z realizacj bada terenowych: pro-blemy z dostosowaniem terminw bada do moliwoci pracownikw bibliotek, problemy z umwieniem si na wywiady z kluczowymi dla PRB osobami (ze wzgldu na ich obowizki zawodowe), a take problem z zaobserwowanym deniem osb badanych do tego, by do-brze wypa w oczach grantodawcy (speni jego domniemane oczekiwania).


konieczno starannego planowania momentu dokonywania pomiaru np. w odniesieniu do rezultatw mikkich (na ich wypracowanie potrzeba wicej czasu),

zetknicie si z nieco innym, ni promowane przez Komisj Europejsk, podejciem do ewaluacji,

podjcie intensywnego wspdziaania wykonawcy z zamawiajcym przed rozpocz-ciem ewaluacji, cisa wsppraca w celu dostosowania si do wzajemnych oczekiwa (np. konieczno dokadnego ustalenia formy raportu obszerny dokument bd skr-towe opracowanie),

konieczno zarezerwowania dodatkowego czasu na niespodziewane okolicznoci.

4 Biblioteki objte Programem samodzielnie decyduj o rodzaju podejmowanej aktywnoci.

24


planowanie ewaluacji i monitoringu cznie z planowaniem dziaa realizowanych w ra-mach PRB, a take kompleksowe podejcie do ewaluacji objcie ni dziaa biecych (on-going), zakoczonych rund (ex-post) i oglnego wpywu (ewaluacja odroczona, uwzgldniajca grup kontroln, tj. bibliotekarzy i mieszkacw wsi nieuczestniczcych w PRB),

wypracowywanie rekomendacji w porozumieniu z osobami wdraajcymi poszczeglne komponenty Programu,

plan wczenia procedur ewaluacji w system biblioteczny w celu rozpoznawania potrzeb oraz oceny podejmowanych dziaa:

a. na poziomie gminy w ramach kursu tworzenia planw pracy bibliotekarze na-ucz si badania potrzeb oraz postaw spoecznoci lokalnej, ewaluowania reali-zacji tych planw oraz oceny wpywu podejmowanych dziaa i ich korygowania,

b. na poziomie wojewdztwa odpowiednie dziay bibliotek wojewdzkich zostan przeszkolone w zakresie badania potrzeb bibliotek gminnych oraz ewaluowania podejmowanych wobec nich dziaa. Cz zada zwizanych z monitoringiem i ewaluacj bdzie prowadzona przez koordynatorw regionalnych, co posuy transferowi wiedzy do systemu bibliotecznego,

c. na poziomie kraju zostanie podjta prba wypracowania wsplnego dla wszyst-kich bibliotek standardu ww. dziaa (w ramach konferencji dyrektorw bibliotek wojewdzkich z udziaem przedstawicieli Biblioteki Narodowej),

rozpowszechnianie wynikw ewaluacji w rnych mediach (nie tylko w Internecie) oraz ich promowanie w atrakcyjny dla odbiorcw sposb.5

5 Zob. kluczowe wnioski z badania ewaluacyjnego pod nazw Po co Polakom biblioteki () przedstawione w formie animowanej prezentacji, zawierajcej wypowiedzi respondentw na temat odniesionych przez nich korzyci: http://www.biblioteki.org/maszap/

rd

o: F

unda

cja

Rozw

oju

Spo

ecze

stw

a In

form

acyj

nego

Podmiot realizujcy przedsiwzicie: Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych (PFRON)Beneficjenci/projektodawcy1: do ubiegania si o dofinansowanie projektw w trybie konkurso-wym byy uprawnione instytucje rynku pracy (publiczne suby zatrudnienia, ochotnicze hufce pra-cy, agencje zatrudnienia, instytucje szkoleniowe, instytucje dialogu spoecznego, instytucje part-nerstwa lokalnego), organizacje pozarzdowe (NGO) dziaajce na rzecz osb niepenosprawnych, jednostki samorzdu terytorialnego (JST) i ich jednostki organizacyjne, pracodawcy, szkoy (ich or-gany zaoycielskie) i szkoy wysze oraz jednostki naukowe.Grupa docelowa: w wyniku realizacji projektw w ramach Dziaania 1.4 Sektorowego Programu Operacyjnego Rozwj Zasobw Ludzkich (SPO RZL) wsparcie mogli otrzyma odbiorcy:

indywidualni, tj. osoby niepenosprawne powyej 16 roku ycia o znacznym lub umiarko-wanym stopniu niepenosprawnoci: wkraczajce po raz pierwszy na rynek pracy, majce najwiksze trudnoci w tym zakresie lub dugotrwale bezrobotne,

instytucjonalni, tj. jednostki samorzdu terytorialnego i ich jednostki organizacyjne, suby medycyny pracy, instytucje rynku pracy (publiczne suby zatrudnienia, ochotnicze hufce pracy, agencje zatrudnienia, instytucje szkoleniowe, instytucje dialogu spoecznego i part-nerstwa lokalnego), organizacje pozarzdowe dziaajce na rzecz osb niepenospraw-nych, a take pracodawcy i pracownicy wsppracujcy z tymi osobami.

Termin realizacji: lata 2004-2006Obszar realizacji: teren caej PolskiKluczowe informacje: celem Dziaania 1.4 byo zwikszenie stopnia przygotowania zawodowego i poprawa zdolno-ci do uzyskania zatrudnienia przez osoby o znacznym i umiarkowanym stopniu niepenosprawnoci, a take budo-wanie potencjau oraz tworzenie nowych i doskonalenie istniejcych instrumentw zwikszajcych moliwoci tych osb na rynku pracy. W ramach tego Dziaania realizowano 21 typw projektw. Zdecydowana wikszo przedsiwzi objtych badaniem ewaluacyjnym (ok. 90%) zaliczaa si do projektw typu 14 pn. Subsydia dla organizacji non-profit oferujcych usugi wspierajce przechodzenie osb niepenosprawnych na otwarty rynek pracy. Zgodnie z wytycznymi cele tych projektw dotyczyy m.in. prowadzenia i rozszerzania dotychczas realizowanej, statutowej dziaalnoci organizacji pozarzdowych, sucej aktywizacji zawodowej osb niepenosprawnych. Realizacja projektw miaa si przyczynia m.in. do zapewnienia organizacjom pozarzdowym (wiadczcym usugi suce wspieraniu przechodzenia osb niepenosprawnych na otwarty rynek pracy) rodkw finansowych, umoliwiajcych efektywne wykonywanie ich zada statutowych, jak rwnie do stworzenia warun-kw finansowych dla rozwijania ich struktur (np. stworzenia punktu doradztwa i poradnictwa), a take programw, form i metod pracy sucej aktywizacji zawodowej osb niepenosprawnych na otwartym rynku pracy.

rdo: Wytyczne dla beneficjentw ubiegajcych si o dofinansowanie projektw w ramach SPO RZL, Priorytet 1, Dziaanie 1.4, Schemat a, wersja 2006-03-09.

1 W ramach Dziaania 1.4 SPO RZL wystpoway dwa schematy realizacji projektw: schemat a i schemat b. Przedstawiane informacje oraz ewaluacja dotycz projektw realizowanych w schemacie a. Projekty dofinansowane w ramach schematu b przygotowywa PFRON (jedyny beneficjent). Schemat ten przewidywa te same formy wsparcia co schemat a, a dodatkowo obejmowa zakup rod-kw technicznych w celu utworzenia baz danych i portalu.

PRZY

KA

D 3

Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych

Dziaanie 1.4 Sektorowego Programu Operacyjnego Rozwj Zasobw Ludzkich Integracja zawodowa i spoeczna osb niepenosprawnych


OPIS EWALUACJI

26

Tytu raportu ewaluacyjnego: Ewaluacja projektw budujcych potencja organizacji wspierajcych osoby niepenosprawne poszukujce pracy

Termin realizacji ewaluacji: sierpie-wrzesie 2008 r.

Data opracowania raportu: wrzesie 2008 r.

Rodzaj ewaluacji: kocowa (ex-post)

Zlecajcy: Pastwowy Fundusz Rehabilitacji Osb Niepenosprawnych Instytucja Wdraajca (IW)

Strony, na ktrych znajduje si raport: www.pfron.org.pl (zakadka Publikacje/Badania i analizy PFRON) oraz www.ewaluacja.gov.pl (zakadka Wyniki bada)

rdo finansowania: rodki z SPO RZL (Priorytet 3: Pomoc techniczna) w ramach Europejskiego Funduszu Spoecznego. Budet ewaluacji: 118 401,00 z.

Zasadno ewaluacji: wasna inicjatywa zleceniodawcy; potrzeba zdobycia informacji na temat wynikw projektw sfinansowanych w ramach Dziaania 1.4, potrzeba dokonania ze-wntrznej oceny sposobu funkcjonowania PFRON w roli Instytucji Wdraajcej oraz oceny jej przygotowania do nowego okresu programowania funduszy Unii Europejskiej.

Procedura wyonienia wykonawcy: przetarg nieograniczony oceniano gwnie jako oferty (waga oceny merytorycznej przewyszaa wag ceny usugi). Ze strony oferentw wy-magano m.in. dowiadczenia w realizacji co najmniej trzech ewaluacji programw/projek-tw o charakterze spoeczno-gospodarczym wspfinansowanych ze rodkw UE.

Przedmiot i zakres ewaluacji: 34 projekty wdraane w ramach Dziaania 1.4 SPO RZL przez rne podmioty (organizacje pozarzdowe, jednostki sektora finansw publicznych, przedsibiorcw). Przedsiwzicia te miay na celu zwikszenie moliwoci prowadzenia dziaa sucych aktywizacji zawodowej osb niepenosprawnych na otwartym rynku pracy. W ich ramach prowadzono m.in.: szkolenia i warsztaty, doradztwo, poradnictwo, badania i ekspertyzy1, kampanie informacyjno-promocyjne.

1 Rozumiane jako projekty typu 2, pn. Badania i ekspertyzy w obszarze rehabilitacji zawodowej i zatrudnienia osb niepenoprawnych, w tym badania suce zindywidualizowaniu wiadczonych usug.

ZARZDZANIE

KONCEPCJAEWALUACJI

27

Cele ewaluacji: ocena przebiegu i rezultatw badanych projektw, ustalenie jakoci i efek-tw prowadzonych dziaa projektowych oraz identyfikacja gwnych uwarunkowa tego stanu.

Powizanie z innymi badaniami/ewaluacjami: w latach 2007-2008 przeprowadzono dwie ewaluacje dotyczce Dziaania 1.4 (Ewaluacja projektw podnoszcych jako obsugi osb niepenosprawnych poszukujcych pracy i Ewaluacja projektw kampanii informa-cyjno-promocyjnych przeamujcych negatywne stereotypy osb niepenosprawnych).


trafno stopie, w jakim przyjte w projektach cele odpowiadaj dokumentom pro-gramowym oraz stosownym wymogom i potrzebom,

spjno stopie skoordynowania celw projektowych ze sposobem ich realizacji, skuteczno stopie osignicia zaoonych w projektach celw oglnych i szczegowych,

uyteczno stopie, w jakim projekty przyczyniaj si do rozwizywania danych problemw,

efektywno stosunek ponoszonych nakadw do uzyskiwanych efektw projektw, trwao stopie, w jakim projekty maj szans przyczyni si do trwaego ukszta-towania nowych standardw w instytucjach, firmach i organizacjach zaangaowanych w proces integracji zawodowej osb niepenosprawnych.


kryterium trafnoci

Czy i w jaki sposb w badanych projektach okrelono potrzeby do zaspokojenia i pro-blemy do rozwizania w wyniku realizacji dziaa projektowych? Jak okrelano cele projektowe?

kryterium spjnoci

Jak mona oceni spjno celw oglnych projektw z celami Dziaania 1.4 SPO RZL?

kryterium skutecznoci

Jak mona oceni skuteczno projektw pod ktem tworzenia miejsc pracy dla osb niepenosprawnych i wikszych moliwoci ich zatrudniania? Jakie czynniki i dziaania sprzyjaj wysokiej skutecznoci zada projektowych, a jakie stanowi dla niej barier?

kryterium uytecznoci

W jaki sposb realizacja projektw przyczynia si do rozszerzania dotychczasowej sta-tutowej dziaalnoci organizacji pozarzdowych sucej aktywizacji zawodowej osb niepenosprawnych? Jak oceniana jest przydatno zrealizowanych zada projektowych przez realizatorw projektw, ich uczestnikw oraz rodowisko osb niepenosprawnych?

28

kryterium efektywnoci

Czy mona osiga przyblione efekty w poczeniu z mniejszymi kosztami? Czy mona osiga lepsze rezultaty przy poniesionych kosztach? Ponoszenie jakich kosztw jest nie-uzasadnione z punktu widzenia efektywnoci projektw?

kryterium trwaoci

Jakie czynniki wewntrzne i zewntrze decyduj lub bd decydowa o trwaoci rezul-tatw projektw? Jakie dziaania powinny zosta podjte, aby zachowana zostaa trwa-o ich efektw? W jakim zakresie te dziaania s stosowane? Jeli nie s stosowane, to dlaczego?



analiza dokumentacji obejmujca dokumenty programowe oraz projektowe (np. wnio-ski o dofinansowanie, sprawozdania z realizacji projektw),

pogbione wywiady indywidualne (IDI) z kluczowymi osobami odpowiedzialnymi za wdraanie i realizacj cyklu projektw na poziomie Instytucji Wdraajcej (PFRON), oso-bami kierujcymi badanymi organizacjami, koordynatorami projektw i ich asystentami, specjalistami uczestniczcymi w ich realizacji, uczestnikami (osobami niepenosprawny-mi, pracodawcami), przedstawicielami rodowisk osb z niepenosprawnoci, a take innych organizacji i instytucji zwizanych z badanymi projektami,

studia przypadku badanych projektw, na ktre skadaa si szczegowa analiza do-kumentacji projektowej (w tym wewntrznych sprawozda, raportw ewaluacyjnych, materiaw szkoleniowych, broszur itp.), a take indywidualne wywiady z kluczowymi osobami w projekcie, jak rwnie z osobami objtymi jego efektami.

Zaoenia teoretyczne i metodologiczne zostay wypracowane przez PFRON oraz przedsta-wione w dokumentacji przetargowej. Wykonawca wnis do koncepcji ewaluacji dodatkowe pytania badawcze, a take uszczegowi kwestie metodologiczne (np. dobr prby, sposb realizacji badania). Zadaniem wykonawcy byo opracowanie raportu metodologicznego za-wierajcego m.in. robocz wersj narzdzi badawczych, ktrych ostateczny ksztat skonsul-towano z zamawiajcym.

Sposb opracowania wnioskw i rekomendacji: opis zdiagnozowanych problemw i towarzyszce im zalecenia zostay zamieszczone w treci raportu, a take przedstawione w formie tabelarycznej, w podziale na poszczeglne obszary problemowe2.

Rozpowszechnienie wynikw: raport zosta zamieszczony na stronie internetowej PFRON, a take w bazie raportw ewaluacyjnych znajdujcej si na stronie powiconej za-

2 Pozyskiwanie koncepcji i wdraanie projektw, opracowanie wnioskw o dofinansowanie, dopasowanie for-muy wsparcia do potrzeb odbiorcw, adekwatno realizowanych w projektach dziaa informacyjnych/pro-mocyjnych, uwzgldnienie dziaa ewaluacyjnych, wsppraca z otoczeniem oraz IW, skuteczno i trwao projektw, zarzdzanie nimi.

WYKORZYSTANIEWYNIKW

EWALUACJI

29

gadnieniom zwizanym z ewaluacj prowadzonej przez Ministerstwo Rozwoju Regionalnego. Odbiorcami raportu byo kierownictwo PFRON, pracownicy zaangaowani w realizacj Dziaania 1.4, jak rwnie osoby zainteresowane problematyk wdraania programw spo-ecznych.

Najwaniejsze efekty ewaluacji w ramach rekomendacji zaproponowano m.in.:

szersze, bardziej intensywne oraz dostatecznie wczesne informowanie potencjalnych beneficjentw o moliwoci udziau w konkursach,

zwikszenie elastycznoci i otwartoci zasad wdraania projektw na rnorodno ich koncepcji oraz form dziaania, w celu promowania innowacyjnoci oraz konkurencyjno-ci skadanych wnioskw (premiowanie przez Komisj Wyboru Projektw jakoci, no-watorstwa oraz stopnia skonkretyzowania propozycji wnioskodawcw, wprowadzenie moliwoci finansowania w ramach projektw tzw. kosztw oglnych wnioskodawcy, zwizanych z jego biecym funkcjonowaniem i zarzdzaniem projektem),

zwikszenie roli oceny efektywnoci kosztowej, prowadzenie negocjacji budetowych w przypadku wybranych projektw, zwikszenie nadzoru nad merytoryczn stron pro-wadzonych przez organizacje pozarzdowe dziaa i osiganymi rezultatami poprzez np. wymg okrelania wskanikw, realizacj monitoringu i ewaluacji3, inicjowanie przez IW dziaa sucych upowszechnianiu rezultatw, wymianie dowiadcze, promowaniu dobrych praktyk,

wprowadzenie zmian w formularzach wniosku projektowego w celu zwikszenia precyzji zapisw odnoszcych si do celu projektu, potrzeb jego uczestnikw, wskanikw zaka-danych rezultatw, identyfikacji zagroe i strategii ich przezwyciania, upowszechnia-nia rezultatw, skadu i wielkoci zespou projektowego, a take spjnoci budetu pro-jektu z planowanymi dziaaniami,

kontynuowanie i rozszerzanie dziaa informacyjno-promocyj-nych skierowanych do osb nie-penosprawnych, ich rodzin oraz pracodawcw. Premiowanie pro-jektw oferujcych kompleksowe wsparcie (poradnictwo, szkolenia, porednictwo pracy, likwidacj barier architektonicznych itp.), proponujcych konkretne dziaa-nia suce aktywnej wsppracy z otoczeniem i pracodawcami oraz rozwizania gwarantujce trwa-o rezultatw,

nawizywanie wsppracy oraz budowanie przez grantobiorcw sieci kontaktw z innymi organiza-

3 Premiowanie projektw z dobrze zaplanowan ewaluacj - biec (wczesna identyfikacja ewentualnych pro-blemw i podjcie dziaa zaradczych), kocow oraz odroczon (badanie efektw w duszym okresie czasu po zakoczeniu projektu).

rdo: PCPR Wadowice

30

cjami pozarzdowymi, instytucjami rynku pracy, samorzdami, podmiotami szkolcymi i pracodawcami,

zmniejszenie obcienia opiekunw projektw po stronie IW m.in. poprzez: ogranicze-nie liczby projektw przypadajcych na jedn osob (do kilku), prowadzenie szkole np. z rozliczania wydatkw, uproszczenie i uelastycznienie procedur w tym zakresie, a take procedur modyfikacji budetw projektw, zwikszenie liczby prowadzonych kontroli oraz kadzenie wikszego nacisku na sprawozdawczo merytoryczn a nie tylko finansow.

W ocenie zamawiajcego rekomendacje zawieray wiele zasadnych propozycji dotyczcych m.in. udzielenia wikszego wsparcia organizacjom pozarzdowym w przygotowywaniu pro-jektw (cz z nich w wczesnym czasie nie posiadaa lub miaa nike dowiadczenie w tym zakresie). Niektre zalecenia mogy rwnie suy organizacjom aplikujcym o rodki w ra-mach Dziaania 1.4.

Wczeniejsze dowiadczenia: bya to jedna z pierwszych ewaluacji podjtych przez PFRON4. Uzyskanie rodkw (w ramach SPO RZL Pomoc Techniczna) na jej sfinansowanie wy-magao zoenia wniosku (w ktrym naleao precyzyjnie oszacowa niezbdne zasoby) oraz zapewnienia potencjau kompetencyjnego i wykonawczego. Czonkowie zespou badawcze-go mieli dowiadczenie w prowadzeniu ewaluacji w obszarze trzeciego sektora (tj. organizacji pozarzdowych), jak rwnie polityki spoecznej.


pene zrozumienie przez zamawiajcego, czemu ma suy badanie ewaluacyjne5, za-pewnienie kompetentnych zespow ze strony zamawiajcego i wykonawcy,

wyduenie czasu realizacji badania z czterech do szeciu tygodni, zapewnienie gotowoci beneficjentw do wsppracy przy realizacji badania poprzez: zawarcie w umowach z IW stosownych zapisw, zaproszenie do udziau w ewaluacji (w formie listu polecajcego zawierajcego kluczowe informacje na jej temat, podpisanego przez Prezesa PFRON), a take cis wspprac zlecajcego z wykonawc przy identyfi-kowaniu osb objtych badaniem,

opracowanie i wdroenie mechanizmu nadzorowania przebiegu badania, ktry uwzgld-nia okresowe raportowanie na temat postpu w prowadzonych pracach, rwnolega realizacja rnych czynnoci badawczych przez wykonawc,

moliwo zastpienia kilku projektw objtych badaniem projektami z prby rezerwowej w sytuacji problemw z dostpem do danych respondentw (z przyczyn obiektywnych).


bardzo krtki czas realizacji badania (szczeglnie fazy terenowej), konieczno zaangao-wania duego zespou badaczy terenowych, ich przeszkolenia, opracowania szczego-wych formularzy i instrukcji, jednolitych zasad prowadzenia wywiadw,

4 Obok Centralnej Komisji Egzaminacyjnej oraz Polskiej Agencji Rozwoju Przedsibiorczoci, PFRON by jedn z pierwszych polskich instytucji publicznych prowadzcych ewaluacje.

5 Ewaluacja Dziaania 1.4 nie zostaa podjta ze wzgldu na wymogi formalne, ale wynikaa z potrzeby zebrania informacji sucych poprawie skutecznoci i efektywnoci wdraania przez IW Programw UE, a take chci udoskonalenia procedur oraz zasad zwizanych z realizacj projektw.

PRZYDATNEINFORMACJE

31

problemy w nawizaniu kontaktu z interesariuszami niektrych projektw ze wzgldu na moment prowadzenia badania, przypadajcy na okres wakacyjny, a take zakoczenie projektw (ich personel czsto nie by ju zwizany z dan organizacj),

stopie zoonoci badania przeprowadzenie szczegowej analizy 34 projektw wdra-anych w caej Polsce, w formie studium przypadkw wicy si z zebraniem bardzo obszernego materiau badawczego oraz koniecznoci opracowania ogromnej iloci da-nych jakociowych, wymagajcej stworzenia specjalnych narzdzi analitycznych,

trudnoci w pozyskaniu niektrych materiaw (czci dokumentacji nie gromadzono centralnie, bya ona dostpna jedynie na poziomie regionalnym).


konieczno przywizywania duej wagi do wnikliwego zapoznania si wykonawcy z przedmiotem badania, uwzgldnienia szczegowych potrzeb informacyjnych PFRON, a take potrzeba zachcania wykonawcw do wykazywania wikszej inicjatywy poznaw-czej, wykraczania poza wymogi zawarte w dokumentacji przetargowej (np. poprzez przy-znawanie dodatkowych punktw za rozwizania suce pogbieniu danych zagadnie w formie dodatkowych pyta i technik badawczych),

konieczno przeznaczenia wikszej iloci czasu na realizacj ewaluacji, wypracowywanie zalece we wsppracy z zamawiajcym w celu podniesienia ich jakoci6.


identyfikacja czynnikw stanowicych potencjalne zagroenie dla realizacji ewaluacji (przed rozpoczciem jej prowadzenia) oraz opracowanie strategii ich przezwycienia np. trudnoci z pozyskaniem penej dokumentacji od beneficjentw, problemy z dotar-ciem do niektrych respondentw, niedostateczny poziom realizacji zaoonej prby projektw (przewidziano pul rezerwow),

struktura tabel rekomendacji obejmujca nastpujce elementy: obszar problemowy, do ktrego odnosz si dane wnioski i zalecenia, opis konkretnego problemu (stanu obecnego), skala jego wanoci (niky, istotny, kluczowy), proponowane zalecenia oraz ich adresaci, a take wskazanie miejsca w raporcie, w ktrym znajduj si szczegowe informacje na dany temat,

seminaria konsultacyjne dla czonkw zespou badawczego zorganizowane przed prze-kazaniem wstpnej wersji raportu kocowego, w celu przedyskutowania wnioskw i re-komendacji wypracowanych w toku przeprowadzonego badania,

zamieszczenie w aneksie narzdzi badawczych oraz materiaw dla realizatorw IDI, opracowanie szczegowych wskazwek dla osb realizujcych wywiady w badanych or-ganizacjach opisano kontekst badania, cel wywiadu, dobr respondentw, zalecenia techniczne oraz metodologiczne, a take uwagi i komentarze dotyczce poszczeglnych grup pyta zawartych w scenariuszu IDI (np. na ktrych kwestiach naley si skoncen-trowa). Sporzdzono te wykaz podstawowych dokumentw i produktw, ktre nale-y pozyska od badanej organizacji oraz opracowano szablon sprawozdania ze studium przypadku.

6 Pocztkowo uznano, e rekomendacje powinny by formuowane wycznie przez wykonawc, niezalenie od zlecajcego.

PRZY

KA

D 4

Beneficjenci: czonkami klubw integracji spoecznej (KIS) mog by osoby ktre pod-legaj wykluczeniu spoecznemu i ze wzgldu na swoj sytuacj yciow nie s w stanie wasnym staraniem zaspokoi swoich podstawowych potrzeb yciowych i znajduj si w sytuacji powodujcej ubstwo oraz uniemoliwiajcej lub ograniczajcej uczestnic-two w yciu zawodowym, spoecznym i rodzinnym1 , czyli m.in.: osoby bezdomne, uza-lenione od alkoholu, narkotykw lub innych rodkw odurzajcych, chorujce psychicz-nie, dugotrwale bezrobotne, zwalniane z zakadw karnych, uchodcy, a take osoby niepenosprawne (przy spenieniu wskazanych w ustawie warunkw).

Termin realizacji: od 2003 r.

Obszar realizacji: wojewdztwo warmisko-mazurskie

Kluczowe informacje: uczestnictwo w zajciach klubu integracji spoecznej jest form zatrudnienia socjalnego. Oferowane w klubie wsparcie moe przyjmowa form: po-mocy w znalezieniu pracy, organizacji prac spoecznie uytecznych i robt publicznych, stay czy poradnictwa prawnego. Kluby integracji spoecznej umoliwiaj samoorganizo-wanie si oraz podejmowanie wsplnych inicjatyw i przedsiwzi w zakresie aktywiza-cji zawodowej (w tym zmierzajcych do tworzenia wasnych miejsc pracy, np. w formie spdzielni socjalnych).

Dziaalno KIS moe by finansowana zarwno z dotacji pochodzcej z dochodw wa-snych gminy, jak i rodkw Unii Europejskiej, a prowadzenie klubu moe spoczywa na gminie, organizacji pozarzdowej lub podmiocie prowadzcym reintegracj zawodow i spoeczn2.

1 Ustawa z dnia 13 czerwca 2003 r. o zatrudnieniu socjalnym (tekst jednolity Dz. U. z 2011 r. Nr 43, poz. 225 ze zm.)

2 O ktrym mowa w art.3 ust. 3 pkt 1 i 3 ustawa z dnia 24 kwietnia 2003 r. o dziaalnoci poytku publicz-nego i o wolontariacie (tekst jednolity Dz. U. z 2010 r. Nr 234, poz. 1536 ze zm.)

Dziaalno klubw integracji spoecznej na terenie wojewdztwa warmisko-mazurskiego


34

OPIS EWALUACJI

Tytu raportu ewaluacyjnego: Ewaluacja Klubw Integracji Spoecznej wojewdztwa warmisko-mazurskiego (raport z analizy danych zastanych oraz raport kocowy)

Termin realizacji ewaluacji: lata 2009-2010

Daty opracowania raportw: padziernik 2009 r., lipiec 2010 r.

Rodzaj ewaluacji: okresowa (mid-term)

Zlecajcy: Fundacja Rozwoju Demokracji Lokalnej Orodek Samorzdu Lokalnego w Olsztynie (FRDL)

Strony, na ktrych znajduj si raporty: www.kis.frdl.olsztyn.pl (zakadka Do pobrania), www.efs.warmia.mazury.pl (zakadka Baza bada regionalnych) oraz www.ewalaucja.gov.pl (zakadka Wyniki bada)

rdo finansowania: rodki UE w ramach EFS (PO KL Dziaanie 7.2 Przeciwdziaanie wyklucze-niu i wzmocnienie sektora ekonomii spoecznej Poddziaanie 7.2.1 Aktywizacja zawodowa i spoecz-na osb zagroonych wykluczeniem spoecznym).

Zasadno ewaluacji: na terenie wojewdztwa warmisko-mazurskiego nie prowadzono wczeniej bada powiconych funkcjonowaniu KIS. Ewaluacja suya zebraniu informacji pomocnych w lepszym zaspokajaniu potrzeb beneficjentw KIS, zwiksze-niu ich skutecznoci i sprawnoci w rozwizywaniu problemw. Wnioski wypywajce z badania ewa-luacyjnego mog te posuy opracowaniu progra-mw szkole i rozwoju zawodowego pracownikw socjalnych oraz tworzeniu programw polityki spo-ecznej na poziomie regionalnym i lokalnym.

Procedura wyonienia wykonawcy: Fundacja Rozwoju Demokracji Lokalnej Orodek Samorzdu Lokalnego w Olsztynie zoya wniosek do Urzdu Marszakowskiego Wojewdztwa Warmisko-Mazurskiego na realizacj projektu badawczego1, majcego na

1 Projekt badawczy by wspfinansowany ze rodkw Europejskiego Funduszu Spoecznego w ramach Dziaania 7.2.1 Programu Operacyjnego Kapita Ludzki.

ZARZDZANIE

rd

o: K

lub

Inte

grac

ji Sp

oec

znej

Ak

tyw

ni ra

zem

w

Ek

u

35

celu przeprowadzenie ewaluacji KIS w partnerstwie z Uniwersytetem Warmisko-Mazurskim. Do realizacji badania wyoniono podwykonawc2.

Przedmiot i zakres ewaluacji: badaniem zostay objte wszystkie KIS dziaajce w wo-jewdztwie warmisko-mazurskim w latach 2008-20103, a take instytucje wsppracujce z nimi przy realizacji poszczeglnych dziaa gwnie powiatowe urzdy pracy (PUP), orod-ki pomocy spoecznej (OPS), a take inne podmioty.

Ewaluacja koncentrowaa si na czterech obszarach badawczych: spoeczno-gospodarczym kontekcie dziaania KIS (obszar A), prowadzonej przez KIS dziaalnoci (obszar B), wsppracy KIS z zewntrznymi partnerami (obszar C), potencjale posiadanym przez KIS (obszar D).

Szczegowe cele ewaluacji: okrelenie skutecznoci, efektywnoci oraz adekwatnoci dziaa KIS do potrzeb i sytuacji regionu, identyfikacja potrzeb pracownikw KIS, ocena po-tencjau badanych KIS (zasobw finansowych, ludzkich, sprztowych), a take ich wsppra-cy z instytucjami partnerskimi, identyfikacja czynnikw utrudniajcych funkcjonowanie KIS, okrelenie moliwoci rozwoju i zmian zwikszajcych efektywno, skuteczno i adekwat-no ich dziaa.

Powizanie z innymi badaniami/ewaluacjami: brak


trafno prowadzonych przez KIS dziaa w odniesieniu do potrzeb beneficjentw oraz rodowiska lokalnego,

skuteczno oferowanej przez KIS pomocy, wsppracy z partnerami, uyteczno wsparcia oferowanego przez KIS i wsppracy z instytucjami partnerskimi .

2 Dla celw opracowania przyjto uywa wyraenia zlecajcy lub zamawiajcy na okrelenie Fundacji Roz-woju Demokracji Lokalnej, a wyraenia wykonawca na okrelenie wyonionego przez Fundacj podwykonaw-cy badania.

3 W tym KIS-y, ktre zawiesiy lub zamkny swoj dziaalno w 2008 lub 2009 r.

KONCEPCJAEWALUACJI

rdo: Klub Integracji Spoecznej Aktywni razem w Eku

36


obszar A

Jakie s najwaniejsze problemy regionu? Jakie s najwaniejsze potrzeby w zakresie przeciwdziaania wykluczeniu i marginalizacji spoecznej? Na ile dziaania KIS je zaspo-kajaj? Jaka jest skuteczno podejmowanych przez nie dziaa? Na ile stanowi one istotne wsparcie dla osb bezrobotnych i zagroonych wykluczeniem?

obszar B

Jakie dziaania podejmuj KIS, jakie wsparcie oferuj, kto z niego korzysta? Co wpywa na ich aktywno? Co naley zmieni w ich funkcjonowaniu, aby mogy skuteczniej reali-zowa swoje cele? Co wpywa na skuteczno realizowanych przez KIS projektw? Jakie czynniki j ograniczaj? Jakie trudnoci pojawiaj si w trakcie prowadzonych dziaa?

Czy pracownicy KIS dokonuj analizy potrzeb lokalnej spoecznoci, aby jak najlepiej do-stosowa ofert do zapotrzebowania odbiorcw? W jaki sposb KIS docieraj do poten-cjalnych beneficjentw? Jakie rozwizania s szczeglnie uyteczne dla osb bezrobot-nych i zagroonych wykluczeniem spoecznym? Jak beneficjenci KIS oceniaj skuteczno i uyteczno oferowanej pomocy? Czy jest ona adekwatna do ich oczekiwa i potrzeb? Z jakich form wsparcia chcieliby skorzysta w przyszoci?

obszar C

Z kim/z jakimi instytucjami wsppracuj KIS? W jakich obszarach najczciej podejmo-wana jest ta wsppraca i jakie dziaania w jej ramach s prowadzone? Na ile jest ona intensywna? Czy mona wyrni obszary, w ktrych takiej wsppracy brakuje? Jakie s gwne bariery i problemy utrudniajce jej rozwj (np. prawne, systemowe, instytu-cjonalne, spoeczne, kulturowe)? W jaki sposb mona je przezwycia? Jakie bariery dostrzegaj pracodawcy wsppracujcy z KIS? Czy KIS s w ich opinii atrakcyjnym part-nerem do wsppracy?

obszar D

Czy dostpne zasoby (finansowe, ludzkie, organizacyjne) s wystarczajce do realizacji podejmowanych przez KIS dziaa? Czy s adekwatne do potrzeb? Czy kompetencje pra-cownikw zaangaowanych w dziaania prowadzone przez KIS odpowiadaj powierzo-nym im zadaniom? Jakie potrzeby maj te osoby? Co im utrudnia prac? Jakie rozwiza-nia mog zwikszy skuteczno podejmowanych przez nie dziaa?



analiza dokumentacji (np. zwizanej z realizacj projektw przez KIS, regionalnych opra-cowa w zakresie polityki spoecznej i przeciwdziaaniu wykluczeniu spoecznemu),

pogbione wywiady indywidualne (IDI) z kierownikami/koordynatorami wszystkich KIS w wojewdztwie,

zogniskowane wywiady grupowe (FGI) z udziaem pracownikw KIS, przedstawicie-li wsppracujcych z nimi pracodawcw i organizacji partnerskich (np. PUP, OPS,

37

a take innych instytucji samorzdowych, instytucji owiatowo-kulturalnych, organizacji pozarzdowych),

opracowanie 8 studiw przypadkw wybranych KIS, w celu przeanalizowania sposobu ich funkcjonowania (podejmowanych dziaa, problemw i ogranicze) oraz zidentyfi-kowania dobrych praktyk. Studia opieray si na analizie dokumentw projektowych, IDI z pracownikami KIS, przedstawicielami instytucji partnerskich oraz pracodawcami wsp-pracujcymi z KIS, a take wywiadach i ankietach przeprowadzonych z ich klientami.


analiza danych zastanych (np. danych statystycznych na temat sytuacji spoeczno-go-spodarczej wojewdztwa, informacji dotyczcych dziaalnoci KIS zaczerpnitych z do-kumentw przygotowanych przez Biuro ds. pomocy i integracji spoecznej wchodzce w skad Regionalnego Orodka Polityki Spoecznej oraz Urzd Marszakowski w Olsztynie),

wywiady telefoniczne wspomagane komputerowo (CATI), w ktrych wzili udzia: a. kierownicy/koordynatorzy wszystkich KIS dziaajcych na terenie wojewdztwa

(prba wyczerpujca, badanie prowadzono w dwch etapach, tj. w II poowie 2009 r. oraz w kwietniu 2010 r. badanie uzupeniajce). Dodatkowo przeprowa-dzono wywiady z pracownikami wszystkich KIS, ktre zawiesiy swoj dziaalno,

b. przedstawiciele instytucji wsppracujcych z KIS,c. pracodawcy wsppracujcy z KIS (wskazani przez kierownikw/koordynatorw

klubw), ankiety papierowe (PAPI) dla beneficjentw KIS (badanie prowadzono w dwch etapach, drugi z nich zrealizowano w I kwartale 2010 r.).

Koncepcja ewaluacji zostaa wypracowana wsplnie przez zamawiajcego i wykonawc. Zamawiajcy wnis do niej duy wkad merytoryczny i zrealizowa cz zada badawczych.

Sposb opracowania wnioskw i rekomendacji: wnioski i rekomendacje opracowano w formie podsumowania treci raportu, ze wskazaniem mocnych oraz sabych stron KIS.

Rozpowszechnienie wynikw: raport z badania zosta zamieszczony na stronie interne-towej Ministerstwa Rozwoju Regionalnego, Urzdu Marszakowskiego w Olsztynie oraz na stronie projektu utworzonej przez FRDL.

Najwaniejsze efekty ewaluacji w ramach rekomendacji zaproponowano m.in.:

reaktywacj zawieszonych KIS poprzez przyznanie im rodkw na prowadzenie dziaal-noci oraz zatrudnienie niezbdnej kadry (ze wzgldu na due zapotrzebowanie na pro-wadzone przez nie dziaania). Przeprowadzenie przed wznowieniem dziaalnoci KIS po-gbionej analizy potrzeb rodowiska lokalnego w celu zdiagnozowania grup docelowych oraz form niezbdnego im wsparcia,

doprecyzowanie roli i celw KIS w celu zapewnienia cigoci ich funkcjonowania4,

4 KIS-y powinny stanowi element wspierajcy dziaania prowadzone przez inne podmioty z obszaru pomocy spoecznej i przeciwdziaania wykluczeniu (zapewniajc tym samym kompleksowo oferowanego wsparcia).

WYKORZYSTANIEWYNIKWEWALUACJI

38

umoliwienie i usprawnienie wsppracy KIS z partnerami zewntrznymi, wzmocnienie wsppracy pomidzy KIS dziaajcymi na terenie wojewdztwa np. poprzez organizo-wanie regularnych spotka ich pracownikw oraz wizyt studyjnych,

upowszechnianie przykadw dobrych praktyk w regionie, na ktrych KIS mogyby si wzorowa w prowadzeniu wasnej dziaalnoci i wsppracy z innymi podmiotami np. poprzez stworzenie banku/bazy dobrych praktyk zawierajcych szczegowo opisane przykady oraz zamieszczanie ich na stronie internetowej Urzdu Marszakowskiego lub Regionalnego Orodka Polityki Spoecznej w Olsztynie,

organizowanie spotka dla nowych uczestnikw dziaa KIS, rwnie z udziaem osb, ktre dziki programowi wprowadziy zmiany w swoim yciu (np. znalazy prac),

intensyfikacja dziaa informacyjno-promocyjnych prowadzonych przez KIS w rodowi-sku lokalnych pracodawcw w celu pozyskania partnerw do wsppracy oraz zmiany ich nieufnej postawy wobec KIS/osb korzystajcych ze wsparcia tych podmiotw, pro-wadzenie dla gmin i powiatw, pracodawcw oraz organizacji pozarzdowych szkole na temat korzyci z funkcjonowania KIS, popularyzacja dobrych praktyk w zakresie wsp-pracy klubw z tymi podmiotami,

organizowanie szkole i innych form doskonalenia zawodowego dla pracownikw KIS (np. w zakresie pozyskiwania beneficjentw i utrzymywania ich w projekcie), a take zwikszenie zaangaowania wolontariuszy w prace KIS oraz korzystanie z ich wsparcia przy realizacji niektrych zada.

Wczeniejsze dowiadczenia: zamawiajcy i wykonawca mieli dowiadczenie w prowa-dzeniu ewaluacji (wykonawca rwnie w zblionych obszarach).


obustronne dowiadczenie (zamawiajcego i wykonawcy) w realizacji bada ewaluacyj-nych, dogbna znajomo badanego obszaru tematycznego oraz rodowiska lokalnego przez zamawiajcego, wystarczajca liczebno zespou badawczego,

dobre, partnerskie relacje, cisa wsppraca i due wsparcie ze strony zamawiajcego, szczeglnie podczas prowadzenia badania terenowego, dua gotowo pracownikw KIS do udziau w badaniu dziki ich wczeniejszej, satysfakcjonujcej wsppracy z FRDL, a take dziki wsplnemu przekonaniu o wanoci prowadzonej ewaluacji, zapewnienie wiarygodnoci wykonawcy w oczach osb badanych dziki FRDL,

gotowo do wsppracy przy realizacji badania ze strony czonkw KIS (wynikajca m.in. z poczucia zobowizania i chci odwzajemnienia si za uzyskane z KIS wsparcie),

odpowiednio dugi czas realizacji ewaluacji, umoliwiajcy np. czste spotkania z zama-wiajcym, a take dopracowanie raportw ewaluacyjnych,

stay kontakt telefoniczny, mailowy sucy biecej wymianie informacji pomidzy zamawiajcym i wykonawc (np. na temat przebiegu badania oraz uzyskanych wynikw),

obustronna gotowo (zamawiajcego i wykonawcy) do uczenia si.

PRZYDATNEINFORMACJE

39


do dua odlego dzielca siedziby wykonawcy i zamawia-jcego oraz respondentw,

brak penej znajomoci przez wykonawc rodowiska lokal-nego, w ktrym miao by pro-wadzone badanie (zniwelowany dziki duemu wsparciu zama-wiajcego w tym zakresie),

brak moliwoci przeprowadze-nia wywiadw z pracownikami wszystkich KIS, ktre zawiesiy swoj dziaalno, a take wywiadu grupowego z pracodawcami (z powodu niedostp-noci respondentw),

realizacja badania ankietowego klientw KIS przez ich kierownikw/koordynatorw5 (zwikszajca ryzyko uzyskania aprobowanych odpowiedzi),

zaangaowanie si w ankietowanie klientw jedynie 10 KIS (brak moliwoci genera-lizacji uzyskanych wynikw), niereprezentatywna prba partnerw oraz pracodawcw wsppracujcych z KIS6.

Dowiadczenia wyniesione z ewaluacji (lessons learned)7:

zdobycie duej wiedzy na temat badanego obszaru, ktra moe zosta wykorzystana w kolejnych ewaluacjach prowadzonych w innych regionach kraju,

nabycie dowiadczenia w prowadzeniu ewaluacji w odlegym od wasnej siedziby rejonie, upewnienie si, e jako ewaluacji jest w duej mierze uzaleniona od stopnia wsp-pracy z zamawiajcym, a take poznania i zrozumienia jego potrzeb i oczekiwa,

organizowanie warsztatu badawczego w sposb umoliwiajcy odniesienie korzyci nie tylko przez wykonawc, ale i respondentw (np. w formie wymiany informacji, integracji).


identyfikacja mocnych oraz sabych stron badanych KIS, opracowanie streszcze wybranych elementw badania (np. czynnikw utrudniajcych prac KIS, wsppracy KIS z partnerami zewntrznymi, studiw przypadkw),

opracowanie studium przypadku omiu KIS, obejmujcego: informacje wstpne, opis podejmowanych dziaa, wsppracy z innymi instytucjami oraz pracodawcami, posia-danego potencjau, napotykanych problemw i trudnoci, dobrych praktyk.

5 Element ten jednoczenie uatwia realizacj badania terenowego. 6 Brak reprezentatywnoci tych prb uniemoliwi uoglnienie uzyskanych wnioskw na populacje wsppracu-

jcych z KIS klientw, partnerw oraz pracodawcw. 7 Przedstawione dowiadczenie dotyczy wykonawcy; ze wzgldu na zmian skadu osobowego zespou FRDL w

Olsztynie, nie udao si uzyska informacji na ten temat od zlecajcego ewaluacj.

rdo: Klub Integracji Spoecznej Aktywni razem w Eku

PRZY

KA

D 5

Podmiot realizujcy przedsiwzicie: Powiatowe Centrum Pomocy Rodzinie (PCPR) w Gorlicach

Uczestnicy projektu: dziaania projektowe skierowane s do nastpujcych grup:

osb niepenosprawnych, ktre czsto znajduj si w niekorzystnej sytuacji finanso-wej, maj problemy zdrowotne, posiadaj nieadekwatne do rynku pracy kwalifika-cje i nisk samoocen, znacznie utrudniajce im znalezienie i podjcie pracy,

rodzicw z rodzin problemowych oraz rodzin zastpczych, majcych trudnoci lub wykazujcych potrzeb wsparcia w rozwizaniu problemw wychowawczych,

wychowankw opuszczajcych placwk opiekuczo-wychowawcz lub rodzin zastpcz, ktrzy s czsto obarczeni trudnymi dowiadczeniami z dziecistwa, maj nisk samoocen i nie wierz we wasne moliwoci, napotykaj na problemy w szkole, s bardziej podatni na naogi oraz nieodpowiednie towarzystwo.

Termin realizacji: 1.01.2010-31.12.2012 r.

Obszar realizacji: teren caego powiatu gorlickiego

Kluczowe informacje: projekt ma charakter systemowy i jest realizowany w ramach Priorytetu VII PO KL Promocja integracji spoecznej, w Dziaaniu 7.1 Rozwj i upowszechnianie aktywnej integracji. Gwnym ce-lem projektu jest zwikszenie moliwoci udziau w yciu spoecznym i zawodowym uczestnikw projektu oraz tworzenie ich pozytywnego wizerunku. Szczegowe cele projektu zakadaj kompleksowe podejcie do rozwizania problemu niskiego poziomu integracji spoecznej i zawodowej klientw pomocy spoecznej w powiecie gorlickim. Do celw tych nale: minimalizacja problemw w sprawach opiekuczo-wychowaw-czych, pomoc w odzyskaniu poczucia wasnej wartoci i nabyciu umiejtnoci spoecznych oraz samodziel-noci yciowej, wsparcie w procesie usamodzielniania si wychowankw, pomoc w odnalezieniu si uczest-nikw projektu na rynku pracy, minimalizacja ich zagroenia wykluczeniem spoecznym, a take niwelowanie uprzedze i stereotypw poprzez docieranie z informacj do spoeczestwa.

W ramach projektu oferuje si instrumenty aktywizacji spoecznej, zawodowej, edukacyjnej i zdrowotnej realizowane w ramach umw z uczestnikami oraz w ramach Programu Aktywnoci Lokalnej. Wrd form wsparcia prowadzono m.in. warsztaty poszukiwania pracy, spotkania integracyjne, treningi kompetencji i umiejtnoci spoecznych, specjalistyczne poradnictwo psychologiczne, grupy wsparcia, szko dla rodzi-cw, turnusy szkoleniowo-rehabilitacyjne, kursy udzielania pierwszej pomocy, kursy i szkolenia zawodowe, kursy prawa jazdy oraz badania profilaktyczne.

W ramach dziaa rodowiskowych zorganizowano piknik powicony promowaniu idei rodzicielstwa zastp-czego wrd spoecznoci lokalnej oraz konferencj na temat przeamywania stereotypw dotyczcych ko-biet i osb niepenosprawnych. Ponadto we wsppracy z Urzdem Miasta Gorlice zorganizowano I Gorlicki Dzie Osb Niepenosprawnych pod nazw Spotkanie z godnoci, ktre na stae wpisao si w kalendarz corocznie organizowanych w miecie wydarze na rzecz osb niepenosprawnych zamieszkaych na terenie powiatu gorlickiego.

Powiatowe Centrum Pomocy Rodzinie w Gorlicach Projekt systemowy Aktywno i integracja szans na lepsze jutro


42

OPIS EWALUACJI

Tytu raportu ewaluacyjnego: Monitoring i ewaluacja projektu systemowego pod na-zw Aktywno i integracja szans na lepsze jutro

Termin realizacji ewaluacji: kwiecie-grudzie 2010 r.

Data opracowania raportu: grudzie 2010 r.

Rodzaj ewaluacji: on-going (bieca)

Zlecajcy: Powiatowe Centrum Pomocy Rodzinie w Gorlicach

rdo finansowania: rodki UE w ramach Europejskiego Funduszu Spoecznego (rodki projektu)

Zasadno ewaluacji: wasna inicjatywa ch zbadania adekwatnoci i jakoci oferowa-nych instrumentw oraz form wsparcia, uzyskanych efektw, a take poprawnoci przepro-wadzonych w ramach projektu dziaa.

Procedura wyonienia wykonawcy: otwarty nabr na stanowisko specjalisty ds. mo-nitoringu i ewaluacji wsppraca na zasadzie umowy zlecenia. Ze strony wykonawcy wy-magano m.in. co najmniej rocznego dowiadczenia w prowadzeniu monitoringu i ewaluacji oraz znajomoci zagadnie z zakresu polityki spoecznej. Aplikacje (oferty) porwnywano pod ktem proponowanego sposobu realizacji badania, harmonogramu i ceny (stawki za 1 godzin pracy).

Przedmiot i zakres ewaluacji: projekt systemowy pn. Aktywno i integracja szans na lepsze jutro dziaania wdroone w roku 2010

Cele ewaluacji: weryfikacja zgodnoci realizacji projektu z obowizujcymi wytycznymi, ocena jakoci oferowanego wsparcia i form aktywnej integracji, okrelenie potrzeb uczest-nikw projektu, ocena stopnia osignicia zakadanych celw i rezultatw (twardych oraz mikkich), diagnozowanie problemw zwizanych z realizacj projektu w celu wskazania dziaa naprawczych, biece wsparcie doradcze, a take ocena przygotowania i potencjau organizacyjnego podmiotu wdraajcego (PCPR w Gorlicach).

ZARZDZANIE

KONCEPCJAEWALUACJI

43

Powizanie z innymi badaniami/ewaluacjami: w kolejnym roku ponownie zlecono ewaluacj projektu (tj. dziaa realizowanych w 2011 r.), w ramach ktrej przeprowadzono m.in. pogbione wywiady indywidualne z uczestnikami projektu.


skuteczno stopie osignicia zakadanych w projekcie celw i wskanikw produktw/rezultatw,

trafno zgodno obszarw i form wsparcia oferowanych w ramach projektu z potrzebami jego uczestnikw tj. dopasowanie dziaa projektowych do potrzeb grup docelowych,

zgodno prawidowo realizacji projektu z punktu widzenia strategicznych dokumen-tw programowych PO KL i wytycznych Programu w zakresie realizacji projektw (dla potrzeb monitoringu),

uyteczno przydatno danych form wsparcia w osiganiu celw projektu i poprawie sytuacji jego uczestnikw.


Czy zastosowane podejcie do uczestnikw i do rozwizywania ich problemw zakada kompleksow prac? Czy oferowane w projekcie formy wsparcia s zgodne z potrzebami grup docelowych, do ktrych s skierowane?

Ktre z oferowanych w ramach projektu form wsparcia s najbardziej skuteczne? Jak uczestnicy projektu oceniaj instrumenty, narzdzia i formy wsparcia, ktre zostay im zaoferowane? Czy cele i rezultaty projektu zostay osignite na zakadanym poziomie?

Jak wyglda struktura zarzdzania projektem (podzia obowizkw midzy czonkw ze-spou projektowego)? W jaki sposb prowadzone s kluczowe zadania zwizane z reali-zacj projektu (rekrutacja, informacja i promocja, indywidualny dobr form wsparcia)? Jakie problemy wystpuj podczas realizacji projektu? Czym s spowodowane?

r

do:

Pow

iato

we

Cent

rum

Pom

ocy

Rodz

inie

w G

orlic

ach

44



analiza dokumentacji projektowej, pogbione wywiady indywidualne (IDI) z kluczowymi pracownikami zaangaowanymi w realizacj projektu,

obserwacja uczestniczca wybranych form wsparcia (kursy, warsztaty, wyjazdy integra-cyjne) prowadzona przez pracownikw PCPR.


ankiety papierowe dla uczestnikw projektu. Koncepcja ewaluacji zostaa wypracowana przez zewntrznego eksperta (specjalist ds. mo-nitoringu i ewaluacji), jednak cel ewaluacji, kryteria i pytania oraz narzdzia badawcze zosta-y uzgodnione z zamawiajcym. W kolejnym roku Zesp Projektowy samodzielnie przygoto-wa koncepcj ewaluacji.

Sposb opracowania wnioskw i rekomendacji: wyniki ewaluacji zostay podsumo-wane w oddzielnym rozdziale raportu w formie odpowiedzi na pytania badawcze, a gwne wnioski i zalecenia zebrano w tabeli. Rekomendacje doprecyzowano po konsultacji z zama-wiajcym.

Rozpowszechnienie wynikw: wyniki zostay przeanalizowane przez pracownikw Zespou Projektowego i zaprezentowane lo

ewaluacja programów i przedsięwzięć społecznych. katalog

Documents