Wyniki ewaluacji okresowej projektu Wyniki ewaluacji okresowej projektu pn. „Wsparcie osób z zaburzeniami psychicznymi pn. „Wsparcie osób z zaburzeniami psychicznymi

na rynku pracy II”na rynku pracy II”

23 maja 2012 r.Warszawa

II Konferencja realizowana w ramach projektu pn.

„Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II”

Informacje wstępne

Ewaluacja okresowa o charakterze wewnętrznym

Obejmująca okres od 01.06.2011 do 31.03.2012 (data graniczna ewaluacji)

Zakres ewaluacji:- działania o charakterze zarządczym (aspekt

administracyjny, finansowy, rzeczowy)- działania o charakterze merytorycznym (warsztaty

kompetencji, aktywizujące, dla otoczenia OZP, szkolenia zawodowe)

- proces rekrutacji i promocji projektu

Cele ewaluacji

oszacowanie wartości projektu pod kątem adekwatności, trafności, skuteczności, efektywności oraz użyteczności

identyfikacja słabych oraz mocnych stron projektu (w tym dobrych praktyk)

sformułowanie zaleceń dotyczących sposobu realizacji projektu, zarówno w odniesieniu do obecnej, jak i kolejnych edycji tego przedsięwzięcia

Kryteria ewaluacyjne

adekwatność – stopień dostosowania projektu do potrzeb OZP oraz ich otoczenia

trafność przyjętych metod rekrutacji oraz form promocji projektu

skuteczność – stopień osiągnięcia zaplanowanych celów i rezultatów projektu

użyteczność – stopień przydatności projektu dla OZP oraz ich otoczenia

efektywność – sprawność we wdrażaniu projektu ( czynniki ułatwiające/utrudniające realizację projektu)

Pytania badawcze

1. Czy program wsparcia dla OZP oraz osób z ich otoczenia zostały sformułowane adekwatnie do potrzeb i oczekiwań tych grup docelowych? (adekwatność)

2. Czy sposób realizacji danych form wsparcia sprzyjał osiągnięciu celów? (jw.)3. Czy sposób organizacji przyjętych form wsparcia był odpowiedni do możliwości oraz

potrzeb uczestników? (jw.)4. Czy w projekcie uwzględniono specjalne potrzeby BO OZP? (jw.)5. W jakim stopniu działania promocyjne i rekrutacja dotarły do odbiorców i miały

wpływ na ich udział w projekcie? (trafność)6. Jakie czynniki wpływały na podjęcie tej decyzji? (jw.)7. Czy założone rezultaty są osiągane zgodnie z harmonogramem? Czy i ew. które cele

mogą być zagrożone? (skuteczność)8. W jakim stopniu zostały zrealizowane założone wskaźniki? (jw.)9. Czy wskaźniki produktów i rezultatów są osiągane zgodnie z harmonogramem? (jw)10. Czy rokuje to pełnemu ich osiągnięciu? (jw.)11. Jaki jest poziom satysfakcji i zadowolenia BO z udziału w projekcie? (użyteczność) 12. Jakie czynniki wpływały na poziom satysfakcji BO? (jw.)13. Jaką wiedzę i umiejętności uzyskali BO? (jw.)14. Jakie czynniki ułatwiały/utrudniały osiąganie celów i rezultatów? (efektywność)

Kwestie metodologiczne (1)

Koncepcja badania została zaplanowana z dużym wyprzedzeniem czasowym i opisana w dokumencie pn. „Strategia ewaluacji i monitoringu w projekcie Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II”

W badaniu ewaluacyjnym wykorzystano metody:

jakościowe - analizę dokumentacji i danych zastanych ilościowe - ankiety papierowe

Kwestie metodologiczne (2)

Analiza dokumentacji i danych zastanych obejmowała:

- wniosek o dofinansowanie projektu- raporty z ewaluacji mid-term oraz ex-post I edycji projektu- raport podsumowujący I edycję projektu- raport z ewaluacji ex-ante ewaluowanego projektu- dane z monitoringu- protokoły z posiedzeń Komitetu Sterującego- informacje dotyczące wydatkowania środków- rejestr wypracowanych produktów- ankiety zarządcze i opracowane na ich podstawie raporty za okres VI-

IX i X-XII 2011

Kwestie metodologiczne (3)

Sondaż zrealizowany przy pomocy ankiet papierowych odnoszących się do poszczególnych form wsparcia:

- kwestionariusze ankiet dot. warsztatów aktywizujących, warsztatów kompetencji oraz szkoleń zawodowych

- kwestionariusze ankiet dot. oceny projektu przez OZP oraz ich otoczenie (tj. ankiety samooceniającej wypełnianej przed i po zakończeniu udziału w projekcie w celu dokonania pomiaru rezultatów miękkich)

- kwestionariusze ankiet o charakterze ogólnym dla OZP oraz ich otoczenia

Dane z monitoringu

Do dnia 31.03.2012 r. udział w projekcie rozpoczęło 700 osób (58%), w tym 430 to OZP (72%) a 270 to osoby z ich otoczenia (45%)

Kobiety stanowią 47% wśród OZP i 75% ich otoczenia oraz 58% ogółu BO

176 osób zakończyło, 17 przerwało, zaś 507 kontynuuje swój udział w projekcie

Struktura grupy docelowej (1)

Struktura grupy docelowej (2)

Struktura grupy docelowej (3)

1. Opracowanie ID2. Warsztaty kompetencji3. Warsztaty aktywizujące4. Konsultacje specjalistyczne5. Opracowanie IPD/IŚZ6. Badania lekarskie7. Szkolenia zawodowe8. Szkolenia BHP9. Staże rehabilitacyjne10.Zatrudnienie11.Podjęcie nauki12.Warsztaty dla otoczenia OZP13. Indywidualne konsultacje

Obszar I: postęp finansowy i rzeczowy

Zdiagnozowane problemy:

opóźnienie w wydatkowaniu środków (34%). Kwota wniosków zaakceptowanych przez IW stanowi ok. 17% budżetu projektu

niedostateczny poziom realizacji 10 spośród 13 wskaźników

zróżnicowany udział Partnerów w osiąganiu ww. rezultatów:

- największy wkład Partnera z Gorzowa (9 wskaźników zrealizowanych na najwyższym poziomie)

- największą ilość wskaźników na poziomie ‹ 3% wykazują Partnerzy z Gdańska (8), Bydgoszczy (7), Poznania (7)

Skutki: ryzyko niezrealizowania projektu w zaplanowanym terminie, nieosiągnięcia 6-ciu założonych wskaźników, nadmierne obciążenie niektórych Partnerów kosztem niewywiązywania się innych z podjętych zobowiązań

Rekomendacje: zmiana harmonogramu projektu (wydłużenie czasu wdrażania) zwiększenie poziomu wydatkowania środków o około 20% modyfikacja wskaźników (uelastycznienie zapisów) zintensyfikowanie wymiany doświadczeń pomiędzy Partnerami

(dobre praktyki):

- Partner z Gorzowa; wskaźnik zatrudnienia BO OZP 187%, konsultacji specjalistycznych 96%, konsultacji indywidualnych 83%, badań lekarskich 70%

- Partner z Gdańska; opracowanie ID 73%, podjęcie/kontynuacja nauki przez BO OZP 67%

- Partner z Łodzi; wskaźnik badań lekarskich oraz szkoleń BHP po 70%, warsztatów kompetencji 63%

- Partner z Poznania; wskaźnik zatrudnienia BO OZP 80%

Obszar II: zarządzanie i komunikacja

Zdiagnozowane problemy:

trudności o charakterze zarządczym:

- absencja na posiedzeniach KS przedstawicieli niektórych Partnerów, nadużywanie upoważnień do udziału w KS

- brak terminowości w przekazywaniu przez Partnerów wymaganych dokumentów (w tym ankiet zarządczych)

- trudności we współpracy i komunikowaniu się Lidera z niektórymi Partnerami oraz pomiędzy samymi Partnerami (funkcjonowanie niektórych z nich w oderwaniu od pozostałych, mniejsze zaangażowanie, wyłączenie z procesów decyzyjnych)

trudności merytoryczne (problem z rekrutacją osób z otoczenia OZP oraz pracodawców, identyfikacją osób zainteresowanych podjęciem/kontynuacją nauki)

długi czas oczekiwania na decyzje/informacje z IW (CRZL)

Skutki - utrudnione zarządzanie projektem, powstawanie barier i opóźnień, słabsza jakość współpracy, opóźnienia w składaniu wniosków o płatność, w przypadku niektórych Partnerów brak rzetelnych informacji zbieranych przy pomocy ankiet zarządczych

Rekomendacje: wprowadzenie działań o charakterze dyscyplinującym, mających

na celu zwiększenie zaangażowania części członków KS oraz zachowania terminowości w przekazywaniu dokumentacji (np. określenie w umowie warunków uczestnictwa/obecności na KS)

zacieśnienie współpracy pomiędzy Partnerami poprzez podjęcie działań służących integracji, wymianie doświadczeń oraz dobrych praktyk (np. organizowanie wizyt studyjnych)

uczulenie Partnerów na konieczność sumiennego wypełniania ankiet zarządczych, wyjaśnienie celu w jakim gromadzone są te informacje

Obszar III: rekrutacja i promocja

Zdiagnozowane problemy:

główne źródło informacji o projekcie stanowią dla 54% BO OZP ulotki i plakaty, a dla ich otoczenia sami OZP (53%), mniej więcej co trzecia osoba z obu tych grup wskazała znajomych i rodzinę (kolejno 36% i 29%)

- z portali dla ON korzystało 22% BO OZP i 5% osób z ich otoczenia - z informacji prasowych po 14% osób z obu tych grup - ze strony Internetowej projektu 12% osób z otoczenia i 4% OZP (radio

wskazało 5%, zaś audycje TV 2%

Partnerzy nie dostarczają na bieżąco Liderowi projektu materiałów promocyjnych, które mają być zamieszczane na stronie Internetowej projektu

Skutki – Internet, prasa, radio i TV mają nikłe znaczenie w procesie rekrutacji, niedostateczna promocja projektu, szczególnie na poziomie regionalnym

Rekomendacje: intensywne angażowanie OZP w proces rekrutacji otoczenia:

- przekonywanie OZP o celowości i znaczeniu uczestnictwa osób z ich otoczenia w projekcie, pokazywanie przykładów i dobrych praktyk

- zachęcanie do włączania do udziału w projekcie osób spoza kręgu rodziny (przyjaciół, kolegów)

- próba dotarcia do terapeutów i psychologów mających kontakt z OZP

podjęcie działań służących: - zbadaniu potrzeb Partnerów w zakresie promocji projektu na poziomie

regionalnym oraz intensyfikacja danych form promocji - uświadomieniu Partnerom celowości oraz korzyści wynikających

z zamieszczania materiałów promocyjnych na stronie projektu,- aktualizacji informacji nt. promocji na poziomie regionalnym (na podstawie

danych z miesięcznych sprawozdań) - zintensyfikowaniu promocji projektu na portalach dla ON

Mocne strony projektu (1)

doświadczenie Lidera oraz 2-ch Partnerów w realizacji pilotażu wdrażanie projektu zgodnie z zasadą równości szans ze

względu na płeć, wiek oraz wykształcenie zarządzanie projektem zgodnie z PCM oraz elementami

metodyki PRINCE 2 bieżące wyjaśnianie nieścisłości i nieporozumień,

demokratyczny sposób podejmowania decyzji w Partnerstwie, w oparciu o wypracowany konsensus

stopniowa poprawa współpracy Partnerów z Liderem projektu, a także pomiędzy poszczególnymi Partnerami

satysfakcja Partnerów z uczestnictwa w projekcie oraz odnoszone przez nich korzyści (wzmocnienie organizacji poprzez nabywanie wiedzy i doświadczeń, nawiązywanie nowych kontaktów, autopromocja, większa rozpoznawalność)

Mocne strony projektu (2)

dostosowanie projektu do potrzeb prawie wszystkich BO OZP oraz osób z ich otoczenia, wysoki stopień spełnienia oczekiwań wobec projektu (98% i 95%),

bardzo wysokie odsetki pozytywnych ocen uzyskiwanego wsparcia (98% i 100%)

spełnienie oczekiwań ogromnej większości uczestników warsztatów aktywizacyjnych oraz kompetencji, szkoleń zawodowych i warsztatów dla otoczenia OZP

wysoka ocena ww. form wsparcia przyznana przez ogromną część uczestników (87-93%) gł. przygotowanie prowadzących, tematyka i forma zajęć, otrzymane materiały

przydatność zdobytej podczas warsztatów wiedzy i umiejętności (88% OZP i 94% otoczenia OZP)

wszyscy uczestnicy szkoleń zawodowych wskazują na osiągnięte korzyści (100%)

Mocne strony projektu (3)

postrzeganie udziału w projekcie w kategoriach sukcesu przez 96% BO OZP (ze względu na wzrost samodzielności, aktywności społeczno-zawodowej, poczucia własnej wartości),

wzrost wiary w siebie (77%) zadowolenie niemal wszystkich BO OZP z wykonywanej pracy

(poprawa sytuacji materialnej, wzrost kontaktów społecznych, zwiększenie stabilności i komfortu psychicznego, odzyskanie poczucia własnej wartości oraz wzrost aktywności)

w większości przypadków bardzo dobra współpraca z pracodawcą/pracownikami

zmiany w funkcjonowaniu społecznym OZP zaobserwowane przez 94% osób z ich otoczenia

wzrost świadomości osób z otoczenia OZP w zakresie możliwości ich wspierania (88%), zmiana sposobu postrzegania OZP, lepsze zrozumienie i uświadomienie sobie dotychczasowych błędów, uwrażliwienie, większa cierpliwość

Mocne strony projektu (4)

wysoki poziom kompetencji miękkich po zakończeniu udziału w projekcie większości BO OZP:

- motywacji do poszukiwania pracy, mobilności zawodowej, komunikowania się, pracy w zespole, autoprezentacji, pisania cv i LM oraz samooceny (dane zebrane przez 4-ch Partnerów)

jw. w odniesieniu do osób z otoczenia OZP:- wiedzy nt. możliwości społeczno-zawodowych OZP, radzenia sobie

z chorobą, komunikowania się z OZP, interweniowania w sytuacji kryzysowej, motywacji do wspierania OZP, umiejętności jej kontrolowania i dyscyplinowania, społecznego funkcjonowania (dane zebrane przez 5 Partnerów)

brak różnic w ww. zakresie pomiędzy poszczególnymi Partnerstwami

Dziękuję za uwagę

II Konferencja realizowana w

ramach projektu pn.

„Wsparcie osób z zaburzeniami

psychicznymi na rynku pracy II”