zamawiający jakości zycia 1/poradnik... · 03-733 warszawa . 3 ... raport z realizacji programu...

2

Zamawiający:

Gmina Bytom ul. Parkowa 2 41-902 Bytom

Wykonawca:

EU-CONSULT Sp. z o.o. ul. Toruńska 18C, lokal D

80-747 Gdańsk

Utila sp. z o.o. ul. Targowa 42/20 03-733 Warszawa

3

Spis treści Wstęp ....................................................................................................................................................................................... 5 Podstawowe informacje na temat ewaluacji ............................................................................................................ 5

Definicja ewaluacji .............................................................................................................................................................................. 5 Rodzaje ewaluacji ................................................................................................................................................................................ 6 Podmioty prowadzące ewaluację ................................................................................................................................................. 7 Charakter ewaluacji............................................................................................................................................................................ 8 Cel przeprowadzania ewaluacji .................................................................................................................................................... 9 Korzyści wynikające z przeprowadzenia ewaluacji ............................................................................................................. 9 Etapy ewaluacji ................................................................................................................................................................................. 10

Etap 1. Planowanie ..................................................................................................................................................................... 11 Etap 2. Pozyskanie i gromadzenie danych ....................................................................................................................... 12 Etap 3. Analizowanie pozyskanych danych i informacji ............................................................................................ 13 Etap 4. Raportowanie i tworzenie rekomendacji ......................................................................................................... 14 Etap 5. Upowszechnianie wyników ewaluacji ............................................................................................................... 14

Metodologia przeprowadzania badań ewaluacyjnych....................................................................................... 15 Podział metod i technik badawczych ...................................................................................................................................... 15 Szacowanie wielkości próby........................................................................................................................................................ 17

Badania ilościowe ....................................................................................................................................................................... 17 Badania jakościowe .................................................................................................................................................................... 18

Metody i techniki badawcze stosowane w procesie ewaluacji .................................................................................... 19 Analiza danych zastanych (desk research) ..................................................................................................................... 19 Wywiad telefoniczny wspomagany komputerowo (Computer-Aided Telephone Interview – CATI) .. 21 Wywiad bezpośredni kwestionariuszowy (Paper & Pen Personal Interview – PAPI) ................................ 23 Wywiad osobisty wspomagany komputerowo (Computer-Aided Personal Interview) ............................. 27 Ankieta internetowa (Computer-Aided Web Interview – CAWI) .......................................................................... 28 Ankiety papierowe samodzielnie wypełniane przez respondentów ................................................................... 31 Indywidualny wywiad jakościowy (In-Depth Interview – IDI) .............................................................................. 34 Telefoniczny wywiad pogłębiony (Telephone In-Depth Interview) .................................................................... 36 Diada/Triada ................................................................................................................................................................................. 37 Zogniskowany wywiad grupowy (Focused Group Interview – FGI).................................................................... 40 Panel ekspertów .......................................................................................................................................................................... 43 Badanie delfickie ......................................................................................................................................................................... 45 Wywiad częściowo ustrukturyzowany (Semi-Structured Interview - SSI) ...................................................... 47 Telefoniczny wywiad częściowo ustrukturyzowany (Telephone Semi-Structured Interview - TSSI) . 49 Badanie techniką tajemniczego klienta ............................................................................................................................. 50

4

Benchmarking .............................................................................................................................................................................. 51 Warsztaty........................................................................................................................................................................................ 53

Specyfika realizacji badań ewaluacyjnych dotyczących projektów społecznych i gospodarczych, których zadaniem był wpływ na zmiany jakości życia mieszkańców i warunki prowadzenia działalności gospodarczej przez przedsiębiorców w województwie śląskim, w miastach kurczących się, o liczbie mieszkańców nie mniejszej niż 100 tysięcy ................................................................................. 55 Analiza metod i technik badawczych zastosowanych w badaniu ewaluacyjnym Przeprowadzenie badań jakości życia na obszarze rewitalizacji wraz z ewaluacją wpływu dotychczas realizowanych projektów społecznych i gospodarczych w Bytomiu ............................................................................................. 63

Badanie opinii mieszkańców dotyczących oceny stanu miasta, warunków życia oraz oczekiwań wobec władz miejskich ................................................................................................................................................................................. 63 Badanie jakości życia na obszarze rewitalizacji w zakresie wyjaśniania przyczyn i mechanizmów trwania/pogłębiania się problemów społecznych ............................................................................................................ 69 Badanie jakości życia na obszarze rewitalizacji w zakresie oceny kwestii bezpośrednio powiązanych z jakością życia .................................................................................................................................................................................. 72 Badanie postrzegania jakości życia na obszarze oczami podmiotów, których działalność może wpływać ujemnie lub dodatnio na poziom jakości życia mieszkańców i wykorzystywanie lokalnych zasobów ..... 76 Ewaluacja wpływu dotychczas realizowanych projektów społecznych w Bytomiu na zmiany jakości życia mieszkańców obszarów zagrożonych ubóstwem i wykluczeniem społecznym ...................................... 81 Badanie przedsiębiorców wraz z ewaluacją wpływu dotychczas realizowanych projektów dedykowanych przedsiębiorcom na terenie Bytomia ..................................................................................................... 84

Omówienie przykładów zrealizowanych badań ewaluacyjnych ................................................................... 88 Ewaluacje dotyczące projektów/programów gospodarczych ..................................................................................... 88

Raport końcowy ewaluacji projektu systemowego „Więcej szans w powiecie dębickim” ........................ 88 Raport z realizacji Programu Aktywizacja i Integracja w 2015 roku .................................................................. 92

Ewaluacje dotyczące projektów/programów społecznych .......................................................................................... 97 Raport z ewaluacji wewnętrznej mid – term projektu „Społeczne i instytucjonalne aspekty bezdomności”, realizowanego przez Wyższą Szkołę Przedsiębiorczości i Administracji w Lublinie ... 97 Końcowa ewaluacja programu Wolontariat dla Silniejszych Wspólnot (Final evaluation of the Volunteering for Stronger Communities programme)............................................................................................ 101 Ewaluacja projektu Odmiana Sytuacji Mieszkanek Liverpoolu ( Evaluation of the Liverpool Women’s Turnaround Project ................................................................................................................................................................ 105

Ewaluacja dotycząca projektów/programów społecznych i gospodarczych ..................................................... 109 Przeprowadzenie badań jakości życia na obszarze rewitalizacji wraz z ewaluacją wpływu dotychczas realizowanych projektów społecznych i gospodarczych w Bytomiu ............................................................... 109

5

Wstęp

W wytycznych w zakresie prowadzenia ewaluacji na okres programowania 2014

- 2020 Komisja Europejska zachęca państwa członkowskie do zwiększania wysiłków

zmierzających do dostarczenia informacji na temat mierzalnych efektów realizowanych

projektów, programów i przedsięwzięć. Jednym z kluczowych zadań ewaluacji jest

ustalenie związku między interwencją, a obserwowanymi jej wynikami. Sama ewaluacja

ma bardzo długą, ponad stuletnią, tradycję studiow i badan. W Polsce ewaluacja jest

zjawiskiem szerzej znanym od zaledwie kilkudziesięciu lat. Jej rozkwit jest ściśle

związany z przystąpieniem Polski do Unii Europejskiej. Początkowo ewaluacja była

podejmowana głównie przez administrację centralną. Sytuacja ta jest płynna, podlega

zmianom. Obecnie zauważa się w Polsce decentralizację inicjatyw w podejmowaniu

działań ewaluacyjnych, czego dowodem jest niniejsze opracowanie.

Podstawowe informacje na temat ewaluacji

Definicja ewaluacji

Ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych

metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego

celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości

i wartości procesu oraz efektów wdrażania interwencji publicznych.

Najczęściej stosowanymi kryteriami w procesie ewaluacji są: skuteczność,

efektywność, użyteczność, trwałość i trafność.

6

Ewaluację charakteryzują następujące cechy:

analityczność - jej przejawem jest wykorzystanie uznanych technik

badawczych;

systematyczność - która wymaga planowania i konsekwencji w stosowaniu

wybranych technik;

wiarygodność;

koncentracja problemowa - polega na dążeniu do odszukania rozwiązań

zaistniałych problemów;

użyteczność - której wyrazem jest możliwość wykorzystania wyników

starannie zaplanowanej i prawidłowo przeprowadzonej ewaluacji.

Rodzaje ewaluacji

Pod względem przedmiotu ewaluacji można wyróżnić dwa rodzaje ewaluacji:

ewaluację procesu;

ewaluację wyniku.

Ewaluacja procesu polega na badaniu jakości działań zrealizowanych w ramach

określonego programu. Przedmiotem badania jest proces realizacji. W ramach tego typu

ewaluacji próbuje się ustalić czy osiągnięto zakładane wskaźniki wykonania zadań, czy

program odpowiadał potrzebom osób uczestniczących (interesariuszy), czy skierowano

go do właściwej grupy (beneficjentów). W ewaluacji procesu kluczowa jest analiza

dokumentacji procesu (podjętego w ramach realizacji programu) oraz informacje

zwrotne pozyskane od interesariuszy i beneficjentów. Ze względu na korzystanie z tych

samych źródeł ewaluację procesu należy ściśle łączyć z monitorowaniem realizacji

programu.

Ewaluacja wyniku koncentruje się na badaniu efektów danego programu –

czy osiągnięto oczekiwane zmiany lub jej wskaźniki (także pośrednie). Tutaj kluczowe

7

pytania są następujące: czy nastąpiła zmiana i co na nią wskazuje oraz czy zmianę

spowodowała realizacja programu. Ewaluacja wyniku polega, najogólniej mówiąc, na

zidentyfikowaniu czynników wpływu programu oraz odizolowanie ich od innych

czynników działających w otoczeniu.

Podmioty prowadzące ewaluację

Ewaluację mogą prowadzić osoby z zewnątrz lub z wewnątrz organizacji.

Odpowiednio mówi się wtedy o ewaluacji zewnętrznej lub wewnętrznej.

Wewnętrzną ewaluację prowadzi zespół złożony z osób z organizacji

realizującej program. W dużych organizacjach prawdopodobieństwo, że realizator

programu będzie jednocześnie odpowiedzialny za jego ewaluację jest ograniczone.

W małych podmiotach taki scenariusz może się zdarzyć - należy wtedy mówić

o autoewaluacji. Najpoważniejszą wadą ewaluacji wewnętrznej jest kłopot

z zachowaniem bezstronności i obiektywizmu. Niekorzyścią może być także brak

odpowiednich kompetencji zespołu w zakresie prowadzenia ewaluacji oraz sama

czasochłonność procesu ewaluacyjnego. Jednak wskazane podejście ma także mocne

strony – wśród nich na pierwszy plan wysuwa się dobra znajomość programów

i organizacji jej członków, którzy dysponują dużą wiedzą niezbędną do efektywnie

i skutecznie prowadzonej ewaluacji. Ponadto w ewaluacji wewnętrznej przyjmuje się

założenie, że zespół za nią odpowiedzialny przyjmuje rekomendacje jako własne,

co powoduje łatwiejszą akceptację wniosków z ewaluacji. Należy przyjąć,

że tak prowadzona ewaluacja jest wyrazem uczenia się organizacji, czyli zdobywania

nowych kompetencji.

Ewaluacja zewnętrzna prowadzona jest przez zespół spoza organizacji.

Są to eksperci specjalizujący się w ewaluacji. Dysponują oni ekspercką wiedzą,

umiejętnościami i doświadczeniem, co jest zaletą tego rodzaju ewaluacji. Zewnętrzne

położenie ekspertów względem ewaluowanej organizacji wpływa na obiektywizm,

8

niezależność i „świeże spojrzenie”. Jednak to podejście ma także wady. Ponoszone są

wyższe koszty, zaś osiągnięte wnioski i rekomendacje są postrzegane jako pochodzące

z zewnątrz organizacji, w związku z czym można przypuszczać, że będą trudniejsze

do przyjęcia i wdrożenia.

Trzecia możliwość to model mieszany, tzw. partycypacyjny. Mówi się o nim

wówczas, gdy zespół prowadzący ewaluację współtworzą osoby z zewnątrz

i z wewnątrz organizacji. Pozwala wykorzystać zalety obydwu dotychczas omówionych

pojęć. Jednak wiąże się także z wyzwaniami, z których największe jest związane

ze współpracą osób wchodzących w skład zespołu ds. ewaluacji. Model partycypacyjny

został opracowany dla organizacji przejawiających wyraźne nastawienie na rozwój,

będących otwartymi na prowadzenie dialogu z otoczeniem oraz gotowymi na poddanie

weryfikacji i ocenie wewnętrznych procesów funkcjonowania. Ewaluacja prowadzona

w modelu mieszanym zapewnia dialog między perspektywą zewnętrzną a wewnętrzną -

umożliwia łączenie wiedzy eksperckiej z funkcjonalną, specjalistyczną wiedzą

wewnętrzną organizacji. Pozwala także na podział ryzyka i współodpowiedzialności

za wnioski z ewaluacji. Takie podejścia ma nieliczne wady, zaliczają się do nich jedynie

czasochłonność i potencjalne ryzyka pojawienia się konfliktów we współpracy zespołu.

Charakter ewaluacji

Ze względu na czas, kiedy prowadzona jest ewaluacja, może ona mieć charakter

ex-ante (przed interwencją), on-going (w trakcie), ex-post (po podjętej interwencji).

9

Cel przeprowadzania ewaluacji

Zadaniem ewaluacji jest dostarczanie wiedzy służącej działaniu. Uzyskane

informacje powinny być przydatne dla planowania, rozwoju i realizacji aktualnie

prowadzonego programu. Ewaluacja to proces, którego zadaniem jest ustalenie,

czy dany projekt, przedsięwzięcie lub działanie osiągnęło zakładane cele. Najbardziej

ogólnie ewaluację zdefiniować można jako badanie społeczno-ekonomiczne realizowane

w celu oceny jakości i efektów prowadzonych działan. Zadaniem ewaluacji jest przede

wszystkim ocena stopnia, w jakim dana interwencja wypełniła skutecznie i efektywnie

załoz one cele. Zatem moz na przyjąc, z e istotą ewaluacji jest wnioskowanie o wartości

danego przedsięwzięcia na podstawie uzyskanej informacji zwrotnej od osób

bezpośrednio zaangażowanych w jego realizację. Ewaluacja nie może jednak ograniczać

się jedynie do pomiaru efektów realizacji interwencji, ale powinna również podejmować

probę ustalenia związków przyczynowo-skutkowych pomiędzy podjętymi działaniami

a osiągniętymi efektami. Metody badawcze stanowią podstawowe narzędzie

wykorzystywane w ewaluacji do rozpoznawania i wartościowania zmian zachodzących

wskutek podjętej interwencji publicznej. Przedmiot badań ewaluacyjnych, jakim jest

interwencja publiczna w całej jej złożoności, skłania do wykorzystania zróżnicowanych

podejść badawczych (wpisujących się w ramy tzw. eklektyzmu metodologicznego).

Korzyści wynikające z przeprowadzenia ewaluacji

Ewaluacja ze względu na swoją złożoność jest obciążeniem dla organizacji, która się

na nią decyduje, dlatego też korzyści z niej wynikające muszą przeważać ewentualne

niedogodności wynikające z przygotowania i prowadzenia dokumentacji, ustalania

wskaźników i metod pomiaru. Pracy i zaangażowania wymaga również

10

przeprowadzenie procesu ewaluacyjnego, opracowanie raportu z opisem procesu,

wnioskami i rekomendacjami. Można wskazać następujące korzyści ewaluacji:

Ewaluacja pozwala zidentyfikować mocne i słabe strony programu lub projektu

będącego przedmiotem ewaluacji na wszystkich etapach jego realizacji

(zaczynając od założeń, jakie poczyniono na etapie planowania, poprzez metody

realizacji i zarządzania, kończąc na ocenie skutków, produktów i rezultatów).

W tym zakresie wartością ewaluacji jest wskazanie tego, co można zmienić lub

naprawić, planując kolejne przedsięwzięcia.

Ewaluacja umożliwia i ułatwia dokumentowanie zadań zrealizowanych przez

organizację, stanowiących ich dorobek. Pozwala to budować wiarygodność oraz

wpływa na jakość przedsięwzięć organizacji.

Ewaluacja umożliwia zrozumienie i doświadczanie wpływu przedsięwzięć

podejmowanych przez organizację na otoczenie - interesariuszy i beneficjentów.

Powoduje to wzmocnienie organizacji, a także zwiększa zaangażowanie

wszystkich osób objętych działaniami organizacji, jej programami

i przedsięwzięciami.

Dobrze przemyślana i zaplanowana ewaluacja zwiększa samoświadomość,

rzetelność i rozumienie sensu działania organizacji i wykonywanej przez nią

pracy. Jest tez niewątpliwie – w perspektywie zwiększania skuteczności

organizacji i jakości prowadzonych interwencji – wysiłkiem wartym podjęcia.

Etapy ewaluacji

Jak już wskazano, ewaluacja to proces, czyli zbiór czynności, wzajemnie ze sobą

powiązanych, których realizacja jest niezbędna dla uzyskania określonego rezultatu.

W niniejszym podrozdziale zostaną omówione wspomniane poszczególne etapy procesu

ewaluacji.

11

Krokiem poprzedzającym planowanie ewaluacji i wszystkie następne działania

jest podjęcie decyzji o prowadzeniu ewaluacji. Punktem wyjścia dla procesu ewaluacji

jest zrozumienie problemu i określenie potrzeby, na jaką odpowiadamy, a więc

odwołanie się do diagnozy. To rozpoznanie prowadzi do uzasadnienia potrzeby

interwencji. Następuje zapoznanie się ze standardami i zaleceniami wynikającymi

z polityk wobec danego problemu (w skali lokalnej i ponadlokalnej).

Ewaluacja to złożony proces badawczy, w którym nie można pominąć żadnego

elementu. Każdy z nich powinien być sumiennie przygotowany, by ewaluacja była

zrealizowana jak najbardziej obiektywnie oraz przyniosła jak najwięcej korzyści

w przyszłości.

Ewaluacja to proces charakteryzujący się następowaniem po sobie pewnych

etapów. W wyniku prowadzenia go powstaje „produkt” - aby powstał, konieczne jest

podjęcie następujących kroków stanowiących elementy składowe procesu ewaluacji:

planowanie;

zbieranie danych;

analiza pozyskanych danych;

interpretacja pozyskanych danych, formułowanie wniosków i tworzenie

rekomendacji;

udostępnianie wyników ewaluacji.

Etap 1. Planowanie

Wskazany etap obejmuje zaprojektowanie procesu ewaluacji pod względem

specyfiki projektu. Kroki, które należy podjąć we wskazanym etapie, są następujące:

Zaplanowanie i ustalenie zakresu ewaluacji, celu oraz problemów badawczych.

Wybór osoby lub podmiotu pełniącego funkcję ewaluatora. Istnieją tutaj dwie

możliwości. Po pierwsze – ewaluatorem może być zespół projektowy realizujący

12

dany projekt. Niewątpliwie dysponuje on wiedzą na temat projektu oraz

znajomością jego specyfiki, co stanowi zaletę omawianego rozwiązania.

Natomiast wadą jest potencjalne naruszenie zasady obiektywności. Drugie

rozwiązanie – w celu zachowania obiektywności, rolę ewaluatora zleca się

zewnętrznym ekspertom. Ewentualną negatywną cechą powierzenia ewaluacji

podmiotowi zewnętrznemu jest wydłużenie wstępnej części procesu ze względu

na konieczność poznania specyfiki projektu.

Ustalenie kryteriów ewaluacji. Aby badanie zostało właściwie przeprowadzone,

należy wybrać, jakimi kryteriami ewaluacji będziemy się posługiwać.

Mogą to być:

o trafność - pozwala ocenić, w jakim stopniu cele programu odpowiadają

potrzebom i priorytetom;

o efektywność - pozwala ocenić poziom ekonomiczności zastosowanego

programu, czyli stosunek poniesionych nakładów do uzyskanych produktów;

o skuteczność - pozwoli ocenić, do jakiego stopnia cele przedsięwzięcia

zdefiniowane na etapie programowania wpływu zostały osiągnięte;

o użyteczność - umożliwia ocenę do jakiego stopnia produkty, rezultaty

oddziaływania programu odpowiadają potrzebom grupy docelowej;

o trwałość - pozawala oszacować czy pozytywne zmiany wywołane

oddziaływaniem projektu będą trwały po jego zakończeniu.

Przygotowanie harmonogramu. Należy określić, w jakich ramach czasowych ma

się odbyć ewaluacja oraz jej poszczególne etapy.

Etap 2. Pozyskanie i gromadzenie danych

Wskazany etap obejmuje przygotowanie metodologii, czyli dobór adekwatnych

metod i narzędzi badawczych oraz przeprowadzenie zaprojektowanych badań.

W tym etapie przewiduje się podjęcie następujących działań:

13

Wybór metod i technik badawczych. Należy określić, jakiego rodzaju metody

i techniki zastosujemy w badaniu.

Projektowanie narzędzi badawczych. Najważniejszą kwestią jest takie

przygotowanie pytań, by odpowiadały one na problemy badawcze założone

na etapie przygotowania ewaluacji, przy czym są to pytania szczegółowe,

które zadawane są respondentom.

Realizacja badań. Obejmuje proces zbierania danych. Należy zdecydować,

kto będzie odpowiedzialny za rozdysponowanie narzędzi badawczych.

We wszystkich działaniach wskazanego etapu, szczególnie w zakresie wyboru

metod i technik badawczych oraz projektowania narzędzi badawczych, niezbędny

będzie katalog dobrych praktyk, który znajduje się w dalszej części niniejszego

Poradnika. Zostaną tam wskazane przykłady technik i narzędzi możliwych

do zastosowania.

Etap 3. Analizowanie pozyskanych danych i informacji

Na podstawie przygotowanej metodologii i zrealizowanych w ramach etapu

2. badań następuje analiza zebranego materiału empirycznego.

Na tym etapie przewiduje się realizację dwóch zadań:

Opracowanie pozyskanych danych. Wyniki powinny być analizowane pod kątem

celów i problemów badawczych, by odpowiedziały na główne założenia

ewaluacji. W tym zakresie może być przydatna znajomość programów

analitycznych i statystycznych.

Opracowanie wniosków. Niniejsze zadanie obejmuje przygotowanie

najważniejszych konkluzji i postulatów oraz ewentualnych rekomendacji,

które powstały w wyniku dotąd zrealizowanych działań.

14

Etap 4. Raportowanie i tworzenie rekomendacji

Najczęściej wnioski z ewaluacji znajdują się w raporcie ewaluacyjnym. Wskazany

etap stanowi zwieńczenie dotychczasowych wysiłków i prac. Tutaj cele są następujące:

Po pierwsze – należy zebrać wszystkie uzyskane informacje i dane w formie

raportu.

Po drugie – przygotowane wnioski należy przełożyć na rekomendacje, które będą

stanowiły podstawę do ewentualnego udoskonalenia kolejnej edycji

ewaluowanego projektu lub podobnych mu przedsięwzięć, zaproponowane

rozwiązania mogą ulepszyć wypracowane działania czy procesy zarządzania.

Zapewni to wykorzystanie wypracowanych spostrzeżeń w przyszłości.

Realizacja wskazanego etapu obejmuje:

Zebranie materiałów metodologicznych, wyników badań oraz opracowanych

wniosków, a także bibliografii i źródeł, z których korzystano.

Opracowanie raportu zawierającego co najmniej: spis treści, wstęp, opis

ewaluowanego projektu, cel ewaluacji, przyjęte problemy badawcze (wraz

z uzasadnieniem), opis doboru próby badawczej (wraz z charakterystyką), opis

przyjętej metodologii w zakresie wykorzystanych metod i narzędzi badawczych,

analizę zebranych danych, wnioski i podsumowania, wypracowane

rekomendacje, bibliografię oraz wykaz ewentualnych załączników.

Etap 5. Upowszechnianie wyników ewaluacji

Najbardziej powszechną formą przygotowania raportu jest forma papierowa.

Warto przygotować także skrótową, tj. zawierającą najważniejsze wnioski

i rekomendacje, informację w formie graficznej (przystępnej dla przeciętnego odbiorcy-

mieszkańca). Ze względu na popularność i łatwą dostępność poleca się przygotowanie

takiej informacji w formie prezentacji Power Point.

15

Metodologia przeprowadzania badań ewaluacyjnych

Podział metod i technik badawczych

Metody i techniki badawcze można podzielić na:

Techniki ilościowe;

Techniki jakościowe;

Techniki mieszane.

Techniki ilościowe służą przede wszystkim uzyskaniu informacji o charakterze

statystycznym (np. jaki odsetek respondentów chodzi do kina co najmniej raz na pół

roku, jak w skali od 1 do 5 oceniane jest zadowolenie z imprez kulturalnych

realizowanych na terenie miasta). Powinny być stosowane w sytuacji, gdy liczebność

badanej populacji jest dość duża – minimum 50 osób. Oczywiście nic nie stoi

na przeszkodzie, aby przeprowadzić badanie ilościowe w sytuacji, gdy populacja badana

składa się np. z 20 osób, jednak wówczas każda odpowiedź będzie miała bardzo duży

wpływ na otrzymane wyniki. W takiej sytuacji lepszym rozwiązaniem będzie

zastosowanie techniki jakościowej bądź ilościowo-jakościowej.

Techniki jakościowe służą przede wszystkim do pozyskania pogłębionych

informacji, dostarczających wiedzy nie tylko na temat opinii i postaw respondentów,

lecz także przyczyn występowania takich opinii i postaw (np. umożliwiają uzyskanie

informacji na temat tego, dlaczego doradztwo zawodowe nie zachęciło osoby

bezrobotnej do poszukiwania pracy) – celem technik jakościowych jest udzielenie

odpowiedzi nie na pytanie „czy?”, lecz „dlaczego?”

Techniki mieszane dostarczają informacji zarówno o charakterze ilościowym, jak

i jakościowym.

16

W poniższej tabeli zaprezentowano podział technik badawczych na ilościowe,

jakościowe i mieszane.

Tabela 1. Podział technik badawczych na ilościowe, jakościowe oraz mieszane Techniki ilościowe Techniki jakościowe Techniki mieszane

Wywiad telefoniczny

wspomagany komputerowo

(Computer-Aided Telephone

Interview – CATI).

Analiza danych zastanych (desk

research)

Wywiad częściowo

ustrukturyzowany (Semi-

Structured Interview - SSI)

Wywiad bezpośredni

kwestionariuszowy (Paper & Pen

Personal Interview – PAPI)

Indywidualny wywiad

jakościowy (In-Depth Interview –

IDI)

Telefoniczny wywiad częściowo

ustrukturyzowany (Telephone

Semi-Structured Interview -

TSSI)

Wywiad osobisty wspomagany

komputerowo (Computer-Aided

Personal Interview - CAPI)

Telefoniczny wywiad pogłębiony

(Telephone In-Depth Interview -

TDI)

Badanie techniką tajemniczego

klienta

Ankieta internetowa (Computer-

Aided Web Interview – CAWI)

Diada/Triada

Ankiety papierowe samodzielnie

wypełniane przez respondentów

Zogniskowany wywiad grupowy

(Focused Group Interview – FGI)

Panel ekspertów

Badanie delfickie

Benchmarking

Warsztaty

Źródło: Opracowanie własne

17

Szacowanie wielkości próby

Badania ilościowe

Do obliczania minimalnej wielkości próby w badaniach ilościowych

(oraz mieszanych) wykorzystywany jest następujący wzór:

𝑁𝑚𝑖𝑛 =𝑁𝑃(𝛼

2 ∗ 𝑓(1 − 𝑓))

𝑁𝑃 ∗ 𝑒2 + 𝛼2 ∗ (𝑓(1 − 𝑓)

Gdzie:

𝑁𝑀𝑖𝑛 – minimalna wielkość próby

𝑁𝑃 – wielkość populacji, z której brana jest próba

Α - poziom ufności dla wyników, wartość wyniku Z w rozkładzie normalnym

dla założonego poziomu istotności

F - wielkość frakcji (w przypadku, gdy nie jest znana, przyjmuje się wartość 0,5)

e - założony błąd maksymalny, wyrażony w liczbie ułamkowej, np. 5% to 0,05

Z reguły przy realizacji badań ilościowych przyjmuje się poziom istotności 0,95

oraz błąd maksymalny 5%.

W poniższej tabeli zaprezentowano wielkość próby w zależności od wielkości

populacji dla standardowych poziomów istotności oraz błędu maksymalnego.

18

Tabela 2. Wielkość próby w zależności od wielkości populacji Wielkość populacji Wielkość próby

100 79

200 132

300 168

400 196

500 217

1000 278

2000 322

5000 357

10 000 370

20 000 377

50 000 381

100000 383


Badania jakościowe

W przypadku badań jakościowych wielkość próby uzależniona jest przede

wszystkim od preferencji ewaluatora – nie istnieją wzory pozwalające na obliczenie

optymalnej wielkości próby.

W sytuacji, gdy realizowane jest wyłącznie badanie IDI, liczebność próby waha

się od 8-12 wywiadów (w sytuacji, gdy badanie obejmuje wyłącznie jedną populację,

która nie cechuje się wysokim zróżnicowaniem ze względu na cechy psychospołeczne)

do 60-75 wywiadów (gdy w realizację projektu było włączonych wielu interesariuszy,

a jego beneficjentami były osoby o mocno zróżnicowanych cechach).

W przypadku uwzględnienia innych technik jakościowych (np. diad, triad, FGI)

można nieco zredukować wielkość próby w badaniu IDI.

19

W przypadku badań FGI liczba uczestników waha się od 4 do 12 osób,

w przypadku panelu ekspertów z reguły wynosi od 3 do 5, zaś w przypadku panelu

delfickiego wynosi od 6 do 10 osób.

Metody i techniki badawcze stosowane w procesie ewaluacji

Analiza danych zastanych (desk research)

Analiza danych zastanych polega na zapoznaniu się z dokumentami i danymi

związanymi z tematyką ewaluacji, przedstawieniu kluczowych informacji w nich

zawartych oraz poddaniu ich analizie eksperckiej.

Do źródeł wykorzystywanych w ramach desk research należą:

Dokumentacja projektowa, m.in. wniosek o dofinansowanie, wniosek o płatność,

sprawozdania z realizacji, materiały przygotowane przez realizatorów projektu

(np. materiały szkoleniowe, wyniki badań przeprowadzonych przez realizatora

projektu lub inne podmioty niebędące ewaluatorem);

Raporty z ewaluacji projektów o zbliżonej tematyce (w celu porównania

osiągniętych efektów);

Dokumenty strategiczne na poziomie lokalnym, regionalnym, krajowym

i europejskim (w celu zweryfikowania, czy działania zrealizowane w ramach

projektu były zgodne z celami wskazanymi w tych dokumentach);

Dane statystyczne, np. GUS (w celu zweryfikowania wpływu zrealizowanego

projektu na wskaźniki makroekonomiczne – np. jeżeli projekt miał przyczynić się

do spadku poziomu bezrobocia, uzasadnione jest zweryfikowane, czy w mieście,

w którym zrealizowano projekt nastąpił większy spadek bezrobocia niż w innych

miastach o zbliżonych cechach).

20

Zalety techniki badawczej:

Analiza danych statystycznych dostarcza informacji obiektywnych, niezbędnych

do zmierzenia rzeczywistego wpływu zrealizowanego projektu (np. w przypadku

projektu ukierunkowanego na rozwój turystyki realizator w trakcie wywiadu może

zadeklarować, że zrealizowane działania miały pozytywny wpływ na poziom turystyki

w mieście, ale dopiero zapoznanie się z danymi na temat liczby turystów

odwiedzających miasto w kolejnych latach pozwoli na stwierdzenie, czy tak rzeczywiście

było).

Wady techniki badawczej:

Analiza danych zastanych nie pozwala na uzyskanie wiedzy na temat odczuć

interesariuszy odnośnie do projektu (np. na dowiedzenie się, w jakim stopniu

uczestniczy szkoleń są zadowoleni ze sposobu prowadzenia zajęć). Jeżeli chcemy

uzyskać informację na temat wpływu zrealizowanego projektu na wskaźniki

makroekonomiczne, ewaluacja powinna zostać przeprowadzona kilka lat

po zakończeniu realizacji projektu – w krótkim okresie wpływ ten nie będzie możliwy

do dostrzeżenia.

Podstawy do zastosowania techniki badawczej:

Analiza danych zastanych powinna zostać uwzględniona za każdym razem,

gdy prowadzona jest ewaluacja projektu. Bez przeprowadzenia analizy desk research

na etapie opracowywania metodologii ciężko jest stworzyć narzędzia badawcze

adekwatne do problematyki badawczej (np. bez wiedzy na temat tego, jakie działania

zrealizowano w ramach projektu nie wiadomo, o ocenę jakich form wsparcia zapytać

podczas PAPI).

Analiza dokumentacji projektowej pozwala na uzyskanie informacji dotyczących

założeń projektu (które powinny zostać przeanalizowane pod względem zasadności

21

w kontekście sytuacji w mieście oraz potrzeb mieszkańców i przedsiębiorców),

jego realizacji oraz rezultatów przedstawionych w formie wskaźników.

Analiza danych statystycznych (np. dotyczących poziomu przestępczości, liczby

turystów, liczba nowych przedsiębiorstw) umożliwia dokonanie oceny, w jakim stopniu

realizacja projektu przyczyniła się do poprawy sytuacji w mieście.

Wywiad telefoniczny wspomagany komputerowo (Computer-Aided

Telephone Interview – CATI)

Technika CATI polega na skontaktowaniu się z daną osobą telefonicznie

i przeprowadzeniu z nią wywiadu. Ankieter zadaje respondentowi kolejne pytania

wyświetlające się na monitorze i zapisuje odpowiedzi przy wykorzystaniu komputera.

Narzędzie badawcze: elektroniczny kwestionariusz wywiadu, zawierający pytania

zamknięte (z kafeterią), półotwarte (z kafeterią oraz prośbą do respondenta o krótką

wypowiedź, np. uzasadnienie, dlaczego wskazał daną odpowiedź) oraz otwarte

(respondentowi nie jest odczytywana kafeteria, udziela on odpowiedzi na pytanie

własnymi słowami). W przypadku pytań zamkniętych lub półotwartych respondent

może zostać poproszony o wskazanie jednej odpowiedzi, określonej liczby odpowiedzi

(np. trzech) bądź dowolnej liczby odpowiedzi.


Relatywnie niski koszt realizacji wywiadu (przede wszystkim wynagrodzenie

dla ankieterów, gdyż przy realizacji badania CATI można wykorzystać darmowe

oprogramowanie lub platformy o niewielkim miesięcznym koszcie utrzymania);

22

Brak ryzyka nieprawidłowego zastosowania przejść pomiędzy pytaniami przez

ankietera (platforma wykorzystywana do realizacji badania wyświetla

odpowiednie pytania w zależności od wcześniejszych odpowiedzi respondenta);

Ograniczone oddziaływanie efektu ankieterskiego (cechy ankietera, np. jego

wygląd i gestykulacja, mogą mieć wpływ na odpowiedzi udzielane przez

respondentów. W przypadku wywiadu telefonicznego efekt ankieterski może

zostać wywołany wyłącznie przez ton głosu ankietera);

Szybkość realizacji – ankieter telefoniczny z reguły jest w stanie przeprowadzić

w ciągu godziny od 2 do 4 ankiet telefonicznych (w zależności od długości

badania i typu respondenta), niezależnie od tego, gdzie się znajdują respondenci;

Łatwość przeprowadzenia kontroli – podmiot przeprowadzający ewaluację może

łatwo zweryfikować, ile wywiadów zrealizował dany ankieter, pod jakie numery

dzwonił, ile czasu trwały poszczególne wywiady. Bardziej zaawansowane

platformy do realizacji badań umożliwiają osobie kontrolującej podsłuchanie

przeprowadzanego wywiadu w celu wychwycenia ewentualnych

nieprawidłowości w realizacji.


Trudności/brak możliwości pozyskania bazy numerów w przypadku niektórych

grup respondentów – technika CATI nie powinna być wykorzystywana

w przypadku badań obejmujących ogół populacji mieszkańców, gdyż nie jest

dostępna taka baza telefoniczna;

W przypadku badań metodą telefoniczną respondenci przestają się

koncentrować szybciej niż w przypadku badań bezpośrednich – w związku z tym

wywiad nie powinien przekraczać 12 minut;

23

W przypadku wywiadu telefonicznego ryzyko przerwania badania w trakcie jest

dużo wyższe niż przy wywiadach bezpośrednich – respondent, który nie widzi

ankietera, ma dużo mniejsze opory przez zakończeniem rozmowy.


Wywiady telefoniczne wspomagane komputerowo powinny

być wykorzystywane, gdy badaniem objęta jest populacja, w przypadku której

nie ma trudności z pozyskaniem numerów telefonów – przede wszystkim dotyczy

to przedstawicieli przedsiębiorstw oraz wszelkiego rodzaju instytucji oraz uczestników

projektów, którzy wyrazili zgodę na przekazanie swojego numeru telefonu

ewaluatorowi. W związku z tym technika ta wykorzystywana jest zarówno w ewaluacji

projektów gospodarczych, jak i społecznych. Zalecane jest, aby uczestnicy projektu

zadeklarowali, iż zobowiązują się do uczestnictwa w ewaluacji – realizator projektu

powinien ich o tym wyraźnie poinformować. Autorzy poradnika wielokrotnie mieli

do czynienia z sytuacjami, gdy uczestnicy projektów nieświadomie deklarowali,

że wezmą udział w ewaluacji (podpisywali bez wcześniejszego przeczytania umowy,

w których był zawarty taki punkt), a później odmawiali uczestnictwa w badaniu.

Technika CATI może być również stosowana w przypadku, gdy w badaniu poruszane są

zagadnienia dotyczące wrażliwych obszarów (np. kwestii przemocy w rodzinie), których

potencjalny respondent nie będzie chciał poruszać podczas wywiadu bezpośredniego.

Wywiad bezpośredni kwestionariuszowy (Paper & Pen Personal Interview

– PAPI)

Technika PAPI polega na zbieraniu informacji przy pomocy standaryzowanego

kwestionariusza ankiety podczas spotkania z respondentem. W technice PAPI

wykorzystywane są dwa sposoby rekrutacji respondentów:

24

Rekrutacja spontaniczna – ankieter przebywa w wyznaczonym punkcie,

np. przed Urzędem Miasta, i rekrutuje do badania przechodzące osoby zgodnie

z wytycznymi (np. co trzeciego przechodnia) bądź przemieszcza się pomiędzy

lokalami i zaprasza do badania mieszkańców zgodnie z przyjętymi założeniami

(np. prowadzi rekrutację w co trzecim lokalu);

Realizacja wywiadów z osobami wcześniej umówionymi – ankieter umawia się

na wywiad telefoniczne, a następnie przyjeżdża do respondenta w wyznaczonym

terminie.

Narzędzie badawcze: papierowy kwestionariusz wywiadu, zawierający pytania






(np. trzech) bądź dowolnej liczby odpowiedzi. Kwestionariusz zawiera również

informacje dla ankietera dotyczące zasad przejść pomiędzy pytaniami (np. w jakiej

sytuacji dane pytanie ma zostać pominięte).


Możliwość pozyskania respondentów o specyficznych cechach (np. w przypadku,

gdy badaniem mają zostać objęte osoby regularnie korzystające z transportu

publicznego, rekrutacja może być prowadzona na przystankach);

Technika ta umożliwia przeprowadzenie badania na reprezentatywnej grupie

mieszkańców danego miasta bądź jego obszaru (dobór respondentów przy

wykorzystaniu metody random route – ankieter rozpoczyna realizację badania

w wyznaczonym punkcie, a następnie przemieszcza się między mieszkaniami

zgodnie z wytycznymi);

25

Badanie PAPI pozwala na pozyskanie respondentów w sytuacji,

gdy nie dysponujemy ich numerami telefonów ani adresami e-mail;

Wywiad może potrwać nieco dłużej niż w przypadku ankiety CATI – podczas

wywiadu bezpośredniego respondenci dłużej zachowują koncentrację, w związku

z czym wywiad może potrwać do 20 minut.


Wysoki koszt jednostkowy – w przypadku, gdy wywiady są wcześniej umawiane

telefonicznie, ankieter poświęca dużo czasu na przemieszczanie się pomiędzy

respondentami. W przypadku rekrutacji spontanicznej ankieterzy oczekują

wynagrodzenia wyższego niż w przypadku techniki CATI ze względu

na konieczność przebywania w terenie;

Ankiety w wersji papierowej muszą zostać zakodowane do postaci cyfrowej,

co wiąże się z nakładami czasu oraz finansowymi;

Realizacja badania zajmuje więcej czasu niż w przypadku zastosowania techniki

CATI;

Wysokie ryzyko, iż ankieter dopuści się oszustwa. Podmiot przeprowadzający

ewaluację musi skontaktować się ze znacznym odsetkiem respondentów każdego

z ankieterów (zaleca się, aby kontrola objęła co najmniej 20% wywiadów),

aby zweryfikować, że badanie zostało przeprowadzone oraz że zadano wszystkie

pytania;

Znaczne oddziaływanie efektu ankieterskiego (np. w sytuacji, gdy wywiad

przeprowadzany jest przez urodziwą ankieterkę, młody respondent płci męskiej

może być skłonny do zawyżenia swoich dochodów, aby jej zaimponować);

Możliwość popełnienia błędu przez ankietera podczas stosowania reguł przejścia

(w sytuacji, gdy jakieś pytanie zostało pominięte pomimo tego, że miało zostać

zadane, pojawia się konieczność odrzucenia ankiety i powtórzenia wywiadu).

26


Technika PAPI powinna być stosowana przede wszystkim w sytuacji, gdy nie ma

możliwości pozyskania numerów telefonów do przedstawicieli danej populacji,

jak również w przypadku, gdy przeciętny czas potrzebny na przeprowadzenie wywiadu

przekracza 12 minut. W związku z tym z reguły wykorzystywana jest przy ewaluacji

projektów społecznych, których odbiorcami nie była ściśle określona grupa osób (np.

konkretni uczestnicy danego szkolenia czy też grupa osób, która otrzymała wsparcie),

lecz ogólniej określona populacja (np. mieszkańcy danego obszaru, mieszkańcy miasta

w wieku 50+). Określając próbę objętą badaniem, należy zwrócić uwagę na grupy

docelowe, którym dedykowany jest ewaluowany projekt.

W przypadku techniki PAPI bardzo istotną kwestią jest dobranie właściwej

metody doboru respondentów. W przypadku, gdy ewaluator zakłada uzyskanie próby

reprezentatywnej dla danego obszaru, zalecane jest wykorzystanie metody random

route. W przypadku metody random route miejsce zamieszkania nie jest jedynym

kryterium warstwowania – najczęściej uwzględnia się także wiek i płeć respondentów.

Próba określana jest w ten sposób, aby udział osób z poszczególnych przedziałów

wiekowych i poszczególnych płci w próbie był wprost proporcjonalny do udziału osób

z poszczególnych przedziałów wiekowych i poszczególnych płci w populacji miasta.

Przykładowo, załóżmy, że kobiety w przedziale wieku 18-24 lata stanowią 8%

mieszkańców miasta. Jeżeli ewaluator założył realizację 500 wywiadów, 40 z nich

powinno zostać przeprowadzonych z kobietami w wieku 18-24 lata).

W sytuacji, gdy ewaluacją mają zostać objęte osoby o określonych cechach,

możliwa jest realizacja badania poprzez rekrutację respondentów w ustalonych

lokalizacjach. Na przykład w sytuacji, gdy badaniem mają zostać objęte osoby

bezrobotne, można je zrealizować na terenie urzędu pracy. W sytuacji, gdy badanie

obejmuje mieszkańców korzystających z usług kulturalnych, można je przeprowadzić

podczas imprezy tego typu.

27

Wywiad osobisty wspomagany komputerowo (Computer-Aided Personal

Interview)

Technika CAPI polega na przeprowadzeniu osobistego wywiadu z respondentem

i zapisywania odpowiedzi za pomocą specjalnie przygotowanego programu

komputerowego.

Ze względu na to, że technika ta jest bardzo zbliżona do techniki PAPI, zostaną

omówione wyłącznie różnice pomiędzy nimi:

Przewagi techniki CAPI nad techniką PAPI:

Brak konieczności przeniesienia odpowiedzi respondentów z kwestionariusza

papierowego do bazy elektronicznej;

Brak możliwości popełnienia błędu w stosowaniu przejść (podobnie jak

w przypadku badania CATI, platforma wykorzystywana do realizacji badania

wyświetla odpowiednie pytania w zależności od wcześniejszych odpowiedzi

respondenta).

Przewagi techniki PAPI nad techniką CAPI:

Baterie w laptopach z reguły nie są w stanie zapewnić zasilania przez 8 godzin –

w związku z tym ankieter zmuszony jest do przerwania pracy na czas potrzebny

na naładowanie baterii (problem ten można ograniczyć poprzez zaopatrzenie

ankieterów w Powerbanki);

Wykorzystanie techniki CAPI wiąże się z ryzykiem wystąpienia awarii

oprogramowania (np. zawieszenie systemu operacyjnego). Można spodziewać

się, iż w takiej sytuacji respondent nie będzie czekać, aż ankieterowi uda się

ponownie uruchomić wykorzystywany sprzęt, i przerwie uczestnictwo

w wywiadzie. W przypadku zawieszenia systemu istnieje również ryzyko,

28

iż odpowiedzi udzielone przez respondenta do tej pory nie zachowują się,

przez co konieczna jest realizacja badania od początku.

Odmianą techniki CAPI, która zyskała na popularności w ostatnich latach,

jest TAPI (Tablet-Aided Personal Interview) – wywiad osobisty wspomagany za pomocą

tabletu. Autorzy poradnika odradzają jednak stosowanie tej techniki, gdyż ankieterzy

zaznaczający odpowiedzi przy wykorzystaniu ekranów dotykowych mają dużo większą

niż w przypadku badania CAPI tendencję do popełniania błędów.

Ankieta internetowa (Computer-Aided Web Interview – CAWI)

Ankieta CAWI polega na umieszczeniu kwestionariusza na stronie internetowej

tak, aby był dostępny z poziomu przeglądarki internetowej. Wykorzystywane są dwa

sposoby informowania potencjalnych respondentów o realizacji badania:

Zamieszczenie informacji o badaniu wraz z linkiem na stronie internetowej

regularnie odwiedzanej przez potencjalnych respondentów (np. w przypadku

badania dotyczącego komunikacji publicznej link można zamieścić na stronie

Zarządu Transportu Miejskiego);

Wysłanie zaproszenia do badania na adresy e-mailowe potencjalnych

respondentów.

Respondenci wypełniają ankietę samodzielnie poprzez zaznaczanie i wpisywanie

odpowiedzi.

Narzędzie badawcze: elektroniczny kwestionariusz wywiadu, zawierający pytania





29


(np. trzech) bądź dowolnej liczby odpowiedzi. Ze względu na to, że ankieta jest

wypełniania przez respondenta samodzielnie, konieczne jest zamieszczenie wyraźnych

i szczegółowych instrukcji dotyczących wypełniania oraz zamieszczenie definicji pojęć,

które mogłyby sprawić trudności uczestnikowi badania.


Bardzo niski koszt realizacji – do obsługi platformy służącej do realizacji badana

wystarczy jedna osoba;

Możliwość dotarcia do respondentów o określonych cechach, w przypadku

których nie dysponujemy jakimikolwiek danymi (w przypadku ankiety

zamieszczonej na stronie internetowej instytucji);

Możliwość jednoczesnego wysłania zaproszeń do uczestnictwa w badaniu

do bardzo dużej liczby osób;

Zapewnienie respondentom poczucia pełnej anonimowości;

Brak efektu ankieterskiego;

Łatwość w kontrolowaniu poziomu realizacji badania (w przypadku wysyłki

informacji o badaniu na adresy e-mail możliwe jest wysłanie przypomnienia

o badaniu do wszystkich osób, które do tej pory nie wypełniły ankiety).


Z reguły niska responsywność – w większości przypadków po pierwszym

wysłaniu zaproszenia do uczestnictwa w badaniu ankieta wypełniana jest przez

zaledwie 10% zaproszonych osób;

Możliwość wystąpienia problemów technicznych – ze względu na stosowane

przez poszczególne osoby oprogramowanie (zwłaszcza antywirusowe i firewalle)

zdarza się, iż nie mogą one uruchomić ankiety;

30

Ryzyko, iż respondent nie będzie zwracać uwagi na pytania i odpowiedzi,

lecz zaznaczy dowolne odpowiedzi, aby jak najszybciej przejść przez ankietę

(w takiej sytuacji ewaluator może usunąć z systemu ankiety, które zostały

wypełnione zbyt szybko – np. w ciągu 2 minut, gdy przeciętnie czynność ta

zajmowała kwadrans);

Możliwość wypełnienia ankiety przez osobę, która nie powinna

być respondentem – szczególnie dotyczy to badań kierowanych

do przedsiębiorstw, np. badanie może być kierowane do kadry zarządzającej,

zaś ankieta zostanie wypełniona przez stażystę, który nie posiada wiedzy

na temat sytuacji w przedsiębiorstwie;

Technika ta nie sprawdza się w przypadku osób, które słabo radzą sobie

z obsługą komputera (przede wszystkim osób w podeszłym wieku) – dość często

mają one trudności z uruchomieniem ankiety oraz prawidłowym

jej wypełnieniem.


Technika CAWI powinna być stosowana, gdy chcemy ograniczyć koszty,

a dysponujemy bardzo dużą bazą adresów e-mail potencjalnych respondentów

(np. 2500 adresów). W związku z tym może być wykorzystywana zarówno przy

ewaluacji projektów gospodarczych (zaproszenie rozsyłane jest np. do wszystkich

przedsiębiorstw z obszaru objętego projektem bądź przedsiębiorstw z określonych

branż), jak i projektów społecznych skierowanych do konkretnych osób (w sytuacji, gdy

podczas realizacji projektu zebrano adresy e-mail uczestników projektu). W przypadku,

gdy badanie CAWI realizowane jest w oparciu o bazę adresów e-mail, zakładane jest

osiągniecie określonego poziomu próby. W przypadku, gdy po upływie kilku dni

(z reguły 5-7) liczba wypełnień jest zbyt mała, osoby/podmioty, które nie wzięły udziały

w badaniu, otrzymują przypomnienie (w formie kolejnego e-maila bądź kontaktu

telefonicznego).

31

Stosowanie techniki CAWI jest zalecane także w sytuacji, gdy musimy

zrekrutować do badania osoby o konkretnych cechach, a możliwość dotarcia do nich

poprzez realizację badań PAPI i CAPI jest mocno ograniczona. Na przykład, jeżeli projekt

skierowany był do osób uczestniczących w życiu kulturalnym miasta, informacja

o badaniu może zostać zamieszczona na stronie Miejskiego Domu Kultury. W związku

z tym technika ta sprawdza się również w sytuacji, gdy ewaluowany jest projekt

społeczny, który skierowany był do ogólnie określonej populacji. W takim przypadku

badanie CAWI pełni z reguły funkcję pomocniczą, gdyż niemożliwe jest określenie,

ile osób wypełni ankietę. Może zdarzyć się, że liczba uczestników badania jest zbyt mała,

przez co użyteczność jego wyników jest mocno ograniczona. W związku z tym należy

zadbać o to, aby CAWI nie było jedyną techniką ilościową wykorzystaną w ewaluacji.

Ze względu na to, że badanie to nie wiąże się z kontaktem z ankieterem,

w badaniu CAWI mogą być poruszane kwestie wrażliwe, na temat których potencjalny

respondent nie chciałby zwierzać się obcej osobie – np. kwestia pracy w szarej strefie.

Należy pamiętać, iż możliwe jest łączenie technik badawczych (tzw. procedura mixed-mode).

Najczęściej polega ona na tym, iż w pierwszej kolejności wysyłane jest zaproszenie do badania

CAWI, a w przypadku nieosiągnięcia założonego poziomu próby brakujące wywiady realizowane

są poprzez CATI.

Ankiety papierowe samodzielnie wypełniane przez respondentów

Technika ta polega na wręczeniu potencjalnemu respondentowi wydrukowanego

kwestionariusza ankiety, poczekaniu, aż udzieli on odpowiedzi na wszystkie pytania,

a następnie odebraniu wypełnionego kwestionariusza. Kwestionariusze mogą być

wypełniane po kolei przez poszczególnych respondentów bądź też można zrealizować

badanie audytoryjne – wówczas ankiety są wypełniane równolegle przez wiele osób.

32

Narzędzie badawcze: papierowy kwestionariusz wywiadu, zawierający pytania






(np. trzech) bądź dowolnej liczby odpowiedzi. Kwestionariusz zawiera również

informacje dla respondenta dotyczące zasad przejść pomiędzy pytaniami (np. w jakiej

sytuacji dane pytanie ma zostać pominięte).


Ograniczony wpływ efektu ankieterskiego – respondent koncentruje się

na kwestionariuszu i nie zwraca znacznej uwagi na wygląd i postawę osoby,

która wręczyła kwestionariusz;

Możliwość poruszenia w kwestionariuszu zagadnień natury wrażliwej, na które

respondent nie chciałby odpowiedzieć podczas rozmowy z ankieterem;

Niski koszt realizacji w przypadku realizacji badania metodą audytoryjną –

w badaniu bierze udział równolegle wiele osób, co pozwala na ograniczenie

kosztów pracy ankietera;

Możliwość udzielenia wyjaśnień przez ankietera w sytuacji, gdyby któreś z pytań

było niejasne;

Łatwość wielokrotnego przeprowadzenia badania na tej samej grupie osób

(np. po zakończeniu każdego spotkania uczestnicy szkolenia mogą wypełnić

krótką ankietę dotyczącą poziomu ich zadowolenia z dzisiejszych zajęć).

33


Konieczność przeniesienia odpowiedzi respondentów z kwestionariuszy

papierowych do bazy elektronicznej;

Obecność na sali osób innych niż ankieter może wpłynąć na udzielone

odpowiedzi (np. obecność osoby prowadzącej szkolenie może sprawić, iż jego

uczestnicy ocenią je lepiej niż w sytuacji, gdyby na sali był tylko ankieter);

Konieczność zapewnienia respondentom dogodnych warunków do wypełniania

kwestionariusza (najlepiej, aby było to miejsce siedzące z dostępem

do stołu/blatu);

W przypadku, gdy badanie realizowane jest w mieszkaniu respondenta,

może on mieć problemy ze skoncentrowaniem się na kwestionariuszu,

gdyż obecność w mieszkaniu obcej osoby będzie go rozpraszać;

Trudności z realizacją badania metodą audytoryjną po tym, jak interesariusze

danego projektu przestaną się spotykać – w związku z tym możliwości

zastosowania metody audytoryjnej w celu zmierzenia długoterminowych

efektów realizacji projektu są mocno ograniczone.


Ankiety do samodzielnego wypełniania powinny być wykorzystywane przede

wszystkim w celu uzyskiwania wiedzy na temat zadowolenia ze szkoleń zrealizowanych

w ramach projektu, gdyż wówczas można łatwo dotrzeć do uczestników. Technika ta

może być również stosowana w odniesieniu do osób, które oczekują w kolejce

na skorzystanie z jakiejś usługi, np. czekających w przychodni na wizytę u lekarza.

W związku z tym może być z powodzeniem stosowana zarówno przy ewaluacji

projektów i programów społecznych, jak i gospodarczych.

34

Istnieje możliwość, aby respondent zaznaczał odpowiedzi samodzielnie przy wykorzystaniu

komputera lub tabletu, jednak takie rozwiązanie wiąże się z trudnościami organizacyjnymi

(konieczność realizacji badania w miejscu, gdzie respondent będzie mógł wygodnie usiąść przy

komputerze), ogranicza również możliwość uczestnictwa osób, które słabo radzą sobie z obsługą

komputera.

Indywidualny wywiad jakościowy (In-Depth Interview – IDI)

IDI polega na przeprowadzeniu z daną osobą rozmowy, dotyczącej określonych

zagadnień badawczych. Podczas badania IDI z reguły wszystkie pytania mają postać

otwartą (wyjątkiem bywają pytania wstępne, pozwalające na uzyskanie podstawowych

informacji o cechach respondenta, np. przedział wieku). Indywidualny wywiad

pogłębiony może mieć formę mocno ustrukturyzowaną (moderator otrzymuje listę

pytań, które musi zadać respondentowi) lub formę nieustrukturyzowaną (moderator

otrzymuje ogólną listę zagadnień i ma dużą swobodę podczas prowadzenia badania).

Z reguły wykorzystywane jest pierwsze ze wskazanych rozwiązań –

forma nieustrukturyzowana wymaga zaangażowania do badania moderatorów

o ponadprzeciętnych umiejętnościach, zaś osoby analizujące wyniki badania

mają trudności z porównaniem poszczególnych odpowiedzi.

Narzędzie badawcze:

W przypadku badania ustrukturyzowanego scenariusz wywiadu zawiera pytania

podstawowe (każde z nich jest zadawane respondentowi), pytania pomocnicze

(które są zadawane w sytuacji, gdy odpowiedzi udzielone na pytania podstawowe nie są

wyczerpujące) oraz instrukcje dla moderatora (np. w jakiej sytuacji zadać dane pytanie

pomocnicze).

Wypowiedzi respondentów z reguły są nagrywane za pomocą dyktafonów,

a następnie sporządzane są dokładne transkrypcje („słowo w słowo”). W przypadku,

35

gdy respondent nie wyrazi zgody na nagrywanie, moderator musi sporządzać notatki,

w których zawarte zostaną najważniejsze wypowiedzi.

Zalecane jest, aby poinformować respondenta o nagrywaniu już na etapie umawiania wywiadu –

wówczas znacznie wzrośnie szansa, że wyrazi on na nie zgodę.


Możliwość dokładnego dopytania respondenta w sytuacji, gdyby jego odpowiedź

na jakieś pytanie nie była dostatecznie rozbudowana – dzięki temu w przypadku

każdego pytania możliwe jest pozyskanie wyczerpującej odpowiedzi;

Spokojny przebieg rozmowy – odpowiedzi na pytania są udzielane tylko przez

jedną osobę, przez co nie dochodzi do sporów wynikających z różnicy zdań

(moderator nie komentuje wypowiedzi respondenta);

Możliwość dostosowania terminu realizacji wywiadu oraz miejsca realizacji

do preferencji konkretnego respondenta – ułatwia to respondentowi

uczestnictwo w badaniu.


Skonfrontowanie odpowiedzi uczestników następuje dopiero na etapie analizy –

w przypadku zaobserwowania znacznej różnicy zdań osoby odpowiedzialne

za ewaluację mogą mieć trudności ze wskazaniem, z czego wynikają zaobserwowane

różnice.


Przesłankami do zastosowania tej techniki są konieczność uzyskania

wyczerpujących informacji od poszczególnych respondentów oraz poruszanie

w badaniu zagadnień o delikatnej naturze (np. uczestnik szkolenia może zostać zapytany

36

o to, jakie aspekty szkolenia mu nie odpowiadały. Można spodziewać się, że nie chciałby

on rozmawiać na ten temat, gdyby obok niego znajdował się realizator szkolenia).

Grupą, która jest obejmowana badaniem IDI w przypadku zdecydowanej

większości ewaluacji, są realizatorzy projektów (zarówno społecznych, jak

i gospodarczych). Z reguły zakłada się również indywidualne wywiady pogłębione

z przedstawicielami instytucji realizujących zadania w obszarze objętym projektem (np.

w sytuacji, gdy projekt miał na celu poprawę dostępu do usług kulturalnych,

IDI realizowane są z przedstawicielami instytucji kultury).

Warto także o realizację IDI z wybranymi uczestnikami realizowanych w ramach

projektów szkoleń i warsztatów – analiza wypowiedzi respondentów pozwoli na lepsze

zrozumienie i interpretację wyników badań ilościowych z tą grupą.

W sytuacji, gdy projekt miał przyczynić się do poprawy sytuacji przedsiębiorców,

również zaleca się przeprowadzenie, uzupełniająco do badania ilościowego, IDI.

Należy wówczas zadbać o zróżnicowanie respondentów (ze względu na np. wielkość

przedsiębiorstwa, branżę, lokalizację), aby uzyskać bogatsze informacje na temat

zasięgu i wpływu projektu.

Telefoniczny wywiad pogłębiony (Telephone In-Depth Interview)

Technika TDI jest bardzo zbliżona do badania IDI – moderator nie spotyka się

jednak z respondentem osobiście, lecz prowadzi wywiad przez telefon.

Ze względu na to, że technika ta jest bardzo podobna do badania IDI, zostaną omówione

jedynie różnice pomiędzy nimi:

Przewagi techniki TDI nad techniką IDI:

Brak konieczności dojazdu do respondenta znacznie ogranicza koszty realizacji

badania oraz ułatwia ustalenie terminu wywiadu;

37

Brak bezpośredniego kontaktu z ankieterem znacznie ogranicza efekt

ankieterski.

Przewagi techniki IDI nad techniką TDI:

W przypadku rozmowy telefonicznej respondent pozostaje skoncentrowany

znacznie krócej, w związku z czym badanie powinno uwzględniać niewielką

liczbę pytań;

Respondenci badań telefonicznych cechują się dużo mniejszą skłonnością

do tworzenia rozbudowanych wypowiedzi, ich odpowiedzi z reguły

są dość krótkie. Uczestnicy badania telefonicznego negatywnie reagują na prośby

o poszerzenie odpowiedzi.

W związku z powyższymi problemami dotyczącymi techniki TDI, technika IDI

cechuje się dużo większą popularnością. Nie oznacza to jednak, że należy zrezygnować

z telefonicznych wywiadów pogłębionych – mogą one być stosowane w przypadku,

kiedy do danej grupy respondentów skierowana jest niewielka liczba pytań, jak również

w sytuacji, kiedy respondenci są osobami bardzo mobilnymi, mającymi trudności

z umówieniem się na spotkanie z moderatorem.

Diada/Triada

Diada jest formą wywiadu pogłębionego, w ramach którego moderator zadaje pytania

dwóm respondentom. W przypadku triady w badaniu uczestniczą 3 osoby.

Wyróżnić można dwie odmiany tego badania:

Diada/triada, w której uczestniczą przedstawiciele tej samej instytucji, różniący

się pod względem zakresu obowiązków – wówczas respondenci wzajemnie

uzupełniają swoje wypowiedzi;

38

Diada/tiada, w której uczestniczą przedstawiciele różnych instytucji – wówczas

dochodzi do konfrontacji zróżnicowanych punktów widzenia.


Scenariusz wywiadu, zawierający pytania podstawowe (każde z nich

jest zadawane respondentom), pytania pomocnicze (które są zadawane w sytuacji,

gdy odpowiedzi udzielone na pytania podstawowe nie są wyczerpujące) oraz instrukcje

dla moderatora (np. w jakiej sytuacji zadać dane pytanie pomocnicze). W przypadku

diady i triady preferowane są wywiady strukturyzowane (moderator otrzymuje listę

pytań, które musi zadać respondentowi), gdyż luźna rozmowa z dwoma lub trzema

respondentami dość często prowadzi do uzyskania wiedzy niezwiązanej z tematyką

ewaluacji.

Wypowiedzi respondentów z reguły są nagrywane za pomocą dyktafonów, a następnie

sporządzane są dokładne transkrypcje („słowo w słowo”). W przypadku, gdy respondent

nie wyrazi zgody na nagrywanie, moderator musi sporządzać notatki, w których zawarte

zostaną najważniejsze wypowiedzi.

Zalety techniki badawczej

W sytuacji, gdy badaniem objęci są przedstawiciele tej samej instytucji, możliwe

jest uzyskanie kompleksowego spojrzenia na ewaluowany projekt – np. jeden

z uczestników badania koncentruje się na kwestiach związanych z rekrutacją,

drugi na zagadnieniach dotyczących realizacji szkoleń dla uczestników, zaś trzeci

na tematyce wsparcia psychologicznego i doradztwa zawodowego;

W sytuacji, gdy w badaniu biorą udział przedstawiciele różnych instytucji,

z reguły różnią się oni poglądami, dyskutują ze sobą, argumentują swój punkt

widzenia. Dzięki temu ewaluator zyskuje dodatkowy materiał badawczy,

który umożliwia wskazanie, które ze stanowisk prezentowanych przez

respondentów należy uznać za właściwe;

39

Ze względu na niewielką liczbę respondentów moderator z reguły

nie ma trudności z zapanowaniem nad uczestnikami badania w sytuacji,

gdy zaczynają się wypowiadać na tematy niezwiązane z ewaluacją;

Niewielka liczba uczestników sprawia, iż każdy z nich dysponuje dostateczną

ilością czasu na sformułowanie wypowiedzi.


W przypadku, gdy w badaniu uczestniczą przedstawiciele tej samej instytucji, istnieje ryzyko, iż wywiad zostanie zdominowany przez jednego z respondentów, zaś drugi ograniczy swoje uczestnictwo do przytakiwania współpracownikowi;

W przypadku, gdy w badaniu uczestniczą przedstawiciele różnych instytucji, mogą pojawić się trudności z ustaleniem terminu i miejsca badania, które odpowiadałoby wszystkim uczestnikom.


Badania diada i triada powinny być stosowane w sytuacji, gdy żadna z osób

odpowiedzialnych za realizację projektu nie dysponuje kompleksowym spojrzeniem

na jego przebieg – w takiej sytuacji realizacja badania IDI z poszczególnymi członkami

kadry może sprawić, iż nie uda się uzyskać odpowiedzi na niektóre pytania badawcze –

każdy z uczestników badania może założyć, iż w danym temacie powinni wypowiedzieć

się jego współpracownicy.

Badania diada i triada z przedstawicielami zróżnicowanych instytucji powinny

zostać uwzględnione w sytuacji, gdy na etapie realizacji projektu zaobserwowano

istotne różnice zdań pomiędzy interesariuszami.

Ze względu na to, że respondentami z reguły są realizatorzy projektu i/lub

przedstawiciele instytucji, techniki diada i triada mogą być wykorzystywane zarówno

przy ewaluacji projektów społecznych, jak i gospodarczych.

40

Dobrą praktyką w zakresie realizacji wywiadów pogłębionych jest umożliwienie ewaluatorowi

podjęcie decyzji, w przypadku których respondentów zostanie zastosowana technika IDI,

a w przypadku których diada/triada – często dopiero na etapie rekrutacji respondentów

uzyskiwana jest informacja na temat tego, która z technik badawczych okaże się najskuteczniejsza

w odniesieniu do potencjalnych respondentów.

Zogniskowany wywiad grupowy (Focused Group Interview – FGI)

FGI to ustrukturalizowana i moderowana dyskusja kilku bądź kilkunastu osób,

zogniskowana na wybranym zagadnieniu.


Scenariusz wywiadu, zawierający pytania podstawowe (każde z nich

jest zadawane respondentom), pytania pomocnicze (które są zadawane w sytuacji,


dla moderatora (np. w jakiej sytuacji zadać dane pytanie pomocnicze). W przypadku FGI

konieczna jest wysoka strukturyzacja przebiegu badania, gdyż w innej sytuacji

moderator łatwo może utracić kontrolę nad grupą, a respondenci zaczną dyskutować

na tematy niezwiązane z ewaluacją.

Można wyróżnić kilka rodzajów badania FGI:

Standardowe badanie FGI, w którym uczestniczy z reguły od 7 do 12 osób;

Mini-FGI, w którym uczestniczy z reguły od 4 do 6 osób;

Grupa konfliktowa, której uczestniczy podzieleni są na 2 części o przeciwnych

opiniach (np. zwolennicy realizacji jakiegoś działania i przeciwnicy jego

wdrożenia).

41


Możliwość uzyskania bardzo dużej liczby informacji w krótkim czasie, dzięki

wykorzystaniu dynamiki grupowej;

Możliwość poznania wielu punktów widzenia na dany temat.


Bardzo duże trudności organizacyjne – wyznaczenie terminu i miejsca

odpowiadającego wszystkim potencjalnym uczestnikom badania FGI z reguły jest

bardzo trudne, a czasami niemożliwe;

Problemy z zapanowaniem nad grupą – w sytuacji, gdy dyskusja przechodzi

w kłótnię, moderator może mieć trudności z uspokojeniem uczestników

oraz powrotem do pytań, które miały zostać omówione;

Ryzyko braku zaangażowania części uczestników – niektórzy z uczestników

badania fokusowego mogą uznać, że nie muszą zabierać głosu, gdyż wypowiadają

się inne osoby – moderator musi włożyć wiele wysiłku, aby zachęcić je

do wypowiedzi;

Ze względu na ograniczenia czasowe zdarza się, że moderator musi skłonić

danego respondenta do skrócenia wypowiedzi, aby głos mogli zabrać pozostali

uczestnicy – w związku z tym nie ma możliwości, aby podczas FGI wszyscy

respondenci w pełni wypowiedzieli się na każdy temat.


Wykorzystanie techniki zaleca się w sytuacji, gdy do interesariuszy

ewaluowanego projektu zaliczają się przedstawiciele wielu zróżnicowanych instytucji –

w takiej sytuacji skonfrontowanie ich opinii poprzez analizę transkrypcji

z indywidualnych wywiadów pogłębionych mogłoby okazać się niewystarczające

do sporządzenia rekomendacji. W takiej sytuacji z reguły realizowane jest jedno

42

spotkanie fokusowe (zdarza się jednak, że realizowane jest badanie uzupełniające, jeżeli

liczba uczestników FGI była mniejsza od zakładanej).

Możliwe jest również przeprowadzenie FGI z przedstawicielami instytucji

należących do tej samej grupy, np. szkół. W takim przypadku w ramach danej ewaluacji

z reguły realizowanych jest kilka spotkań (jednak zazwyczaj nie więcej niż 5 –

ze względu na pracochłonność i kosztochłonność tej techniki badawczej), a każde z nich

obejmuje przedstawicieli instytucji innego typu (np. w przypadku projektu mającego

na celu podniesienie kwalifikacji uczniów pierwsze spotkanie może zostać zrealizowane

z przedstawicielami instytucji edukacyjnych, drugie z przedsiębiorcami, trzecie

z reprezentantami instytucji rynku pracy).

Dobór respondentów (przedstawiciele zróżnicowanych instytucji,

przedstawiciele instytucji) uzależniony jest od charakteru i zasięgu projektu:

Jeżeli projekt dotyczył szerokiego zakresu (np. poprawy jakości życia

mieszkańców) na niewielkim obszarze (np. jedna dzielnica), zaleca się

przeprowadzenie FGI uwzględniającego przedstawicieli zróżnicowanych

instytucji;

Jeżeli projekt dotyczył relatywnie wąskiego zakresu (np. poprawy dostępu

do usług kulturalnych) i obejmował duży obszar (np. całe miasto), zaleca się

przeprowadzenie pojedynczego FGI z przedstawicielami instytucji należących

do tej samej grupy.

Jeżeli projekt dotyczył szerokiego zakresu i obejmował duży obszar, zaleca się

przeprowadzenie kilku FGI z przedstawicielami instytucji należących

do tej samej grupy. W takiej sytuacji wartościowe będzie również zrealizowanie

spotkania z przedstawicielami zróżnicowanych instytucji.

Jeżeli projekt dotyczył wąskiego zakresu i obejmował niewielkim obszar, z reguły

nie realizuje się spotkania fokusowego.

43

Organizacja FGI z uczestnikami projektów stanowi duże wyzwanie – z reguły

nie chcą oni poświęcić czasu na dotarcie na badanie oraz uczestnictwo w nim.

W przypadku, gdy ewaluacja zakłada realizację takiego spotkania fokusowego, zaleca

się, aby w budżecie wyodrębnić środki na wynagrodzenia dla respondentów (z reguły

od 50 do 100 zł na osobę).

Technika FGI, ze względu na swoje wady, powinna być stosowana uzupełniająco do badania IDI,

a nie je zastępować.

Panel ekspertów

Podczas panelu ekspertów specjaliści z danej dziedziny/dziedzin udzielają

odpowiedzi na pytania postawione przez ewaluatora oraz dyskutują ze sobą. Do badania

zapraszane są osoby, które posiadają bogatą wiedzę i/lub doświadczenie związane

z tematyką badania. Z reguły w panelu ekspertów uczestniczy od 3 do 5 osób.

Ze względu na to, że panel ekspertów i FGI są technikami do siebie zbliżonymi, czasami trudno jest

rozróżnić te dwie techniki. Autorzy niniejszego poradnika proponują, aby o badaniu FGI mówić,

gdy w badaniu uczestniczą interesariusze ewaluowanego projektu, zaś panelem ekspertów

nazywać spotkanie specjalistów, którzy wcześniej nie byli związani z analizowanym projektem.

W ramach panelu ekspertów mogą zostać zrealizowane zróżnicowane działania.

Do najczęstszych elementów takiego badania należą:

Udzielenie odpowiedzi na pytania zawarte w scenariuszu;

Omówienie wyników innych badań zrealizowanych przez ewaluatora;

Sporządzenie analizy SWOT analizowanego projektu;

Przeanalizowanie wstępnych wniosków i rekomendacji sporządzonych przez

ewaluatora oraz przygotowanie dodatkowych wniosków i rekomendacji.

44


Scenariusz wywiadu, zawierający pytania podstawowe (każde z nich jest

zadawane respondentom), pytania pomocnicze (które są zadawane w sytuacji,


dla moderatora (np. w jakiej sytuacji zadać dane pytanie pomocnicze). Czasami

dodatkowo wykorzystywana jest prezentacja, zawierająca kluczowe wyniki badania

oraz wstępne wnioski i rekomendacje.

Wyniki badania oraz wnioski i rekomendacje mogą zostać zaprezentowane również podczas

badania FGI w sytuacji, gdy jego uczestnikami są przedstawiciele kluczowych instytucji

odpowiedzialnych za realizację projektu.


Eksperci ze względu na swoją wiedzę i doświadczenie dysponują kompleksowym spojrzeniem na analizowane zagadnienia, są w stanie odwoływać się do rozwiązań stosowanych na poziomie kraju, jak również za granicą;

Technika ta umożliwia zapewnienie świeżego spojrzenia na zgromadzony przez ewaluatora materiał badawczy, co przyczynia się do powstania dodatkowych, wartościowych wniosków i rekomendacji.


Ze względu na ograniczenia czasowe ekspertów mogą pojawić się trudności

z wyznaczeniem terminu i miejsca odpowiadającego wszystkim specjalistom

(problem ten można ograniczyć poprzez przeprowadzenie wideokonferencji);

Eksperci jako obserwatorzy zewnętrzni nie zawsze dostrzegają wszystkie detale

analizowanego projektu, mogą mieć trudności z odniesieniem się do projektu

na bardzo szczegółowym poziomie;

Wykorzystanie tej techniki wiąże się ze znacznymi kosztami - eksperci z reguły

oczekują wysokiego wynagrodzenia za poświęcony czas.

45


Panel ekspertów należy uwzględnić w ewaluacji przede wszystkim w sytuacji,

gdy zależy nam na porównaniu rozwiązań zastosowanych w projekcie z dobrymi

praktykami stosowanymi przez innych realizatorów. Zastosowanie panelu ekspertów

jest zalecane również w sytuacji, gdy pojawiają się trudności z określeniem, które

ze wstępnych wniosków i rekomendacji mają największe znaczenie

dla realizacji przyszłych projektów. W badaniu tym z reguły uczestniczy od 3 do 5 osób.

Technika ta może zostać wykorzystana zarówno w przypadku ewaluacji projektów

społecznych, jak i gospodarczych, a jej użyteczność zależy przede wszystkim

od kompetencji i zaangażowania respondentów.

Badanie delfickie

Badanie delfickie prowadzone jest w dwóch etapach:

W pierwszym etapie do ekspertów rozsyłane są (z reguły za pośrednictwem

Internetu) pytania. Eksperci sporządzają odpowiedzi na pytania i odsyłają je

do ewaluatora.

W drugim etapie ewaluator zestawia odpowiedzi udzielone w pierwszym etapie

i rozsyła je do ekspertów z prośbą o ustosunkowanie się do nich. Eksperci

komentują odpowiedzi innych uczestników badania i odsyłają swoje komentarze

do ewaluatora.

W badaniu delfickim uczestniczy z reguły od 6 do 10 osób.


W pierwszym etapie: scenariusz, zawierający pytania do ekspertów;

W drugim etapie: zestawione odpowiedzi uczestników.

46


Możliwość pozyskania wiedzy od ekspertów z całego kraju;

Brak konieczności organizowania spotkania;

Zapewnienie uczestnikom anonimowości – uczestnicy badania nie posiadają

wiedzy na temat tego, kto jest autorem poszczególnych odpowiedzi, w związku

z czym nie obawiają się, że skrytykują opinię osoby, którą znają.


Wysokie koszty – eksperci z reguły oczekują wysokiego wynagrodzenia

za poświęcony czas;

Trudności z rekrutacją zakładanej liczby ekspertów z danej dziedziny;

Ryzyko udzielenia przez respondentów ogólnikowych odpowiedzi,

nieodnoszących się do analizowanego projektu.


Badanie delfickie powinno być stosowane przede wszystkim w sytuacji,

gdy chcemy dokonać kompleksowej oceny konkretnych działań zastosowanych

w ramach projektu, które będzie można szczegółowo scharakteryzować, aby przekazać

respondentom wyczerpujące opisy, do których będą odnosić się w wypowiedziach.

W badaniu tym uczestnicy z reguły od 6 do 10 osób. Technika ta może zostać

wykorzystana zarówno w przypadku ewaluacji projektów społecznych, jak

i gospodarczych. Jej wykorzystanie zaleca się przede wszystkim, gdy w ramach projektu

wykorzystano niestosowane standardowo rozwiązania, wymagające dogłębnej analizy

w celu określenia, czy powinny zostać uwzględnione w przyszłych działaniach.

47

Wywiad częściowo ustrukturyzowany (Semi-Structured Interview - SSI)

Wywiad częściowo ustrukturyzowany łączy w sobie elementy badania PAPI

oraz badania IDI. Z reguły w pierwszej kolejności respondentowi zadawane są pytania

kwestionariuszowe, a następnie moderator przeprowadza z nim rozmowę

przy wykorzystaniu scenariusza.


Połączenie kwestionariusza ze scenariuszem.

Narzędzie badawcze zawiera pytania zamknięte, półotwarte oraz pytania otwarte

(podstawowe i pomocnicze) oraz instrukcje dla moderatora dotyczące stosowania reguł

przejścia oraz moderowania przebiegu badania.

W przypadku badania PAPI również mogą zostać zastosowane pytania otwarte, jednak nie są one

moderowane – ankieter zadaje pytanie respondentowi, a następnie zapisuje jego odpowiedź.

W przypadku badania SSI, podobnie, jak w badaniu IDI, moderator zachęca respondenta

do poszerzenia wypowiedzi, gdy odpowiedź udzielona na pytanie otwarte nie jest

satysfakcjonująca.


Technika ta łączy w sobie zalety technik PAPI i IDI – pozwala na uzyskanie

zarówno danych ilościowych, jak i danych jakościowych – dzięki temu możliwe

jest przeprowadzenie zarówno analizy statystycznej, jak i pogłębionej analizy

eksperckiej.


Pod względem kosztów technika ta jest znacznie bardziej zbliżona do badania IDI

niż do badania PAPI, w związku z czym przy tym samym budżecie możliwe jest

48

zrealizowanie znacznie mniejszej liczby wywiadów, niż w sytuacji, gdyby

zdecydowano się na wywiady bezpośrednie kwestionariuszowe;

Uwzględnienie w badaniu części kwestionariuszowej wymusza konieczność

ograniczenia liczby pytań otwartych, aby badanie nie było zbyt obciążające

dla respondenta.


Technika SSI może być stosowana w odniesieniu do małych populacji

(poniżej 50 jednostek), w przypadku których prowadzenie analizy wyłącznie w oparciu

o dane ilościowe mogłoby doprowadzić do wyciągnięcia nieprawidłowych wniosków –

przykładem takiej populacji są przedsiębiorstwa z określonej branży bądź uczestnicy

szkolenia. W związku z tym technika ta może być wykorzystana zarówno w ewaluacji

projektów społecznych, jak i gospodarczych. Inną przesłanką do zastosowania tej

techniki jest realizacja badania z grupą respondentów, w przypadku której występują

trudności z utworzeniem kafeterii do pytań otwartych bądź w przypadku których

wprowadzenie kafeterii mogłoby zaburzyć wyniki badania (np. załóżmy, że badaniem

zostali objęci potencjalni odbiorcy wsparcia. W sytuacji, gdyby zapytano ich o to, które

formy wsparcia uważają oni za użyteczne, a następnie przeczytano kafeterię, zapewne

wskazaliby oni zdecydowaną większość zaproponowanych odpowiedzi, gdyż ze względu

na ograniczoną wiedzę nie byliby oni w stanie określić, które z nich są szczególnie

użyteczne. Dzięki przeprowadzeniu z nimi rozmowy na temat preferowanych form

wsparcia możliwe byłoby zdiagnozowanie rzeczywistych potrzeb).

49

Telefoniczny wywiad częściowo ustrukturyzowany (Telephone Semi-

Structured Interview - TSSI)

Wywiad częściowo ustrukturyzowany łączy w sobie elementy badania CATI oraz

badania TDI. Ze względu na to, że jest on bardzo zbliżony do techniki TSI,

zostaną omówione różnice pomiędzy tymi metodami badawczymi.

Przewagi techniki TSSI nad techniką SSI:

Znacznie niższe koszty realizacji ze względu na brak konieczności dojazdu

do respondenta;

Dużo prostsze pozyskiwanie respondentów (większość osób łatwiej zachęcić

do badania telefonicznego niż do wywiadu bezpośredniego);

Ograniczone oddziaływanie efektu ankieterskiego.

Przewagi techniki SSI nad techniką TSSI:

W przypadku badań telefonicznych respondenci bardzo szybko tracą

koncentrację. W związku z tym w badaniu TSSI należy uwzględnić jedynie

kluczowe zagadnienia – w przypadku zbyt długiej realizacji wywiadu respondent

będzie odpowiadać na pytania otwarte pojedynczymi słowami, a być może nawet

przerwie realizację.

W związku ze wskazanymi różnicami technika TSSI powinna być stosowana

w sytuacji, gdy zależy nam na dużej wielkości próby, zaś technika SSI w sytuacji,

gdy kładziemy większy nacisk na informacje o charakterze jakościowym. Z reguły

technika SSI wykorzystywana jest w przypadku wielkości próby do 50, zaś TSSI

w sytuacji, gdy badanie ma objąć 51-200 osób.

50

Badanie techniką tajemniczego klienta

Metoda ta skupia się na przeprowadzeniu badania w tajemnicy przed instytucją

poddawaną badaniu. Technika ta jest znakomitym sposobem zbadania, w jaki sposób

działa instytucja oraz jak traktuje ona klienta.

Badanie metodą tajemniczego klienta może zostać zrealizowane poprzez:

Wizytę w placówce (mystery shopping);

Telefoniczny kontakt z placówką (mystery calling);

Kontakt e-mailowy (mystery mailing).


Scenariusz badania oraz ankieta.

Tajemniczy klient przeprowadza badanie według scenariusza, zawierającego

informacje na temat tego, w jaki sposób ma się zachowywać oraz o co zapytać.

Po zakończeniu wizyty tajemniczy klient wypełnia elektroniczny kwestionariusz,

zawierający pytania dotyczące poszczególnych aspektów obsługi (w kwestionariuszu

są uwzględnione zarówno pytania zamknięte i półotwarte, jak również rozbudowane

pytania otwarte, wymagające szczegółowego opisania odczuć związanych

ze skorzystaniem z usługi – w związku z tym ta technika badawcza zaliczana jest

do technik mieszanych).


Nieświadomość przedstawicieli danej instytucji co do tożsamości klienta sprawia,

że zachowują się oni bardziej naturalnie, a ich wypowiedzi i zachowania nie są

zniekształcane przez formalność innych metod badawczych – w przypadku,

gdyby zdecydowano się np. na technikę IDI, przedstawiciele instytucji dołożyliby

szczególnych starań, aby udowodnić, iż zachowują się w sposób profesjonalny.

51


Konieczność zaangażowania dużej liczby badaczy – dany tajemniczy klient może

odwiedzić wskazaną instytucję tylko jeden raz, w innym wypadku ryzykuje,

iż zostanie rozpoznany przez jej pracowników;

Ograniczone zastosowanie techniki – służy wyłącznie weryfikacji pracy

pracowników danej instytucji.


Badanie tajemniczego klienta wykorzystywane jest w sytuacji, gdy chcemy

sprawdzić, czy wystandaryzowana usługa (np. praca pracowników socjalnych, obsługa

mieszkańców) jest realizowana poprawnie i zgodnie z przyjętymi standardami.

Przykładowo, badanie to może zostać zrealizowane w sytuacji, gdy efektem projektu

było powstanie nowej instytucji bądź nowego stanowiska (np. odpowiedzialnego

za obsługę turystów bądź cudzoziemców). Zastosowanie tej techniki pozwoli

na określenie, czy nowoutworzone miejsce spełnia swoje funkcje, a jeżeli nie, to w jakich

obszarach konieczne jest wprowadzenie udoskonaleń.

Benchmarking

Benchmarking jest metodą analizy porównawczej, której celem jest poszukiwanie

wzorcowych sposobów postępowania, umożliwiających osiąganie najlepszych wyników

przez uczenie się od innych i wykorzystywanie ich doświadczenia. W ramach

benchmarkingu następuje porównanie rozwiązań zastosowanych w ewaluowanym

projekcie z rozwiązaniami zastosowanymi w innych projektach, które cechowały się

wyjątkową skutecznością.

52


Matryca analizy porównawczej, zawierająca wskaźniki, które zostaną porównane

dla poszczególnych projektów (przykładem wskaźnika może być liczba osób objętych

wsparciem bądź też liczba instytucji zaangażowanych w realizację projektu).


Benchmaking zapewnia wykorzystanie wiedzy i doświadczenia innych

podmiotów i spożytkowanie ich na stworzenie nowych pomysłów,

które zapewnią lepszą realizację podobnych projektów w przyszłości;

Dzięki tej technice możliwe jest przeprowadzenie rzetelnej analizy efektywności

zrealizowanego projektu.


Trudności z pozyskaniem danych niezbędnych do przeprowadzenia

benchmarkingu, szczególnie w sytuacji, gdy realizację projektów wybranych

do analizy zakończono już dość dawno, a osoby za nie odpowiedzialne zmieniły

miejsce pracy;

Problemy z określeniem pożądanych wskaźników, zwłaszcza w sytuacji, gdy

analizowane projekty/programy nie są standardowe i nie dysponujemy danymi

historycznymi lub adekwatnymi do specyfiki regionu/miasta.


Benchmarking powinien być wykorzystywany przede wszystkim w sytuacji,

gdy planowana jest realizacja projektów o zbliżonej tematyce w przyszłości. Zapoznanie

się z rozwiązaniami stosowanymi w innych projektach pozwala na udoskonalenie

ewaluowanego projektu, co przekłada się na jego skuteczność, trwałość i użyteczność.

Poprzez przeprowadzenie benchmarkingu ewaluator uzyskuje wiedzę na temat tego,

które rozwiązania zastosowane w ramach ocenianego projektu należy uznać

53

za wartościowe i godne ponownego zastosowania, gdyż okazały się skuteczniejsze

od działań zrealizowanych w ramach innych inwestycji, a które przyniosły gorsze efekty

niż konkurencyjne rozwiązania.

Warsztaty

Warsztaty to sposób uzyskiwania opinii, stanowisk, propozycji itp. od instytucji

i osób, na które będą miały wpływ opracowane przez ewaluatora wnioski

i rekomendacje. W przypadku warsztatów liczba uczestników wynosi z reguły

od kilkunastu do kilkudziesięciu osób. Warsztaty mają z reguły charakter otwarty –

mogą w nich wziąć udział wszyscy zainteresowani, niemniej jednak zdarza się,

iż organizowanych jest kilka warsztatów, a do udziału w nich zapraszane są

poszczególne grupy interesariuszy.


Do prowadzenia warsztatów z reguły wykorzystywana jest prezentacja

zawierająca najważniejsze wyniki z przeprowadzonej ewaluacji oraz wnioski

i rekomendacje. Ewaluator przedstawia poszczególne rezultaty ewaluacji, zaś uczestnicy

warsztatów mogą na bieżąco zgłaszać swoje spostrzeżenia. Na końcu warsztatów

uczestnicy otrzymują kwestionariusz do samodzielnego wypełnienia, na którym mogą

zapisać swoje uwagi i wnioski.

Czasami w ramach warsztatów wykorzystywane są także inne narzędzia – np. kartki,

na których znajdują się opisy zadań problemowych – uczestnicy warsztatów są dzieleni

na grupy i proszeni o sporządzenie propozycji, w jaki sposób, ich zdaniem,

należy rozwiązać wskazany problem.

54


Dzięki przeprowadzeniu warsztatów możliwe jest uzyskanie wiedzy od wielu

osób reprezentujących zróżnicowane grupy społeczne oraz zminimalizowanie

ryzyka, że opracowane wnioski i rekomendacje nie będą uwzględniały

ich potrzeb;

Przeprowadzenie warsztatów sprawia, iż mieszkańcy czują się zaangażowani

w przeprowadzaną ewaluację i zaczynają się interesować jej wynikami.


Trudności w realizacji działań promocyjnych – w celu uzyskania wysokiej

frekwencji na warsztatach konieczne jest dotarcie do jak największego grona

potencjalnych uczestników (np. poprzez zamieszczenie ogłoszeń na stronach

internetowych instytucji, drukowanie i rozpowszechnianie ulotek i plakatów

oraz telefonicznie i e-mailowe zapraszanie kluczowych interesariuszy);

Ryzyko, iż dyskusja w ramach warsztatów zejdzie na tematy niezwiązane

z ewaluacją (w związku z tym warsztaty powinny być prowadzone przez więcej

niż jedną osobę – ułatwi to zapanowanie nad uczestnikami).


Realizacja warsztatów umożliwia mieszkańcom partycypację w procesie

decyzyjnym. Dzięki nim możliwe jest uzyskanie wiedzy na temat tego, które

z rekomendacji zaproponowanych przez zespół badawczy są uważane przez

mieszkańców za wartościowe, a które z nich nie odpowiadają na ich potrzeby. W trakcie

warsztatów ewaluator może również dowiedzieć się o skutkach ewaluowanego

projektu, których nie udało się zidentyfikować poprzez zastosowanie pozostałych

technik badawczych.

55

Specyfika realizacji badań ewaluacyjnych dotyczących

projektów społecznych i gospodarczych, których zadaniem

był wpływ na zmiany jakości życia mieszkańców i warunki

prowadzenia działalności gospodarczej przez

przedsiębiorców w województwie śląskim, w miastach

kurczących się, o liczbie mieszkańców nie mniejszej niż 100

tysięcy

Poniżej zaprezentowano kluczowe wskazania dotyczące realizacji ewaluacji:

W województwie śląskim:

o W 2017 roku stopa bezrobocia w województwie śląskim była niewielka,

wyraźnie niższa niż w kraju (np. we wrześniu 2017 roku wynosiła

w województwie śląskim 5,5%, podczas gdy dla Polski ogółem – 6,8%).

W związku z tym mogłoby się zdawać, iż nie jest uzasadnione uwzględnianie

w badaniach osób bezrobotnych. Podejście takie jest jednak błędne –

należy pamiętać, iż osoby, które nie są w stanie znaleźć zatrudnienia pomimo

korzystnej sytuacji gospodarczej wymagają szczególnego wsparcia.

W związku z tym nie należy pomijać tej grupy respondentów. Co więcej,

należy zadbać o uzyskanie od jej przedstawicieli pogłębionych informacji na

temat czynników wpływających na ich sytuację życiową –

np. poprzez wykorzystanie technik IDI bądź SSI.

o W województwie śląskim mieszka i pracuje wielu cudzoziemców, liczba ta

z roku na rok wzrasta. Przedstawiciele innych krajów odgrywają coraz

większą rolę w funkcjonowaniu poszczególnych miast, w związku z czym

konieczne jest co najmniej zapewnienie im możliwości uczestnictwa

56

w badaniach skierowanych do ogółu mieszkańców (poprzez przetłumaczenie

kwestionariuszy na języki obce oraz zaangażowanie ankieterów, którzy nimi

władają). Warto także wziąć pod uwagę wyodrębnienie cudzoziemców jako

odrębnej populacji badanej i dostosowanie narzędzia badawczego do ich

specyfiki (np. wprowadzenie pytań na temat poziomu integracji).

o Do inteligentnych specjalizacji województwa śląskiego zaliczają się

energetyka, medycyna oraz technologie informacyjne i komunikacyjne.

W przypadku realizacji badań dotyczących warunków prowadzenie

działalności gospodarczej warto przy określaniu struktury próby zaplanować

określony udział podmiotów należących do inteligentnych specjalizacji

(np. zrealizować 200 CATI, w tym 45 z przedstawicielami inteligentnych

specjalizacji), aby móc zbadać, czy zrealizowany projekt miał na nie wpływ.

o Województwo śląskie charakteryzuje się najwyższą w Polsce gęstością

zaludnienia (w 2015 roku wyniosła ona 371 osób na kilometr kwadratowy –

o 68,3% więcej niż w znajdującym się na drugim miejscu województwie

małopolskim). W związku z tym w badaniach ewaluacyjnych należy położyć

duży nacisk na problemy występujące w przypadku dużego zagęszczenia

mieszkańców – np. kwestię hałasu, wysokich kosztów wynajęcia i zakupu

mieszkania, ograniczonej prywatności, trudności w znalezieniu przestrzeni do

wypoczynku.

o Przeciętna prognozowana długość trwania życia dla mieszkańców

województwa śląskiego jest nieco niższa niż średnia dla Polski. W związku

z tym zaleca się zwrócenie uwagi na kwestie dotyczące dostępu do usług

służby zdrowa oraz ich jakości.

57

o Zgodnie z badaniami przeprowadzonymi w 2014 roku1 jedynie 4,4%

mieszkańców województwa śląskiego poświęca swój wolny czas działaniom

w grupie formalnej. W związku z tym zaleca się, aby przy realizacji badań

ewaluacyjnych zwracać uwagę na aktywność społeczną respondentów oraz

ich zaangażowanie w życie miasta oraz czynniki na nie wpływające.

o Zgodnie z wynikami zrealizowanego przez GUS Badania Spójności Społecznej

województwo śląskie cechuje się niższym od średniej dla Polski odsetkiem

osób o wysokim poziomie kapitału towarzysko-sąsiedzkiego. W związku

z tym warto w badaniach zwracać uwagę na kwestię relacji respondentów

ze znajomymi oraz osobami mieszkającymi w pobliżu.

o Województwo śląskie charakteryzuje się wysoką liczbą nowych

przedsiębiorstw zakładanych każdego roku. W związku z tym warto, aby

w przypadku ewaluacji projektów gospodarczych wyodrębnić jako osobną

grupę przedsiębiorców prowadzących działalność krócej niż rok (bądź dwa

lata) i przeprowadzić dla nich odrębną analizę – badanie może dostarczyć

informacji na temat tego, jakie czynniki zachęciły ich do założenia

działalności, jakie utrudniają, a jakie ułatwiają jej prowadzenie.

W miastach kurczących się, o liczbie mieszkańców nie mniejszej niż 100 tysięcy:

o Przy określaniu struktury próby należy zadbać o warstwowanie

respondentów ze względu na miejsce (dzielnicę, osiedle) zamieszkania.

Można spodziewać się, że osoby mieszkające w znacznej odległości

od obszaru, na którym realizowano ewaluowany projekt, będą odczuwać jego

oddziaływanie w znacznie mniejszym stopniu niż osoby żyjące w dzielnicy,

gdzie dane działanie zostało wdrożone.

1 „Kapitał społeczny w województwie śląskim”, Raport z badania, Regionalny Ośrodek Polityki Społecznej Województwa

Śląskiego, Katowice 2014

58

o Ze względu na ciągle zachodzące zmiany demograficzne konieczne jest

zadbanie o to, aby przy warstwowaniu próby ze względu na wiek i płeć

przedstawicieli populacji badanej uwzględnić jak najaktualniejsze dane

statystyczne – najlepiej, aby dotyczyły one obszaru, dla którego

przeprowadzana jest ewaluacja (np. określonych dzielnic miasta). Jeżeli tak

szczegółowe dane nie są dostępne, przy obliczaniu próby należy uwzględnić

dane dla miasta ogółem. Warstwowanie ze względu na wiek i płeć jest

procedurą badawczą wykorzystywaną przede wszystkim, gdy badanie

ma objąć mieszkańców danego obszaru. Można je uwzględnić również,

gdy populacje badane stanowią uczestnicy/odbiorcy danego projektu,

w przypadku których zebraliśmy dane niezbędne do przeprowadzenia

warstwowania.

o W sytuacji, gdy nie znamy rozkładu wieku i płci badanej populacji

(przykładowo, celem projektu była rewitalizacja miejskiego parku, zaś

badanie ma objąć osoby ten park odwiedzający), badanie z reguły

realizowane jest poprzez wyznaczenie lokalizacji, w których zostaną

umieszczone stanowiska ankieterów (w niniejszym przykładzie byłyby to

miejsca w parku często odwiedzane przez mieszkańców). Ankieterzy

zapraszają do badania przechodniów zgodnie z określonym schematem

(np. co trzecią bądź co piątą przechodzącą osobę – do badania nie są

zapraszani wszyscy przechodzący, aby zapewnić zróżnicowanie

respondentów, np. ze względu na porę odwiedzania parku. W sytuacji, gdyby

ankieter zapraszał do badania każdego przechodzącego, mógłby szybko

zrealizować założoną liczbę wywiadów na mało zróżnicowanej próbie).

o Należy uwzględniać w badaniach osoby, które podjęły decyzję o zmianie

miasta zamieszkania – pozyskanie danych kontaktowych prawdopodobnie

nie będzie możliwe podczas relatywnie krótkiego okresu prowadzenia

ewaluacji, dlatego należy zadbać o to wcześniej. Zaleca się, aby osoby, które

59

udają się do urzędu w celu wymeldowania były proszone o podanie swojego

numeru telefonu oraz wyrażenie zgody na kontakt w celu przeprowadzenia

wywiadu telefonicznego – umożliwi to pozyskanie informacji na temat tego,

dlaczego postanowiły się wyprowadzić. Można również poprosić osobę

wymeldowującą się o wypełnienie ankiety podczas wizyty w urzędzie –

zebrany w ten sposób materiał badawczy może zostać później przekazany

ewaluatorowi do analizy. Uwzględnienie takich osób w ewaluacji jest bardzo

ważne, gdyż umożliwia uzyskanie wiedzy na temat czynników, które

wpłynęły na podjęcie decyzji o zmianie miejska zamieszkania. Umożliwi to

uwzględnienie w projektach realizowanych w przyszłości działań

przeciwdziałających zgłoszonym przez respondentów problemów,

co przyczyni się do zmniejszenia zjawiska migracji.

o Konieczne jest zadbanie o to, aby osoby w podeszłym wieku były

dostatecznie reprezentowane w próbie. Wiele osób w wieku emerytalnym

nie korzysta z Internetu bądź wykorzystuje go w ograniczonym zakresie.

W związku z tym można spodziewać się, że w przypadku realizacji badania

ilościowego wyłącznie przy wykorzystaniu techniki CAWI liczba wypełnień

od mieszkańców w wieku 65+ będzie niewielka. W przypadku tej grupy

respondentów zalecane jest stosowanie techniki PAPI – podczas kontaktu

osobistego najłatwiej jest zachęcić do uczestnictwa w badaniu.

W celu uwiarygodnienia badania zalecane jest wcześniejsze poinformowanie

o jego realizacji – np. poprzez kolportaż ulotek dotyczących prowadzonej

ewaluacji bądź skontaktowanie się z zarządcą danego osiedla i poproszenie

go o przekazanie informacji lokatorom.

o Kolejną grupą, którą warto objąć badaniami, są studenci. W przypadku

tej populacji warto uwzględnić w analizie podział na studentów

z województwa śląskiego oraz tych, którzy przyjechali z innych regionów

Polski. Badanie umożliwi uzyskanie informacji na temat tego, gdzie planują

60

zamieszkać w przyszłości, jakie czynniki zachęcają ich do życia

w województwie śląskim, a jakie do tego zniechęcają. Realizacja projektów

skłaniających młodych ludzi do osiedlania się w miastach województwa

śląskiego pozwoli na przeciwdziałanie procesowi kurczenia się miast.

o Województwo śląskie cechuje się wskaźnikiem dzietności nieco niższym niż

średnia dla Polski – taka postawa wpływa na proces kurczenia się miast.

W związku z tym warto uwzględnić w realizowanych badania społecznych

czynniki wpływające na skłonność do powiększania rodzin, przede

wszystkim dostępność żłobków i przedszkoli oraz innych form opieki nad

dziećmi. W przypadku badań przeprowadzanych na pracodawcach warto

uwzględnić ich skłonność do stosowania elastycznych form zatrudnienia oraz

czasu pracy, umożliwiające pogodzenie opieki nad dzieckiem z karierą

zawodową.

Dotyczących projektów społecznych i gospodarczych:

o Szczegółowe informacje na temat technik badawczych stosowanych

przy ewaluacji projektów społecznych i gospodarczych zamieszczono

w podrozdziale „Metody i techniki badawcze stosowane w procesie

ewaluacji”. Poniżej zamieszczono ogólne wskazówki dotyczące procesu

badawczego.

o Do kluczowych populacji badanych w przypadku ewaluacji projektów

społecznych i gospodarczych zaliczają się: realizator (beneficjent) projektu,

odbiorcy projektu (określeni w sposób bezpośredni, np. konkretne osoby

objęte danym działaniem bądź w sposób pośredni, np. mieszkańcy danej

dzielnicy). Badaniami obejmowani są często również przedstawiciele

instytucji, którzy na co dzień zajmują się problematyką poruszaną w projekcie

(np. w przypadku, gdy projekt dotyczył bezpieczeństwa, wskazana jest

realizacja wywiadów z przedstawicielami policji i/lub straży miejskiej)

61

oraz zewnętrzni eksperci, którzy potrafią porównać zrealizowany projekt

z innymi działaniami wdrożonymi w kraju lub za granicą.

o Beneficjenci z reguły obejmowani są techniką IDI – jest to związane

z niewielką liczbą przedstawicieli tej grupy (z reguły bogatą wiedzę na temat

danego projektu posiada jedynie kilka/kilkanaście osób) oraz koniecznością

pozyskania dużej liczby informacji (beneficjenci są głównym źródłem wiedzy

na temat przebiegu realizacji projektu).

o Forma kontaktu z odbiorcami projektu społecznego uzależniona jest

od specyfiki tej grupy – jeżeli wsparcie było skierowane do konkretnych

osób, od których pozyskano numery telefonów, zalecana jest realizacja

badania CATI (przebiega ono sprawniej w sytuacji, gdy odbiorców wsparcia

poinformowano o planowanej ewaluacji). W przypadku, gdy działanie było

skierowane do ogółu mieszkańców, z reguły stosuje się technikę PAPI.

Jak wspomniano wcześniej, w przypadku miast powyżej 100 000

mieszkańców zalecane jest przeprowadzenie warstwowania ze względu

na miejsce zamieszkania. W takiej sytuacji realizacja wywiadów

w lokalizacjach najczęściej odwiedzanych przez mieszkańców (np. dworzec,

okolic urzędu miasta) nie pozwoli na sprawne zrealizowane zaplanowanej

próby (ankieterzy będą długo musieli poszukiwać respondenta z danej

dzielnicy). Zalecane jest wówczas, aby ankieterzy poszukiwali uczestników

badania poprzez odwiedzenie kolejnych lokali z wybranych ulic zgodnie

z określonymi założeniami (np. zapraszanie do badania mieszkańca

co trzeciego lokalu). Uzupełnieniem dla PAPI może być zastosowanie techniki

CAWI, które pozwoli na wypowiedzenie się osobom, które rzadko można

zastać w domu oraz które niechętnie rozmawiają z ankieterami.

W celu uzyskania informacji o charakterze pogłębionym wskazane jest

objęcie wybranych przedstawicieli tej populacji także technikami

62

jakościowymi (z uwzględnieniem zróżnicowania respondentów) – np. IDI,

TDI, FGI, diada, triada.

o Forma kontaktu z odbiorcami projektu gospodarczego również uzależniona

jest od specyfiki tej grupy – jeżeli wsparcie było skierowane

do przedsiębiorców, zalecana jest realizacja badania CATI (zarówno

w przypadku projektu skierowanego do konkretnych podmiotów, jak

i działań ukierunkowanych ogólnie na osoby prowadzące działalność

gospodarczą). Przedsiębiorcy ze względu na napięty harmonogram mają

trudności z wyznaczeniem terminu realizacji PAPI, zaś w przypadku CAWI

responsywność z reguły nie przekracza 10%. W przypadku, gdy w projekcie

uczestniczyli pracownicy bądź potencjalni pracownicy (np. osoby bezrobotne

bądź studenci) można zdecydować się na badanie metodą audytoryjną –

uczestnicy projektu samodzielnie wypełniają ankiety podczas szkolenia.

Zalecane jest jednak, aby poprosić ich o przekazanie numerów telefonów,

aby możliwa była późniejsza realizacja badania weryfikującego rzeczywisty

wpływ zrealizowanych działań na sytuację odbiorców wsparcia.

W celu uzyskania informacji o charakterze pogłębionym wskazane jest objęcie

wybranych przedstawicieli tej populacji także techniką IDI (z uwzględnieniem

zróżnicowania respondentów).

o Technika badania zastosowana w przypadku przedstawicieli instytucji,

którzy na co dzień zajmują się problematyką poruszaną w projekcie, zależy

przede wszystkim od tego, jak dużo informacji pragniemy pozyskać.

W sytuacji, gdy w badaniu poruszono jedynie kilka zagadnień, uzasadniona

jest realizacja TDI. Jeżeli scenariusz wywiadu jest rozbudowany,

należy zdecydować się na IDI. W przypadku, gdy grupa potencjalnych

respondentów jest liczna, można podjąć decyzję o realizacji FGI (zwłaszcza

w sytuacji, gdy na etapie wdrażania projektu występowały różnice zdań

w kwestii tego, jak powinien on być realizowany).

63

o W przypadku ekspertów zewnętrznych wybór techniki uzależniony

jest przede wszystkim od tego, jaką wiedzę chcemy uzyskać – jeżeli zależy

nam na uzyskaniu oceny konkretnych działań zrealizowanych w ramach

danego projektu, zaleca się realizację panelu delfickiego. Jeżeli celem jest

omówienie wyników poszczególnych badań oraz praca nad wnioskami

i rekomendacjami, należy zorganizować panel ekspertów (jeżeli

nie ma możliwości, aby eksperci spotkali się, można zdecydować się

na wideokonferencję).

Analiza metod i technik badawczych zastosowanych

w badaniu ewaluacyjnym Przeprowadzenie badań jakości

życia na obszarze rewitalizacji wraz z ewaluacją wpływu

dotychczas realizowanych projektów społecznych

i gospodarczych w Bytomiu

Badanie opinii mieszkańców dotyczących oceny stanu miasta,

warunków życia oraz oczekiwań wobec władz miejskich

Niniejsze badanie zrealizowano przy wykorzystaniu podejścia mixed-mode

(ten sam kwestionariusz jest wykorzystywany w przypadku więcej niż jednej techniki

ilościowej, zaś wyniki analizowane są dla całości próby) na próbie 598 osób – posłużono

się technikami PAPI i CAWI. Do zalet zaproponowanej metodologii zaliczyć należy:

Możliwość osiągnięcia próby większej od zakładanej bez wzrostu kosztów

(gdyż wydatki na realizację badania CAWI nie są uzależnione od liczby

respondentów);

64

Możliwość dotarcia do wszystkich grup respondentów – zastosowanie techniki

PAPI umożliwia udział w badaniu osobom, które nie potrafią korzystać

z Internetu, zaś technika CAWI umożliwia wypowiedzenie się osobom, które nie

mają czasu na rozmowę z ankieterem, bądź które ciężko zastać w domu

(np. osobom młodym).

Takie podejście badawcze jest zalecane w przypadku miast kurczących się,

gdyż pozwala na dotarcie do dwóch bardzo istotnych dla takich jednostek typów

respondentów:

Osób w wieku poemerytalnym, stanowiących coraz większy odsetek

mieszkańców miast kurczących się;

Osób młodych, które poprzez migracje do innych miast przyczyniają się

do spadku liczby mieszkańców.

W badaniu zastosowano warstwowanie respondentów ze względu na wiek, płeć

oraz miejsce zamieszkania. Zabieg ten posłużył zapewnieniu reprezentatywności próby.

Należy zwrócić szczególną uwagę zwłaszcza na ostatni ze wskazanych czynników.

W każdej z dzielnic objętych działaniami rewitalizacyjnymi zrealizowano odsetek

wywiadów proporcjonalny do udziału mieszkańców danej dzielnicy w badanej

populacji.

W sytuacji, gdyby ograniczono warstwowanie do płci i wieku, wyniki badania

mogłyby nie oddawać sytuacji rzeczywistej. W przypadku realizacji badania w mieście

liczącym powyżej 100 000 mieszkańców można spodziewać się, że miejsce zamieszkania

będzie miało wpływ na odpowiedzi – np. osoby mieszkające na skraju obszaru

rewitalizacji mogą nie odczuwać pozytywnych skutków projektu zrealizowanego

w centrum.

Zastosowanie warstwowania pozwala na późniejszą analizę wyników badania

w podziale na poszczególne cechy respondentów.

65

W przypadku realizacji badania w mieście kurczącym się konieczne jest

zwrócenie uwagi na kwestie mają szczególnie duże znaczenie dla osób młodych

(do 35. roku życia), wpływające na podjęcie decyzji o pozostaniu w danej lokalizacji

bądź przeprowadzce. W związku z tym w kwestionariuszu poruszono zagadnienia takie

jak: poziom zadowolenia z opieki nad małymi dziećmi, z poziomu oświaty, organizacji

czasu wolnego dla dzieci.

Ważne jest także wprowadzenie pytań odnoszących się do sytuacji osób

w podeszłym wieku, np. „Jak ocenia Pan/Pani ofertę wsparcia i spędzania czasu wolnego

dla seniorów”.

W kwestionariuszu pojawia się seria pytań wielokrotnego wyboru, w przypadku

których respondent jest proszony o wskazanie maksymalnie do 3 bądź do 5 odpowiedzi.

Takie podejście ma szczególnie duże znaczenie w przypadku ewaluacji

przeprowadzanych w dużych miastach – z doświadczenia autorów poradnika wynika,

że respondenci zamieszkujący miasta powyżej 100 000 nie dysponują kompleksową

wiedzą na temat wszystkich dzielnic, ich atutów i słabych stron, w związku z czym mają

tendencję do zaznaczania bardzo dużej liczby odpowiedzi, gdyż wychodzą z założenia,

że „wszystko jest ważne”.

Zrealizowane badanie pozwoliło na określenie, które aspekty jakości życia

w Bytomiu są oceniane najwyżej (dostęp do Internetu, komunikacja publiczna i dostęp

do usług publicznych, a które najniżej (ekologia i ochrona środowiska, bezpieczeństwo

publiczne oraz rynek pracy). Umożliwiło również wskazanie najbardziej dotkliwego

problemu (bezrobocie). Oczekiwania mieszkańców (wspieranie lokalnej

przedsiębiorczości) okazały się zgodne ze zidentyfikowanym problemem, co świadczy

o tym, że respondenci udzielali przemyślanych odpowiedzi. W związku z tym możliwe

było sporządzenie rekomendacji dotyczących dostosowania programu nauczania szkół

średnich do potrzeb pracodawców oraz realizacji kursów i szkoleń dla osób

bezrobotnych, obejmujących zarówno kwalifikacje zawodowe oczekiwane przez lokalne

przedsiębiorstwa, jak i kompetencje miękkie.

66

Mieszkańcy w trakcie wywiadów zwrócili także uwagę na niski poziom

bezpieczeństwa, w związku z czym zalecono rozbudowę sieci monitoringu oraz nacisk

na zwiększenie liczby patroli służb mundurowych.

Informacje na temat założeń i rezultatów ewaluacji:

W celu uwzględnienia specyfiki Bytomia w przedmiotowym badaniu powzięto

szereg działań:

Przy opracowywaniu narzędzi badawczych uwzględniono problemy społeczne

zidentyfikowane w ramach Gminnego Programu Rewitalizacji. Bytom 2020+

(zwrócono uwagę na kwestię ubóstwa, długotrwałego bezrobocia, zjawisk

wykluczenia społecznego, przestępczości, problemów związanych

z uzależnieniami, w tym powstawania uzależnień krzyżowych oraz nadużywania

tzw. dopalaczy, problemów zdrowotnych, w tym szczególnie w zakresie zdrowia

psychicznego, problemów związanych z funkcjonowaniem rodziny, w tym

bezradności w sprawach opiekuńczo-wychowawczych, przestępstw przeciwko

opiece i rodzinie, trudności w realizacji pieczy zastępczej, przedwczesnego

macierzyństwa).

Wyniki przeprowadzonego badania zostały porównane z wynikami badań z lat

poprzednich (2010, 2011 i 2013 r.). Pozwoliło to na ocenę zmian zachodzących

w poszczególnych sferach i analizę skali występowania dotychczas

zidentyfikowanych problemów, charakterystycznych dla tego miasta.

Wśród wyników badania szczególnie zaakcentowane zostały kwestie, które

zidentyfikowane zostały jako najistotniejsze w ramach pozostałych

przeprowadzonych badań (tj. z zakresu pozostałych Zadań w ramach projektu).

Takie podejście było możliwe dzięki zaangażowaniu Zespołu badawczego do

analizy wyników wszystkich poszczególnych Zadań, poprzez co członkowie

Zespołu posiadali pełną wiedzę z zakresu pozyskanych danych (tj. z zakresu

różnych metod i różnych grup respondentów).

67

Poniżej przedstawione zostały ryzyka, które potencjalnie mogły wystąpić

w trakcie realizacji badań, informacja czy wystąpiły oraz sposób, w jaki im

zapobiegnięto bądź je rozwiązano. Dzięki zastosowaniu tych działań, w ramach

przeprowadzonego badania udało się zbadać wszystkie zakładane kwestie.

Tabela 3. Ryzyka występujące w badaniu wraz ze sposobem ich zapobiegnięcia bądź rozwiązania

Ryzyka, które mogły

wystąpić

Czy ryzyko

wystąpiło?

Sposób, w jaki zapobiegnięto wystąpieniu

ryzyka bądź w jaki rozwiązano

napotkane problemy

Niedostosowanie

narzędzi badawczych

do specyfiki Bytomia

Nie

Przeprowadzenie analizy desk research,

skonsultowanie metodologii

z Zamawiającym oraz przeprowadzenie

przez Zespół Badawczy wewnętrznego

pilotażu

Brak

reprezentatywności

próby badawczej

podczas scalania

danych otrzymanych

metodą PAPI i CAWI

Nie

Wszyscy ankieterzy podczas przeszkolenia

otrzymali dokładne wytyczne dot. podziału

próby badawczej. Ze względu na

zastosowanie dwóch metod badawczych

(CAWI i PAPI) ankieterzy terenowi byli

bieżąco informowani o stanie realizacji

badania CAWI z uwzględnieniem cech

społeczno-demograficznych respondentów.

Takie skoordynowane działania całego

Zespołu odpowiedzialnego za realizację

badania pozwoliły uniknąć problemu

nadreprezentacji danej grupy w ostatecznie

zrealizowanej próbie badawczej.

68

Analiza danych

ogólnych,

niedostarczających

informacji dot.

rozkładu odpowiedzi

względem cech

społeczno-

demograficznych

Tak

W pierwotnej wersji analizy

zaprezentowane dane cechowały się zbyt

wysokim poziomem ogólności. W wyniku

przekazanych przez Zamawiającego uwag,

Wykonawca uzupełnił wyniki badania

o dane krzyżowe (uwzględniające cechy

społeczno-demograficzne) oraz analizę

głównych wniosków z tym związanych (tj.

statystycznie istotnych).

Trudności

w rekrutacji

ankieterów, ze

względu na chłodną

porę roku (jesień)-

wiele osób rezygnuje

w tej porze roku

z pracy w charakterze

ankietera ze względu

na niskie temperatury

Tak

Dzięki temu, że zaplanowano wystarczają

ilość czasu na rekrutację ankieterów oraz

realizację badań, udało się zrealizować

założoną próbę w terminie, a ewentualne

rezygnacje poszczególnych ankieterów nie

wpłynęły na termin realizacji badania.


69

Badanie jakości życia na obszarze rewitalizacji w zakresie wyjaśniania

przyczyn i mechanizmów trwania/pogłębiania się problemów

społecznych

W ramach Badania jakości życia na obszarze rewitalizacji w zakresie wyjaśniania

przyczyn i mechanizmów trwania/pogłębiania się problemów społecznych zrealizowano

40 IDI, w tymi 30 z klientami Miejskiego Ośrodka Pomocy Rodzinie oraz 10 z liderami

lokalnymi oraz interesariuszami rewitalizacji. Zadbano o odpowiednie zróżnicowanie

scenariuszy – opracowano je odrębnie nie tylko dla wskazanych dwóch grup

respondentów, lecz również dla poszczególnych badanych reprezentujących liderów

lokalnych oraz interesariuszy rewitalizacji. Takie podejście badawcze jest bardzo

pracochłonne, lecz pozwala na optymalne wykorzystanie wiedzy badanych osób,

gdyż wypowiadają się one na temat zagadnień związanych z pełnionymi przez siebie

obowiązkami służbowymi (np. przedstawiciel Bytomskiej Agencji Rozwoju Inwestycji

został poproszony o ocenienie funkcjonowania instytucji otoczenia biznesu).

Zrealizowane wywiady pozwoliły na zidentyfikowanie głównej przyczyny

korzystania ze wsparcia oferowanego przez MOPR – jest nią brak perspektyw

w zakresie możliwości znalezienia zatrudnienia przez osoby po 60. roku życia.

W związku z tym, że klienci tej instytucji wyrazili chęć podjęcia pracy, zalecono

realizację działań sprzyjających podnoszeniu zdolności do zatrudnienia tej grupy.

Liderzy lokali oraz interesariusze rewitalizacji zaobserwowali, że osoby,

które utraciły zatrudnienie na skutek likwidowania przedsiębiorstw nie potrafią

odnaleźć się na rynku pracy i wymagają wsparcia doradców zawodowych. Bezrobocie

jest istotnym problemem, potęgowanym przez duży nacisk na świadczenia pomocy

społecznej, obniżające skłonność do poszukiwania pracy. W związku z tym

zarekomendowano realizację działań sprzyjających aktywizacji zawodowej.

Zalecono również wdrażanie projektów ukierunkowanych na osoby starsze,

70

które ze względu na niedostateczną dostępność komunikacyjną miasta często podlegają

wykluczeniu społecznemu i ograniczają swoją aktywność.



szereg działań:

Przy opracowywaniu narzędzi badawczych uwzględniono problemy społeczne

zidentyfikowane w ramach Gminnego Programu Rewitalizacji. Bytom 2020+

(zwrócono uwagę na kwestię ubóstwa, długotrwałego bezrobocia, zjawisk

wykluczenia społecznego, przestępczości, problemów związanych



psychicznego, problemów związanych z funkcjonowaniem rodziny, w tym

bezradności w sprawach opiekuńczo-wychowawczych, przestępstw przeciwko

opiece i rodzinie, trudności w realizacji pieczy zastępczej, przedwczesnego

macierzyństwa).

Wzory scenariuszy wywiadu IDI w przypadku decydentów lokalnych zostały

zróżnicowane względem poszczególnych badanych instytucji działających

w Bytomiu, uwzględniając ich specyfikę i możliwości udzielenia wyczerpujących

odpowiedzi na poszczególne pytania badawcze.








71

W nawiązaniu do ww. podpunktu, w podsumowaniu dot. problemów

społecznych przywołane zostały również główne wnioski płynące z informacji

uzyskanych za pośrednictwem pozostałych metod badawczych, użytych

w pozostałych Zadaniach wchodzących w skład projektu.

Poniżej przedstawione zostały ryzyka, które potencjalnie mogły wystąpić w trakcie

realizacji badań, informacja czy wystąpiły oraz sposób, w jaki im zapobiegnięto bądź je

rozwiązano. Dzięki zastosowaniu tych działań, w ramach przeprowadzonego badania

udało się zbadać wszystkie zakładane kwestie.



wystąpić

Czy ryzyko

wystąpiło?



napotkane problemy

Niedostosowanie



Nie





pilotażu

Niedostosowanie


względem

zakładanych grup

respondentów

Nie

Wzory kwestionariuszy wywiadu IDI

w przypadku decydentów lokalnych zostały

zróżnicowane względem poszczególnych

badanych instytucji działających w Bytomiu,

w celu zwiększenia prawdopodobieństwa

uzyskania potrzebnych odpowiedzi.

Brak uwzględnienia

w analizie którejś ze Tak



72

sfer problemowych wysokim poziomem ogólności. W wyniku



o analizę agregującą wyniki badania

względem poszczególnych problemów

społecznych. Pozwoliło to na podsumowanie

zebranych danych w przejrzysty sposób

i wskazanie głównych sfer problemowych. Źródło: Opracowanie własne

Badanie jakości życia na obszarze rewitalizacji w zakresie oceny

kwestii bezpośrednio powiązanych z jakością życia

Niniejsze badanie zrealizowano za pomocą techniki PAPI na próbie 540 osób.

Podobnie jak w przypadku Badania opinii mieszkańców dotyczących oceny stanu miasta,

warunków życia oraz oczekiwań wobec władz miejskich, tutaj również dokonano

warstwowania ze względu na wiek, płeć i miejsce zamieszkania. W kwestionariuszu

położono duży nacisk na kwestie dotyczące sytuacji materialnej, szczególnie istotne

dla osób młodych (które ze względu na krótki staż na rynku pracy z reguły

nie dysponują wysokimi dochodami, a ponoszą wysokie wydatki, np. związane ze spłatą

kredytu hipotecznego i wychowywaniem dziecka/dzieci) oraz dla osób w wieku

emerytalnym (które otrzymują niskie świadczenia emerytalne, a w wielu przypadkach

muszą kupować drogie lekarstwa). Badanie to pozwoliło także na uzyskanie

szczegółowych informacji na temat sytuacji zawodowej respondentów – w przypadku,

gdy nie jest ona satysfakcjonująca, mogą oni zdecydować się na zmianę miejsca

zamieszkania. Pozostałe bloki tematyczne uwzględnione w kwestionariuszu dotyczyły

73

zdrowia, edukacji, czasu wolnego i relacji społecznych, bezpieczeństwa, aktywności

obywatelskiej, jakości środowiska oraz dobrobytu.

Warto zwrócić uwagę, że przeprowadzone badanie miało charakter

kompleksowy, dotyczyło wielu dziedzin – dzięki temu możliwe było dokonanie

porównanie, w przypadku których obszarów mieszkańcy Bytomia są zadowoleni,

a gdzie potrzebna jest interwencja.

Przeprowadzone wywiady pozwoliły na wyciągnięcie wniosku, iż mieszkańcy

Bytomia mają duże trudności z oszczędzaniem pieniędzy – jedynie 29,9% odłożyło

środki na koncie.

Badanie wykazało również, że osoby w wieku 65+ mają problemy z kondycją

fizyczną – jedynie 33,9% uczestników badania w tym przedziale wieku oceniło ją

dobrze.

Uwzględnienie doboru respondentów ze względu na miejsce zamieszkania

pozwoliło na zaobserwowanie, iż mieszkańcy Śródmieścia Północ najgorzej oceniają

ofertę spędzania czasu wolnego (47,5% odpowiedzi negatywnych wobec 38,4%

dla obszaru rewitalizacji ogółem).

Warto zwrócić uwagę, że warstwowanie respondentów ze względu na płeć, wiek

i miejsce zamieszkania umożliwiło zaprezentowanie wyników badania

z uwzględnieniem tych cech, dzięki czemu odbiorcy raportu mogą uzyskać szczegółową

wiedzę na temat tego, jak poszczególne grupy mieszkańców oceniają zróżnicowane

aspekty swojego życia – dzięki temu będzie możliwe dostosowanie przyszłych

projektów do potrzeb.

74


W celu uwzględnienia specyfiki Bytomia w przedmiotowym badaniu powzięto szereg

działań:

Przy opracowywaniu narzędzia badawczego uwzględniono kwestie bezpośrednio

powiązanych z jakością życia w Bytomiu, w tym między innymi: wykształcenie,

profil zawodowy, chęć nabywania nowych kompetencji, udział w projektach

edukacyjnych i szkoleniowych, skłonność i zdolność do oszczędzania oraz

planowania swojego codziennego życia i przyszłości, aspiracje i postawy życiowe

mieszkanek i mieszkańców obszaru rewitalizacji.

W opracowanym narzędziu badawczym ujęto m.in. sfery badane w ramach

dotychczas przeprowadzanych badań na terenie miasta (w latach poprzednich).

Dzięki wstępnie przeprowadzonej analizie desk research, w narzędziu

badawczym zawarto pytania ukierunkowane na zbadanie problemu

charakterystycznego dla miasta, tj. zatrudnienia nierejestrowanego.












75



wystąpić

Czy ryzyko

wystąpiło?



napotkane problemy

Niedostosowanie



Nie





pilotażu

Brak

reprezentatywności

próby badawczej

Nie

Wszyscy ankieterzy podczas przeszkolenia

otrzymali dokładne wytyczne dot. podziału

próby badawczej. Ankieterzy terenowi byli

bieżąco informowani o stanie realizacji

badania z uwzględnieniem cech społeczno-

demograficznych respondentów. Takie

skoordynowane działania całego Zespołu

odpowiedzialnego za realizację badania

pozwoliły uniknąć problemu

nadreprezentacji danej grupy w ostatecznie

zrealizowanej próbie badawczej.

Analiza danych

ogólnych,

niedostarczających

informacji dot.

rozkładu odpowiedzi

względem cech

Tak






o dane krzyżowe (uwzględniające cechy

76

społeczno-

demograficznych

społeczno-demograficzne) oraz analizę

głównych wniosków z tym związanych (tj.

statystycznie istotnych).

Trudności

w rekrutacji

ankieterów, ze

względu na chłodną

porę roku (jesień)-

wiele osób rezygnuje

w tej porze roku

z pracy w charakterze

ankietera ze względu

na niskie temperatury

Tak

Dzięki temu, że zaplanowano wystarczają

ilość czasu na rekrutację ankieterów oraz

realizację badań, udało się zrealizować

założoną próbę w terminie, a ewentualne

rezygnacje poszczególnych ankieterów nie

wpłynęły na termin realizacji badania.


Badanie postrzegania jakości życia na obszarze oczami podmiotów,

których działalność może wpływać ujemnie lub dodatnio na poziom

jakości życia mieszkańców i wykorzystywanie lokalnych zasobów

W ramach Badania postrzegania jakości życia na obszarze oczami podmiotów,

których działalność może wpływać ujemnie lub dodatnio na poziom jakości życia

mieszkańców i wykorzystywanie lokalnych zasobów zastosowano technikę FGI.

Przeprowadzono 4 spotkania fokusowe:

Z przedstawicielami stowarzyszeń pozarządowych, związków wyznaniowych

i kościołów;

Z przedstawicielami publicznych placówek oświatowych i świadczących usługi

edukacyjne;

77

Z przedstawicielami przedsiębiorców i podmiotów gospodarczych działających

na terenie Miasta;

Z jednostkami i organizacjami świadczącymi usługi społeczne.

Realizacja 4 FGI wynikała z dużej liczby potencjalnych respondentów z każdej

grupy – umożliwiło to przeprowadzenie osobnego badania dla każdej z kategorii

podmiotów.

Scenariusze można podzielić na dwie części: powtarzającą się w każdym

wywiadzie (np. Czy dotąd uczestniczyliście Państwo w działaniach realizowanych

w ramach rewitalizacji?) oraz dostosowaną do specyfiki danej grupy respondentów (np.

Czy Państwa klienci włączają się/włączani są w przedsięwzięcia rewitalizacyjne?). Takie

podejście umożliwiło porównanie odpowiedzi udzielonych w ramach poszczególnych

badań, jak również na uzyskanie wiedzy specyficznej dla określonych podmiotów.

Kolejnym zagadnieniem, na które warto zwrócić uwagę, jest przeprowadzenie

kodowania zebranych danych jakościowych, umożliwiające analizę ilościową

odpowiedzi respondentów. Metoda ta stosowana jest dość rzadko ze względu

na pracochłonność, jednak powinna być brana pod uwagę w przypadku, gdy badanie

jakościowe (np. FGI, IDI, TDI) obejmuje dużą liczbę badanych, gdyż umożliwia

dokładniejsze przybliżenie czytelnikowi dokumentu opinii respondentów.

Zaprezentowane powyżej podejście (realizacja kilku spotkań FGI, obejmujących

dużą liczbę respondentów, umożliwiająca przeprowadzenie analizy ilościowej)

może być z powodzeniem stosowane przede wszystkim w miastach liczących powyżej

100 000 mieszkańców ze względu na to, że funkcjonują w nich liczne przedsiębiorstwa

i instytucje, które można zaprosić do uczestnictwa w badaniach ewaluacyjnych.

Realizacja FGI pozwoliła na określenie głównych problemów społecznych Bytomia

(niski poziom wykształcenia oraz przyzwyczajenie do otrzymywania świadczeń pomocy

społecznej). Respondenci dostrzegają potencjał działań rewitalizacyjnych, zwrócili

jednak uwagę, iż należy położyć mniejszy nacisk na cele, a większy na rzeczywiste

78

efekty. Zauważyli oni również, że w przypadku, gdy na danym obszarze realizowanych

jest zbyt dużo projektów, poszczególne instytucje mogą zacząć konkurować między sobą

o odbiorców. W związku z tych konieczne jest zdywersyfikowanie działań ze względu

na lokalizację.

W wyniku analizy wypowiedzi respondentów możliwe było określenie zadań,

na których należy się skoncentrować w przyszłości: wsparcie osób długotrwale

bezrobotnych, realizacja działań edukacyjnych oraz skierowanych do dzieci i młodzieży

oraz prowadzenie kampanii informacyjnych, nastawionych na zmianę postaw

mieszkańców obszarów rewitalizowanych.


Ze względu na to, że zdecydowano się na zastosowanie techniki FGI, dużym

wyzwaniem było dostosowanie terminu realizacji badań do możliwości respondentów.

W związku z tym przedstawiciele Zespołu Badawczego wielokrotnie kontaktowali się

z przedstawicielami poszczególnych instytucji, aby określić termin odpowiadający

największej liczbie potencjalnych uczestników. Pomimo tego zabiegu nie było możliwe

wyznaczenie terminów dogodnych dla wszystkich instytucji, które planowano objąć

badaniem – w związku z tym przedstawiciele niektórych instytucji nie stawili się

na spotkaniach.


działań:

Przy opracowywaniu narzędzi badawczych uwzględniono specyfikę działalności

poszczególnych grup podmiotów prowadzących działalność na terenie Bytomia

w celu uzyskania wyczerpujących odpowiedzi na poszczególne pytania

badawcze.



79









udało się zbadać wszystkie zakładane kwestie oraz zidentyfikowano i opisano

mechanizmy powstawania, trwania i pogłębiania się zjawisk kryzysowych na terenie

Bytomia.



wystąpić

Czy ryzyko

wystąpiło?



napotkane problemy

Niedostosowanie



Nie





pilotażu

80

Ze względu na to, że

zdecydowano się na

zastosowanie techniki

FGI, dużym

wyzwaniem było

dostosowanie terminu

realizacji badań do

możliwości

respondentów.

Tak

Przedstawiciele Zespołu Badawczego

wielokrotnie kontaktowali się

z przedstawicielami poszczególnych

instytucji, aby określić termin

odpowiadający największej liczbie

potencjalnych uczestników. Pomimo tego

zabiegu nie było możliwe wyznaczenie

terminów dogodnych dla wszystkich

instytucji, które planowano objąć badaniem

– w związku z tym przedstawiciele

niektórych instytucji nie stawili się

na spotkaniach.

Pominięcie którejś

z informacji zebranych

w trakcie badania –

ryzyko wynika

z charakteru wywiadu

FGI, prowadzonego

w postaci dyskusji i,

związanym z tym,

pojawianiem się

wątków pobocznych

Tak






o wyniki kodowania danych jakościowych

w postaci zebrania słów kluczowych

w ramach wszystkich pytań scenariusza.

Pozwoliło to na uzupełnienie wniosków

z analizy i pewność, że nie przeoczono

którejś z poruszanych kwestii. Źródło: Opracowanie własne

81

Ewaluacja wpływu dotychczas realizowanych projektów społecznych

w Bytomiu na zmiany jakości życia mieszkańców obszarów

zagrożonych ubóstwem i wykluczeniem społecznym

W ramach tego zadania wykorzystano technikę IDI. Badaniami objęto klientów

MOPR. Podobnie jak w przypadku scenariusza do Badania przedsiębiorców wraz

z ewaluacją wpływu dotychczas realizowanych projektów dedykowanych przedsiębiorcom

na terenie Bytomia, w narzędziu badawczym uwzględniono uwagi ogólne i instrukcje dla

moderatora oraz blok wprowadzający, aby uzyskać jak najwięcej użytecznych informacji

od badanej osoby.

Zastosowanie techniki o charakterze pogłębiającym pozwoliło na uzyskanie

informacji nie tylko na temat tego, jak osoby korzystające z pomocy Miejskiego Ośrodka

Pomocy Rodzinie oceniają dostępne wsparcie, lecz także w zakresie czynników

wpływających na ich wysoki poziom zadowolenia. Badanie klientów MOPR dostarczyło

również cennych wskazówek dotyczących organizacji przyszłych projektów

rewitalizacyjnych – m.in. zidentyfikowano potrzebę lepszego dostosowania działań

do możliwości osób w poszczególnych przedziałach wieku oraz przekazywania planów

organizowanych wydarzeń, aby uczestnicy mogli przygotować się do zajęć.



działań:

Przy opracowywaniu narzędzi badawczych uwzględniono dotychczas

zrealizowane w Bytomiu projekty i programy społeczne oraz ich potencjalny

wpływ na zmianę jakości życia mieszkańców obszarów zagrożonych ubóstwem

i wykluczeniem społecznym.

82

Dzięki wstępnie przeprowadzonej analizie desk research, w narzędziu

badawczym zawarto pytania ukierunkowane na zbadanie przeprowadzonych

w Bytomiu projektów społecznych. W celu wyboru projektów, których uczestnicy

zostaną skierowani do badania IDI przeprowadzona została analiza projektów

społecznych realizowanych przez MOPR w Bytomiu. Uwzględniono takie

zagadnienia, jak: liczba uczestników, cele i charakter zakładanych w projekcie

wskaźników, charakter przeprowadzonych działań (w tym w oparciu

o ewentualną możliwość identyfikacji uczestników i dotarcia do nich oraz

o zgodność działań z tematem prowadzonej ewaluacji, tj. projekty mające

szczególny wpływ na zmianę jakości życia i zmniejszenie zagrożenia ubóstwem

i wykluczeniem społecznym).












.

83



wystąpić

Czy ryzyko

wystąpiło?



napotkane problemy

Niedostosowanie



Nie





pilotażu

Problem z dostępem do

osób biorących udział

w projektach

społecznych

Nie

W celu wyboru projektów, których

uczestnicy zostaną skierowani do badania

IDI przeprowadzona została analiza

projektów społecznych realizowanych przez

MOPR w Bytomiu. Uwzględniono takie

zagadnienia, jak: liczba uczestników, cele

i charakter zakładanych w projekcie

wskaźników, charakter przeprowadzonych

działań (w tym w oparciu o ewentualną

możliwość identyfikacji uczestników

i dotarcia do nich oraz o zgodność działań

z tematem prowadzonej ewaluacji, tj.

projekty mające szczególny wpływ na

zmianę jakości życia i zmniejszenie

zagrożenia ubóstwem i wykluczeniem

społecznym)

84

Klienci MOPR zaliczają

się do respondentów,

których niełatwo

przekonać

do uczestnictwa

w badaniu. W związku

z tym na etapie

rekrutacji Zespół

Badawczy wielokrotnie

spotykał się

z odmowami

potencjalnych

respondentów.

Tak

Zrealizowanie założonej próby było możliwe

dzięki zaangażowaniu w proces rekrutacji

osób, które potrafiły skłonić potencjalnych

uczestników do rozmowy z moderatorem.

W realizacji badania pomogła również

współpraca z MOPR w Bytomiu.


Badanie przedsiębiorców wraz z ewaluacją wpływu dotychczas

realizowanych projektów dedykowanych przedsiębiorcom na terenie

Bytomia

W ramach niniejszego badania zrealizowano IDI z przedstawicielami

przedsiębiorstw z Bytomia, które skorzystały ze wsparcia w ramach projektów

i programów. W związku z tym, że zróżnicowano respondentów ze względu na wielkość

zatrudnienia oraz formy wsparcia, konieczne było zrealizowanie dość dużej liczby

wywiadów, aby możliwe było dogłębne poznanie opinii każdej z analizowanych grup.

W związku z tym liczebność próby wyniosła 31. Dzięki zebraniu bogatego materiału

85

badawczego możliwe było wzbogacenie dokumentu o liczne cytaty (dzięki czemu jest

on bardziej wartościowy oraz interesujących dla czytelników).

Analiza wyników badań pozwoliła zarówno na sporządzenie wniosków

dotyczących użyteczności zaoferowanego wsparcia oraz jego wpływu na sytuację

przedsiębiorców, jak również na przygotowanie rekomendacji odnośnie do tego,

jak dostosować oferowaną pomoc, aby lepiej odpowiadała ona na potrzeby osób

prowadzących działalność gospodarczą. Zaobserwowano potrzebę zmiany przepisów,

aby umożliwić szybsze przyjęcie w ramach dofinansowania nowej osoby. Zauważono

również, iż istotną barierę w korzystaniu ze wsparcia stanowi brak wiedzy na temat jego

dostępności. W związku z tym sporządzono zalecenie, w jaki sposób informować

potencjalnych beneficjentów o programach i projektach skierowanych

do przedsiębiorców.

W przypadku tego badania warto zwrócić uwagę na kwestię budowy scenariusza.

Rozpoczyna się on rozbudowanymi uwagami do moderatora, dotyczącymi prowadzenia

rozmowy z respondentem. Instrukcje takie są niezbędne, gdyż wielu badaczy

(nawet tych posiadających doświadczenie w realizacji IDI) ma trudności z właściwym

poprowadzeniem IDI, a zwłaszcza z zachęceniem respondenta do poszerzenia

odpowiedzi. Badanie rozpoczyna się od bloku wprowadzającego, służącego

do zbudowania pozytywnej relacji pomiędzy moderatorem i respondentem oraz

sprawieniem, aby ten ostatni poczuł się swobodnie. Element ten jest pomijany w wielu

badaniach ze względu na to, że wydłuża czas realizacji, a jednocześnie nie dostarcza

informacji użytecznych w kontekście celów ewaluacji. Taka postawa jest błędna,

gdyż prowadzi do nadmiernej formalizacji wywiadu, w rezultacie czego badany odczuwa

dyskomfort i skraca swoje wypowiedzi, aby jak najszybciej zakończyć spotkanie.

W scenariuszu zawarto liczne podpowiedzi dla moderatora na temat tego,

na temat jakich zagadnień ma uzyskać wiedzę. Takie instrukcje są bardzo użyteczne,

gdyż sprawiają, że w ramach każdego wywiadu pozyskany zostaje ten sam zakres

informacji, co umożliwia porównywanie wypowiedzi.

86


Przy opracowywaniu narzędzia badawczego uwzględniono dotychczas

zrealizowane w Bytomiu projekty i programy dedykowane przedsiębiorcom

oraz ich potencjalny wpływ na funkcjonowanie podmiotów gospodarczych,

w tym kreowanie nowych miejsc pracy, rozwój samozatrudnienia i przedsiębiorczości.

Początkowym założeniem badania było objęcie wywiadami wyłącznie

przedsiębiorstw zatrudniających powyżej 10 podmiotów. Okazało się to niemożliwe

ze względu na brak dostatecznej liczby podmiotów spełniających ten warunek.

W związku z tym Zespół Badawczy uzgodnił z Zamawiającym, iż badaniem zostaną

objęte także mikroprzedsiębiorstwa.


szereg działań:

Wzory scenariuszy wywiadu IDI zostały opracowane z myślą o ocenie wsparcia

oferowanego przez Powiatowy Urząd Pracy w Bytomiu.










87





wystąpić

Czy ryzyko

wystąpiło?



napotkane problemy

Niedostosowanie



Nie





pilotażu

Nieobjęcie wywiadami

wyłącznie

przedsiębiorstw

zatrudniających

powyżej 10

podmiotów.

Tak

Wykonawca w pierwotnej fazie badania

napotykał problemy z realizacją wymaganej

liczby wywiadów z przedsiębiorstwami

zatrudniającymi powyżej 10 podmiotów.

Realizacja badania wymagała w tym

względzie współpracy z Powiatowym

Urzędem Pracy (w zakresie przekazania

danych dot. przedsiębiorstw mogących

zostać objętych badaniem), co ostatecznie

doprowadziło do zrealizowania zakładanej

próby badawczej. Źródło: Opracowanie własne

88

Omówienie przykładów zrealizowanych badań

ewaluacyjnych

Ewaluacje dotyczące projektów/programów gospodarczych

Raport końcowy ewaluacji projektu systemowego „Więcej szans w powiecie

dębickim”

Link do dokumentu: www.pupdebica.pl/download/99.pdf

Cel ewaluowanego projektu:

Podniesienie poziomu aktywności zawodowej, zdobycie nowych umiejętności

i kwalifikacji zawodowych oraz podjęcie zatrudnienia lub samozatrudnienia osób

pozostających bez pracy.

Cel ewaluacji:

Ocena jakości projektu systemowego „Więcej Szans w powiecie dębickim”

realizowanego przez Powiatowy Urząd Pracy w Dębicy w ramach Poddziałania 6.1.3

PO KL oraz wpływu podejmowanych w ramach tego projektu działań na podniesienie

poziomu aktywności zawodowej oraz zdolności do zatrudnienia jego uczestników.

Przyczyna uwzględnienia projektu i ewaluacji w poradniku:

Projekty służące walce z bezrobociem muszą spełnić wiele warunków,

aby ich realizacja zakończyła się sukcesem – należy m.in. trafnie określić grupy

docelowe, sposób pracy z uczestnikami, zakres kompetencji twardych i miękkich, jakie

mają nabyć uczestnicy, aby móc znaleźć pracę, jak również zapewnić odpowiednie

89

wsparcie ze strony psychologa i doradcy zawodowego. W związku z wysokim poziomem

skomplikowania takich projektów, również ich ewaluacja stanowi duże wyzwanie

dla Zespołu Badawczego – określenie, w jaki sposób projekt przełożył się na życie

uczestników, wymaga zbadania zarówno efektów obiektywnych (w postaci przede

wszystkim rozwoju kariery zawodowej uczestników), jak i subiektywnych (np. poziom

motywacji i zadowolenia uczestników). Dzięki temu, że w badaniach przeprowadzonych

na potrzeby ewaluacji projektu systemowego „Więcej szans w powiecie dębickim”

wzięły udział osoby, które zakończyły udział w projekcie na co najmniej 6 miesięcy

przed udziałem w badaniu, możliwe były zmierzenie rzeczywistego wpływu udziału

w projekcie na sytuację oraz postawy jego uczestników. W 2009 wśród osób

bezrobotnych w powiecie dębickim dominowały kobiety (61,46% przy średniej

w województwie podkarpackim 55,48% w 2009 r.). W związku z tym

przy przedstawianiu wyników badania zaprezentowano odpowiedzi respondentów

zarówno dla całej próby, jak i w podziale na płcie – umożliwiło to wyciągnięcie

wniosków odnośnie do tego, czy wsparcie było dostosowane zarówno do potrzeb kobiet,

jak i mężczyzn.

Pozyskane informacje:

Ewaluacja pozwoliła na uzyskanie informacji m.in. na temat mocnych i słabych

stron projektu, przydatności poszczególnych form wsparcia, sytuacji zawodowej

uczestników projektu, wpływu projektu na poziom kompetencji uczestników. Pozwoliło

to na przeprowadzenie wyczerpującej analizy skuteczności zrealizowanego wsparcia.

Badanie pozwoliło również określić dokładnie poziom realizacji zakładanych celów

i wskaźników względem Poddziałania w ramach którego projekt uzyskał

dofinansowanie. Poza tym, badanie dostarczyło informacji o braku problemów

napotkanych w trakcie realizacji projektu. Stosunkowa duża liczebność próby badawczej

badania ilościowego pozwoliła na zachowanie reprezentatywności uzyskanych

wyników. Szczególnie istotny był czas realizacji badania. Objęcie badaniem osób, które

90

zakończyły udział w projekcie minimum 6 miesięcy wcześniej – co umożliwiło zbadanie

rzeczywistych efektów zrealizowanego wsparcia.

Ograniczenia przeprowadzonej ewaluacji (niezbadane obszary analizy):

W ramach analizowanej ewaluacji nie przeprowadzono wywiadów pogłębionych

z uczestnikami projektu. Uniemożliwiło to przeprowadzenie pogłębionej analizy –

np. uzyskano informację, że według części uczestników w ramach szkoleń przekazano

zbyt mało informacji, jednak zabrakło wiedzy na temat tego, w jakim zakresie.

Uniemożliwiło to sporządzenie rekomendacji, dzięki którym podobne projekty

realizowane w przyszłości byłyby lepiej dostosowane do potrzeb uczestników.

Należy zauważyć, że przeprowadzone badanie CATI opierało się na pytaniach

zamkniętych, przyspieszających co prawda analizę, lecz nie pozwalających na uzyskanie

indywidualnych odpowiedzi, które miałyby dużą wartość dodaną dla wniosków

poczynionych z badania. Ponadto, charakter badania i grupy poddane badaniu składania

ku przeświadczeniu, że wiele cennych wniosków można było uzyskać w ramach

organizacji badania FGI, którego niestety zabrakło. Szczególnie cenna, w przypadku tego

typu ewaluacji, jest identyfikacja słabych stron projektu (i możliwość wypracowania tą

drogą rekomendacji). Praktyka wskazuje, że identyfikacja tego typu informacji wymaga

zastosowania technik jakościowych, w tym w szczególności badania FGI, pozwalającego

skonfrontować opinie stron i pogłębić kwestie, których nie uda się podjąć w czasie

badań indywidualnych.

Zastosowane metody i techniki badawcze:

Analiza danych zastanych – m.in. dokumentacja realizacji projektu, dokumenty

programowe oraz dokumenty lokalne;

1 IDI – osoba do kontaktów roboczych, określona we wniosku o dofinansowanie;

390 CATI – osoby, które zakończyły udział w projekcie na co najmniej 6 miesięcy

przed udziałem w badaniu.

91

Efekty badania:

Efektem badania było sporządzenie 21 wniosków dotyczących zastosowanych

w projekcie działań, ich skuteczności, czynników sukcesu, wpływu realizacji projektu

na sytuację uczestników, oraz 1 rekomendacji odnośnie do dostosowania wytycznych

dotyczących realizacji projektów do wymagań wynikających z obowiązujących

Powiatowe Urzędy Pracy aktów prawnych.

Dobre praktyki ewaluacji:

Objęcie badaniem osób, które zakończyły udział w projekcie minimum 6 miesięcy

wcześniej – co umożliwiło zbadanie rzeczywistych efektów zrealizowanego

wsparcia. W sytuacji, gdy badanie ewaluacyjne realizowane jest bezpośrednio

po zakończeniu kursu, ankietowani podczas oceny skupiają się przede wszystkim

na kwestiach dotyczących organizacji (np. uprzejmości prowadzących),

podczas, gdy możliwość dokonania przez nich oceny, czy wsparcie było

użyteczne, jest mocno ograniczona, gdyż nie mieli czasu, aby zastosować

pozyskane umiejętności w praktyce;

Wykorzystanie testu niezależności Chi-kwadrat Pearsona w celu dokonania

oceny, czy odpowiedzi respondentów różniły się ze względu na płeć – z reguły

w badaniach ewaluacyjnych zespół opracowujący raport ogranicza się do

pokazania częstości występowania poszczególnych odpowiedzi, a w przypadku

pytań ze skalą (np. od 1 do 5) oblicza średnią. Dość rzadko wykorzystywane są

bardziej zaawansowane metody statystyczne.

Słabe strony ewaluacji:

Skoncentrowanie się na płci respondentów przy teście niezależności Chi-kwadrat

Pearsona, nieuwzględnienie innych czynników, które w większym stopniu mogły

mieć wpływ na odpowiedzi respondentów (np. wiek czy wykształcenie);

92

Sporządzanie jedynie jednej rekomendacji.

Lekcja wyciągnięta z analizy raportu ewaluacyjnego:

W celu ograniczenia kosztów realizacji badania uczestników danego projektu

możliwe jest przeprowadzenie badania ankietowego podczas jednego ze spotkań.

Taka forma ewaluacji nie dostarczy jednak informacji na temat tego, w jaki sposób

wsparcie wpłynęło na sytuację życiową i zawodową poszczególnych osób. W związku

z tym wskazany jest wywiad telefoniczny (najlepiej, aby nastąpił on co najmniej pół roku

po zakończeniu projektu), w trakcie którego będzie można dowiedzieć się np.

czy respondentowi udało się znaleźć pracę.

Raport z realizacji Programu Aktywizacja i Integracja w 2015 roku

Link do dokumentu:

http://www.pupgdynia.pl/FCK/Pliki/Urzad/Programy_Projekty/Raport_PAI___23.03.pdf


Kompleksowa pomoc bezrobotnemu poprzez precyzyjne zaplanowanie

dedykowanych osobie działań, które będą realizowane w ramach poszczególnych

instytucji.

Cel ewaluacji:

Zweryfikowanie, czy realizacja projektu przyczyniła się do integracji i reintegracji

osób uczestniczących w Programie Aktywizacja i Integracja.

93


Uczestnikami ewaluowanego projektu były osoby z trzeciego profilu pomocy –

czyli oddalone od rynku pracy, wymagające szczególne wsparcia. W 2017 roku

bezrobocie w Polsce znalazło się na bardzo niskim poziomie – w takiej sytuacji

zaradniejsze osoby bezrobotne znajdują zatrudnienie samodzielnie, a wsparcie powinno

skupiać się właśnie na osobach zakwalifikowanych do trzeciego profilu pomocy, które

bez pomocy nie poradzą sobie na rynku pracy. Można spodziewać się, że projekty

realizowane w najbliższych latach będą koncentrować się przede wszystkim na tej

grupie. W związku z tym konieczne jest nabycie wiedzy na temat tego, w jaki sposób

prowadzić ich ewaluację. Ewaluacja Programu Aktywizacja i Integracja stanowi dobrą

praktykę w tym zakresie, gdyż zdecydowano się w niej na bardzo wartościowe, lecz,

niestety, rzadko stosowane podejście – badanie ilościowe uczestników przeprowadzono

dwukrotnie – na wstępie oraz pod koniec realizacji projektu. Umożliwiło to pozyskanie

informacji na temat tego, w jakim stopniu zmieniły się poszczególne umiejętności

uczestników na skutek realizacji wsparcia.


Dzięki ewaluacji pozyskano informacje na temat tego, w jakim stopniu na skutek

realizacji projektu zmieniły się umiejętności uczestników w zakresie m.in.: tworzenia

dokumentów aplikacyjnych, poszukiwania pracy, autoprezentacji, dbania o wizerunek,

radzenia sobie ze stresem, rozwiązywania problemów, asertywnego zachowania.

Badanie umożliwiło również (poprzez skupienie się na danych ilościowych)

przedstawienie osiągniętych rezultatów projektu w postaci poziomu realizacji

założonych wskaźników. Uwzględnienie danych bezwzględnych w przypadku analizy

danych metryczkowych pozwoliło na lepsze zobrazowanie sytuacji, ze względu na niską

liczebność badanej populacji (próba całkowita – 20 osób). Zastosowanie w dokumencie

infografik pozwala na szybką identyfikację założeń projektu.

94


W ramach niniejszej ewaluacji uwzględniono wyłącznie technikę ilościową –

ograniczyło to możliwość pozyskania informacji o charakterze jakościowym. W związku

z tym np. uzyskano wiedzę na temat tego, że umiejętności obsługi komputera poprawiła

się wśród uczestników średnio o 1,17 punktu w 6-stopniowej skali, ale nie zapewniono

odbiorcom dokumentu, czego konkretnie nauczyli się uczestnicy projektu (na przykład

czy poradzą sobie z obsługą pakietu Microsoft Office). Przeprowadzenie chociaż kilku

wywiadów pogłębionych umożliwiłoby znacznie trafniejsze ocenienie przydatności

wsparcia.

Ograniczenie się do pytań zamkniętych, w tym skali ocen, uniemożliwiło

uzyskanie cennych informacji w ramach poszczególnych badanych kwestii.

Niewątpliwym atutem byłoby rozszerzenie kwestionariusza o pytania półotwarte,

umożliwiające uzasadnienie swojej odpowiedzi.

Należy również zauważyć, że wyniki przeprowadzonych badań przedstawione

zostały w sposób utrudniający czytelnikowi właściwą ocenę. Brak wykresów czy

sortowania ocen wg skali nie pozwala na łatwe zauważenie głównych wniosków

płynących z badania.

Zastosowana technika badawcza:

Ankiety wypełniane samodzielnie – uczestnicy programu (osoby bezrobotne).

Badanie zostało zrealizowane dwukrotnie – przed rozpoczęciem udziału w programie

i po zakończeniu udziału. Wzięli w nim udział wszyscy uczestnicy programu – 20 osób.

Efekty badania:

Realizacja badania dostarczyła informacji na temat tego, w jakim stopniu

uczestnictwo w programie przyczyniło się do podniesienia umiejętności osób

bezrobotnych oraz wzrostu ich motywacji do poszukiwania pracy i samooceny.

95


Objęcie badaniem wszystkich uczestników programu – w sytuacji, gdy badana

populacja jest niewielka (do 50 osób) zalecane jest przeprowadzanie badania

pełnego, gdyż każdy przypadek braku uczestnictwa w badaniu wpływa na istotny

wzrost maksymalnego błędu oszacowania (np. w sytuacji, gdy badanie obejmie

17 osób z populacji liczącej 20 osób, maksymalny błąd oszacowania

przy poziomie ufności 95% wyniesie aż 9%);

Dwukrotne przeprowadzenie ankietowania – na początku oraz po zakończeniu

projektu. Dzięki przeprowadzeniu dwukrotnego ankietowania możliwe jest

uzyskanie wiedzy na temat stanu wyjściowego oraz stanu końcowego,

co pozwala na wskazanie, w jakich obszarach projekt miał największy wpływ.

Dwukrotne ankietowanie ma szczególnie duże znaczenie w sytuacji, gdy

w ramach projektu przeprowadzane są szkolenia – ich uczestnicy w skali (np. od

1 do 5) oceniają zagadnienia takie jak swój poziom wiedzy, zaś ewaluator może

wskazać, o ile wzrosły wystawione oceny.


Uczestnicy badania nie zostali poproszeni o wskazanie, jakie elementy

zrealizowanego programu im nie odpowiadały, przez co nie było możliwe

sporządzenie rekomendacji dotyczących zmian, jakie należy wprowadzić

w przypadku realizacji podobnych działań w przyszłości;

Zastosowanie wyłącznie jednej techniki badawczej – poszerzenie badania

o np. IDI z osobami prowadzącymi szkolenia pozwoliłoby na uwzględnienie

drugiego punktu widzenia, a tym samym na poszerzenie przeprowadzonej

analizy.

96


Większość projektów poddawana jest wyłącznie ewaluacji ex-post.

Takie podejście dostarcza jednak ograniczonych informacji na temat wpływu

zrealizowanych działań na wiedzę, postawy oraz sytuację odbiorców wsparcia.

W związku z tym należy zastanowić się, czy nie uwzględnić także ewaluacji ex-ante

oraz on-going – zwłaszcza w przypadku realizacji projektów o wartości kilku milionów

złotych lub większej. Umożliwiłoby one dowiedzenie się, jaka była sytuacja wyjściowa

uczestników projektu oraz jak kształtowania się ona w trakcie realizacji wsparcia.

Należy jednak pamiętać, że każda ewaluacja wiąże się z kosztami (z reguły mieszczącymi

się w przedziale od 30 000 do 100 000 złotych). Aby ograniczyć wydatki, można

przeprowadzić badania początkowe oraz śródokresowe odbiorców wsparcia jedynie

w ograniczonym zakresie, np. poprosić ich o wypełnienie ankiety podczas pierwszego

spotkania oraz w połowie projektu. W sytuacji, gdy narzędzie badawcze

przygotowywane jest przez osoby nieposiadające doświadczenia w ewaluacjach, może

zawierać ono liczne błędy ograniczające użyteczność otrzymanych wyników. W związku

z tym należy rozważyć zaangażowanie podmiotu zewnętrznego już na początkowym

etapie realizacji projektu oraz podzielenie ewaluacji na etapy – np. w ramach

pierwszego oraz drugiego zostaną przygotowane krótkie raporty, zaś w ramach

ostatniego powstanie rozbudowany dokument, porównujący sytuację wyjściową

z końcową.

97

Ewaluacje dotyczące projektów/programów społecznych

Raport z ewaluacji wewnętrznej mid – term projektu „Społeczne

i instytucjonalne aspekty bezdomności”, realizowanego przez Wyższą

Szkołę Przedsiębiorczości i Administracji w Lublinie

Link do dokumentu:

http://www.projektybadawcze.wspa.pl/files/raport_ewaluacja_mid_term_bezdomni.pdf


Zdiagnozowanie zjawiska bezdomności w województwie lubelskim

i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy.

Cel ewaluacji:

Oszacowanie, na ile realizator projektu ma szansę na osiągnięcie rezultatów

miękkich projektu, weryfikacja kierunku oraz aktualności założeń projektu,

identyfikacja pierwszych efektów, jak również propozycja ewentualnych bieżących

korekt.


Ewaluacja mid-term służy przede wszystkim uzyskaniu informacji na temat

dotychczasowego przebiegu realizacji projektu oraz zmian, jakie należy wprowadzić,

aby możliwe było osiągnięcie założonych wskaźników. W ramach analizowanej

ewaluacji ewaluacja mid-term spełniła jeszcze jedno zadanie: posłużyła przetestowaniu

kwestionariuszy zaplanowanych do wykorzystania w ramach ewaluacji ex-post.

98


Przeprowadzona ewaluacja pozwoliła na oszacowanie, w jakim stopniu wdrażane

w projekcie działania przyczyniają się do realizacji celów projektu. Umożliwiła również

wprowadzenie poprawek w narzędziach badawczych, aby na etapie ewaluacji ex-post

skuteczniej wypełniły one swoje zadanie. Należy zwrócić szczególną uwagę na sposób

testowania kwestionariuszy – nie tylko zrealizowano wywiady z respondentami, lecz

również przeprowadzono obserwację ich prowadzenia. Dzięki temu ankieter mógł

skoncentrować swoją uwagę na odpowiedziach udzielonych przez danego respondenta,

zaś obserwator na jego zachowaniach (np. sytuacji, kiedy respondent ponaglał ankietera

bądź unikał udzielenia odpowiedzi na dane pytanie). Warto zastanowić się

nad zastosowaniem takiego sposobu testowania narzędzi badawczych w przypadku,

gdy wywiady realizowane są z „trudnymi” grupa respondentów – np. osobami

bezdomnymi, osobami uzależnionymi od alkoholu bądź narkotyków czy też ofiarami

i sprawcami przemocy.

Prócz zbadania stopnia realizacji projektu, ewaluacja pozwoliła również na

bieżącą identyfikację barier i przeszkód napotykanych w trakcie jego realizacji. Co

więcej, mimo charakteru ewaluacji (mid-term) ewaluator postarał się również

o oszacowanie stopnia użyteczności projektu, co będzie przydatne również przy

końcowej jego ewaluacji.


W niniejszej ewaluacji do formułowania wniosków na temat przebiegu realizacji

projektów posłużyła wyłącznie analiza desk research – wywiady zrealizowane

z odbiorcami wsparcia miały charakter wyłącznie pilotażowy. W związku z tym ocena

projektu została przeprowadzona na podstawie doświadczeń osób odpowiedzialnych

za jego realizację, nie zaś odbiorców wsparcia. Ewaluator uzasadnił takie podejście tym,

że ze względu na to, że realizacja projektu nie została jeszcze zakończona, nie jest

możliwe przeprowadzenie oceny jego oddziaływania na podstawie doświadczeń

99

uczestników projektu. Można się jednak spodziewać, że odpowiednio moderowane

wywiady pogłębione z odbiorcami wsparcia dostarczyłyby użytecznych informacji

w zakresie tego, czy pomoc spełniła oczekiwania osób bezdomnych.

Wątpliwości budzi duża rozbieżność między liczbą zastosowanych metod badawczych,

w porównaniu do metodologii planowanej do wykorzystania przy ewaluacji ex-post.

Duże różnice w tym zakresie mogą doprowadzić do braku porównywalności uzyskanych

danych.

Zastosowane techniki badawcze:

Analiza danych zastanych - dokumentacji projektu (w tym danych pochodzących

z monitoringu), narzędzi badawczych zastosowanych na poszczególnych etapach

badań oraz raportów cząstkowych;

15 obserwacji – obserwacją objęto realizację wywiadów kwestionariuszowych

przez przeszkolonych ankieterów. Obserwacje posłużyły jako źródło informacji

umożliwiające identyfikację ewentualnych trudności w realizacji wywiadów

kwestionariuszowych;

3 wywiady nieformalne – rozmowy z członkami zespołu badawczego

i koordynatorem projektu, służące wyjaśnieniu wątpliwości ewaluatora

związanych z analizą dokumentów.

Należy zwrócić uwagę, że w przypadku ewaluacji ex-post uwzględniono szerszy

zakres technik badawczych – IDI z osobami bezdomnymi, PAPI z osobami bezdomnymi,

FGI z pracownikami instytucji publicznych i organizacji pozarządowych zajmujących się

bezdomnością.

100

Efekty badania:

Realizacja badania dostarczyła wiedzy na temat tego, w jakim stopniu zostały

osiągnięte zakładane rezultaty miękkie projektu po roku jego realizacji. Dzięki temu

możliwe było sporządzenie rekomendacji odnośnie do tego, jakie zmiany dotyczące

realizacji wsparcia należy zmodyfikować, aby skuteczniej odpowiadać na potrzeby

grupy docelowej. Pozwoliła również na zidentyfikowanie trudności, jakie mogą wystąpić

przy realizacji zaplanowanych badań ilościowych i jakościowych – dzięki temu osoby

odpowiedzialne za ich realizację mogły podjąć działania minimalizujące ryzyko

nieosiągnięcia zaplanowanych prób badawczych.


Przeprowadzenie ewaluacji mid-term pozwala na uzyskanie informacji na temat

tego, w przypadku których obszarów nie udało się zrealizować założeń projektu –

umożliwia to podjęcie działań zaradczych, dzięki którym udaje się osiągnąć wszystkie

założone wskaźniki. Przykładowo, gdyby na skutek ewaluacji mid-term okazało się,

że uczestnicy szkoleń nie są w pełni zadowoleni z pozyskanej wiedzy na temat obsługi

komputerów i uważają, że nauczyli się zbyt mało, realizator projektu mógłby

zrealizować dodatkowe zajęcia dotyczące tej tematyki.


Ewaluację mid-term zrealizowano po roku od rozpoczęcia realizacji projektu,

którego całkowity czas wyniósł 18 miesięcy. W związku z tym realizatorom programu

pozostało dość mało czasu na zapoznanie się z dokumentem, zastosowanie się

do rekomendacji i realizację zaproponowanych działań.

101


Ewaluacja ex-post stanowię cenne źródło wiedzy, gdyż pozwala na poznanie

mocny i słabych stron zrealizowanego projektu oraz dostosowanie działań w takich

sposób, aby lepiej odpowiadały na potrzeby grup docelowych. Badanie to nie ma jednak

wpływu na efekty analizowanego działania. W związku z tym przy planowaniu danej

inwestycji należy rozważyć zasadność realizacji ewaluacji mid-term. Nie sprawdza się

ona w odniesieniu do wydatków, których efekty można ocenić dopiero po zakończeniu

realizacji (np. gdy w ramach projektu założono renowację budynku na potrzeby

nowopowstałych przedsiębiorstw), ale dostarczy wartościowej wiedzy w przypadku

działań zakładających dłuższą współpracę z określonymi grupami docelowymi

(np. pozwoli na odkrycie, iż wsparcie psychologiczne zaproponowane osobom

bezrobotnym nie sprawdza się, gdyż specjalista z nimi współpracujący nie potrafi wczuć

się w ich sytuację – a w związku z tym umożliwi wprowadzenie zmian kadrowych).

Ewaluacja mid-term zalecana jest w przypadku projektów, które realizowane są przez okres

dwóch lat lub dłuższy. Z całą pewnością nie jest ona uzasadniona, gdy realizacja projektu ma trwać

do 6 miesięcy – gdyż realizator projektu nie zdąży wprowadzić modyfikacji. W takiej sytuacji lepiej

przeznaczyć dostępny budżet na kompleksową analizę ex-post, która dostarczy informacji

niezbędnych do lepszego planowania przyszłych projektów.

Końcowa ewaluacja programu Wolontariat dla Silniejszych Wspólnot (Final

evaluation of the Volunteering for Stronger Communities programme)

Link do dokumentu:

https://www.ncvo.org.uk/images/documents/practical_support/volunteering/vsc_final

_evaluation_report_dec_2013.pdf

102


Wykorzystanie wolontariatu, aby pomóc społecznościom w walce ze skutkami

pogorszenia koniunktury gospodarczej i późniejszych redukcji wydatków publicznych,

przy jednoczesnym budowaniu i wzmacnianiu infrastruktury wolontariackiej,

aby zapewnić w przyszłości lepsze wsparcie społecznościom .

Cel ewaluacji:

Zmierzenie wpływu programu na zaangażowane osoby i instytucje.


W ramach ewaluacji dość rzadko wykorzystywane są zaawansowane techniki

statystyczne. Z reguły zespół badawczy ogranicza się do zaprezentowania rozkładu

odpowiedzi, zaś w przypadku pytań uwzględniających skalę podawana jest wartość

średnia. Takie podejście badawcze może prowadzić do wyciągnięcia nieprawidłowych

wniosków.

Przykład: z wyników badania wyszło, że większość uczestników kursu

dla bezrobotnych jest zadowolonych z jakości szkolenia oraz większość uczestników

znalazła pracę. Na tej podstawie ewaluator stwierdza, że szkolenie było dostosowane

do potrzeb rynku pracy. Analiza korelacji może wykazać jednak, że nie istnieje taka

zależność, a pracę znalazły przede wszystkim osoby z jednej z dzielnic miasta. Zespół

badawczy przeprowadza rozeznanie, dzięki któremu odkrywa, że w danej dzielnicy

powstał niedawno duży zakład produkcyjny, który zatrudnił wielu uczestników projektu

do prostych prac fizycznych, zaś wiedza zdobyta podczas szkolenia nie miała wpływu

na fakt otrzymania pracy.


Ewaluacja dostarczyła wiedzy m.in. na temat strategii zastosowanej w programie

oraz przebiegu jej wdrażania, efektów realizacji programu oraz skutków odczuwanych

103

przez jego uczestników. Dzięki temu, że zastosowano zróżnicowane techniki badawcze,

zarówno ilościowe, jak i jakościowe, w raporcie uwzględniono opinie zarówno osób

odpowiedzialnych za wdrażanie programu, jak i jego uczestników.

Niewątpliwym atutem jest pozyskanie informacji o wpływie projektu na uczestników

i zaprezentowanie ich za pośrednictwem przykładów. Warto również zwrócić uwagę na

stosunkowo wysokie liczby przeprowadzonych ankiet i wywiadów. Podejście to

gwarantuje uzyskanie rzetelnych i reprezentatywnych danych.


W przypadku, gdy w ramach ewaluacji wykorzystywana jest duża liczba technik

badawczych, dużym wyzwaniem jest przedstawienie wyników badań w sposób

przejrzysty. Zgłębienie treści analizowanego raportu ewaluacyjnego wymaga

poświęcenia dość dużej ilości czasu - np. na niektórych wykresach zabrakło informacji

na temat tego, odpowiedzi której grupy respondentów są prezentowane, konieczne jest

jej wyszukanie w tekście.

Brak zastosowania metody FGI nie pozwala poznać wniosków płynących

z konfrontacji opinii uczestników projektu czy osób odpowiedzialnych za jego realizację.

Badanie przeprowadzone tą metoda pozwala często na wyciągnięcie niespotykanych

wniosków, uniezależnionych od budowy scenariusza, który z racji opracowywania przez

osobę nieposiadającą często całego spektrum wiedzy w danej dziedzinie nie uwzględnia

wszystkich elementów, które ostatecznie mogą okazać się przydatne. Badanie tego typu

można było zorganizować np. z osobami badanymi wcześniej za pośrednictwem metody

IDI. Pozwoliłoby to dodatkowo na pogłębienie uzyskanych wcześniej informacji, a ze

względu na wcześniejsze zapoznanie się z badaną tematyką (za pośrednictwem badania

IDI), zaproszenie respondentów do badania grupowego z pewnością spotkałoby się

z przychylnością ze strony potencjalnych uczestników badania FGI.

104


Analiza danych zastanych (m.in. planu biznesowego projektu, raportów na temat

postępów prac oraz zebranych danych);

24 IDI (w tym 3 z przedstawicielami kluczowych instytucji zaangażowanych

w realizację programu i 21 z kadrą projektową);

41 TDI z uczestnikami projektu;

Ankiety wypełniane samodzielnie przez uczestników programu –

2393 wypełnienia;

98 CAWI – organizacje korzystające z usług wolontariuszy.

Efekty badania:

Przeprowadzona ewaluacja pozwoliła na ocenienie skutków realizacji programu

oraz wpływu uczestnictwa w programie na sytuację uczestników. Wypracowano

rekomendacje dotyczące pożądanego składu kadry projektowej, sposobów wspierania

organizacji korzystających z usług wolontariuszy, realizacji przyszłych działań

ewaluacyjnych oraz możliwości zachowania ciągłości finansowania programu w długim

okresie.


Wykorzystanie logitowego modelu regresji w celu zbadania wpływu

uczestnictwa w programie na sytuację społeczną i emocjonalną uczestników;

Przytoczenie przykładów, w jaki sposób uczestnictwo w programie przełożyło

się na poprawę sytuacji uczestników.

Uwzględnienie w raporcie opisów sytuacji konkretnych uczestników projektu, których sytuacja

poprawiła się na skutek wsparcia, sprawia, iż treść dokumentu skuteczniej trafia do osób, które nie

są zainteresowane analizą danych statystycznych.

105


W opisie zastosowanej metodologii nie zaprezentowano wielkości prób

badawczych w przypadku wszystkich zastosowanych technik – w celu odnalezienia

informacji na ten temat odbiorca dokumentu musi dokładnie przejrzeć jego treść.

Należy zadbać o to, aby metodologia zastosowana w procesie ewaluacji została opisana w sposób

przejrzysty. W przypadku, gdy nie zamieszczono jednoznacznych informacji na temat

zastosowanych technik i wielkości prób, dokument może zostać uznany za mało wiarygodny.


Raporty ewaluacyjne powinny być dostosowane do zróżnicowanych grup

odbiorców. Niektórzy czytelnicy preferują zapoznawanie się z case study i poznawanie

wpływu zrealizowanego wsparcia poprzez analizę sytuacji konkretnych jego odbiorców,

inne zaś uważają, że podstawowym źródeł informacji powinny być dane statystyczne

oraz wykorzystane w odniesieniu do nich metody opisu. Aby uniknąć sytuacji, w której

rozbudowane informacje na temat statystyk opisowych zniechęcają potencjalnych

odbiorców dokumentu, można podjąć decyzję o zawarciu bardziej złożonych aspektów

analizy w aneksie.

Ewaluacja projektu Odmiana Sytuacji Mieszkanek Liverpoolu ( Evaluation

of the Liverpool Women’s Turnaround Project

Link do dokumentu:

http://www.cph.org.uk/wp-content/uploads/2013/02/Evaluation-of-the-Liverpool-

Turnaround-Project.pdf

106


Projekt skierowany jest do kobiet zamieszkujących Liverpool, w przypadku

których istnieje ryzyko, iż wejdą w konflikt z prawem. Projekt ma na celu sprawienie,

iż kobiety nie będą łamały prawa, a zatem ma przyczynić się do zredukowania liczby

kobiet trafiających do więzienia, co z kolei przyczynia się do ograniczenia liczby

przypadków rozpadu rodziny i odebrania praw rodzicielskich.

Cel ewaluacji:

Ewaluacja dostarcza informacji na temat projektu, podejmowanych działań

i interwencji oraz wyników osiągniętych przez kobiety, które przystąpiły do projektu.

W ramach ewaluacji zwrócono uwagę na dobre praktyki i sporządzono zalecenia

dotyczące realizacji projektu.


Można zidentyfikować wiele grup respondentów, w przypadku których realizacja

badań stanowi duże wyzwanie – są to m.in. ofiary i sprawcy przemocy, osoby

uzależnione od alkoholu i narkotyków oraz członkowie ich rodzin, osoby, które opuściły

zakłady karne. W obawie przed niezrealizowaniem założonej próby wielu ewaluatorów

nie uwzględnia tych populacji w badaniach, choć niekiedy rozmowy

z ich przedstawicielami są niezbędne do prawidłowej oceny danego projektu. W ramach

analizowanej ewaluacji badaniami objęto kobiety zamieszkujące Liverpool, w przypadku

których istnieje ryzyko, iż wejdą w konflikt z prawem – rekrutacja respondentów nie

była zadaniem łatwym, lecz, jak wynika z lektury raportu, przebiegła skutecznie, dzięki

odpowiedniemu podejściu badawczemu.


Dzięki realizacji badania uzyskano informacje m.in. na temat tego, jakie potrzeby

zgłaszają kobiety, w przypadku których istnieje ryzyko, że wejdą w konflikt z prawem,

107

w jakich obszarach ich życia nastąpiła poprawa na skutek realizacji wsparcia, pod jakimi

względami kadra projektowa spełniła ich oczekiwania, jakie stoją przed nimi wyzwania,

czego się obawiają oraz w jaki sposób należy zmodyfikować projekt, aby w przyszłości

skuteczniej realizował wyznaczone cele.

Przydatnym elementem, szczególnie w przypadku badania małych populacji, jest

podawanie zarówno wartości procentowych, jak i bezwzględnych. Dzięki temu, analizę

przeprowadzić można z podziałem na niewielkie podgrupy wchodzące w skład próby

badawczej, bez ryzyka przekłamania danych.


Ze względu na to, że w ramach ewaluacji wykorzystano techniki jakościowe,

wyniki ewaluacji w bardzo dużym stopniu uzależnione są od subiektywnych odczuć

zespołu badawczego – to jego przedstawiciele podejmują decyzje na temat tego, które

wypowiedzi uczestniczek należy uznać za istotne. Mogło to doprowadzić do sytuacji,

w której ewaluator uznał jaką kwestię za mało istotną i pominął ją w raporcie, chociaż

w rzeczywistości miała one duże znaczenie. Gdyby w ewaluacji uwzględniono także

badania ilościowe, ryzyko popełnienia takiego błędu znacznie spadłoby – analiza

częstości wykazałaby, które aspekty projektu były szczególnie ważne dla uczestniczek,

a w związku z tym wymagające dogłębnej analizy.

Prócz nacisku wyłącznie na badania jakościowe, zauważyć można również

niewielkie liczebności przebadanych respondentów. Ponadto, kluczowym elementem

w tym przypadku są również opinie osób odpowiedzialnych za prowadzenie zajęć

z uczestniczkami projektu. W tym przypadku sama analiza danych zastanych nie

wyczerpuje tematu, a brak badań pierwotnych z tą grupą stanowi istotny czynnik, który

prawdopodobnie obniża wartość poznawczą analizy. W przypadku osób prowadzących

ww. zajęcia istotnym elementem byłoby również przeprowadzenie badania FGI, które

pozwoliłoby skonfrontować opinie poszczególnych prowadzących.

108


Analiza danych zastanych (przede wszystkim zapisów osób odpowiedzialnych

za prowadzenie zajęć na temat sytuacji uczestniczek projektu);

Wywiady IDI, SSI i FGI z uczestniczkami projektu (w których łącznie wzięło

udział 26 osób);

Studium przypadku.

Efekty badania:

Ewaluacja pozwoliła na przeprowadzenie pogłębionej analizy ilościowej

i jakościowej oraz na sporządzenie licznych rekomendacji, które zostały podzielone

na zalecenia dotyczące monitorowania projektu (8 zaleceń) oraz realizacji projektu

(również 8 zaleceń).


Wykorzystanie licznych cytatów w celu lepszego zobrazowania odczuć

uczestniczek projektu;

Uwzględnienie wynagrodzenia dla uczestniczek badań (bony zakupowe

o wartości 5 lub 10 funtów, w zależności od tego, czy badanie było prowadzone

telefonicznie, czy bezpośrednio).

Warto uwzględnić w ewaluacji wynagrodzenie dla respondentów, w szczególności w sytuacji,

gdy uczestnictwo w badaniu wymaga dużego zaangażowania bądź badanie ma objąć osoby trudno

dostępne.


Brak dokładnych informacji na temat tego, ile uczestniczek projektu przebadano

za pomocą poszczególnych metod i technik jakościowych.

109


Zdarza się, że w sytuacji, gdy realizacja wywiadów z niektórymi istotnymi

dla badania grupami respondentów (np. osobami z niepełnosprawnościami, osobami

z rodzin patologicznych) może okazać się zbyt trudna, ewaluacja ogranicza się

do analizy danych zastanych oraz wywiadów z beneficjentem danego projektu. Takie

podejście z reguły pozwala na otrzymanie bardzo pozytywnych opinii na temat danego

działania, jednak uniemożliwia rzetelną analizę skutków zrealizowanego wsparcia.

Zamiast ograniczać zakres ewaluacji należy skupić się na określeniu, w jaki sposób

można dotrzeć do grup problemowych – opisanie planowanych do zastosowanie metod

rekrutacji respondentów może być jednym z elementów oceny ofert potencjalnych

Wykonawców.

Ewaluacja dotycząca projektów/programów społecznych

i gospodarczych

Przeprowadzenie badań jakości życia na obszarze rewitalizacji wraz z ewaluacją

wpływu dotychczas realizowanych projektów społecznych i gospodarczych

w Bytomiu


Wypracowanie najbardziej adekwatnego mechanizmu prowadzenia działań

rewitalizacyjnych w Bytomiu poprzez dopasowanie podejmowanych działań

do zidentyfikowanych problemów wynikających z pogłębionej diagnozy.

Cel ewaluacji:

W ramach ewaluacji zaplanowano realizację 12 zadań:

110

1. Badanie opinii mieszkańców dotyczące oceny stanu miasta, warunków życia

oraz oczekiwań wobec władz miejskich;

2. Badanie jakości życia na obszarze rewitalizacji w zakresie wyjaśniania przyczyn

i mechanizmów trwania/pogłębiania się: ubóstwa, długotrwałego bezrobocia,

zjawisk wykluczenia społecznego, przestępczości, problemów związanych



psychicznego, problemów związanych z funkcjonowaniem rodziny,

w tym bezradności w sprawach opiekuńczo-wychowawczych, przestępstw

przeciwko opiece i rodzinie, trudności w realizacji pieczy zastępczej,

przedwczesnego, macierzyństwa;

3. Badanie jakości życia na obszarze w zakresie oceny kwestii bezpośrednio

powiązanych z jakością życia, w tym między innymi: wykształcenie, profil

zawodowy, chęć nabywania nowych kompetencji, udział w projektach

edukacyjnych i szkoleniowych, skłonność i zdolność do oszczędzania oraz

planowania swojego codziennego życia i przyszłości, aspiracje i postawy życiowe

mieszkanek i mieszkańców obszaru rewitalizacji;

4. Badanie postrzegania jakości życia na obszarze rewitalizacji oczami podmiotów,

których działalność może wpływać ujemnie lub dodatnio na poziom jakości życia

mieszkańców i wykorzystywanie lokalnych zasobów;

5. Ewaluacja wpływu dotychczas realizowanych projektów społecznych w Bytomiu

na zmiany jakości życia mieszkańców obszarów zagrożonych ubóstwem

i wykluczeniem społecznym;

6. Badanie przedsiębiorców wraz z ewaluacją wpływu dotychczas realizowanych

projektów dedykowanych przedsiębiorcom na terenie Bytomia;

7. Organizacja serii ewaluacyjnych tematycznych debat publicznych otwartych

dla mieszkańców i wszystkich innych interesariuszy rewitalizacji;

111

8. Opracowanie Poradnika dla ewaluatorów wpływu zrealizowanych projektów

społecznych i gospodarczych na zmiany jakości życia mieszkańców i warunki

prowadzenia działalności gospodarczej przez przedsiębiorców w mieście

kurczącym się w województwie śląskim o liczbie mieszkańców nie mniejszej

niż 100 tysięcy;

9. Zorganizowanie i przeprowadzenie wizyty studyjnej w Urzędzie Miejskim

w Łodzi. Zorganizowana zostanie w ramach narzędzia pn. „benchmarking”;

10. Przeprowadzenie panelu ekspertów;

11. Organizację dwóch metaplanów – pierwszego pt. Ocena działań i przedsięwzięć

społecznych i drugiego pt. Ocena działań i przedsięwzięć gospodarczych;

12. Przygotowanie prezentacji multimedialnej.


Ewaluacja „Przeprowadzenie badań jakości życia na obszarze rewitalizacji wraz

z ewaluacją wpływu dotychczas realizowanych projektów społecznych i gospodarczych

w Bytomiu” miała charakter kompleksowy, uwzględniono w niej liczne projekty oraz

grupy respondentów. Większość ewaluatorów, niezależnie od rozmiaru

przeprowadzonego badania, opracowuje jeden dokument – prowadzi to czasami

do sytuacji, w których raport liczy ponad 300 stron, a zapoznanie się z nim stanowi duże

wyzwanie dla odbiorców. W ramach ewaluacji projektów realizowanych w Bytomiu

podjęto decyzję o utworzeniu 6 relatywnie krótkich dokumentów, z których każdy

koncentrował się na jednym, konkretnym zagadnieniu.

112


Zrealizowana ewaluacja dostarczyła wiedzy m.in. na temat warunków życia

w mieście oraz oczekiwań mieszkańców wobec władz miejskich, jakości życia

w obszarze rewitalizacji, efektów dotychczas zrealizowanych projektów społecznych

i gospodarczych. Szczególnie przydatne okazały się być badania jakościowe IDI

przeprowadzone z interesariuszami rewitalizacji (decydentami lokalnymi) oraz badanie

FGI z poszczególnymi grupami działającymi na terenie miasta (m.in. oświata,

przedsiębiorstwa, organizacje pozarządowe). Badania te, dzięki braku narzuconego

kwestionariusza (jak w przypadku badań ilościowych) pozwoliły na wyciągnięcie

bardzo istotnych wniosków i uzupełnienie ich o bogatą argumentację (w wyniku

pogłębienia tychże kwestii).

W przypadku badań ilościowych należy mieć na uwadze stosunkowo wysoką

liczebność próby badawczej, zapewniającą reprezentatywność danych, w tym m.in. pod

względem miejsca zamieszkania – podział badania na dzielnice był niezwykle istotny

z punktu widzenia zbadania potrzeb mieszkańców obszaru rewitalizacji. Uzyskane dane

pozwoliły na sporządzenie zestawień krzyżowych i poznanie sytuacji panującej na

każdym z badanych obszarów.


W ramach poszczególnych zadań wykorzystywano technikę ilościową, bądź

jakościową – w związku z tym w przypadku raportów, gdzie wykorzystano technikę

ilościową zabrakło pogłębionej analizy, zaś w przypadku raportów, gdzie wykorzystano

technikę jakościową możliwości przeprowadzenia analizy statystycznej były bardzo

ograniczone. Należy jednak zaznaczyć, że ograniczenie dotyczące zastosowanych

technik badawczych były związane z rozmiarem przeprowadzanej ewaluacji –

wprowadzanie kolejnych technik spowodowałoby znaczny wzrost zarówno czasu

przeprowadzania badań, jak też ich kosztów. Należy również dodać, że ograniczenie to

zostało w dużej mierze wyeliminowane, poprzez opracowanie wszystkich raportów

przez ten sam Zespół badawczy. Posiadanie przez autorów informacji pozyskanych za

113

pośrednictwem wszystkich metod, pozwoliło zaakcentować najważniejsze kwestie

(tj. pojawiające się w wynikach zebranych za pośrednictwem różnych metod

badawczych (z różnych Zadań)) oraz, w niektórych przypadkach, opracować

zestawienia danych uwzględniające wnioski wywodzące się z odrębnych raportów.


Do każdego z zadań określono odrębną metodologię badawczą:

Zadanie 1:

598 wywiadów PAPI i CAWI z mieszkańcami miasta;

Zadanie 2:

30 IDI z klientami Miejskiego Ośrodka Pomocy Rodzinie;

10 IDI z Prezydentem Bytomia i jego zastępcami, przedstawicielami Bytomskiego

Centrum Wsparcia, Bytomskiej Agencji Rozwoju Inwestycji, Centrum Integracji

Społecznej, Bytomskiej Izby Przemysłowo-Handlowej, Miejskiego Ośrodka

Pomocy Rodzinie;

Zadanie 3:

540 PAPI z mieszkańcami miasta;

Zadanie 4:

4 FGI (1 z przedstawicielami stowarzyszeń pozarządowych, związków

wyznaniowych i kościołów, 1 z przedstawicielami publicznych placówek

oświatowych i świadczących usługi edukacyjne, 1 z przedstawicielami

przedsiębiorców i podmiotów gospodarczych działających na terenie Miasta,

1 z jednostkami i organizacjami świadczącymi usługi społeczne);

Zadanie 5:

IDI z mieszkańcami miasta;

Zadanie 6:

114

30 IDI z przedsiębiorcami;

Zadanie 7:

4 debaty;

Zadanie 8:

Analiza danych zastanych;

Zadanie 9:

Benchmarking;

Zadanie 10:

Panel ekspertów;

Zadanie 11:

2 Metaplany;

Zadanie 12:

Wyniki badań zrealizowanych w ramach zadań 1-11.

Efekty badania:

Ewaluacja pozwoliła na wypracowanie najbardziej adekwatnego mechanizmu

prowadzenia działań rewitalizacyjnych w Bytomiu poprzez dopasowanie

podejmowanych działań do zidentyfikowanych problemów wynikających z pogłębionej

diagnozy. Podział badania na poszczególne Zadania pozwolił wypracować osobne

wnioski i rekomendacje dla poszczególnych zagadnień i grup objętych badaniem.

Szczególnie istotnym elementem są rekomendacje dotyczące zakresu i skali nowych

projektów oraz zmian w sposobie realizowania bieżących projektów. Rekomendacje

uwzględniają uwarunkowania formalne i odnoszą się do możliwości dofinansowania

z Regionalnego Programu Operacyjnego.

115


Podział badania na 12 zadań wraz z przyporządkowaniem do każdego z nich

odrębnej metodologii badawczej gwarantuje wysoką kompleksowość

przeprowadzonej analizy. Jednocześnie nie dochodziło do sytuacji, w której

podczas wywiadu dotyczącego danego zagadnienia poruszana byłaby zbyt duża

liczbę zagadnień. W wielu ewaluacjach dochodzi do sytuacji, w której od danej

osoby pozyskiwane są informacje dotyczące licznych, niepowiązanych ze sobą

obszarów, co jest męczące dla respondenta i prowadzi do pozyskania ubogiego

materiału badawczego (uczestnik badania nie ma ochoty na odpowiadanie

na dalsze pytania, więc skraca swoje wypowiedzi);

W ramach ewaluacji wykorzystano bardzo szeroki zakres technik badawczych,

które dostosowano do potrzeb i możliwości poszczególnych grup respondentów

oraz zakresu informacji, jakie chciano pozyskać;

Przeprowadzona ewaluacja miała na celu nie tylko ocenienie dotychczas

zrealizowanych projektów, lecz również sporządzenie rekomendacji użytecznych

przy realizacji przyszłych projektów;

Opracowany w ramach ewaluacji Poradnik będzie stanowić cenne źródło wiedzy

dla innych miast, które planują przeprowadzenie ewaluacji.


Ze względu na szeroki zakres prac realizacja zamówienia była bardzo obciążająca

dla ewaluatora. W sytuacji, gdyby do realizacji zamówienia wybrano podmiot

o mniejszym doświadczeniu, mogłoby dojść do powstania licznych uchybień i opóźnień.


Badanie ewaluacyjne przynosi najwięcej korzyści, gdy ma charakter

kompleksowy oraz uwzględnia szeroki zakres technik badawczych, dostosowanych

do poszczególnych grup respondentów. Podział ewaluacji na zadania pozwala

116

na lepsze dostosowanie metodologii do każdego z celów oraz sprawia,

że powstałe dokumenty są łatwiejsze w odbiorze – czytelnik nie musi zapoznawać się

z kilkusetstronicowym raportem, aby odnaleźć interesujących go kilkanaście stron.

W sytuacji, gdy ewaluacja obejmuje bardzo szeroki zakres, warto zastanowić się nad podzieleniem

zamówienia na 2 części.

zamawiający jakości zycia 1/poradnik... · 03-733 warszawa . 3 ... raport z realizacji programu...

Documents