ewaluacja w polityce społecznej - ryszard...
Post on 17-Jan-2020
1 Views
Preview:
TRANSCRIPT
Ewaluacja w polityce społecznej
Standardy ewaluacji i metaewaluacja
Dr hab. Ryszard Szarfenberg
rszarf.ips.uw.edu.pl/ewalps/
Dwa pojęcia standardu
• Standard jako pojęcie statystyczne
– X jest standardem = X jest powszechny, X jest stosowany przez większość, X występuje w większości przypadków
• Standard jako pojęcie normatywne
– X jest standardem Y = Y powinien odpowiadać X, Y ma mieć cechy oznaczone przez X, Y powinien być wzorowany na X, Y ma być podobny do X
Po co standardy? • Istnienie standardów zwiększa jakość ewaluacji
jako odrębnego typu stosowanych badań społecznych i służy promocji ewaluacji w społeczeństwie
• Przy pomocy owych standardów dokonuje się metaewaluacji, czyli oceny zarówno planowanych, jak i realizowanych ewaluacji
• Standardy dostarczają początkującym ewaluatorom wskazówek, jak powinien planować badania, co jest w nich istotne
B. Szatur-Jaworska red., Ewaluacja w
służbach społecznych, rozdział 6
Po co standardy? Cd.
• Standardy pomagają ewaluatorom i osobom z nimi współpracującym rozstrzygać wątpliwości, co do słuszności i etyczności postępowania ewaluatora w trakcie realizacji badań
• Standardy zwiększają wiarygodność środowiska ewaluatorów i podnoszą zaufanie do ich pracy ze strony zleceniodawców ewaluacji, uczestników ocenianych programów i innych stron zainteresowanych ewaluacją
• Standardy chronią osobiste dobra innych, niż zamawiający i ewaluatorzy, osób zaangażowanych w ewaluację
B. Szatur-Jaworska… i na
kolejnych slajdach
Różne nazwy
• Standardy (np. „Standardy ewaluacji” Polskiego Towarzystwa Ewaluacyjnego lub „Standardy SEVAL” Szwajcarskiego Towarzystwa Ewaluacyjnego)
• Wytyczne / wskazówki (np. „Guidelines for the Ethical Conduct of Evaluations, Autraloazjatyckiego Towarzystwa Ewaluacyjnego [Australasian Evaluation Society])
Różne nazwy cd. • Zasady (np. „Les principes de l’évaluation en France”
zawarte w dokumencie Francuskiego Towarzystwa Ewaluacyjnego [Société Française de l’Évaluation] pt. „Charte de l’Évaluation des politiques publiques et des programmes publics” oraz “Guiding Principles for Evaluators” Amerykańskiego Towarzystwa Ewaluacyjnego [American Evaluation Association]);
• Normy (np. “The United Nations Norms for Evaluation” Organizacji Narodów Zjednoczonych),
• Reguły (np. opracowane przez Grupę ONZ do spraw ewaluacji „Règles d’évaluation applicables au sein du système des Nations Unies”).
Czego dotyczą standardy?
1. Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego?
2. Jak postępować, by nie naruszać prawa?
3. Jak postępować, by być rzetelnym warsztatowo?
4. Jak postępować, by być sprawnym w działaniu?
5. Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji?
6. Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?
Kategorie standardów • standardy etyczne
– Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego?
– Jak postępować, by nie naruszać prawa?
• standardy metodologiczne – Jak postępować, by być rzetelnym warsztatowo?
• standardy prakseologiczne – Jak postępować, by być sprawnym w działaniu?
– Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji?
– Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?
Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego (PTE)
Standardy etyczne PTE • (…) Określenie przejrzystych kryteriów wyboru
ewaluatora
– Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjnego pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe szanse w dążeniach do realizacji ewaluacji.
– Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów. (…)
Standardy etyczne PTE cd. • Zapewnienie niezależności ewaluacji.
– Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewaluowanego przedmiotu oraz zlecającego. W przypadku pojawienia się konfliktu interesów powinien odstąpić od realizacji ewaluacji i/lub otwarcie poinformować o jego występowaniu.
– Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowujących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane przedsięwzięcie w ramach struktur organizacyjnych zlecającego.(…)
Standardy etyczne PTE cd.
• Ewaluator powinien:
– okazywać szacunek dla osób i podmiotów zaangażowanych w badanie ewaluacyjne, co przejawia się w szczególności w stosowaniu zasady poufności i anonimowości,
– zachować neutralność i obiektywizm wobec badanych,
– poznać kontekst sytuacji badanych, cechować się wrażliwością i empatią,
– zapewnić wszystkim badanym odpowiednie do potrzeb warunki/możliwości wypowiedzenia się. (…)
Standardy metodologiczne PTE • Precyzyjne określenie celu, przedmiotu i zakresu
badania.
– Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjne i logicznie spójne określenie przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów, z zastosowaniem których przedmiot ewaluacji będzie ewaluowany. (…)Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno się zidentyfikować sposób wykorzystania wyników badania. (…) Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewaluacyjnego.
Standardy metodologiczne PTE
• Zapewnienie trafności i rzetelności badań ewaluacyjnych.
– (…)Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokonywany w relacji do celów i zakresu badania oraz dostępnych / posiadanych zasobów.(…)
Standardy metodologiczne PTE cd.
• Zapewnienie przejrzystości struktury i języka raportu ewaluacyjnego.
• Zapewnienie rzetelności raportu ewaluacyjnego. – (…) Tezy raportu powinny bazować na zebranym
materiale empirycznym. Zamawiający nie powinien ingerować w wyniki badań ewaluacyjnych. Wprowadzenie zmian w raporcie może mieć miejsce wyłącznie za zgodą ewaluatora.
Standardy prakseologiczne PTE • Zasadność podejmowania ewaluacji.
– Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przedsięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi.
• Realistyczne określenie sposobu przeprowadzenia ewaluacji. – Sposób realizacji badania powinien być adekwatny do celu,
przedmiotu i zakresu ewaluacji. Dlatego też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowadzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem. (…)
Standardy prakseologiczne PTE cd. • Dbanie o partycypacyjność i jakość współpracy w
procesie ewaluacji. – Komunikacja w procesie ewaluacji powinna być oparta
na stałym dialogu pomiędzy ewaluatorem a zlecającym.
• Konsultowanie wniosków i rekomendacji. – Po wstępnym sformułowaniu wniosków i rekomendacji
powinna odbyć się dyskusja nad ich trafnością, poprowadzona w gronie interesariuszy. (…) W razie potrzeby powinien być opracowany protokół rozbieżności, jako produkt procesu konsultacji.
Standardy prakseologiczne PTE cd.
• Wykorzystanie rekomendacji.
– (…) W ramach procesu ewaluacji powinno zadbać się o opracowanie przejrzystych procedur wdrożenia rekomendacji, w tym określić cel i sposób ich wdrożenia wraz z podaniem, o ile możliwe, adresatów rekomendacji oraz wstępnego harmonogramu. (…)
Metaewaluacja w Polsce? Przykład 1
Metaewaluacja projektów systemowych realizowanych w Działaniu 7.1 Programu Operacyjnego Kapitał
Ludzki na podstawie raportów końcowych z ewaluacji przeprowadzonych przez Regionalne Ośrodki
Polityki Społecznej w 2010 r.
Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości
ewaluacji przeprowadzonych przez ROPSy, ale podsumowanie wyników wielu
ewaluacji na podobny temat
Metaewaluacja w Polsce? Przykład 2
Szczegółowy Opis Zadania na wykonanie badania ewaluacyjnego pt. „Metaewaluacja wyników
Badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013”.
Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości
ewaluacji dotyczących PO IG, ale przegląd i podsumowanie wyników wielu
ewaluacji na podobny temat
top related