evaluace programu
DESCRIPTION
Evaluace programu. Jan Činčera, 2010. Obsah. Úvodní pojmy, příklady, smysl evaluace… Cyklus evaluace Tipy. Příklad 1 Zelená škola. Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. - PowerPoint PPT PresentationTRANSCRIPT
EVALUACE PROGRAMUJan Činčera, 2010
Obsah Úvodní pojmy, příklady, smysl
evaluace…
Cyklus evaluace
Tipy
Příklad 1 Zelená škola Realizátor zvolil nevhodný způsob bodování škol
zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. Těžiště aktivity se z dětí přesunulo na učitele. Učitelé naplňovali program aktivitami podle svého
uvážení. Program neměl měřitelný vliv na žáky. Realizátor přehodnotil systém bodování škol.
Příklad 2 GLOBE Učitelé realizují pouze některé z
doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity.
Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí.
Realizátor připravuje nové metodiky na zaškolení učitelů.
Příklad 3 Kurz pro koordinátory EV
Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika.
Menšina nespokojená – střety s vlastní představou o EV x organizátoři
Absolventi přesto nezvládají připravit program.
Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.
Evaluace = proces kritického prověřování
programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.
Proč evaluace? Zkvalitnění programu Úspory v organizaci Prezentace Komunikace se sponzory
Kdy má evaluace smysl Je reálná šance, že program funguje Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím
programu, má o evaluaci zájem Programy, které neprošly sumativní
evaluací, pravděpodobně nefungují podle očekávání realizátorů.
Obecné zásady Neexistuje ideální evaluační design Pragmatický přístup k evaluaci Participace
evaluátor – středisko empatická neutralita evaluátora
Opatrnost v interpretacích a doporučeních Žádná evaluace neříká přesnou výpověď,
pravděpodobnostní charakter
Evaluační roviny
Teorie programu
Program = souhrn aktivit, které naplňují společné cíle.
Logický model programu
Zaškolení týmu
Příprava manuál
uZajištěn
í klientel
y
Prezentace CS
Kooperativní
aktivity
Diskuse o místních
problémech
Kooperativní dovednosti
Přesvědčení o zvládnutelnosti
spolupráce
Proakční přesvědčení
Akční znalosti
Spolupráce na řešení místního
problému
Vyřešený místní problém
Typy evaluace Expertní
hodnocení Analýza potřeb Analýza náklady -
výstupy Akční výzkum
Monitoring Formativní
evaluace Sumativní
evaluace
Evaluační proces
Informace o programu Expertní hodnocení
Paradigma programu Výstupově x procesně orientovaný Metodická východiska…
Logický model programu Tématický rámec programu Organizační model (sekvence) programu
Předchozí evaluace a zkušenosti s programem
Evaluační otázky Co chceme zjistit? Jaké roviny logického modelu chceme
zkoumat? Jaké jsou základní indikátory pro
evaluační otázky?
Příklady evaluačních otázek Do jaké míry program rozvíjí znalostidětí o globálních problémech? Chovají se absolventi programu k životnímu
prostředí jinak než děti, které ho neabsolvovaly?
Co si děti v průběhu programu uvědomily nového?
Měl program vliv na další život dětí? Které konkrétní aktivity děti nejvíce ovlivnily?
Plán (design) evaluace Kvantitativní
Do jaké míry bylo dosaženo očekávaných výstupů programu? Čísla: četnosti, průměry, čísla, statistická
významnost Kvalitativní
Proč účastníci reagovali při programu tak, jak reagovali?
Jak účastníci interpretují to, co se dozvěděli? Slova, obrazy, situace: textová analýza
Smíšený
Kvantitativní metodika Předpoklady
Program lze objektivně měřit Výstupy lze kvantifikovat
Plán evaluace Monitoring výstupů Experimenty a kvaziexperimenty Korelační analýza
Kvantitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat
Výběr vzorku
Census – všichni účastníci Náhodný – randomizované experimenty Jiný (dostupnost, samovýběr)- kvazi
experimenty
Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. CO? Jak mnoho – hladina úspěšnosti? Př.: 70% žáků na myšlenkové mapě uvede
správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich.
Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů
Plán vyhodnocování indikátorů
Experimenty
Experimentální skupina
Kontrolní skupina
Korelační analýza Vztah dvou či více proměnných
Pozitivní či negativní korelace Důvody
Chybí kontrolní skupina Méně fixní program ve více variantách Sledujeme vliv jedné proměnné Sledujeme vliv kombinace proměnných
Metody sběru dat Ankety Dotazníky Testy Pozorování
(observační tabulka)
Validita Reliabilita Anonymita Přesné a jednotné
zadání
Analýza dat Monitoring
Deskriptivní statistika – porovnání indikátory: data Experimenty
Statistická významnost rozdílů mezi skupinami Velikost účinku (size effect)
Korelační analýzy Síla korelace
Kvalitativní metodika Předpoklady
Program interpretuje každý jinak – neexistuje "objektivní" realita programu
Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost
Kvalitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat
Výběr vzorku NENÍ náhodný, ale záměrný
Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti...
Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah Data se sbírají, dokud nejsou nasyceny sledované
kategorie Typy
Zakotvená teorie Etnografický průzkum… Smíšený plán QUAL+quan…
Metody sběru dat Rozhovory Ohniskové skupiny Pozorování,
nahrávky Analýza textů,
posterů, artefaktů, deníků, portfólií..
Důvěryhodnost Triangulace
Analýza dat Kódování Vytváření obecných kategorií a
subkategorií (témat) Analýza vztahů mezi kategoriemi,
modely…Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...
Evaluační zpráva1. Cíle evaluace2. Popis programu3. Evaluační otázky4. Indikátory, design evaluace5. Charakteristika vzorku6. Metody sběru dat7. Prezentace výsledků8. Interpretace, diskuse9. Doporučení10. Závěry
Jak začít Kritická analýza vlastního programu Samostatně x externí evaluátor Formativní evaluace, akční výzkum Finanční zdroje Čas Odhodlání
Jak evaluovat různé výstupyTyp výstupů Metoda sběru dat Specifické nástroje a
postupy
Znalosti Testy
Dovednosti• Manuální• Kognitivní
TestyPozorování Analýza dokumentů
Hodnotící tabulka, IndikátoryZcitlivující koncepty
Postoje a hodnoty DotazníkyPozorováníDokumenty, portfolia…RozhovoryObrázky, imaginární cesty..
Standardizované nástrojeStejně jako dovednosti či chování
Chování DotazníkyRozhovoryPozorování
Posttest 2 – delší časový odstup
Jak evaluovat afektivní proměnné Senzitivita Ohnisko kontroly
Obecné Specifické
(sebehodnocení) Obecné postoje Specifické postoje Hodnoty
Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému)
Standardizované nástroje
Kvalitativně
Dotazy…
Jan Činčera, [email protected]