14/15 01 2010 UPH / Modul E Neuhold Christine
Grundlagen der Evaluation
Evaluierung in der GesundheitsförderungUPH, Modul E
Christine NeuholdGraz, 14./15. Jänner 2010
14/15 01 2010 UPH / Modul E Neuhold Christine
Problem-definition
Strategie-formulierung
Implementation/ Umestzung
EvaluationBewertung
Verortung der Begriffe Evaluation, Evidenzbasierungund QM im Public Health Action Cycle
auf Basis wiss. Evidenz
Qualitätsmanagement
Kolip, 2006
14/15 01 2010 UPH / Modul E Neuhold Christine
Was bedeutet Evaluation?
... die Bewertung einer aktuellen, realen Intervention hinsichtlich verschiedener Dimensionen oder Kriterien im Vergleich zu einem erwarteten, angestrebten Ziel. (vgl. Pelikan et al.)
14/15 01 2010 UPH / Modul E Neuhold Christine
Dimensionen/Kriterien (I)• Akzeptabilität
Anschlussfähigkeit für Betroffene und beteiligte Stakeholder
• MachbarkeitSind Interventionen unter best. lokalen Bedingungen, technisch und praktisch implementierbar und kontinuierlich realisierbar?
• EffektivitätInwieweit kann einen Intervention die erwarteten Wirkungen auch tatsächlich bewirken?
14/15 01 2010 UPH / Modul E Neuhold Christine
Dimensionen/Kriterien (II)• Nachhaltigkeit
Bei nachhaltigen Interventionen müssen die erwünschten Effekte auch längerfristig möglich sein, unerwünschte dürfen nicht überwiegen.
• Effizienzbedeutet ein günstiges Kosten-Nutzen-Verhältnis einer Intervention.
= besonders schwierig!a) kein wiss. Konsens über die Messung von Gesundheitsgewinnb) kein Konsens über die Kostenäquivalenz von Gesundheit
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationsforschung
während einer Maßnahme
vor einer Maßnahme
nach einer Maßnahme
Evaluation der Programm-
konzeption
Evaluation der Programm-durchführung
Evaluation der Programm-
wirkung
Antizipatorische oder prospektive
Evaluation
Prozessevaluationoder
Begleitforschung
Ergebnis- oder
Output-Evaluation
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationstypen (I)• Ergebnis- versus Prozessevaluation
PROZESSEVALUATIONbeobachtet und rekonstruiert den Prozess der InterventionZiel: festzustellen, ob die geplante Intervention verwirklicht werden konnteMethoden: Dokumentation, Beobachtungen, BefragungenVoraussetzung: detaillierte Planung von Zielen, Schritten
und Phasen
14/15 01 2010 UPH / Modul E Neuhold Christine
• Ergebnis- versus ProzessevaluationERGEBNISEVALUATIONkonzentriert sich auf die Feststellung der Effekte des ProgrammsZiel: Entscheidungsgrundlage für Beibehalten, Modifizieren oder Beenden der Intervention
Methoden: Befragungen
Voraussetzung: ein Set von Zielen/Kriterien und Indikatoren
Evaluationstypen (II)
Konnten die vorab definierten
Ziele der Intervention erreicht werden?
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationstypen (III)• Summative versus formative EvaluationFORMATIVE EVALUATION= Evaluationsforschung, die während der Programm-entwicklung durchgeführt wird, eine Form der Qualitätssicherung
Ziel: Programme umzuformen und zu verbessernMethoden: eher qualitativ, Beobachtungen, Austausch
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationstypen (IV)• Summative versus formative EvaluationSUMMATIVE EVALUATION= zusammenfassende Beurteilung einer Intervention, nach Abschluss eines Programms
Ziel: Bewertung der Programmwirkung
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationstypen (V)• Selbst- versus Fremdevaluation SELBSTEVALUATIONwird von AkteurInnen durchgeführt, die auch die Intervntion durchführen+kennen das Projekt sehr gut+wissen welche Informationen sie brauchen- „zu nahe“ an der Intervention- Ergebnisse sind nur bedingt „objektiv“- Qualifikation der AkteurInnen –methodisch korrekte Durchführung
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationstypen (VI)• Selbst- versus Fremdevaluation FREMDEVALUATIONwird von externen Personen durchgeführt+meist sehr gute Qualifikation- ist meist teurer- besteht das Risiko, dass Daten erhoben werden, die von
AkteurInnen und Stakeholdern nicht gebraucht werden.
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationsdesigns in der Epidemiologie und im Setting-AnsatzDimensionen Epidemiologie Setting-AnsatzForschungsdesign Kontrollgruppen-
designsFallstudien Benchmarking
Art der Evaluation experimentelle Forschung
Aktionsforschung
Rolle der EvaluatorrInnen
extern intern und/oder extern
Indikatoren für Veränderungen
Auftreten best. Krankheitsmerkmale bei Personen
Gesundheits-/krankheitsspezifische Faktoren und Potentiale des Settings
Evaluierte Aspekte der Intervention
Ergebnisse Prozess und Ergebnisse
14/15 01 2010 UPH / Modul E Neuhold Christine
Aktionsforschungsprozess• Forschungsausgangspunkt• Sammeln von Daten (Beobachtung, Interview,
Gespräch,Fragebogen)
• Analyse von Daten• Entwicklung und Erprobung von Handlungsstrategien• Reflexion• Medium sind Tagebücher
Zyklus von Aktion und Reflexion
AktionAktion
Aktion
14/15 01 2010 UPH / Modul E Neuhold Christine
Evaluationsdesigns in der Epidemiologie und im Setting-AnsatzDimensionen Epidemiologie Setting-AnsatzRelevante Dimensionen
Effektivität, Effizienz
Akzeptabilität, Machbarkeit, Effektivität/Effizienz, Nachhaltigkeit
Forschungsmethoden
quantitativ qualitativ und quantitativ
Stakeholder ExpertInnen der Profession, Scientific Community
lokale Stakeholder, ExpertInnen der Profession, Scientific Community
Method. Entwicklungen
Klinische Studien regionale Entwicklungen, Organisationsent-wicklung, Ansätze der Qualitätssicherung und Entwicklung
14/15 01 2010 UPH / Modul E Neuhold Christine
Elemente der Evaluation • Evaluationsfragen
Zielerreichung, Lernen, Legitimation, Kontrolle• Planen
Was müssen wir wissen, um Fragen zu beantworten?• Daten sammeln
Protokolle, Fotos, Zahlen & Fakten, Interviews...• Daten auswerten
intern, extern; Prozess, Ergebnis • Berichten
schriftlicher Bericht, Rückmeldung an Setting/Auftraggeber, Tagungen, Publikationen
• LernenWas lernen wir und andere daraus, was würden wir anders machen?
14/15 01 2010 UPH / Modul E Neuhold Christine
Merkmale der Maßnahmen
allgemeinkomplexpartizipativ langlebigflexibel und anpassungsfähig
14/15 01 2010 UPH / Modul E Neuhold Christine
Kernprobleme der Evaluation
(A) Ermittlung der Fragestellung (B) Festlegung des Evaluationsdesigns (C) Auswahl und Festlegung der
Ergebnisvariablen (D) Analyse der Daten (E) Wahl der Evaluatorenrolle
14/15 01 2010 UPH / Modul E Neuhold Christine
(A) Ermittlung der Fragestellung (I)
? Evaluationsfrage = Effekt der Maßnahme ?
Black-Box-Evaluation
Input
Output?
14/15 01 2010 UPH / Modul E Neuhold Christine
(A) Ermittlung der Fragestellung (II)
? Evaluationsfrage = kausale Mechanismen der Maßnahme aufdecken ?
Wie bringt die Maßnahme die erwartete Wirkung hervor?
?
? Gibt es ein Interventionsmodell ?Prozessevaluati
on
Ergebnisevaluation
realistische Evaluation
14/15 01 2010 UPH / Modul E Neuhold Christine
realistische Evaluation
… liegt der Schwerpunkt auf einer Verbindung der Wirkmechanismen der Maßnahmen mit den kontextuellen Elementen. (vgl. Pawson et al. 2005)Was bewirkt die Maßnahme für wen und unter welchen Umständen?
Ziel: Informationen über die Interaktion zwischen …
Maßnahmen- verlauf Ergebnissen
kontextuellen
Merkmalen
(A) Ermittlung der Fragestellung (III)
14/15 01 2010 UPH / Modul E Neuhold Christine
(A) Ermittlung der Fragestellung (IV)
Eingrenzung der Evaluationsfragen:Grundsätzlich sollten alle an der Maßnahme Beteiligten auch an der Formulierung der relevanten Forschungsfragen beteiligt sein.
= „Partizipative Forschung“
Cargo & Mercer (2008)
14/15 01 2010 UPH / Modul E Neuhold Christine
(B) Festlegung des Evaluationsdesigns (I)Zwei Hauptprobleme:1. Zuweisung der Gemeinden entweder zur Kontroll-
oder zur Interventionsgruppe
2. Sicherstellung, dass in der Kontrollgruppe keine Intervention stattfindet.
!Übliche wiss. Kriterien die sich auf standardisierte, wiederholbare und formalisierbare Verfahren stützen sind hier nicht anwendbar!
14/15 01 2010 UPH / Modul E Neuhold Christine
(C) Auswahl und Festlegung der Ergebnisvariablen (I)
Was soll gemessen werden und auf welchem Niveau?
Zwei Fragen:1. Entwicklung und Gültigkeit von angemessenen
Indikatoren auf Populationsebene
2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.
14/15 01 2010 UPH / Modul E Neuhold Christine
(C) Auswahl und Festlegung der Ergebnisvariablen (II)
Was soll gemessen werden und auf welchem Niveau?
Gute Voraussetzung:Definieren von Wirkmechanismen im Interventionsmodell (z.B. Schweizer Ergebnismodell), um unterschiedliche Indikatoren einzuschließen. Z.B. Systembezogene Indikatoren, Umweltbezogene Ind., Individuelle Ind. etc.
14/15 01 2010 UPH / Modul E Neuhold Christine
3 Kategorien bevölkerungsbezogener Indikatoren (I) (Cheadle et al., 1992)
(1) Individuell disaggregiertDaten aus Beobachtung von Individuen innerhalb best. geografischer Grenzen.Indikatoren, die den sozioökonomischen Status dieses Gebiets kennzeichnen. Z.B. mittleres EK, Zahl alleinerziehender Mütter etc.
14/15 01 2010 UPH / Modul E Neuhold Christine
3 Kategorien bevölkerungsbezogener Indikatoren (II) (Cheadle et al., 1992)
(2) Individuell aggregiertpersonenbezogene Daten werden zu komplexen Indizes aggregiert.Z.B. Deprivationsindex umfasst 6 Indikatoren:- Personen ohne Abitur- Verhältnis der beschäftigten zur Wohnbevölkerung- durchschnittliches EK- Anteil der getrennt lebenden, geschiedenen, verwitweten Personen- Anteil von Familien mit einem Elternteil- Anteil der Allein Lebenden
14/15 01 2010 UPH / Modul E Neuhold Christine
3 Kategorien bevölkerungsbezogener Indikatoren (III) (Cheadle et al., 1992)
(3) umfeldbezogenBeobachtung des Umfeldes und die Entwicklungen in einer Gemeinde, die keine personenbezogenen Merkmale sind.Systembezogene Indikatorenz.B. Indikator des Fettverzehrs, der sich auf die Erhebung von Regalmetern im Supermarkt bezieht.Indikator der Verankerung: GemeinderatsbeschlussIndikator für Verankerung und Leadership: Steuergruppe etc.
14/15 01 2010 UPH / Modul E Neuhold Christine
Auswahl der Indikatoren
• Indikatoren sollten wichtigen Elementen im Interventionsmodell entsprechen
• Indikatoren zur Erfassung der Umfeldprozesse sollten einbezogen werden.
• Z.B. Geko (Generationenübergreifende Kooperation)
14/15 01 2010 UPH / Modul E Neuhold Christine
Das Ergebnismodell am Beispiel Geko
C 1-3 Vision 2: Es entstehen auch Produkte der Initiativgruppen
C 2-1 Vision 4: Netzwerkstruktur zur Planung und Implementierung von Beteiligungsprojekten
B 2-2 Ziel 4: Die Gemeinden unterzeichnen Kooperationsabkommen.
B 2-4 Ziel 5: Jede Gemeinde nominiert 2 Zuständige für die Großgruppe
B 2-1 Ziel 6: Jede Gemeinde zahlt in einen regionalen Projektfonds
B 3-1 Ziel 7: Es entstehen viele Initiativgruppen
B 3-3 Ziel 8: Über Geko wird in den regionalen Medien regelmäßig berichtet.
B 4-3 Ziel 9: Die GG TN wenden partizipative Methoden an.
B 2-1 Ziel 10: Der Genderaspekt wird bei der Planung von Initiativen berücksichtigt.
DGesundheit
C1 Materielle Umwelt
C2 Soziale/gesellschaftliche Umwelt
C3 Personale Ressourcen/ Verhalten
C 1-3 Vision 3: Jugendliche und Erwachsene gestalten gemeinsam eine gesundheitsfördernde Lebenswelt
C 1-3 Vision 1: Nachhaltige Verankerung von Geko in der RegionB 1-4 Ziel 3: Projektträger Styria vitalis &
Landentwicklung Stmk.
B 1-3 Ziel 1: Die GG-TN haben an WS /Infoveranstaltungen teilgenommen.
B 1-4 Ziel 2: Ein regionaler Auftraggeber wird gefunden.
C3-1 Vision 5 GG TN leben die Grund-prinzipien der Gesundheitsförderung
14/15 01 2010 UPH / Modul E Neuhold Christine
(D) Die Analyse der Daten
1. Datenanalyse richtet sich an Populationen oder Communities
- individuelle Variablen- bevölkerungsbezogene Variablen
2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.
14/15 01 2010 UPH / Modul E Neuhold Christine
(E) Die Beziehung zwischen Evaluator und Maßnahme (I)
Trend:paritizipativer Forschung Evaluator = Begleiter
„Empowerment Evaluation“Ein Prozess, der auf Zusammenarbeit, auf Interaktion und auf Wiederholung zielt.
14/15 01 2010 UPH / Modul E Neuhold Christine
4 Gründe für den beteiligungsorientierten Ansatz:
1. um den Prozess der Wissensfortschritte zu entmystifizieren und zu demokratisieren
2. um die Evaluation als einen unverzichtbaren Bestandteil der Maßnahme zu etablieren
3. um das Selbstverständnis der Gemeinde, das Engagement der beteiligten Stellen und die Nutzung der Ergebnisse zu erweitern
4. um die Evaluatoren mit dem kontextuellen Wissen der Teilnehmer auszustatten und so die Bedeutsamkeit der Ergebnisse zu steigern.
(E) Die Beziehung zwischen Evaluator und Maßnahme (II)
14/15 01 2010 UPH / Modul E Neuhold Christine
4 Empfehlungen für qualitative hochwertige Evalutaionen1. Evaluation ist Teil der Maßnahme, lokales Wissen
(=empirisches Wissen) gewinnt durch den Prozess der Wiederholbarkeit wiss. Anerkennung.
2. Experimentelle und quasi experimentelle Evaluationen von bevölkerungsbezogenen Maßnahmen sind kaum in der Lage positive Effekte nachzuweisen. Die Anwendung alternativer Methoden sollte gefördert werden.
3. Verwendung von Indikatoren auf Sozialer-, Umfeld- und Bevölkerungsebene. Es herrscht dringender Bedarf bessere Indikatoren zu entwickeln.
4. Rolle und Einfluss der Partizipation der Bevölkerung für die Evaluation. Partizipation ist notwendig um die Validität der Ergebnisse sicher zu stellen? (wie ist noch unklar, zu wenig empirische Daten)
14/15 01 2010 UPH / Modul E Neuhold Christine
Literatur
- Dür, W. & Pelikan, J.M.: Qualität in der Gesundheitsförderung. Ansätze und Beispiele zur Qualitätsentwicklung und Evaluation. Facultas Verlag 1998.- Potvin, L., Richard, L., Mercille, G.: Die evaluation von bevölkerungsbezogenen Maßnahmen der Gesundheitsförderung. In: Kolip, P. & Müller, V. E. (Hrsg.): Qualität von Gesundheitsförderung und Prävention. Bern: Huber 2009, S. 241 – 277.