www.causemann.org
„einfach – kompliziert – komplex“
Programmtheorie und logische Modelle in der Evaluierung nach Patricia Rogers
Bernward Causemann
DeGEval, AK Epol, Frühjahrstagung 2011
12. Mai 2011
www.causemann.org 2
Anfangsaufgabe
Bitte überlegen Sie sich eine Evaluierung,
deren Gegenstand Ihres Erachtens
kompliziert oder komplex war.
www.causemann.org
Programmtheorie und logische Modelle
Theorien des Wandels, Wirkungsketten, logische Modelle – hinter Entwicklungsmaßnahmen stehen Programmtheorien.
Evaluierungen beziehen sich i.d.R. auf diese Programmtheorien oder rekonstruieren sie.
Viele Theorien machen die Wirklichkeit einfacher als angemessen – und führen zu Fehlsteuerungen und irrigen Wirkungsaussagen.
Eine Unterscheidung in einfach / kompliziert / komplex nach 7 Kriterien kann Interventionen und Evaluierungen angemessener machen.
3
www.causemann.org 4
Drei Beispiele
<Glouberman/Zimmerman 2002>, zitiert nach <Rogers 2008, S. 31>, Übersetzung: Causemann
Einfach:Ein Kochrezept anwenden
Kompliziert:Eine Rakete zum Mond senden
Komplex:Ein Kind aufziehen
Das Rezept ist essentiell „Rezepte“ sind notwendig „Rezepte“ können nur begrenzt angewandt werden
Rezepte sind getestet, um einfache Nachahmung zu sichern
Eine Rakete zum Mond schicken erhöht die Sicherheit, dass es wieder gelingt
Ein Kind aufziehen bringt Erfahrung, aber keine Sicherheit, dass es wieder gelingt
Spezialwissen ist nicht erforderlich, aber Kochkenntnisse erhöhen die Erfolgsrate
Große Fachkenntnis in mehreren Disziplinen sind notwendig für den Erfolg
Fachkenntnis kann beitragen, aber ist weder notwendig noch hinreichend, um Erfolg zu sichern
Rezepte erzeugen standardisierte Produkte
Raketen sind in entscheidender Hinsicht ähnlich
Jedes Kind ist einzigartig und muss als Individuum verstanden werden
Die besten Rezepte bringen jedes Mal gute Ergebnisse
Es gibt eine hohes Maß an Sicherheit des Ergebnisses
Unsicherheit des Ergebnisses bleibt bestehen
www.causemann.org 5
Eigenschaften von Interventionen
<Patton 2010, S. 90>, ein Konzept von Ralph Stacey, publiziert von Zimmerman et al.
www.causemann.org 6
7 Charakteristika von Interventionen
1. Focus Art der Ziele
2. Governance Beteiligte Organisationen
3. Consistency Art der Übertragbarkeit
4. Necessariness Notwendig zur Zielerreichung?
5. Sufficiency Hinreichend für die Zielerreichung?
6. Change Trajectory Ursache-Wirkungsbeziehung
7. Unintended Outcomes Vorhersagbarkeit
www.causemann.org 7
1. Eigenschaft: Focus (Art der Ziele)
Die folgenden nach <Funnell/Rogers 2011, S. 74-91>
Einfach Kompliziert Komplex
Übereinstimmung über klare Ziele
Verschiedene Beteiligte haben unterschiedliche Ziele
Herausforderungen und Ziele verändern sich im Prozess und bilden sich neu heraus (Emergenz)
Mehrere konkurrierende Ziele sind notwendig für den Erfolg
Beteiligte formulieren im Prozess neue Ziele
Aktivitäten auf verschiedenen Ebenen des Systems notwendig
Ziele können nicht SMART sein
www.causemann.org 8
2. Eigenschaft: Governance (beteiligte Organisationen)
Einfach Kompliziert Komplex
Durchführung durch eine Organisation mit gemeinsamen Zielen und Verfahren
Mehrere spezifische Organisationen mit formalisierten Aufgaben
Neue Organisationen kommen hinzu und arbeiten flexibel zusammen
www.causemann.org 9
3. Eigenschaft: Consistency (Übertragbarkeit)
Einfach Kompliziert Komplex
Die gleiche Intervention funktioniert überall
Verschiedene Zielgruppen brauchen verschiedene Interventionen
Anpassung der Intervention an den Einzelfall
Anpassung an Kontext nicht notwendig
Anpassung der Intervention an die Situation
Was funktioniert, hängt davon ab, welche Gelegenheiten sich neu entwickeln
Kann als „best practice“ entwickelt werden
www.causemann.org 10
4. Eigenschaft: Necessariness (notwendig?)
Einfach Kompliziert Komplex
Der einzige Weg, um eine beabsichtigte Wirkung zu erzielen
Einer von mehreren möglichen Wegen, die beabsichtigten Wirkungen zu erzielen
im voraus planbar nur im Nachhinein erkennbar
www.causemann.org 11
5. Eigenschaft: Sufficiency (hinreichend?)
Einfach Kompliziert Komplex
Reicht aus, um die Ziele zu erreichen
Erzielt seine Wirkungen nur in Kooperation mit anderen Interventionen
Wirkt bei Allen Erzielt Wirkungen nur für manche Zielgruppen und in spezifischen Kontexten
im voraus planbar nur im Nachhinein erkennbar
www.causemann.org 12
6. Eigenschaft: Change Trajectory
Einfach Kompliziert Komplex
Konstantes, lineares Verhältnis zwischen Aufwand und Ergebnis
Veränderungsverlauf ist vorhersagbar, aber erfordert Fachwissen
Veränderungsverlauf ist nicht vorhersagbar und verläuft unstetig
Doppelter Aufwand erzielt doppeltes Ergebnis
Beziehungen sind nicht linear. Es gibt z.B. Wechselwirkungen.
Z.B. Schwellenwerte, nicht vorhersagbare Umschlagpunkte
Je länger die Intervention geht, desto größer die Veränderung
www.causemann.org 13
7. Eigenschaft: Unintended Outcomes
Einfach Kompliziert Komplex
Nicht intendierte Wirkungen können vorhergesagt und beobachtet werden
Verschiedene nicht intendierte Wirkungen sind unter bestimmten Bedingungen möglich
Nicht intendierte Wirkungen können nicht vorhergesagt werden
Fachwissen ist erforderlich, um sie vorherzusehen
Identifizierung ist nur im Nachhinein möglich
www.causemann.org 14
Literatur
<3ie 2009> Robert Chambers, Dean Karlan, Martin Ravallion, Patricia Rogers: Designing impact evaluations. Different perspectives, 3ie working paper 4, International Initiative for Impact Evaluation, New Delhi
<Funnell/Rogers 2011> Sue Funnell, Patricia Rogers: Purposeful Program Theory. Effective Use of Theories of Change and Logic Models, Jossey-Bass, San Francisco, i.E.
<Glouberman/Zimmerman 2002> Sholom Glouberman, Brenda Zimmerman: Complicated and Complex Systems: What Would Successful Reform of Medicare Look Like? Commission on the Future of Health Care in Canada, Discussion Paper 8
<Kurtz/Snowden 2003> C.F. Kurtz, D.J. Snowden: The New Dynamics of Strategy: Sense-making in a Complex and Complicated World. IBM Systems Journal 42(3), 462-83
<Patton 2010> Michael Quinn Patton: Developmental Evaluation, Guilford, New York 2010
<Rogers 2008 > Patricia Rogers: Using Program Theory to evaluate complicated and complex aspects of interventions, Evaluation 2008 14 (1). S. 29-48
<Rogers 2009> Patricia Rogers: Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Intervention, in: 3ie 2009, S. 24-33
www.causemann.org 15
Erinnern Sie sich noch an Ihre Evaluierung vom Anfang?
1. Überlegen Sie anhand von Rogers Kriterien: Welche der sieben Charakteristika der Intervention waren einfach, kompliziert oder komplex?
2. Nehmen Sie sich 5 Minuten Zeit zum Murmeln: Was hieß das für die Evaluierung?
3. Ich hoffe, wir haben noch Zeit für die Diskussion.
www.causemann.org 16
Vielen Dank für die Aufmerksamkeit !