workshop evaluation in der auswärtigen kulturpolitik 23. juni 2006 am centrum für evaluation der...
TRANSCRIPT
Workshop „Evaluation in der auswärtigen Kulturpolitik“23. Juni 2006 am Centrum für Evaluationder Universität des Saarlandes
Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis
2
Was ist das ZEM?
Zentrum für Evaluation und Methoden 1999 an der Rheinischen Friedrich-Wilhelms-Universität Bonn
gegründet
Arbeitsauftrag des ZEM(Auftrags-)Forschung und Kompetenzvermittlung in Bezug auf Qualitätssicherung & Evaluation in verschiedenen
Anwendungsgebieten mit Schwerpunkt Bildung Statistische Methoden Umfragen
3
Ablauf des Vortrages
Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme
Was ist so besonders an der Evaluation internationaler Austauschprogramme?
Interessen der verschiedenen Stakeholder Organisation und Zielvorgaben
Was soll überhaupt geprüft werden? Die Zielexplikation Verschiedene Programmziele der Stakeholder Methodenempfehlungen
Wie kann das geprüft werden? Der Wirksamkeitsnachweis Verschiedene Ansätze für den Wirksamkeitsnachweis
4
Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme
Onlinegestützte Befragungen in verschiedenen Organisationen Goethe Institut
Besucherreisen (bis 2005 Paper-Pencil) InWEnt gGmbH
Amerikaprogramme Japan Programm/ Programm in der Region Asien/Pazifik Heinz Nixdorf Programm Vorbereitungsstätte für Entwicklungszusammenarbeit (V-
EZ) Deutscher Entwicklungsdienst (DED)
5
Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - die Stakeholder
OrganisatorenGeldgeberLeistungs-empfänger
Auswärtiges Amt
Bundesministerium für wirtschaftl. Zusammen-arbeit und Entwicklung
Goethe Institut
InWEnt gGmbH
DED
Journalisten, Meinungsträger
Schüler/Studenten
Arbeitnehmer
6
Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - Organisation & Zielvorgaben
Rechtfertigungszwang der Organisatoren gegenüber dem Geldgeber
Auftraggeber der Evaluation sind die Organisatoren, Adressat der Geldgeber Kontakte zwischen Evaluator und Geldgeber nur selten möglich
Wenig Erfahrungen mit Evaluationen und ihren Aussagemöglichkeiten bei den Organisatoren
Schwierigkeiten bei der präzisen Formulierung der unterschiedlichen Ziele: z.B. Abbildung von Berufsbiographien z.B. Abbildung des Nutzens von Auslandsaufenthalten für spätere
Arbeitgeber Schwierigkeiten bei der Operationalisierung der Ziele
Frageformulierung Filterführung
Konkurrenz durch Inhouse-Programme
7
Was soll überhaupt geprüft werden? Empfehlungen zur Zielexplikation
Berücksichtigung der Ziele aller Stakeholder Wenn möglich: Interviews, Gruppendiskussionen mit allen
Teilnehmern Analyse verwandter Literaturbereiche (Auslandsentsendung) Analyse von Programmunterlagen, Flyern Analyse von Politikerklärungen des Geldgebers Analyse von Zwischen- und Abschlussberichten der
Teilnehmer Konfrontation und Diskussion der verschiedenen Ziele mit
dem Auftraggeber, Zielranking
Bei regelmäßigen Evaluationen: Aktualisierung der Ziele
8
Was soll überhaupt geprüft werden? Die Ziele der Geldgeber
OrganisatorenGeldgeberLeistungs-empfänger
Vermittlung eines positiven, modernen Deutschlandbildes
• durch Besuche in Deutschland
• durch Berichte und Auftreten im Ausland
9
Was soll überhaupt geprüft werden?Zusätzliche Ziele der Organisatoren
OrganisatorenGeldgeberLeistungs-empfänger
Vermittlung konkreter Unterstützung/ Informationen Auslandserfahrung Berufserfahrung Sprachförderung
10
Was soll überhaupt geprüft werden? Zusätzliche Ziele der Leistungsempfänger
OrganisatorenGeldgeberLeistungs-empfänger
• Persönlichkeits- entwicklung
• Abenteuer
11
Der Wirksamkeitsnachweis - Ziele der Geldgeber und Operationalisierungsmöglichkeiten
Vermittlung eines positiven Deutschlandbildes
Beitrag des Aufenthaltes zur Veränderung des Deutschlandbildes bzw. des Gastlandbildes einschätzen
Kontakte zur einheimischen Bevölkerung während des Aufenthaltes und Aufrechterhaltung der Kontakte
Kontakte zu Angehörigen anderer Nationalitäten während des Aufenthaltes und danach
12
Ein Beispiel
Vorstellung von Deutschland
2003 weitgehend bestätigt 120 44,6%
revidiert 149 55,4%
2004 weitgehend bestätigt 40 39,6%
revidiert 61 60,4%
2005/2006 Umstellung auf Onlinebefragung:
Wenn revidiert Hat sich Ihr Deutschlandbild verbessert vs. verschlechtert?
In welchen Aspekten hat sich Ihr Deutschlandbild verändert? Was gefällt Ihnen besser, was weniger gut?
13
Der Wirksamkeitsnachweis - Ziele der Organisatoren und Operationalisierungsmöglichkeiten
Berufserfahrung, Auslandserfahrung, Sprachliche Entwicklung Berufsbiographien: wer ist der Arbeitgeber, Internationalität der
Aufgabe sowie des Arbeitgebers, Führungsebene, Einfluss des Aufenthaltes auf weitere Beschäftigung
Weiterbildung in Folge des Aufenthaltes, Nutzung der Auslandserfahrung durch den Arbeitgeber
Einschätzung der eigenen Sprachkenntnisse, Berichte über Nutzung der Sprachkenntnisse im Beruf
Vermittlung konkreter Unterstützung/Informationen Zufriedenheit mit Gesprächspartnern, Kontakten, Infomaterialien Einschätzung des Nutzens der Informationen für die eigene Arbeit
14
Ein Beispiel
0% 20% 40% 60% 80%
Kann ich nicht beurteilen, da ich seit dem USA-Praktikum demArbeitsmarkt nicht zur Verfügung stehe.
Meine Position am Arbeitsmarkt hat sich noch in anderer Formgeändert, und zwar:
Meine Position am Arbeitsmarkt hat sich durch den USA-Aufenthalt nicht verändert.
Spätere Arbeitgeber haben meine in den USA gesammelteninterkulturellen Erfahrungen wertgeschätzt.
Spätere Arbeitgeber haben meine in den USA gesammeltenfachlichen Erfahrungen wertgeschätzt.
Ich habe Kontakte geknüpft, die ich in den folgendenAnstellungen nutzen konnte.
Ich habe Kontakte geknüpft, die zu einer Anstellung geführthaben.
Ich habe mich beruflich umorientiert.
In Bewerbungsgesprächen wurde der USA-Aufenthalt seitensdes Stellenanbieters positiv bewertet.
Ich konnte meine Stellensuche auf den englischsprachigenRaum ausweiten.
Mir stand ein größeres Stellenangebot zur Verfügung, dessenAnforderungsprofil ich entsprach.
Programmjahrgänge vor 2004 Programmjahrgänge 2004 - 2005 Gesamt
Inwiefern hat Ihr Praktikum Ihre Position am Arbeitsmarkt verändert?
15
Ein Beispiel
War die berufliche Position, die Sie nach dem Aufenthalt eingenommen haben, im Vergleich zu vorher eine......
0% 20% 40%
Ich war vor demPraktikum nochnicht berufstätig.
eher höherePosition
eher gleichwertigePosition
eher niedrigerePosition
16
Ein Beispiel
Berufliche Verwertbarkeit der Ergebnisse der Reise
2003 Ja 269 97,1%
Nein 1 0,4%
Weiß noch nicht 7 2,5%
2004 Ja 100 95,2%
Nein 2 1,9%
Weiß noch nicht 3 2,9%
17
Der Wirksamkeitsnachweis - Ziele der Leistungs-empfänger und Operationalisierungsmöglichkeiten
Persönlichkeitsentwicklung, Abenteuer Selbsteinschätzungen in Bezug auf die Verbesserung bei
verschiedenen Eigenschaften, Kompetenzen, Soft Skills Berichte über Erfahrungen, die nur im Ausland gemacht werden
können, Selbstberichte über die besonderen Erfahrungen während des Aufenthaltes
Analyse offener Aussagen
18
Ein Beispiel
Durch den Aufenthalt haben sich die folgenden Kenntnisse/Fähigkeiten positiv entwickelt:
0% 20% 40% 60% 80% 100%
Präsentationskompetenz
Überzeugungsfähigkeit
Netzwerkkompetenz
Flexibilität in Entscheidungen
Konfliktfähigkeit
Teamfähigkeit
Risikobereitschaft
Organisationsfähigkeit
fachliche Kenntnisse
Improvisationsvermögen
englische Schriftsprache
fachspezifische Englischkenntnisse
Selbstbewusstsein
allgemeine Englischkenntnisse
trifft zu trifft eher zu
19
Ein Beispiel
„Dies gibt mir großes Selbstbewusstsein. Dass ich alles Organisatorische etc geschafft und eine neue Kultur erfahren und erschlossen habe (in allen Bereichen des Lebens inkl. Arbeit, Alltag, Freundschaften).“
„Ich versuche mich selbstständig zu machen und diesen Mut hatte ich vorher nicht.“
„Durch internationale Kontakte habe ich eigene Werte und Charakterzüge neu überprüft.“
„Internationale Entwicklungsprogramme (beruflich, privat) sind wohl eine der wichtigsten Investitionen in junge Menschen. Die Chancen sich weiterzuentwickeln (beruflich, menschlich) werden fast immer wahrgenommen. Für mich war diese Zeit die beste Zeit meines Lebens. Ohne dieses Programm wäre ich nicht dort, wo ich heute bin.“
20
Der Wirksamkeitsnachweis – eine neue Methode?
Entwicklung von Eigenschaften und Kompetenzen im Verlauf von Auslandsaufenthalten
Quasilängsschnittliches Design: Unterteilung des Auslandsaufenthaltes in drei Gruppen Befragung aller Gruppen zu zwei Zeitpunkten
Gruppe 1: vor der Entsendung und zu Beginn des Aufenthaltes Gruppe 2: während der Entsendung Gruppe 3: am Ende der Entsendung und nach der Rückkehr ins Heimatland
Erfassung der Entwicklungen innerhalb der Gruppen Identifikation der Einflüsse verschiedener Auswahl-,
Vorbereitungs- und Betreuungsmöglichkeiten auf die Ausprägung von Kompetenzen und Eigenschaften
21
Herzlichen Dank für Ihre Aufmerksamkeit!
Prof. Dr. Georg Rudinger
Zentrum für Evaluation und Methoden
Rheinische Friedrich-Wilhelms-Universität Bonn
Bonner Talweg 57
53113 Bonn
Tel: 0228 - 33 64 11 04
www.zem.uni-bonn.de