workload mehr als eine kennzahl?! - quantel.uni-leipzig.de€mehr... · workload ‐mehr als eine...
Post on 08-Aug-2019
213 Views
Preview:
TRANSCRIPT
Notwendiges Übel oder ungenutzte Chance?
Workload ‐mehr als eine Kennzahl?!
Stefen Müller, Technische Universität KaiserslauternZentrum für Lehrerbildung / Referat für Qualität in Studium und Lehre
Leipzig, 23. Juni 2016
Inhalt
Einordnung und Kontext
Annahmen und Bedingungen zur Workloaderfassung
Workloadkurve− Verfahrensdarstellung− Möglichkeiten der Ergebnisdarstellung− Strukturvergleich von Studiengängen
Zusammenfassung
Begrifflichkeiten und kontextueller Rahmen
Bologna− Aufbau eines Europäischen Hochschulraums− Veränderung der Studiengangstruktur und ‐inhalte− Qualitätssicherung an Hochschulen
Qualität− … ist das, was der Kunde verlangt (ökon.)− … im Spannungsfeld normativer Faktoren (päd.)
Qualitätsmanagement− „Erkennen und Beschreiben von Qualität knüpft direkt an das Managen von Qualität an.“ Faber (2009). Organisation und Innovation in der Bildung.
„Die Hochschulen haben die Studierbarkeit des Studiums unterBerücksichtigung der Arbeitsbelastung der Studierenden im Akkreditierungsverfahren nachvollziehbar darzulegen.“
Funktionierende und administrierbare Studienorganisation
Sinnvolle Modularisierung
Adäquate Prüfungsorganisation
Praktikable Anerkennungsregeln
Angemessene Beratungs‐ und Betreuungsangebote
Realistischer Arbeitsaufwand (Workload)
Studierbarkeit als Merkmal von Qualität
Vgl. Köcher (2012). Sicherung der Studierbarkeit durch Qualitätsmanagement in Studium und Lehre.
KMK (2010). Ländergemeinsame Strukturvorgaben für die Akkreditierung von Bachelor und Masterstudiengängen.
Exkurs: Operationalisierung im Bildungscontrolling
Definition von Parametern− Themenbereiche, Zustände, Leistungen
Messung − Direkt als Kennzahl − Indirekt als Indikator
Beurteilung− Festlegung von Kriterien und Standards zur Beurteilung der gemessenen Ausprägung
Schöni (2006). Handbuch Bildungscontrolling.
Exkurs: Operationalisierung im Bildungscontrolling
Definition von Parametern− Themenbereiche, Zustände, Leistungen
Messung − Direkt als Kennzahl − Indirekt als Indikator
Beurteilung− Festlegung von Kriterien und Standards zur Beurteilung der gemessenen Ausprägung
Schöni (2006). Handbuch Bildungscontrolling.
… als Beitrag zum besseren Verständnis und zur Verbesserung
… liefern kein vollständiges Abbild der Realität und können zudem den Messgegenstand verändern
… sollen die Steuerungsprozesse unterstützen und nicht bestimmen
„Die ECTS‐Credits beruhen auf dem Arbeitsaufwand der Studierenden, der erforderlich ist, die erwarteten Lernergebnisse zu erreichen.“
60 ECTS Credits entsprechen dem Arbeitsaufwand eines Vollzeitstudiums eines typischen akademischen Jahres; 1 ECTS Credit entspricht 25 bis 30 Arbeitsstunden (Kontakt‐ und/oder Selbstlernzeit)
„Bei der Abschätzung des studentischen Arbeitsaufwands müssen Institutionen die Gesamtzeit ermessen, die von den Studierenden benötigt wird, um die gewünschten Lernergebnisse zu erzielen.“
„Workloaderhebungen: Bitte dokumentieren Sie die Ergebnisse der Workloaderhebungen anhand entsprechender Dokumente (z.B. Evaluationsberichte, Protokolle von Gesprächen, Auswertung von Lerntagebüchern o.a.).“
Workload Rahmenbedingungen
Europäischen Gemeinschaften (2009). ECTS‐Leitfaden.
AQAS (2011). Leitfaden zur Erstellung eines Akkreditierungsantrags.
DatenerhebungFragebogenInterviewsTagebücher
Einfache vs. komplexe Designs
Studiengang‐ vs. Modul‐ vs. Veranstaltungsbezogen
Online / Paper & Pencil / Mixed
Charakteristika von Workloaderhebungen
Burck, Heil & Böhres. Quantitative Workloaderhebungen.In: Steinhardt (2011). Studierbarkeit nach Bologna.
Retrospe
ktivitä
t
Paper & PencilOnline Mixed
stark
mittel
schw
ach
StOEHn
ZEITlast
FELZ
steigend
er Aufwand
Ergebnisse bisheriger Studien (FELZ, ZEITlast, StOEHn …)
Ungleiche Belastungsverteilung im Semester
Starke interindividuelle Streuung
Starke studiengangbezogene Streuung
Workload wird unter‐/ überschätzt
Loser Zusammenhang von Noten und Workload
Messung reiner Arbeitszeitbelastung liefert kaum Anhaltspunkte für Verbesserungen
Annahmen und Bedingungen zur Workloaderfassung
Unterschiedliche Konzeptualisierungen von Zeit− objektiv messbare Zeit vs. erlebte Zeit− Wahrnehmung von Zeit ist abhängig von Tätigkeiten, individueller Verfassung, sozialen Faktoren
Wird reines Zählen von Stunden Workload gerecht?
Workload ist „dreidimensional“− Zeiteinheit− Zeitintervall− Inhaltsbezug
„30 Stunden pro Woche“
Roth‐Ebner (2015). Der effiziente Mensch.
Annahmen und Bedingungen zur Workloaderfassung
Verfahrenskultur: Einschätzungsfähigkeit der Beteiligten
a) Einzeleinschätzung: Individuum b) Mittlere Einschätzung der Gruppe: durchschnittliche
Studierende
Konstruktionsbedingungen− Praktikabilität, Effizienz− Starker Bezug zu Beteiligten− Quantitative und qualitativen Komponente− Einbindung in Onlinebefragungen− Motivation durch Interaktivität− Selbstreflexivität zur Erfassung intangibler Faktoren
Workloadkurve der TU Kaiserslautern
• Abbildung der Workloadkurve‐ Konfigurierbare Abszisse (x‐Achse) für Zeitintervall/‐verlauf ‐ Grafisches Rating auf der Ordinate (y‐Achse) für Workloadausmaß‐ Textfelder für Inhaltsdimension
• Interaktive Online‐Umsetzung‐ Modellierung mit visueller Bestätigung ‐ Interpolationsmöglichkeit (explizite vs. implizite Punkte)
• Realisation als Flash‐Applet (Actionscript3)‐ Einbindung in beliebigen HTML Kontext (iFrame)‐ Datenaustausch über PHP/JAVAScript‐ Speicherung in MySQL Datenbank
Workloadkurve der TU Kaiserslautern
Beschreibung
1) Punktepool
2) Arbeitsfläche
3) Kurvenmodellierung
4) Beschriftungsfeld
5) Löschen
Möglichkeiten der KurvenbetrachtungIndividuelle Einzelkurvenanalyse Aggregierte Kurvenanalyse, Kurvengang (interpoliert) und visuelle Kurvenvergleiche ggf. gesplittet nach Merkmalsgruppen
Jeweils normierte Werte zwischen 0 und 1 Kurvenmittelwert (M)Minimum (Min.), Maximum (Max.) Range (R)Volatilität (V)
Workloadkurve – entwickelte Kenndaten
Workloadkurve Stichprobendaten
Einbettung in Online Fragbogen
796 Kurven; 6138 Datenpunkte (4799 beschriftet); 7‐8 Punkte pro Person
SoSe
2011
WiSe
2011/2012
SoSe
2012
SoSe
2014*WiSe 2014/2015
Kontext reine Workloadbefragung integriert in Studiengangbefragung
Lehramt Fachwissenschaftliche Studiengänge
StudiengangBio/Che/Mat/Soz
+
Geo/Spo
BCI
(Ba)
BI
(Ba)
EIT
(Ba)
EIT
(Ma)
WiWi
(Ba)
WiWi
(Ma)
ausgefüllte Online‐Fragebögen 211 244 321 10 56 31 27 151 66
Workloadkurven (bereinigt) 150 199 213 9 27 20 20 104 54
Ausfüllrate Workloadkurve 71% 82% 66% 90% 48% 65% 74% 69% 82%
Datenpunkte 1175 1650 1578 77 225 168 127 768 370
Datenpunkte beschriftet 893 1250 1174 68 192 143 97 634 348
Beschriftungsquote 76% 76% 74% 88% 85% 85% 76% 83% 94%
Datenpunkte pro Person** 7,8 8,3 7,4 8,6 8,3 8,4 6,4 7,4 6,9
* 3x Kurve und 24% Fragebogenrücklauf** von max. 13 möglichen Punkten
Workloadkurve Auswertung ‐ Beispiel im Lehramt
• Zeitraum 1. April ‐ 30. September • Maximal 13 Datenpunkte
(2 Wochenrhythmus)• Einbettung in Onlinefragebogen• Fächer:
‐ Biologie ‐ Chemie‐ Mathematik‐ Sozialkunde
• Anzahl ‐ N = 150
• Mittelwert‐ M = .662
Y‐Achsemin = 0; max = 1
Workloadkurve – Vergleichsmöglichkeiten
Max .775Range .284Min .492
Max .819Range .347Min .472
Mathematik n = 49 M = .626
GesamtN = 150 M = .662
Y‐Achsemin = 0; max = 1
Auswertung Datenpunktbeschriftungen
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
Häufigkeiten kategorisierte Nennungen im Fächervergleich gewichtet (NPersonen = 150; NDatenpunkte = 860)
Gesamt
BIO
CHE
MAT
SOZ
Verhältnis ausgewählter Arbeitsformen
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t11 t12 t13
Praktika
Leistungsformen Uni
Lernen / Vor‐ / Nachbereitung
Klausur/Prüfungen
n 77 16 27 34 44 41 55 90 50 58 49 53 59
Bauingenieurwesen (Bachelor)
Elektro‐ und InformationstechnikBachelor Master
WirtschaftswissenschaftenBachelor Master
Zur Struktur von Studiengängen
Modulhandbuch als zentrales (Steuerungs‐) Dokument von Studiengängen …
… beschreibt Anforderungen
… kontextualisiert Lehrveranstaltungen
… benennt zeitlichen Aufwand
Übrigens: durchschnittlich 65 % des Workloads werden als Selbststudienzeit ausgewiesen.
Kerres & Schmidt. Zur Anatomie von Bologna‐studiengängen. In: Hanft et al. (2011). Studium 2020.
Ansätze einer Typologie der Studiengänge?!
Kontinuierlich Hoch‐
geforderte
Punktuell Spitzen‐
geforderte
Wechsel‐geforderte
Dauer‐geforderte
AbkürzungenBI = BauingenieurwesenWiWi = WirtschaftswissenschaftenEIT = Elektro‐ und InformationstechnikBCI = Bio‐ und Chemieingenieurwesen
Einzelkurve: Individuum − Sensibilisierung für WL− Individuelle Studienberatung− Selbstreflexion− Aspekte der Selbstwirksamkeit
− Entwicklung Selbstkompetenz
Kurvenschar: Studiengang− Sensibilisierung für WL− Workloadverteilung im Studiengang
− Monitoring− Studiengangentwicklung− Qualitätssicherung
Nutzungsszenarien
Anstoß zu Überlegungen wie z.B. stärkere Reflexion des Selbststudiums im Kontaktstudium (Studierende & Lehrende)
Baustein evidenzbasierter Qualitätsentwicklung, Monitoring
Ergänzung der Akkreditierungsforderungen
Ergänzender Überblick zu Evaluation auf Fach‐, Modul‐, Studiengangebene
Explorative „Problemidentifikation“
Generierung von Gesprächsanlässen
Reflexionsinstrument
Nutzungsszenarien
Grenzen des Verfahrens
Eigenes Kennzahlensystem‐> Vergleichsdaten müssen generiert werden
Im Kontext zu interpretieren‐> dialogisches Prinzip
Keine Zeitmessung ‐> individuelle Selbsteinschätzung
Kein Zeitbezug der Ordinate ‐> semantische Ausprägung
Retrospektiv ‐>Grad der Retrospektivität frei wählbar
Zusammenfassung
Studentisch akzeptiertes Verfahren / Positive Rückmeldung
Generierung leicht zugänglicher Darstellungen
Sensibilisierung von Studierenden, Lehrenden und Hochschulleitung
Unterschiede zwischen den Fächern
Ansätze einer Typologie
Konzentration von Arbeitsformen über das Semester
Anlassinduzierter Workload
Vielen Dank!
Stefen Müller
Technische Universität KaiserslauternZentrum für Lehrerbildung / Referat für Qualität in Studium und Lehre
mueller@zfl.uni‐kl.de
http://www.uni‐kl.de/workload
top related