sieren und mit beschränkten ressourcen zu verbessern. der ... · daktischen service blueprint“...
TRANSCRIPT
Research on IT / Service / Innovation / Collaboration
ISBN 978-3-86219-730-9
Hochwertige Lehre erfordert hohen Ressourcenaufwand. Daher
leiden gerade universitäre Massenveranstaltungen unter man-
gelnder Interaktivität und Individualität. In dieser Dissertation
wird die Methode des „Didaktischen Service Blueprint“ (DSB)
vorgestellt, die Lehrenden hilft, Lerndienstleistungen zu analy-
sieren und mit beschränkten Ressourcen zu verbessern. Der DSB
verbindet didaktische Anforderungen mit Designprinzipien des
Service Engineering und Ansätzen des eLearning und des Peer
Learning. In einer Lehrveranstaltung der Wirtschaftsinformatik
werden beispielhaft drei Maßnahmen entwickelt, welche die
Lerndienstleistungsqualität durch eLearning und Peer Learning
steigern und damit auch die Anwendbarkeit des DSB aufzeigen
sollen. Die Evaluationsergebnisse von Lernerfolg und Lernzu-
friedenheit weisen auf den Erfolg des Konzeptes hin. Der theo-
retische Beitrag liegt in der Entwicklung einer auf dem Service
Engineering basierenden Methode zur Gestaltung von Lehr-
Lern-Prozessen. Lehrenden liefert die Dissertation Richtlinien
und erprobte Umsetzungsbeispiele zur Verbesserung der eigenen
Lehre trotz knapper Ressourcen.
René Wegener
Ren
é W
egen
er /
Der
Dida
ktis
che
Serv
ice
Blue
prin
t
Der Didaktische Service BlueprintEine Methode für Analyse und Design
teilnehmerstarker Lerndienstleistungen
22
Research on IT / Service / Innovation / Collaboration Band 2 / Vol. 2
Herausgegeben von / Edited by Univ.-Prof. Dr. Jan Marco Leimeister, Universität Kassel
René Wegener
Der Didaktische Service Blueprint Eine Methode für Analyse und Design
teilnehmerstarker Lerndienstleistungen
kassel
universitypress
Die vorliegende Arbeit wurde vom Fachbereich Wirtschaftswissenschaften der Universität Kassel als Dissertation zur Erlangung des akademischen Grades eines Doktors der Wirtschafts- und Sozialwissenschaften (Dr. rer. pol.) angenommen. Erster Gutachter: Prof. Dr. Jan Marco Leimeister Zweiter Gutachter: Prof. Dr. Udo Winand Dritter Gutachter: Prof. Dr. Dr. Walter Blocher Tag der mündlichen Prüfung 29. Januar 2014 Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar Zugl.: Kassel, Univ., Diss. 2014 ISBN: 978-3-86219-730-9 (print) ISBN: 978-3-86219-731-0 (e-book)6 URN: http://nbn-resolving.de/urn:nbn:de:0002-37314 © 2014, kassel university press GmbH, Kassel www.uni-kassel.de/upress Umschlaggestaltung: Jörg Batschi Grafik Design, Tübingen Druck und Verarbeitung: Print Management Logistics Solutions, Kassel Printed in Germany
V
Geleitwort
Dienstleistungen sind für westliche Volkswirtschaften von zentraler Bedeutung im
Hinblick auf Bruttowertschöpfung und Arbeitsplätze. Sie erfolgreich zu entwickeln, zu
erbringen und zu vermarkten wird für viele Unternehmen zu einem zentralen Erfolgs-
faktor. Entsprechend bedeutend ist die Erforschung von Theorien, Methoden, Model-
len und Werkzeugen zur systematischen Entwicklung, Gestaltung und Erbringung von
Dienstleistungen im Rahmen des Dienstleistungs- oder Serviceengineering. Zentrale
Forschungsfragen betreffen die Rolle von Informations- und Kommunikationstechno-
logien (IT) zur (Teil-) Automatisierung von Prozessen sowie neue Formen der Kun-
denintegration in den Dienstleistungsprozess.
Dieser Forschungsbedarf gilt insbesondere auch für den Bereich der Lerndienstleis-
tungen. Es ist weithin anerkannt, dass Lerndienstleistungen im Sinne von (Weiter-)
Bildungsangeboten von zentraler Bedeutung für die Entwicklung einer Gesellschaft
sowie eines jeden Menschen sind. Zugleich handelt es sich dabei jedoch um hochgra-
dig individuelle, wissensintensive und komplexe Dienstleistungen. Die didaktische
Forschung liefert die nötigen Richtlinien und Lehr-Lernmethoden, um Lerndienstleis-
tungen didaktisch hochwertig zu erbringen. Deren Umsetzung ist jedoch fast immer
mit einem hohen Aufwand für den Lehrenden verbunden. Vernachlässigt wird bisher
meist die Frage, wie Lerndienstleistungen gerade vor dem Hintergrund beschränkter
personeller Ressourcen didaktisch effektiv und zugleich wirtschaftlich tragfähig ge-
staltet werden können. Analog zu den Annahmen des Service Engineering liegen auch
in der Didaktik die vielversprechendsten Ansätze in einer zunehmenden (Teil-) Auto-
matisierung von Lehrprozessen in Form des E-Learning, sowie einer verstärkten Betei-
ligung der Lernenden in kollaborativen und kooperativen Lernprozessen, dem
sogenannten Peer Learning.
Diese Arbeit von René Wegener bedient sich theoretischer Grundlagen des Service
Engineering und der Didaktik und entwickelt eine Methode, um Massenlerndienstleis-
tungen zu visualisieren, didaktisch zu analysieren und anschließend unter Zuhilfenah-
me der Ansätze des E-Learning und Peer Learning systematisch neu zu gestalten. Die
Anwendung der Methode des Didaktischen Service Blueprint (DSB) wird in einem
Action Research Projekt am Beispiel einer universitären Massenveranstaltung der
Wirtschaftsinformatik erprobt. Sie wird auf Basis des DSB über einen Zeitraum von
acht Semestern sukzessive weiterentwickelt und dabei kontinuierlich evaluiert. So
VI
wird die Vorlesung um neue, interaktive E-Learning Inhalte ergänzt, die Lernenden
entwickeln eigene Lernmaterialien für Ihre Kommilitonen und werden über mobile
Endgeräte stärker in die Vorlesung einbezogen. Die Evaluationsergebnisse zeigen ei-
nen signifikanten Anstieg von Lernzufriedenheit und Lernerfolg.
Mit der Methode des DSB und den zugehörigen Prinzipien zur Gestaltung von E-
Learning und Peer Learning Prozessen liefert die Arbeit einen wichtigen Beitrag für
die Weiterentwicklung von bestehenden Ansätzen zur Verbesserung von Lerndienst-
leistungen. Sie verbindet in dieser Tiefe erstmalig die didaktische Forschung mit der
des Service Engineering und zeigt Praktikern neue Wege auf, die eigene Lehre trotz
beschränkter Ressourcen zu verbessern. Der Arbeit von René Wegener wünsche ich
die ihr gebührende Verbreitung.
Kassel, im Januar 2014 Prof. Dr. Jan Marco Leimeister
VII
Danksagung
Mein Dank gilt Familie und Freunden.
Kassel, im Januar 2014 René Wegener
VIII
1 Zusammenfassung
Didaktisch hochwertige Lerndienstleistungen sind für den Anbieter mit einem hohen
Ressourcenaufwand verbunden. Dies zeigt sich insbesondere am Beispiel der universi-
tären Lehre. Beschränkte personelle Ressourcen und steigende Studierendenzahlen
führen hier häufig zu Massenveranstaltungen, welche den didaktischen Anforderungen
aktiven Lernens nicht gerecht werden, denn viele aktivierende Lernmethoden lassen
sich bei hohen Teilnehmerzahlen nicht mehr umsetzen. Vor einer vergleichbaren Her-
ausforderung stehen zunehmend die Lehrenden sogenannter „Massive Online
Courses.“ Hierbei handelt es sich um online Lerndienstleistungen, die zu geringen
oder gar keinen Gebühren angeboten werden. Die Teilnehmerzahlen können hier in die
Tausende gehen, eine individuelle Betreuung ist aus wirtschaftlicher Sicht nicht mehr
möglich. Trotz dieser offenkundigen Problematik betrachtet die didaktische Forschung
Effizienzaspekte bislang kaum, sondern erweist sich als größtenteils ergebnisorientiert.
Wesentliche Bestandteile der Erbringung einer Lerndienstleistung auf Seiten des Leh-
renden, wie die Entwicklung von Lernmaterialien oder Korrektur von Übungsaufga-
ben, werden ausgeblendet. Forschung, wie Lernerfolg und Lernzufriedenheit bei
möglichst konstantem Ressourceneinsatz gesteigert werden können, existiert folglich
wenig. Um diese Lücke zu schließen, wird in dieser Dissertation die Methode des „Di-
daktischen Service Blueprint“ (DSB) vorgestellt, die Lehrenden hilft, Lerndienstleis-
tungen zu analysieren und unter Berücksichtigung knapper Ressourcen, insbesondere
der eigenen Zeit, zu verbessern. Der DSB stellt eine Weiterentwicklung des Service
Blueprint für Lerndienstleistungen, insbesondere (universitäre) Massenveranstaltun-
gen, dar. Er verbindet didaktische Anforderungen mit Designprinzipien des Service
Engineering und Ansätzen des eLearning und des Peer Learning. Die Entwicklung des
DSB geschieht im Rahmen eines Action Research Projektes anhand einer Lehrveran-
staltung der Wirtschaftsinformatik mit mehreren hundert Teilnehmenden pro Semes-
ter. Die Methode wird genutzt, um die bestehende Lehrveranstaltung anhand
vorgegebener didaktischer Designanforderungen zu analysieren, Probleme zu identifi-
zieren und einzelne Aktivitäten zu priorisieren. Mit Hilfe eines Sets an Designprinzi-
pien werden anschließend beispielhaft drei Maßnahmen entwickelt, welche die
Lerndienstleistungsqualität durch einen verstärkten Einsatz von eLearning und Peer
Learning steigern und damit auch die Anwendbarkeit des DSB aufzeigen sollen. Die
Maßnahmen werden über einen Zeitraum von acht Semestern implementiert und die
Lehrveranstaltung in Bezug auf Lernzufriedenheit und Lernerfolg evaluiert. Der Lern-
IX
erfolg kann, gemessen an den Klausurergebnissen (n = 1593), signifikant gesteigert
werden, ebenso die über Selbstauskünfte erfasste Zufriedenheit (n = 699). Der theore-
tische Beitrag dieser Arbeit liegt in der Verbindung der Forschungsbereiche der Di-
daktik und des Service Engineering. Der DSB zeigt, wie Methoden der
Dienstleistungsentwicklung mit didaktischen Anforderungen kombiniert werden kön-
nen. Der DSB stellt nach Wissen des Autors die erste Methode dar, mit der ein
Blended Learning gestütztes Lernszenario sowohl unter didaktischen als auch wirt-
schaftlichen Gesichtspunkten analysiert und umgestaltet werden kann. Lehrenden lie-
fert die Dissertation Anforderungen, Richtlinien, Werkzeuge und erprobte
Umsetzungsbeispiele zur Verbesserung der eigenen Lehre auch bei knappen zeitlichen
und personellen Ressourcen.
Stichworte: eLearning, Blended Learning, Service Engineering,
Dienstleistungsengineering, Peer Learning, Service Blueprint, Action Research.
X
Abstract
Offering didactically valuable learning services is very resource demanding. This fact
holds true especially in university teaching. Limited personnel resources and rising
student enrollments lead to mass lectures which do not meet the requirements of active
learning as many activating teaching methods are not suitable for large classes. Educa-
tors face a similar challenge when offering so-called “Massive Online Courses.” These
are online learning services offered for low fees or for free. Thousands of participants
might attend these courses. Individual support cannot be offered for economic reasons.
Despite this apparent challenge didactic research usually does not take into account
aspects of economic efficiency but is mostly output oriented. Important parts of learn-
ing service delivery from the instructor’s point of view, like developing learning mate-
rials or grading assessments, are neglected. There is not much research on raising
learning success and satisfaction with constant resources. To close this gap, this disser-
tation proposes a method named „Didactical Service Blueprint“ (DSB). It is supposed
to help instructors analyzing and re-designing their learning services taking scarce re-
sources, especially time, into account. The DSB is an advancement of the traditional
Service Blueprint specifically designed for learning services, especially for (universi-
ty) large scale courses. It combines didactical requirements with design principles
from service engineering and approaches from e-learning as well as peer learning. The
DSB is developed within an Action Research project based on an Information Systems
lecture with several hundred attendants each semester. The method is used to analyze
the existing lecture using pre-defined design requirements, to identify several short-
comings and prioritized certain activities. Based on a set of design principles three ex-
emplary measures, mostly relying on e-learning and peer learning, are developed to
raise learning service quality and show applicability of the DSB. These measures are
implemented over the course of eight semesters and are evaluated with regard to learn-
ing success and satisfaction. Learning success as measured by exam results increases
significantly (n = 1593) as well as self-reported learning satisfaction (n = 699). The
theoretical contribution of this work lies in combining the research disciplines of di-
dactics and service engineering. The DSB shows how service design methods can be
combined with didactical requirements. The DSB, to the author’s best knowledge, is
the first method to analyze and re-design a blended learning scenario taking into ac-
count didactical as well as economic aspects. To instructors the dissertation offers re-
XI
quirements, guidelines, tools and proven implementation examples to raise learning
service quality in spite of limited temporal and personnel resources.
Keywords: E-Learning, Blended Learning, Service Engineering, Peer Learning, Ser-
vice Blueprint, Action Research.
XII
Inhaltsverzeichnis
1 Zusammenfassung ............................................................................................ VIII
Tabellenverzeichnis ............................................................................................... XVIII
Abkürzungsverzeichnis ........................................................................................... XIX
2 Einleitung ............................................................................................................... 1
3 Begriffsabgrenzung - Lehre als Lerndienstleistung ........................................... 5
4 Methodisches Vorgehen ........................................................................................ 7
4.1 Action Research als Grundlage .................................................................... 7
4.2 Realweltlicher Hintergrund des Action Research Projektes ..................... 8
5 Übersicht über die Publikationen ........................................................................ 9
6 Ergebnisse des Didaktischen Service Blueprint ............................................... 16
6.1 Anforderungen an qualitativ hochwertige Lerndienstleistungen ........... 17
6.2 Konzeption der Methode ............................................................................. 19
6.2.1 Analyse von Lerndienstleistungen mittels Blueprints ............................ 19
6.2.2 Ansätze ressourcenschonender, didaktisch hochwertiger Lehre ............ 23
6.2.3 Ausgestaltung des Service Blueprint zum Didaktischen Service
Blueprint ................................................................................................................ 24
6.3 Beispielhafte Umsetzung der Methode DSB .............................................. 29
6.3.1 Von den Lernenden erstellte eLearning Materialien .............................. 34
6.3.2 Re-Design der Präsenzvorlesung ............................................................ 36
6.3.3 Einführung neuer Testwerkzeuge ........................................................... 37
6.4 Evaluation der überarbeiteten Lerndienstleistung ................................... 38
6.5 Literatur ........................................................................................................ 44
7 Virtual Learning Communities: Success Factors and Challenges.................. 47
7.1 Introduction to Virtual Learning Communities ....................................... 48
7.2 Definitions and didactical basics ................................................................. 48
7.2.1 Definition of Virtual Learning Communities ......................................... 48
7.2.2 Educational, psychological and technological aspects ........................... 49
XIII
7.2.3 Measuring Virtual Learning Community success .................................. 50
7.3 Research framework .................................................................................... 50
7.3.1 Methodology and selection of literature ................................................. 50
7.3.2 Categorization scheme ............................................................................ 51
7.4 Results ........................................................................................................... 52
7.5 Discussion of results ..................................................................................... 55
7.6 Research challenges ..................................................................................... 59
7.7 Conclusion, limitations and outlook ........................................................... 61
7.8 References ..................................................................................................... 61
8 Analyse und Optimierung von Lehrdienstleistungen mittels Service
Blueprinting: Konzeption und erste empirische Befunde ....................................... 70
8.1 Einleitung ...................................................................................................... 71
8.2 Hintergrund und Definitionen .................................................................... 72
8.2.1 Bildung als Dienstleistung ...................................................................... 72
8.2.2 Service Blueprinting ............................................................................... 73
8.3 Service Blueprinting für Bildungsdienstleistungen .................................. 75
8.4 Umsetzung eines Fallbeispiels und erste empirische Befunde ................. 80
8.5 Zusammenfassung und Ausblick ................................................................ 82
8.6 Literatur ........................................................................................................ 83
9 Design and Evaluation of a Didactical Service Blueprinting Method for
Large Scale Lectures ................................................................................................... 86
9.1 Introduction .................................................................................................. 87
9.2 Theoretical Foundations and Related Work ............................................. 88
9.2.1 Designing valuable learning services ..................................................... 88
9.2.2 The Service Blueprint (SB) .................................................................... 89
9.2.3 Extending the SB – Design of the Didactical Service Blueprint (DSB) 90
9.3 Research Method .......................................................................................... 90
9.4 Concept of the Didactical Service Blueprint (DSB) .................................. 91
XIV
9.4.1 Challenges and Goals in Educating Large Classes ................................. 91
9.4.2 Analyzing and Informing Design ........................................................... 94
9.4.3 Principles to Guide the Process of Re-Design ........................................ 94
9.5 Application of the Method ........................................................................... 96
9.5.1 Background of the Action Research Project ........................................... 96
9.5.2 Analyzing the Current Situation ............................................................. 96
9.5.3 Re-Designing the Learning Service ........................................................ 98
9.6 Evaluation ................................................................................................... 104
9.7 Discussion of Results .................................................................................. 107
9.8 Conclusion, Limitations and Outlook ...................................................... 109
9.9 References ................................................................................................... 110
10 Steigerung von Interaktivität, Individualität und Lernerzufriedenheit in
einer universitären Massenveranstaltung durch mobile Endgeräte .................... 114
10.1 Mobile Learning in Massenlehrveranstaltungen .................................... 115
10.1.1 Begriffe und allgemeine Problemsituation ........................................... 115
10.1.2 Vorstellung der Fallstudie .................................................................... 117
10.2 Didaktisches und technisches Konzept .................................................... 118
10.2.1 Technische Anforderungen ................................................................... 118
10.2.2 Technische Infrastruktur ....................................................................... 118
10.2.3 Eingesetzte Lernmaterialien und Lernanwendungen ........................... 119
10.3 Evaluation ................................................................................................... 121
10.4 Schlussfolgerungen und Ausblick ............................................................. 125
10.5 Literaturverzeichnis ................................................................................... 127
11 Peer Creation of E-learning Materials to Enhance Learning Success and
Satisfaction in an Information Systems Course ..................................................... 129
11.1 Purpose ........................................................................................................ 130
11.2 Basics of peer learning, multimedia learning and peer creation ........... 131
11.2.1 Didactical basics of peer learning ......................................................... 131
11.2.2 Peer creation in educational contexts ................................................... 132
11.2.3 Principles for designing eLearning materials ....................................... 133
XV
11.3 Developing structured processes for eLearning peer creation .............. 133
11.3.1 Background of the research project ...................................................... 133
11.3.2 Adapting principles of peer learning to peer creation .......................... 134
11.4 Evaluation design and instruments .......................................................... 139
11.4.1 Measurement of satisfaction ................................................................. 139
11.4.2 Measurement of eLearning usage ......................................................... 139
11.4.3 Measurement of learning outcomes ...................................................... 139
11.5 Results ......................................................................................................... 140
11.5.1 Results with regard to students’ satisfaction ........................................ 140
11.5.2 Results with regard to students’ learning outcomes ............................. 142
11.6 Discussion of the results ............................................................................. 143
11.7 Summarization, limitations and conclusion ............................................ 144
11.8 References ................................................................................................... 146
12 Do Student-Instructor Co-Created eLearning Materials Lead To Better
Learning Outcomes? Empirical Results from a German Large Scale Course Pilot
Study ........................................................................................................................... 149
12.1 Introduction ................................................................................................ 150
12.2 Related work, didactical and economic context ...................................... 151
12.2.1 Understanding the learning process ...................................................... 151
12.2.2 Teaching as service delivery ................................................................. 152
12.3 Background of the Action Research project ........................................... 153
12.3.1 Methodological approach for the Action Research project .................. 153
12.3.2 Integrating students into content production ........................................ 155
12.4 Evaluation ................................................................................................... 158
12.4.1 Methodological Aspects ....................................................................... 158
12.4.2 Evaluating students’ satisfaction .......................................................... 159
12.4.3 Evaluating learning outcomes .............................................................. 160
12.5 Presentation of Results .............................................................................. 161
12.5.1 Results with regard to learning outcomes ............................................. 161
12.5.2 Results with regard to satisfaction ........................................................ 163
XVI
12.6 Discussion of results and limitations ........................................................ 165
12.7 References ................................................................................................... 167
13 Engineering Learning Services with the Didactical Service Blueprint ........ 172
13.1 Introduction ................................................................................................ 173
13.2 Theoretical Foundations of learning service engineering ...................... 175
13.2.1 Defining basic terms and concepts ....................................................... 175
13.2.2 Advancing service engineering principles to learning ......................... 175
13.2.3 Cognitive process levels to estimate complexity and strategic importance
176
13.2.4 The concept of peer-services ................................................................ 177
13.3 Concept of the Didactical Service Blueprint ........................................... 178
13.3.1 Methodological Approach .................................................................... 178
13.3.2 Overview ............................................................................................... 178
13.4 Application example .................................................................................. 182
13.4.1 Background ........................................................................................... 182
13.4.2 Applying the DSB ................................................................................. 182
13.5 Evaluation ................................................................................................... 189
13.6 Theoretical contribution and conclusion ................................................. 193
13.7 References ................................................................................................... 195
14 Theoretischer Beitrag der Dissertation ........................................................... 198
14.1 Didaktik und Service Engineering: Kombination zweier Domänen ..... 198
14.2 Adaption von Service Engineering Methoden auf die Lehre ................. 199
14.3 Methode zur Entwicklung von Blended Learning Arrangements ........ 199
14.4 Peer Creation als neue Form des Peer Learning .................................... 200
14.5 Integration von eLearning in Präsenzveranstaltungen .......................... 201
14.6 Implikationen für die Dienstleistungsentwicklung ................................. 201
15 Praktischer Beitrag der Dissertation ............................................................... 203
15.1 Anforderungen an didaktisch hochwertige Lerndienstleistungen ........ 203
XVII
15.2 Der DSB für Analyse und (Re-)Design von Massenveranstaltungen .... 203
15.3 Umsetzungsbeispiele für Massenveranstaltungen .................................. 204
15.4 IT-Werkzeuge zur Umsetzung der Methode ........................................... 204
15.5 Guideline und IT-Werkzeug zur Peer Creation ..................................... 205
16 Einschränkungen ............................................................................................... 206
17 Implikationen für die weitere Forschung ........................................................ 208
17.1 Weitere Ausarbeitung des DSB und seiner Umsetzung ......................... 208
17.2 Peer Learning Prozesse als effektive Workflows .................................... 209
17.3 Kollaborationsskripte für virtuelle Lerngemeinschaften ....................... 210
17.4 Entwicklung eines „Mass Lecture-Referenzmodells“ ............................ 211
17.5 Anwendung des DSB auf MOOCs ............................................................ 212
17.6 Analyse und Aufbereitung von Lernendendaten .................................... 212
17.7 Lehrevaluation aus Dienstleistungssicht .................................................. 214
Literaturverzeichnis ................................................................................................. 215
Vollständige Publikationsliste .................................................................................. 221
XVIII
Tabellenverzeichnis
Tabelle 1: Zuordnung der Publikationen zu Kapiteln der Dissertation ........................ 10
XIX
Abkürzungsverzeichnis
AR Action Research
ARCS Attention, Relevance, Confidence, Satisfaction
DIN Deutsches Institut für Normung
DSB Didactical Service Blueprint
EPOS Engineering Person-Oriented Services
FF Forschungsfrage
Info 1 Informationswirtschaft 1 – Einführung in die Wirtschaftsinformatik
IT Informationstechnologie(n)
LMS Lernmanagementsystem
MOOC Massive Open Online Course
OECD Organization for Economic Co-operation and Development
PAS Publicly Available Specification
SB Service Blueprint
SCORM Sharable Content Object Reference Model
UTAUT Unified Theory of Acceptance and Use of Technology
WBT Web Based Trainings
1
2 Einleitung
Der schulischen, hochschulischen und betrieblichen Aus- und Weiterbildung kommt
eine hohe Bedeutung für die wirtschaftliche Produktivität und damit den Wohlstand
einer Gesellschaft zu (OECD 2003). Gerade das Hochschulsystem leistet hierbei einen
wesentlichen Beitrag zur Bewältigung der Herausforderungen, welche aus demografi-
schem und wirtschaftlichem Wandel resultieren (Wissenschaftsrat 2006). Die laufen-
den jährlichen Ausgaben für einen Studierenden in Deutschland belaufen sich im
Durchschnitt auf 8.540 Euro (Brugger/Threin/Wolters 2012). Dies zeigt, dass es sich
bei der universitären Ausbildung um eine sehr kostenintensive Dienstleistung handelt.
Dennoch fordert der deutsche Wissenschaftsrat seit langer Zeit zusätzliche Mittel auf-
grund der von ihm konstatierten Unterfinanzierung des Hochschulsystems (Wissen-
schaftsrat 2006).
Eine mögliche Folge der wirtschaftlichen Zwänge in der Hochschullehre sind Massen-
veranstaltungen, in denen eine Lehrperson die Betreuung hunderter Studierende über-
nimmt. Solche Veranstaltungen sind jedoch oft sehr lehrendenzentriert. Es bleibt
wenig Raum für Fragen und Diskussionen, die Anwendung von Wissen und vor allen
Dingen individuelle Rückmeldungen der Lehrenden an die Studierenden. Die Folgen
sind eine mangelnde Aktivierung der Studierenden, niedrigere Teilnehmerzufrieden-
heit und geringerer Lernerfolg (Cuseo 2007). Eine ähnliche Problematik findet sich bei
den noch vergleichsweise jungen „Massive Online Courses.“ Hierbei handelt es sich
um online Kurse, die gegen geringe Gebühren oder kostenfrei angeboten werden. Das
bekannteste Beispiel ist ein Kurs zum Thema Künstliche Intelligenz, der von der Uni-
versität Stanford angeboten wurde. Nach Angaben des Anbieters hatten sich hierfür
über 160.000 Teilnehmer angemeldet, was den Bedarf nach Lernkonzepten für hohe
Lernendenmassen verdeutlicht. Zugleich wurde der Kurs jedoch „nur“ von 23.000
Lernenden erfolgreich abgeschlossen1. In der universitären Bildung wäre dies eine un-
zureichende Erfolgsquote. Ein Grund ist sicherlich darin zu sehen, dass online Ange-
bote ohne direktem Kontakt zu den Lehrenden sehr hohe Anforderungen an die
Lernenden, ihre Motivation und ihr Selbstmanagement stellen (Kop 2011).
1 Nachzulesen im online Angebot der „Zeit“. URL: http://www.zeit.de/studium/uni-leben/2012-01/udacity-thrun
2
Lehrende stehen zweifelsohne vor der Herausforderung, mit begrenzten Ressourcen,
insbesondere begrenzter Zeit, auch bei hohen Studierendenzahlen bestmögliche Teil-
nehmerzufriedenheit und Lernerfolg zu erreichen. Gängige didaktische Methoden der
Teilnehmeraktivierung wie angeleitete Gruppenarbeiten sind jedoch aufgrund ihres
Aufwands für hohe Lernendenzahlen nicht geeignet (Biggs/Tang 1999). Auch didakti-
sche Vorgehens- und Instruktionsmodelle wie die DIN-Norm PAS 1032 oder ARCS
(Keller 1987) blenden die Perspektive des Lehrenden und den Aufwandsgedanken in
der Regel komplett aus. Ihr Fokus liegt auf der Frage, wie die didaktische Qualität ei-
ner Lerndienstleistung gesteigert werden kann. Lehrenden fehlt es damit an geeigneter
Unterstützung, um didaktische Effektivität mit vertretbarem Erbringungsaufwand in
Einklang zu bringen. So ist unstrittig, dass die aktive Anwendung von erlernten Inhal-
ten in Übungsaufgaben mit einer individuellen Rückmeldung durch den Lehrenden aus
didaktischer Sicht sinnvoll ist. Bei hohen Lernendenzahlen sind jedoch viele Lehrende
zeitlich nicht mehr in der Lage, den Aufwand für Korrektur und Feedback von
Übungsaufgaben zu stemmen.
Um diese Lücke zu schließen, wird in dieser Dissertation eine Methode vorgestellt, mit
der Lerndienstleistungen für hohe Teilnehmerzahlen analysiert und trotz enger Res-
sourcenrestriktionen didaktischen Anforderungen entsprechend neu gestaltet werden
können. Dabei handelt es sich um den „Didactical Service Blueprint“ (DSB), eine
Weiterentwicklung des aus der Dienstleistungsforschung bekannten Service Blueprint
für den Lernbereich. Die Idee besteht darin, eine Lerndienstleistung in ihre Teilaktivi-
täten zu segmentieren, diese mit didaktischen Anforderungen abzugleichen, zu priori-
sieren und anschließend neu zu gestalten. Dabei unterstützen den Lehrenden
handlungsleitende Designprinzipien, welche insbesondere auf Konzepten des Peer
Learning und eLearning basieren.
Die Entwicklung des DSB folgt den typischen Phasen der Action Research (Sus-
man/Evered 1978; McKay/Marshall 2001). Den Anwendungsfall stellt eine universitä-
re Massenveranstaltung der Wirtschaftsinformatik über eine Dauer von acht Semestern
dar. Der DSB wird genutzt, um diese zu analysieren und Lösungsansätze für mehrere
didaktische Herausforderungen zu entwickeln, welche typisch für Massenveranstal-
tungen sind (Action Planning). Drei Herausforderungen werden adressiert. Die Erste
ist die mangelnde Aktivierung der Teilnehmenden in den Präsenzveranstaltungen,
welche aus der hohen Anzahl Studierender resultiert. Die Zweite ist die Tatsache, dass
die Teilnehmenden in hohem Maße dazu aufgefordert sind, selbstgesteuert zu lernen,
3
sie dafür jedoch auf didaktisch wenig effektive und anregende Selbstlernmaterialien
zurückgreifen müssen. Die dritte Herausforderung ist die Tatsache, dass die Teilneh-
menden keine ausreichende Gelegenheit bekommen, gelerntes Wissen anzuwenden, zu
testen und Rückmeldung zu ihren Fähigkeiten und Defiziten zu erhalten. Mit Hilfe des
DSB werden drei Lösungsansätze für diese Herausforderungen beispielhaft entwickelt
und umgesetzt (Action Taking). Zur Steigerung der Interaktivität in Präsenzveranstal-
tungen kommen Teilnehmeraktivierungen auf mobilen Endgeräten zum Einsatz. Die
Qualität der Selbstlernmaterialien wird durch studentisch generierte multimediale
Lerninhalte verbessert. Zudem erstellen die Teilnehmenden IT-gestützt Testfragen und
lösen Aufgaben gemeinsam in einem Forum, um ihnen mehr Möglichkeiten zu geben,
sich selbst zu testen. All diese Maßnahmen werden dabei mit dem Gedanken an die
begrenzten zeitlichen Ressourcen des Lehrenden im Hinterkopf umgesetzt. Die über-
arbeitete Lehrveranstaltung wird kontinuierlich evaluiert (Evaluating). Über die acht
Semester gesehen zeigt sich ein signifikanter Anstieg von Lernerfolg und Teilnehmer-
zufriedenheit, insbesondere in relevanten Bereichen wie der wahrgenommenen Inter-
aktivität. Die aus der Umsetzung und Evaluation gewonnenen Erkenntnisse fließen in
die Überarbeitung der Methode und die Verfeinerung der Umsetzung ein (Specifying
Learning).
Die Dissertation adressiert die folgenden Forschungsfragen:
FF1: Welche Anforderungen bestehen an qualitativ hochwertige Lerndienstleistungen?
FF2: Wie muss eine Methode für Analyse und (Re-)Design von Lerndienstleistungen
gestaltet sein, die hilft, diese Anforderungen auch bei hohen Teilnehmerzahlen umzu-
setzen?
FF3: Wie sehen Umsetzungsbeispiele der Methode in der Praxis universitärer Massen-
veranstaltungen aus?
FF4: Welche Schlussfolgerungen hinsichtlich Lernerfolg und Teilnehmerzufriedenheit
ergeben sich aus der Umsetzung?
Die Forschungsfragen werden im Rahmen einer kumulativen Dissertation beantwortet,
welche sich aus acht Hauptpublikationen sowie mehreren ergänzenden Beträgen zu-
sammensetzt (s. vollständige Publikationsliste im Anhang). Die restliche Arbeit ist wie
folgt strukturiert: Zunächst werden zentrale Begriffe zum Verständnis von Lernen als
4
Dienstleistung erläutert und abgegrenzt. Anschließend wird die der Arbeit zugrunde
liegende Forschungsmethode der Action Research genauer dargestellt. Im Anschluss
werden die Publikationen und ihre Kernergebnisse erläutert. Dann werden der theore-
tische und praktische Beitrag der Arbeit als Ganzes dargelegt gefolgt von einer Dar-
stellung der Einschränkungen. Die Arbeit schließt mit einem Ausblick auf zukünftige
Forschung, die auf den zuvor erläuterten Forschungsergebnissen aufbauen kann.
5
3 Begriffsabgrenzung - Lehre als Lerndienstleistung
Für ein besseres Verständnis der Publikationen soll in diesem Kapitel kurz erläutert
werden, welche Definitionen von Lernen, Lerndienstleistungen und Lerndienstleis-
tungsqualität den Arbeiten zugrunde liegen.
Nach Gagne bezeichnet Lernen eine dauerhafte Veränderung im Denken eines Men-
schen, welche zu verändertem Verhalten führt und auf Erfahrungen basiert (Gagne
1984). Findet das Lernen in einem festen institutionellen Rahmen statt, wird dies als
formales Lernen bezeichnet. Formales Lernen zeichnet sich u.a. dadurch aus, dass es
durch einen Lehrenden unterstützt wird, in einem festen zeitlichen Rahmen abläuft und
zu einer Form von Zertifizierung führt (Eraut 2004). Bei universitären Lehrveranstal-
tungen handelt es sich um formales Lernen. Der Aufbau neuen Wissens ist dabei ein
aktiver Prozess des Lernenden, welcher sein vorhandenes Wissen permanent mit sei-
ner Umwelt abgleicht und anpasst (Vygotsky 1988; Bodner 1986). Dem Lehrenden
kommt in diesem Kontext die Aufgabe zu, diejenigen Rahmenbedingungen zu schaf-
fen, welche das Lernen erleichtern. Er agiert somit als ein Dienstleister, die Lernenden
als seine Konsumenten. Im Gegensatz zu pädagogisch geprägten Begriffen wie dem
Lehr-Lern-Szenario stellt dieser Begriff mehrere Aspekte in den Vordergrund, welche
für das weitere Verständnis dieser Arbeit zentral sind. So stellt der Dienstleistungsbe-
griff heraus, dass Voraussetzung für das Lernen ein beiderseitig vorhandenes Potenzial
an Einsatzfaktoren ist (Schlutz 2006; Bitzer/Wegener/Leimeister 2010). Hierbei han-
delt es sich u.a. um die Zeit, das Fachwissen und die Lernmaterialien des Lehrenden
sowie Zeit, Motivation und kognitive Fähigkeiten des Lernenden. Die Kombination
der Faktoren findet im Rahmen des Lehr-Lern-Prozesses statt (Schlutz 2006). Bereits
der Begriff verdeutlicht, dass dieser Prozess unter aktiver Beteiligung des Lehrenden
sowie des Lernenden stattfindet. Unter den Lehr-Lern-Prozess fallen damit alle Tätig-
keiten, welche vom Lehrenden oder den Lernenden im Rahmen einer einzelnen Lern-
dienstleistung, im vorliegenden Fall einer universitären Lehrveranstaltung, erbracht
werden. Die Gestaltung dieses Lehr-Lern-Prozesses, die Festlegung von Lernzielen
und -aktivitäten, ist Gegenstand der Didaktik. Aus diesem Grund wird die in dieser
Arbeit vorgestellte Methode zur Analyse und Umgestaltung von Lerndienstleistungen
als Didaktischer Service Blueprint bezeichnet. Am Ende des Lehr-Lern-Prozesses ste-
hen Prozess- und Folgeergebnis (Meyer/Mattmüller 1987). Das Prozessergebnis ist
unmittelbar und liegt in der abschließenden Benotung oder Teilnahmezertifizierung
des Lernenden. Das Folgeergebnis ist langfristig und besteht im eigentlichen Lerner-
6
folg im Sinne einer dauerhaften Zunahme an Wissen und Kompetenzen. Die Betrach-
tung des Outputs einer Dienstleistung geht üblicherweise jedoch darüber hinaus, in-
dem neben der Qualität des Endergebnisses auch die Zufriedenheit des Konsumenten
betrachtet wird (Hipp et al. 2011), ein Ansatz, dem auch diese Dissertation folgt.
Für das Verständnis dieser Arbeit sind die folgenden Feststellungen wichtig: Sowohl
Input- als auch Output-Faktoren einer Lerndienstleistung sind vielfältig, der Fokus
dieser Arbeit liegt auf den Output-Faktoren Lernerfolg und Teilnehmerzufriedenheit.
Der Lernerfolg wird dabei durch die Klausur und damit als Prozessergebnis unmittel-
bar zum Ende der Lerndienstleistung erfasst. In Bezug auf den Input wird vorwiegend
der Zeitaufwand des Lehrenden betrachtet, da dieser einen besonders limitierten Ein-
satzfaktor darstellt. Zudem fokussiert die Arbeit klar auf die zwei unmittelbar an der
Erbringung einer einzelnen Lerndienstleistung beteiligten Parteien, den Lehrenden und
den Lernenden. Unter dem Begriff des Lehrenden (in den englischsprachigen Publika-
tionen wird der Begriff des Instructor benutzt) werden alle direkt an einer einzelnen
Lerndienstleistung auf Anbieterseite mitwirkenden Personen gefasst. Im vorliegenden
Fall sind dies in der Regel Professoren/-innen, wissenschaftliche Mitarbeiter/-innen
sowie studentische Tutoren/-innen. Mitarbeiter der Universitätsverwaltung, welche mit
Tätigkeiten wie der Pflege der IT-Infrastruktur sämtliche universitäre Lerndienstleis-
tungen unterstützen, werden aus Gründen der Komplexität ausgeblendet.
7
4 Methodisches Vorgehen
4.1 Action Research als Grundlage
Die Dissertation basiert auf dem Ansatz der Action Research (AR). Kennzeichnend
hierfür ist, dass das Forschungsvorhaben eng mit einer realen Problemstellung ver-
knüpft ist. In diesem Fall ist dies die Herausforderung, Lernerfolg und Teilnehmerzu-
friedenheit in einer universitären Massenveranstaltung der Wirtschaftsinformatik trotz
knapper zeitlicher Ressourcen zu steigern. Das Interesse, dieses praktische Problem zu
lösen, ist verknüpft mit dem wissenschaftlichen Erkenntnisinteresse (McKay/Marshall
2001) nach der systematischen Entwicklung didaktisch effektiver und zugleich wirt-
schaftlich tragfähiger Lerndienstleistungen.
Um das beschriebene Problem zu lösen, wird der für die AR typische Problemlösungs-
zyklus durchlaufen (Susman/Evered 1978). Zunächst werden Anforderungen an
hochwertige Lerndienstleistungen und spezifische Probleme in Massenveranstaltungen
analysiert. Diese erste Phase (Diagnosing) wird vorwiegend in FF1 behandelt. An-
schließend folgt die Planung der zu ergreifenden Maßnahmen (Action Planning). In
dieser Konzeptionsphase wird die Methode des DSB entwickelt (FF2). Es folgt die
eigentliche Umsetzung, d.h. die Entwicklung konkreter IT-Werkzeuge, Prozesse und
Lerninhalte und deren praktischer Einsatz in besagter Lehrveranstaltung als FF3 (Ac-
tion Taking). Diese wird kontinuierlich evaluiert, um so Schlussfolgerungen in Bezug
auf die Methode und ihre Umsetzung zu ziehen (Evaluation und Specifying Learning).
Dies ist Gegenstand der FF4.
Die einzelnen Publikationen dieser kumulativen Dissertation gehören damit alle zu
einem übergeordneten Action Research Projekt, adressieren aber in der Regel jeweils
vorwiegend nur bestimmte Phasen desselben. Die Methode des DSB als Kernbeitrag
wurde iterativ auf Basis der Evaluationen und Erfahrungen während des Projektes
entwickelt. Dies äußert sich darin, dass die Methode zunächst in Grundzügen präsen-
tiert (Wegener/Menschner/Leimeister 2010) und später ausgebaut
(Wegener/Menschner/Leimeister 2012) und verfeinert
(Wegener/Menschner/Leimeister 2013) wird.
Eine letzte wichtige Eigenschaft der AR liegt in der Tatsache, dass der Forscher in die
Problemsituation eingreift und mit anderen Beteiligten interagiert (Susman/Evered
1978). Im vorliegenden Fall fungierte der Verfasser der Arbeit sowohl als wissen-
8
schaftlicher Begleiter als auch als (Mit-)Gestalter der didaktischen Maßnahmen im
Rahmen der betrachteten Lehrveranstaltung. Er war jedoch nicht für die inhaltliche
Gestaltung der Veranstaltung und der Klausuren oder die Bewertung der Studierenden
verantwortlich. Dadurch sind eine größere Distanz zum Praxisproblem und damit eine
höhere Objektivität der Ergebnisse gewährleistet.
4.2 Realweltlicher Hintergrund des Action Research Projektes
Als reale Problemsituation dient in dieser Arbeit eine Lehrveranstaltung für Studieren-
de der Wirtschaftswissenschaften. Es handelt sich um die „Einführung in die Wirt-
schaftsinformatik“ (Info 1), die jedes Semester für rund 150 bis 300 Studierende
angeboten wird. Dabei handelt es sich um Bachelorstudierende unterschiedlicher Fach-
richtungen, vorwiegend der Wirtschaftswissenschaften, des Wirtschaftsrechts und des
Wirtschaftsingenieurswesens. Die Lehrveranstaltung wird von einem Professor, einem
wissenschaftlichen Mitarbeiter und vier studentischen Tutoren betreut. Sie besteht aus
einer Präsenzvorlesung mit ca. 13 Terminen (teilweise entfiel ein Termin aus organisa-
torischen Gründen), die jeweils 90 bzw. ab dem Sommersemester 2011 120 Minuten
dauern. Inhaltlich werden Grundlagenthemen der Wirtschaftsinformatik adressiert.
Hierzu zählen technische Themen wie Netzwerkstrukturen, wirtschaftliche Aspekte
wie Geschäftsmodelle im Internet sowie unterschiedliche Modellierungssprachen.
Letztere werden vertiefend in einem Tutorium behandelt. Die Studierenden können
sich zu einer von mehreren Tutoriumsgruppen anmelden, die aus jeweils bis zu 30 Per-
sonen bestehen. Jede Gruppe umfasst vier Termine von jeweils rund drei Stunden. In
den Tutorien steht die Anwendung von Modellierungstechniken im Vordergrund. Zum
Semesterende nehmen die Studierenden an einer Klausur teil, welche über ihre Endno-
te entscheidet. Die Analyse, Evaluation und Neugestaltung der Lehrveranstaltung be-
gann im Wintersemester 2008/2009 und wurde kontinuierlich fortgeführt bis zum
Sommersemester 2012. Die Inhalte der Veranstaltung blieben über diesen Zeitraum
weitestgehend konstant.
9
5 Übersicht über die Publikationen
Dieser Dissertation liegen vier forschungsleitende Fragestellungen zugrunde, die in
acht Publikationen sowie weiteren ergänzenden Beiträgen (s. komplette Literaturliste
am Ende) beantwortet werden. Die Publikationen bilden die nachfolgenden Kapitel
dieser Arbeit (Tabelle 1). In diesem Kapitel werden die acht Publikationen in Kürze
dargestellt.
Kapitel Publikation
6 Publikation 1: Wegener, R. (2013): Ergebnisse des Didaktischen Service
Blueprint. In: Leimeister, J.M. (Hrsg.): Working Paper Series, Nr. 3, Kas-
sel, Germany.
7 Publikation 2: Wegener, R. & Leimeister, J.M. (2012): Virtual Learning
Communities: Success Factors and Challenges. In: International Journal
of Technology Enhanced Learning (IJTEL) Vol. 4 (2012) Nr. 5/6, S. 383 -
397.
8 Publikation 3: Wegener, R.; Menschner, P. & Leimeister, J. M. (2010):
Analyse und Optimierung von Lehrdienstleistungen mittels Service
Blueprinting - Konzeption und erste empirische Befunde. In: Multikonfe-
renz Wirtschaftsinformatik (MKWI) 2010, Göttingen, Germany.
9 Publikation 4: Wegener, R.; Menschner, P. & Leimeister, J. M. (2012):
Design and evaluation of a didactical service blueprinting method for
large scale lectures. In: Proceedings of the International Conference on
Information Systems (ICIS), Orlando Florida, USA.
10 Publikation 5: Wegener, R.; Prinz, A.; Bitzer, P. & Leimeister, J. M.
(2011): Steigerung von Interaktivität, Individualität und
Lernerzufriedenheit in einer universitären Massenveranstaltung durch
mobile Endgeräte. In: DeLFI 2011, Dresden, Germany.
11 Publikation 6: Wegener, R. & Leimeister, J. M. (2012): Peer Creation of
E-Learning Materials to Enhance Learning Success and Satisfaction in an
Information Systems Course. In: Proceedings of the 20th European Con-
ference on Information Systems (ECIS 2012), Barcelona, Spain.
12 Publikation 7: Wegener, R. & Leimeister, J. M. (2012): Do Student-
Instructor Co-Created eLearning Materials Lead To Better Learning Out-
comes? Empirical Results from a German Large Scale Course Pilot Study.
10
In: 45. Hawaii International Conference on System Sciences (HICSS),
Hawaii, USA.
13 Publikation 8: Wegener, R.; Menschner, P.; Leimeister, J.M. (2013): En-
gineering Learning Services with the Didactical Service Blueprint. Zur
Begutachtung eingereicht.
Tabelle 1: Zuordnung der Publikationen zu Kapiteln der Dissertation Quelle: Eigene Darstellung
Publikation 1: Wegener, R. (2013): Ergebnisse des Didaktischen Service Blueprint. In:
Leimeister, J.M. (Hrsg.): Working Paper Series, Nr. 3, Kassel, Germany.
Dieser Beitrag fast die wichtigsten Ergebnisse des Forschungsvorhabens und damit der
anderen Publikationen zusammen. Designanforderungen und Designprinzipien werden
erläutert und die Anwendung des DSB am Beispiel dargestellt. Die Publikation zeigt
zudem wesentliche Ergebnisse der Evaluation auf. Aufgrund der Tatsache, dass Publi-
kation 1 die Ergebnisse der Dissertation im Kern wiedergibt und in ihrem Zusammen-
hang darstellt, wird diese im nachfolgenden Kapitel dargestellt, obwohl sie teilweise
auf den anderen Publikationen aufbaut.
Publikation 2: Wegener, R. & Leimeister, J.M. (2012): Virtual Learning Communities:
Success Factors and Challenges. In: International Journal of Technology Enhanced
Learning (IJTEL) Vol. 4 (2012) Nr. 5/6, S. 383 - 397.
Virtuelle Lerngemeinschaften sind Online-Plattformen, auf denen Personen mit dem
Ziel zusammenkommen, gemeinsam Wissen zu erwerben und zu tauschen. Sie stellen
oft eine wichtige Komponente von Lerndienstleistungen für hohe Teilnehmerzahlen
dar. Dabei ist insbesondere ihr Potenzial wichtig, eine große Anzahl Lernender zu ver-
netzen und durch asynchrone Kommunikationsmedien einen Wissensaustausch zu er-
lauben, der in Präsenzveranstaltungen so nicht möglich ist. Dies macht virtuelle
Lerngemeinschaften gerade auch vor dem Hintergrund von Effizienzgedanken in der
universitären Lehre interessant. Erfahrungen und wissenschaftliche Berichte zeigen
jedoch, dass viele dieser Gemeinschaften in Bezug auf Lernzufriedenheit und Lerner-
folg nicht immer erfolgreich sind. Häufig scheitern sie an mangelnder Interaktion der
Lernenden untereinander. Aus diesem Grund beschäftigt sich dieser Beitrag mit der
Frage, welche Faktoren ausschlaggebend für Erfolg oder Misserfolg virtueller Lern-
gemeinschaften sind. Die Identifikation dieser Faktoren ist Bestandteil der Anforde-
rungserhebung der FF1. Um die Frage zu beantworten, wird in dem Beitrag ein
11
strukturierter Literature Review (Webster/Watson 2002) über die bekannten Literatur-
datenbanken Business Source Premier, Science Direct und ERIC durchgeführt. Es
werden 64 relevante Studien identifiziert, analysiert und klassifiziert. Der Vergleich
der Studien zeigt, dass es jeweils drei zentrale Erfolgs- und Misserfolgsfaktoren gibt.
Erster Erfolgsfaktor ist ein starker Lehrender, welcher auf der Online-Plattform prä-
sent ist, indem er bspw. Fragen schnell beantwortet, Diskussionen leitet und Lernende
zum Engagement auffordert. Zweiter Erfolgsfaktor sind mehrmalige Präsenztreffen,
die den Teilnehmenden helfen, soziale Bindungen aufzubauen und sich besser kennen-
zulernen. Dritter Erfolgsfaktor sind strukturierte Kleingruppenaufgaben, in denen Ler-
nende sich ebenfalls besser kennenlernen können, konkrete Zielvorgaben haben und
Einzelbeiträge besser erkenntlich sind. Zu den größten Herausforderungen zählt ein
Mangel an gemeinsamen Zielen, welcher Lernende davon abhält, sich mit der Ge-
meinschaft zu identifizieren und Wissen zu teilen. Hinzu kommen technische Proble-
me, welche den Zugang zur Online-Plattform erschweren sowie Gefühle von Scham
und Zurückhaltung. Diese können aufgrund der hohen Mitgliederzahl von Lernge-
meinschaften entstehen, aber auch durch eine generelle Angst davor, andere zu kriti-
sieren oder selbst kritisiert zu werden. Aus den Ergebnissen folgt, dass Lehrende nur
mit hohem zeitlichen Aufwand eine didaktisch erfolgreiche virtuelle Lerngemeinschaft
aufbauen können. Dies entspricht damit weitestgehend den Anforderungen an die tra-
ditionelle Präsenzlehre, in der ebenfalls Lernende durch strukturierte Aufgaben und
messbare Eigenbeiträge zur aktiven Teilnahme angeregt werden müssen.
Publikation 3: Wegener, R.; Menschner, P. & Leimeister, J. M. (2010): Analyse und
Optimierung von Lehrdienstleistungen mittels Service Blueprinting - Konzeption und
erste empirische Befunde. In: Multikonferenz Wirtschaftsinformatik (MKWI) 2010,
Göttingen, Germany.
In diesem Beitrag wird der Grundstein zur FF2 gelegt, indem als Ansatz zur Analyse
und Gestaltung einer Lerndienstleistung der aus dem Service Engineering bekannte
Service Blueprint eingesetzt wird. Mit Hilfe des Service Blueprint wird eine universi-
täre Massenveranstaltung der Wirtschaftsinformatik segmentiert, visualisiert und ana-
lysiert. Dabei werden die Teilaktivitäten in Bezug auf Möglichkeiten zur Reduzierung
des zeitlichen Aufwands des Lehrenden hin untersucht. Als erstes Anwendungsbei-
spiel wird dargestellt, wie die Aktivität der Lernmaterialerstellung vom Lehrenden hin
zu den Lernenden verlagert werden kann, ohne dass dies die Lernzufriedenheit negativ
beeinträchtigt. Die Anwendung der Service Blueprint Methode am Beispiel zeigt zu-
12
dem, dass diese durchaus dazu geeignet ist, Lerndienstleistungen zu visualisieren und
zu analysieren. Damit bietet sie sich als Basis zur weiteren Entwicklung einer Methode
für Analyse und (Re-)Design von Lerndienstleistungen an.
Publikation 4: Wegener, R.; Menschner, P. & Leimeister, J. M. (2012): Design and
evaluation of a didactical service blueprinting method for large scale lectures. In:
Proceedings of the International Conference on Information Systems (ICIS), Orlando
Florida, USA.
Der im vorangehenden Beitrag benutzte Service Blueprint wird in dieser Publikation
erstmalig speziell an den Lernbereich angepasst und ausgebaut zum Didaktischen Ser-
vice Blueprint (DSB). Das Vorgehen orientiert sich dabei an der Methode zur Ent-
wicklung personenorientierter Dienstleistungen nach Menschner und Leimeister
(Menschner/Leimeister 2012). Der DSB beinhaltet didaktische Designziele, um die
unterschiedlichen Formen der Interaktion im Lerndienstleistungsprozess zu verbes-
sern. Hierzu zählen die Interaktion zwischen Lernenden untereinander, zwischen Ler-
nenden und Lehrenden sowie Lernenden und Lerninhalten. Hinzu kommen
Designprinzipien, welche helfen sollen, die didaktischen Designziele mit vertretbarem
Ressourcenaufwand zu erreichen. Hierzu zählt die Standardisierung oder Automatisie-
rung organisationaler Prozesse oder die Auslagerung von Aktivitäten an die Lernen-
den, sofern diese selbst über das nötige Wissen verfügen. Auf Basis der Designziele
und -prinzipien werden mehrere Umsetzungsbeispiele aus der Lehrveranstaltung Info
1 vorgestellt, bspw. die Erstellung von Lernmaterial durch die Lernenden oder der
Einsatz von mobilen Lernanwendungen zur Steigerung der Interaktivität in den Vorle-
sungen. Diese werden in den nachfolgenden Publikationen detaillierter erläutert. Der
Beitrag zeigt erstmalig auf, wie der traditionelle Service Blueprint für Lerndienstleis-
tungen ausgestaltet werden kann. Die Anwendung der Methode am Beispiel der Info 1
zeigt, dass diese geeignet ist, Lerndienstleistungen zu analysieren und im Hinblick auf
didaktische Qualität und Ressourceneffizienz neu zu gestalten. Erste empirische Er-
gebnisse deuten dabei auf signifikante Verbesserungen in Lernzufriedenheit und Lern-
erfolg hin.
Publikation 5: Wegener, R.; Prinz, A.; Bitzer, P. & Leimeister, J. M. (2011): Steige-
rung von Interaktivität, Individualität und Lernerzufriedenheit in einer universitären
Massenveranstaltung durch mobile Endgeräte. In: DeLFI 2011, Dresden, Germany.
13
Die vorangegangenen Publikationen verweisen bereits darauf, dass die Aktivierung der
Lernenden zentral für Lernzufriedenheit und Lernerfolg ist. Zudem wurde gezeigt,
dass Präsenzveranstaltungen von besonderer Wichtigkeit sind, da sich hier soziale
Kontakte bilden und zudem Studierende in der Vorlesung den einzigen direkten Kon-
takt zum Lehrenden im Lerndienstleistungsprozess haben. Zugleich leiden Vorlesun-
gen mit hoher Teilnehmerzahl jedoch oftmals darunter, stark lehrendenzentriert zu sein
und wenig Raum zur Interaktion zu bieten. Dies trifft zunächst auch auf die Info 1 zu,
weshalb ein wesentlicher Aspekt der Neugestaltung der Lehrveranstaltung in einer
Aufwertung der Präsenzvorlesung liegt. In diesem Beitrag wird dargestellt, wie mit
mobilen Endgeräten die Interaktivität in der Vorlesung gesteigert werden kann. Hierzu
werden zwei Lernanwendungen entwickelt und eingesetzt: Bei der Peer Discussion
handelt es sich um ein Abstimmungswerkzeug auf Basis der Peer Instruction Methode
(Crouch/Mazur 2001). Die zweite Lernanwendung trägt den Namen Co-Create Your
Exam. Dabei erstellen die Lernenden Wahr-Falsch-Aussagen zu den Inhalten der Vor-
lesung, die ihre Kommilitonen lösen müssen. Die Aufgabe dient der Reflexion im Sin-
ne einer aktiven Pause (Olmsted III 1999). Die beiden Lernanwendungen sind ein
Beispiel für die Umsetzung des DSB (FF3). Durch den Einsatz von IT, sowie die star-
ke Beteiligung der Lernenden entsteht für den Lehrenden kein erhöhter Lehraufwand.
Dennoch deuten die Evaluationsergebnisse einer Onlinebefragung bereits an dieser
Stelle darauf hin, dass die Lernanwendungen als Bereicherung der Veranstaltung
wahrgenommen werden.
Publikation 6: Wegener, R. & Leimeister, J. M. (2012): Peer Creation of E-Learning
Materials to Enhance Learning Success and Satisfaction in an Information Systems
Course. In: Proceedings of the 20th European Conference on Information Systems
(ECIS 2012), Barcelona, Spain.
Als zweites Umsetzungsbeispiel des DSB (FF3) wird in diesem Beitrag dargestellt,
wie Lernende in die Erstellung multimedialer Lernmaterialien eingebunden werden
können. Massenveranstaltungen wie die Info 1 weisen meist einen hohen Anteil an
Selbstlernphasen auf. Damit diese effektiv sind, benötigen die Lernenden jedoch an-
sprechende Lernmaterialien. Gerade die Erstellung multimedialer Selbstlernmateria-
lien wie Web Based Trainings, die kognitiv möglicherweise deutlich effektiver als
traditionelle Lehrbücher sind, erweist sich jedoch als äußerst zeitintensiv. Aus diesem
Grund bietet es sich an, die Lernenden selbst in die Erstellung der Materialien einzu-
beziehen. Dazu werden sechs zentrale Prinzipien des Peer Learning identifiziert und
14
auf das Konzept der Peer Creation, also die Erstellung von Lernmaterial von Lernen-
den für Lernende, übertragen. Auf deren Basis werden anschließend zwei strukturierte
Prozesse der Peer Creation entwickelt und umgesetzt. Zum einen entwickeln Lernende
der Info 1 Peer Assessment Aufgaben mittels der zuvor erwähnten Lernanwendung
Co-Create Your Exam. Zum anderen entwerfen Lernende unter Anleitung des Lehren-
den in einem Web Engineering Seminar Web Based Trainings, die ebenfalls in der
Info 1 eingesetzt werden. Die Nutzung dieser Lernmaterialien wird über User Logs des
Lernmanagementsystems der Info 1 erfasst. Mittels eines Online-Fragebogens und
eines Pre- und Post-Tests werden zudem Lernzufriedenheit und Lernerfolg gemessen.
Es kann eine signifikante Korrelation zwischen der Nutzung der von Lernenden er-
stellten Lernmaterialien und sowohl Lernerfolg als auch Lernzufriedenheit nachgewie-
sen werden. Dies deutet darauf hin, dass das Konzept der Peer Creation funktioniert
und die Beteiligung der Lernenden an der Materialerstellung tatsächlich zur Qualität
der Lehrveranstaltung trotz begrenzter Ressourcen beitragen kann.
Publikation 7: Wegener, R. & Leimeister, J. M. (2012): Do Student-Instructor Co-
Created eLearning Materials Lead To Better Learning Outcomes? Empirical Results
from a German Large Scale Course Pilot Study. In: 45. Hawaii International Confer-
ence on System Sciences (HICSS), Hawaii, USA.
Die in den vorigen Publikationen vorgestellten Umsetzungsbeispiele werden in diesem
Beitrag zusammenfassend dargestellt und über vier Semester evaluiert (FF4). Die Eva-
luation geschieht mittels Online-Fragebogen und durch Vergleich der Klausurergeb-
nisse. Neben der Lehrveranstaltung insgesamt werden in den Fragebögen auch speziell
die von den Lernenden selbst erstellten Lernmaterialien bewertet. Während im ersten
Semester noch keinerlei studentisch generierte Web Based Trainings zum Einsatz ka-
men, waren es im vierten Semester schon18 Stück. Die Ergebnisse zeigen signifikante
Verbesserungen von Zufriedenheit und Lernerfolg auf. Die studentisch erstellten
Lernmaterialien erhalten zudem deutlich überdurchschnittliche Bewertungen, was auf
die Wirksamkeit der Peer Creation zur Umsetzung des DSB hindeutet.
Publikation 8: Wegener, R.; Menschner, P.; Leimeister, J.M. (2013): Engineering
Learning Services with the Didactical Service Blueprint. Zur Begutachtung einge-
reicht.
In diesem Beitrag wird der bereits in Publikation 4 vorgestellte DSB hinsichtlich der
Designziele und -prinzipien noch einmal auf Basis der identifizierten Anforderungen
15
(FF1) überarbeitet und in finaler Form präsentiert (FF2). Die drei Umsetzungsbeispiele
werden zusammengefasst (FF3) und die Ergebnisse der Langzeitevaluation dargestellt
(FF4). Die Auswertung der insgesamt acht Semester zeigt einen signifikanten Anstieg
von Lernerfolg, gemessen an den Klausurergebnissen und der Lernzufriedenheit, wel-
che mittels Online-Fragebögen erfasst wurde. Es zeigen sich bei intaktem Gesamttrend
dennoch teilweise starke Schwankungen in der Evaluation. Es ist zu vermuten, dass
diese zumindest in Teilen auf externe Faktoren wie dem Wechsel der Lehrpersonen,
neuen Inhalten oder der Einführung mobiler Endgeräte zurückzuführen sein könnten.
Die insgesamt klar positiven Ergebnisse deuten jedoch darauf hin, dass die Anwen-
dung des DSB die Qualität der Lehrveranstaltung nachhaltig steigern konnte.
16
6 Ergebnisse des Didaktischen Service Blueprint
René Wegener
Abstract: Der Didaktische Service Blueprint (DSB) stellt eine Methode dar, um Lern-
dienstleistungen zu analysieren und neu zu gestalten. Er soll Lehrende unterstützen,
didaktisch hochwertige Angebote möglichst ressourceneffizient zu erbringen. Zu die-
sem Zweck kombiniert die Methode Ansätze des Service Engineering mit Erkenntnis-
sen des Peer Learning und des eLearning. Der DSB wurde in einem Action Research
Projekt mit dem Fokus universitärer Massenveranstaltungen über einen Zeitraum von
acht Semestern entwickelt und kontinuierlich evaluiert. Die Ergebnisse deuten darauf
hin, dass er auch bei knappen personellen Ressourcen zu einer Qualitätssteigerung der
Lehre beitragen kann.
Keywords: Service Blueprint, Service Engineering, eLearning, Peer Learning.
Please quote as: Wegener, R. (2013): Ergebnisse des Didaktischen Service Blueprint.
In: Leimeister, J.M. (Hrsg.): Working Paper Series, Nr. 3, Kassel Germany.
17
6.1 Anforderungen an qualitativ hochwertige Lerndienstleistungen Ausgangspunkt des Forschungsvorhabens ist die Frage nach den Anforderungen an
hochwertige Lerndienstleistungen. Obwohl es schwierig ist, allgemeingültige Anforde-
rungen festzulegen, können in der Literatur doch übereinstimmend zentrale Merkmale
festgestellt werden, welche die didaktische Qualität einer Lerndienstleistung entschei-
dend beeinflussen. Im Rahmen einer Auswertung mehrerer Studien und Durchführung
eines eigenen Literature Reviews (Wegener/Leimeister 2012) konnten insgesamt sechs
unterschiedliche Ziele bestimmt werden, welche dem Design einer Lerndienstleistung
zugrunde liegen sollten (Tabelle 1). Die Tabelle zeigt die sechs Designziele und die
Studien, welche diese bestätigen. Im Kern geht es darum, Lernende zu aktivieren und
ihnen reichhaltige und strukturierte Interaktionsmöglichkeiten zu schaffen. Sie müssen
dazu aufgefordert werden, Wissen und Fähigkeiten anzuwenden, und benötigen re-
gelmäßige Rückmeldungen hinsichtlich ihres Lernerfolgs, damit sie ihre Defizite auf-
arbeiten können. Die Designziele werden nachfolgend erläutert und in konkretere
Designanforderungen heruntergebrochen, die mit Req. 1 (für das englische Wort
Requirements) bis Req. 8 durchnummeriert werden.
Chi
cker
ing
et a
l. C
imer
E
CS
P
rinc
e W
egen
er e
t al.
Aktives Lernen: Interaktion durch Übungen, Diskussionen, Projekte etc. x x x x
Peer Learning: Kooperation und Kollaboration fördern x x x x x
Feedback: Regelmäßige Übungen und schnelles Feedback x x x x
Diversität: Unterschiedliche Talente und Vorlieben respektieren x x x
Time-on-Task: Meiste Lernzeit für präzise, strukturierte Lernaktivitäten x x x
Face-to-Face Interaktion: Lernende auch im Klassenraum aktivieren x x x
Tabelle 1. Designziele für hochwertige Lerndienstleistungen Quelle: Eigene Darstellung.
Aktives Lernen: Lehrende sollten eine Vielfalt an Lernaktivitäten integrieren,
die das aktive Mitwirken des Lernenden fordern (Req1). Für selbstgesteuerte
Lernphasen, wie sie in universitären Massenveranstaltungen unausweichlich
18
sind, sollten anregende und kognitiv effektive Selbstlernmaterialien zur Verfü-
gung gestellt werden (Req2).
Peer Learning: Lernende sollten Gelegenheit zum gemeinschaftlichen Lernen
erhalten. Peer Learning Aktivitäten sollten auf klaren Strukturen (Aufgaben,
Meilensteinen und Zeitvorgaben) basieren. Lernende sollte für Ergebnisse Ver-
antwortung tragen. Zudem sollten die Lernenden bei Bedarf ausreichend vorbe-
reitet werden (z.B. für Peer Tutoring Aktivitäten). Der Lehrende sollte die
Aktivitäten kontinuierlich beobachten und unterstützen (Req3).
Feedback: Lernende müssen ihr Wissen und ihre Fähigkeiten in Übungsszena-
rien anwenden können, auf die sie individuelles Feedback erhalten (Req4).
Auch außerhalb von Aufgaben und Tests müssen Lernende mit dem Lehrenden
schnell in Kontakt treten und Fragen klären können (Req5).
Diversität: Der Diversität an Vorerfahrungen, Vorlieben und Lernstilen kann
durch eine Vielfalt an Lernmaterial und Lernaktivitäten Rechnung getragen
werden (Req6).
Time-on-Task: Die meiste Zeit im Lernprozess sollte für Aufgaben zur Verfü-
gung stehen, die durch klare Erwartungen, Termine und Beiträge gekennzeich-
net sind (Req7).
Interaktion im Vorlesungssaal: Die Aktivierung der Lernenden sollte auch bei
hohen Teilnehmerzahlen in den Präsenzveranstaltungen stattfinden, da dies
oftmals den einzigen direkten Kontakt zwischen Lernenden und Lehrenden dar-
stellt (Req8).
In Summe ergeben sich acht Anforderungen, welche qualitativ hochwertige Lern-
dienstleistungen erfüllen sollten (Tabelle 2).
19
Req1 Implementierung einer Vielfalt didaktischer Aktivitäten, welche das individuelle Engagement aller Lernenden erfordern
Req2 Selbstlernmaterialien sind kognitiv effektiv, abwechslungsreich, bieten Interaktion und Übungsmöglichkeiten
Req3 Peer Learning Aktivitäten sind strukturiert, basieren auf überprüfbaren individuel-len Beiträgen, Verantwortung des Einzelnen und der Unterstützung des Lehrenden
Req4 Den Lernenden werden Aktivitäten angeboten, welche erlauben, Wissen und Fä-higkeiten anzuwenden, zu testen und Rückmeldung zu erhalten
Req5 Die Kontaktpunkte fördern Interaktion und schnelle Unterstützung Req6 Optionale Lernaktivitäten unterstützen unterschiedliche Lernvorlieben Req7 Time-on-task wird unterstützt durch feste Strukturen, Übungen, und/oder Förde-
rung meta-kognitiver Fertigkeiten Req8 Interaktionsfördernde Maßnahmen werden direkt im Vorlesungssaal integriert
Tabelle 2. Designanforderungen für Lerndienstleistungen Quelle: Eigene Darstellung
Eine Betrachtung der Anforderungen aus Sicht des Lehrenden zeigt, dass deren Um-
setzung mit einem hohen personellen und zeitlichen Aufwand verbunden ist. Feed-
backs sind bspw. individuell für jeden Lernenden zu erstellen. Peer Learning
Aktivitäten müssen überwacht, betreut und unterstützt werden. Anregende, multimedi-
ale Lernmaterialien wiederum sind in der Erstellung aufwendig und teuer. Aus diesem
Grund stellt sich die Frage, wie die Anforderungen auch bei beschränkten Kapazitäten
noch bestmöglich umgesetzt werden können. Genau diese Frage adressiert die Metho-
de des Didaktischen Service Blueprint, dessen Konzept nachfolgend vorgestellt wird.
6.2 Konzeption der Methode
6.2.1 Analyse von Lerndienstleistungen mittels Blueprints
Wie bereits eingangs erläutert, ist die Erbringung einer didaktisch hochwertigen Lern-
dienstleistung mit einem hohen Aufwand für den Lehrenden verbunden. Um die Quali-
tät einer gegebenen Lerndienstleistung trotz begrenzter Ressourcen zu steigern, bedarf
es einer genauen Analyse der einzelnen Aktivitäten im Lerndienstleistungsprozess, der
Priorisierung der didaktisch wichtigsten Aktivitäten und nicht zuletzt innovativer We-
ge, einzelne Aktivitäten neu zu gestalten. Dabei ist es nötig, sowohl die Sicht des Ler-
nenden als auch des Lehrenden zu erfassen. Dies bedeutet zugleich, nicht alleine die
eigentlichen Lernaktivitäten wie Vorlesungen oder Übungsaufgaben zu erfassen, son-
dern auch die dafür nötigen Handlungen auf Lehrendenseite wie die Lernmaterialer-
stellung oder Korrektur von Aufgaben.
20
Einen Ansatz hierzu bietet der aus der Dienstleistungsforschung bekannte Service
Blueprint. Das Konzept, den Blueprint in den Bereich von Lerndienstleistungen zu
übertragen, wird in (Wegener, Menschner et al. 2010) vorgestellt. Ein Service
Blueprint ist eine zweidimensionale Darstellung eines Dienstleistungsprozesses und
geht auf Arbeiten von Shostack zurück (Shostack 1984). Einzelne Teilaktivitäten sei-
tens Anbieter und Kunde werden dabei auf der horizontalen Achse chronologisch sor-
tiert. Die vertikale Achse repräsentiert, wie stark jeweils Kunde (oben) und
Dienstleister (unten) in die Aktivitäten involviert sind. Einzelne Linien unterteilen da-
bei bestimmte Formen von Aktivitäten. Oberhalb der „Line of Interaction“ befinden
sich bspw. Aktivitäten, welche vom Kunden alleine durchgeführt werden. Aktivitäten
auf dieser Linie werden von beiden gemeinsam erbracht und solche darunter nur vom
Dienstleister. Diese Darstellung spielt in der Analyse einer Dienstleistung eine wichti-
ge Rolle. Aktivitäten, welche nur vom Kunden erbracht werden, sind bspw. für den
Dienstleister sehr kostengünstig. Im Gegenzug hat der Dienstleister hier jedoch gerin-
geren Einfluss auf das Ergebnis. Dadurch steigt bspw. die Gefahr, dass kundenseitige
Aktivitäten nicht die nötige Ergebnisqualität aufweisen. Dies ist auch im didaktischen
Bereich der Fall. Selbstlernaktivitäten zum Beispiel sind zwar kostengünstig, das ge-
wünschte Lernergebnis kann jedoch aufgrund mangelnden Einsatzes oder eines
schlechten Selbstmanagements ausbleiben. Die Linien, welche die Interaktionsebenen
trennen, sind die folgenden (Wegener, Menschner et al. 2010):
„Line of Interaction“: Trennt die rein vom Lernenden durchgeführten Aktivitä-
ten wie Selbstlernphasen (oberhalb) von Aktivitäten des Lehrenden bzw. des
Lerndienstleisters (unterhalb). Gemeinsam durchgeführte Handlungen befinden
sich direkt auf dieser Linie.
„Line of Visibility“: Trennt die für den Lernenden unsichtbaren Aktivitäten von
den sichtbaren. Sichtbare Handlungen wie die Durchführung der Vorlesung
wirken sich aufgrund des persönlichen Kontaktes in der Regel stärker auf die
Qualitätswahrnehmung aus.
„Line of Internal Interaction“: Trennt zwischen Front- und Back-Office Aktivi-
täten. Erstere werden oft noch kundenindividuell durchgeführt, bspw. das Be-
antworten von Mails, während Letztere nicht mehr auf individueller
Kundenbasis durchgeführt werden, bspw. das Erstellen von Lernmaterial.
21
„Line of Implementation“: Hierunter liegen Aktivitäten des Managements bzw.
des für die Lerndienstleistung Verantwortlichen. Dies kann bspw. das Setzen
der Lernziele der Lerndienstleistung umfassen oder die Anstellung der Mitar-
beiter.
Die Verwendung des Service Blueprint bietet mehrere Vorteile für die Analyse einer
Lerndienstleistung. Der komplexe Erbringungsprozess wird visualisiert, seine wich-
tigsten Bestandteile erfasst und voneinander abgegrenzt. Dadurch lassen sich leichter
einzelne Teile des Prozesses analysieren. Die Abbildung 1 stellt den Blueprint der
Vorlesung „Einführung in die Wirtschaftsinformatik“ (Info 1) dar, welche semester-
weise angeboten und von 150 bis knapp 300 Studierenden besucht wird. Zunächst
melden sich die Studierenden für den Kurs an. Sie nutzen die Lernmaterialien in Form
eines Skriptes und Videoaufzeichnungen zur Vor- und Nachbereitung der Präsenzvor-
lesungen. Ähnlich verläuft dies für die Tutorien. Die Studierenden besuchen vier
Tutoriensitzungen, die jeweils rund drei Stunden dauern. Da es ein Dutzend
Tutoriengruppen gibt, ist die Teilnehmerzahl hier auf 30 Lernende begrenzt. Inhaltlich
konzentrieren sich die Tutorien auf methodisches Wissen, insbesondere Modellie-
rungstechniken wie Entity-Relationship-Modelling. Bei Fragen können die Studieren-
den den Dozenten per Mail oder in der Sprechstunde kontaktieren. Nachrichten und
Updates werden an alle Teilnehmenden über das eingesetzte Lernmanagementsystem
(LMS) Moodle versendet. Aus Sicht des Lehrenden fallen weitere Aufgaben an. Hie-
runter fällt das Festlegen der Lernziele und des grundsätzlichen didaktischen Designs,
die Einstellung der Tutoren, das Anlegen des virtuellen Kurses im LMS, Design und
Upload der Lernmaterialien sowie Beantworten von Fragen und Klären organisationa-
ler Aspekte. Während einiger dieser Aktivitäten vom Professor selbst erbracht werden,
liegen andere in Verantwortung des zusätzlichen wissenschaftlichen Mitarbeiters und
der Tutoren.
22
Abbildung 1: Service Blueprint der Info 1 Quelle: Eigene Darstellung
Die Darstellung weist aus didaktischer Sicht eine wichtige Einschränkung auf. Alle
Formen von Aktivitäten, die von einem oder mehreren Lernenden gemeinsam erbracht
werden, befinden sich oberhalb der Line of Interaction. Damit entfällt eine Unter-
scheidung zwischen selbstgesteuerten und kooperativ erbrachten Lernaktivitäten. Für
23
viele Dienstleistungen ist die Frage, ob eine Aktivität von einem oder mehreren Kun-
den erbracht wird, irrelevant, da dies aus Sicht des Dienstleisters zunächst keinen Un-
terschied macht. Bei Lerndienstleistungen verhält sich dies aber anders, da
selbstgesteuerte und kooperative Lernformen sich hinsichtlich ihrer didaktischen An-
forderungen und der Notwendigkeit von Steuerung und Strukturierung unterscheiden.
Kooperative Lernformen bieten bspw. die Möglichkeit für den Austausch untereinan-
der und können Lernende zusätzlich motivieren, zugleich können jedoch auch soziale
Konflikte auftreten oder die Gruppenmitglieder schaffen es nicht, ihre Gruppenar-
beitsprozesse zu strukturieren. Entsprechend sollten beide Lernformen getrennt analy-
siert und damit auch im Service Blueprint unabhängig voneinander dargestellt werden.
Zu diesem Zweck wird dem Service Blueprint die „Line of Peer Interaction“ oder
„Consumer Interaction“ hinzugefügt (Wegener, Menschner et al. 2012). Diese befindet
sich oberhalb der Line of Interaction und trennt rein selbstgesteuerte Lernaktivitäten
(oberhalb) von kooperativen oder kollaborativen Aktivitäten (unterhalb). Durch die
zusätzliche Linie lassen sich die didaktisch wichtigsten Interaktionsformen (zwischen
Lernenden und Lernenden, Lernenden und Lerninhalten sowie Lernenden und Lehren-
den) unterscheiden, wodurch der Service Blueprint besser zur Visualisierung von
Lerndienstleistungen eingesetzt werden kann. Ihre Anwendung wird später dargestellt.
6.2.2 Ansätze ressourcenschonender, didaktisch hochwertiger Lehre
Der Service Blueprint erleichtert mit der Segmentierung und Visualisierung die Analy-
se komplexer Lerndienstleistungen. Diese jedoch so umzugestalten, dass sie didakti-
schen Anforderungen besser gerecht werden, ohne dass ein hoher zusätzlicher
Ressourcenbedarf entsteht, ist eine große Herausforderung. Die vorgestellten Anforde-
rungen wie regelmäßiges und zeitnahes Feedback gehen oftmals mit hohem Aufwand
einher. Es existieren jedoch zumindest zwei wesentliche Trends in der Lehr-Lern-
Forschung, welche Ansätze bieten, das Problem zu lösen, nämlich Peer Learning und
eLearning.
Peer Learning bezeichnet das Lernen von und mit Gleichgestellten. Hierzu zählt bspw.
das Peer Tutoring, in dem Schülerinnen und Schüler höherer Jahrgangsstufen Inhalte,
die sie bereits erlernt haben, jüngeren Schülerinnen und Schülern vermitteln. Mehrere
Studien haben bereits das Potenzial von unterschiedlichen Formen des Peer Learning
sowohl aus didaktischer als auch wirtschaftlicher Sicht aufgezeigt (Damon 1984;
Levin, Glass et al. 1987). Für den Lehrenden liegt der Vorteil darin, dass Fragen und
24
Probleme zumindest teilweise von den Lernenden untereinander geklärt werden. Ler-
nende wiederum profitieren in zweifacher Hinsicht: Als Tutoren reflektieren sie Lern-
inhalte oftmals tiefer als zuvor und trainieren zugleich Fähigkeiten wie Sprache und
Argumentation (Topping 1996; Topping 2005). Man spricht in diesem Falle auch von
„Lernen durch Lehren“ (Grzega and Schöner 2008). Als Schüler eines Tutors wiede-
rum haben sie einen Ansprechpartner, der ihre individuellen Probleme ggf. besser
nachvollziehen kann und leichter erreichbar ist als der professionelle Lehrende.
eLearning im Sinne multimedialer Selbstlernmaterialien bietet den Vorteil, dass Inhal-
te auf vielfältige Weise aufbereitet werden können. Web Based Trainings etwa können
interaktive Aufgaben beinhalten, den Lernenden mit direktem Feedback versorgen
oder Inhalte bspw. mit Animationen kognitiv effektiver vermitteln als Bücher (Mayer
and Moreno 2002). Die Erstellungskosten sind zwar für gewöhnlich sehr hoch, bei
hohen Nutzerzahlen fallen jedoch die Kosten für den einzelnen Lernenden entspre-
chend (Bates 2005). Bestimmte Lernmaterialien wie bspw. Videos lassen sich zudem
teilweise schon zu sehr geringen Kosten anfertigen. Das Potenzial multimedialer
Lernmaterialien für kosteneffizientes und dennoch didaktisch effektives Lernen konnte
daher bereits nachgewiesen werden (Twigg 1999; Twigg 2003).
Sowohl Peer Learning als auch eLearning bieten damit großes Potenzial, das jedoch
auch gewissen Einschränkungen unterliegt. Peer Tutoring setzt voraus, dass eine aus-
reichende Anzahl Lernender mit der nötigen Expertise und Fähigkeiten zur Verfügung
steht. In universitären Kontexten unterliegen Gruppenarbeiten außerdem oft der Be-
dingung, dass die Beiträge einzelner klar erkenntlich sein müssen, um eine leistungs-
gerechte Benotung zu gewährleisten. Multimediale Selbstlernmaterialien auf der
anderen Seite sind möglicherweise weniger geeignet, um besonders komplexe Sach-
verhalte zu vermitteln oder Lernende zur aktiven Diskussion miteinander anzuregen.
Bei der Entwicklung des DSB geht es daher auch um die Frage, welche didaktischen
Aktivitäten sinnvoll als Peer Learning oder als eLearning Einheit umgesetzt werden
können.
6.2.3 Ausgestaltung des Service Blueprint zum Didaktischen Service Blueprint
In der bisher vorgestellten Weise ist der Service Blueprint eine Methode zur Visuali-
sierung des Lerndienstleistungsprozesses, dem Richtlinien zur Analyse und Neugestal-
tung derselben fehlen. Einen Ansatz, um den Service Blueprint entsprechend zu
25
erweitern, bietet die EPOS-Methode nach Menschner et al. (Menschner, Prinz et al.
2011). Die EPOS-Methode (Engineering Person Oriented Services) dient der Model-
lierung von Dienstleistungen, welche an Personen erbracht werden, wie dies auch bei
Lerndienstleistungen der Fall ist. Zur EPOS-Methode gehört die Definition von De-
signanforderungen, die Durchführung der Analyse und schließlich Design der neuen
Dienstleistung (Menschner and Leimeister 2012).
Der DSB folgt diesem Ansatz und unterscheidet fünf Phasen (Abbildung 2): Zunächst
erfolgt die Visualisierung der Ist-Situation mittels des angepassten Service Blueprints.
Diese wird anhand der bereits vorgestellten Designanforderungen analysiert. Einzelne
Aktivitäten werden danach ggf. weiter segmentiert, um eine detailliertere Analyse zu
ermöglichen und Implikationen für das Re-Design zu gewinnen. Im Re-Design werden
Aktivitäten anschließend angepasst, verworfen oder neu hinzugefügt. Ziel ist dabei
insbesondere, Aktivitäten zu automatisieren, an die Lernenden auszulagern oder in
Form von Peer Learning umzusetzen. Wurde der Lerndienstleistungsprozess neu ge-
staltet, erfolgt eine Priorisierung, welche der angepassten oder neuen Aktivitäten zu-
erst umgesetzt werden sollen. Das schrittweise Vorgehen erlaubt einen leichteren
Übergang hin zu einem neuen Service Design und zugleich die Schonung der eigenen
Ressourcen. Die genannten Phasen werden in der Regel mehrfach durchlaufen und
sind eng miteinander verzahnt. Jede von ihnen wird durch ein Artefakt wie bspw. ein
Set an Designanforderungen unterstützt (Abbildung 2).
26
Abbildung 2: Phasen und Artefakte des DSB Quelle: Eigene Darstellung
Die Phasen von Segmentierung, Re-Design und Priorisierung werden nachfolgend
kurz erläutert.
Segmentierung bezieht sich auf die Aufteilung von Aktivitäten in detailliertere Sub-
Aktivitäten. Eine Aktivität „Vorlesung“, die gemeinsam von Lehrenden und Lernen-
den erbracht wird, kann bspw. weiter in Sub-Aktivitäten wie „Einstieg“, „Teilnehmer-
aktivierung“ und „Diskussion“ unterteilt werden. Die Segmentierung dient dazu, die
Komplexität des Dienstleistungsprozesses besser handhabbar zu machen. Zwar gibt es
keine feste Regel, wie weit genau Aktivitäten segmentiert werden sollten, es lassen
sich jedoch gewisse Richtlinien aufstellen. Zur leichteren Analyse sollten Aktivitäten
eindeutig einer Linie bzw. Ebene im Blueprint zugeordnet werden können. Zudem
sollten sie dann weiter segmentiert werden, wenn die Sub-Aktivitäten unterschiedliche
Lernzielebenen (Bloom 1956; Anderson and Krathwohl 2000) adressieren oder stark
in Bezug auf den nötigen Zeitaufwand variieren (Esch, Leimeister et al. 2010). Unter-
schiedliche Lernzielebenen sind bspw. das einfache Aufnehmen von Faktenwissen und
demgegenüber die Fähigkeit, eine Modellierungsmethode anzuwenden. Je höher die
Lernzielebene, umso komplexer ist es für gewöhnlich, diese zu vermitteln. Damit wird
die angestrebte Automatisierung mittels eLearning entsprechend schwieriger, da
Automatisierungsmöglichkeiten unmittelbar von der Komplexität abhängen (Esch,
Leimeister et al. 2010). Die Segmentierung anhand des Ressourcenaufwands ergibt
27
sich aus der Forderung, besonders aufwendige Aktivitäten im Re-Design mit höherer
Priorität zu behandeln.
Im Mittelpunkt des tatsächlichen Re-Designs steht die Frage, ob Aktivitäten durch
eLearning automatisiert oder an die Lernenden ausgelagert werden können, bspw. als
kooperative Peer Learning Tätigkeit. Hierfür lassen sich jeweils Indikatoren finden,
die einen ersten Rückschluss darauf zulassen, ob der Einsatz von Peer Learning oder
eLearning sinnvoll ist. Zur Automatisierung bieten sich insbesondere Aktivitäten von
geringerer Komplexität an. Das Abprüfen von Begriffen kann bspw. mittels eines Mul-
tiple-Choice Tests geschehen. Auch Aktivitäten, welche an den einzelnen Lernenden
im Sinne eines Customer Self-Service übertragen werden können, sind in erster Linie
die weniger komplexen und damit weniger fehleranfälligen. Die Anmeldung zum Tu-
torium bspw. kann durch entsprechende Formulare online effizient gestaltet werden.
Beim Einsatz von Peer Learning sind zusätzliche Aspekte zu berücksichtigen, da die
Lernenden in diesem Fall aufeinander angewiesen sind, und zusätzliche Herausforde-
rungen in Bezug auf die Koordination der Zusammenarbeit auf sie zukommen. Diese
werden in (Wegener and Leimeister 2012) im Detail dargestellt. Hierzu gehört bspw.
die Frage, ob die Einzelbeiträge einer gemeinsamen Arbeit zu erkennen sind und ggf.
belohnt werden können.
Die Priorisierung hängt von dem jeweiligen Ressourcenaufwand und der didaktischen
Bedeutung der Aktivität ab. Didaktisch besonders wichtige Aktivitäten sind in erster
Linie die, welche die Interaktion des Lernenden fordern, also auf oder oberhalb der
Line of Interaction liegen. Diese besonders wichtigen Aktivitäten werden in der
Dienstleistungslehre als wertschöpfend bezeichnet. Für die Zufriedenheit der Lernen-
den sind zudem Aktivitäten besonders wichtig, bei denen diese direkt mit dem Leh-
renden in Kontakt kommen. Vor dem Hintergrund, dass insbesondere teilnehmerstarke
Lehrveranstaltungen betrachtet werden, gilt zudem, dass der zeitliche Aufwand für den
Lehrenden bei denjenigen Aktivitäten besonders groß ist, die unmittelbaren Bezug zu
den einzelnen Lernenden besitzen. Die Korrektur von Übungsaufgaben bspw. erfolgt
individuell für jeden Teilnehmenden, der zeitliche Aufwand steigt linear mit der Teil-
nehmerzahl. Die Vorlesung als Gegenbeispiel kann ebenfalls hoch interaktiv gestaltet
sein, der Aufwand ist jedoch von der konkreten Teilnehmerzahl unabhängig. Davon
ausgehend, dass Lehrende auch für die Neugestaltung ihrer Lehre nur begrenzte Res-
sourcen haben, sollten folglich Aktivitäten priorisiert werden, welche einen hohen di-
daktischen Mehrwert bei möglichst geringem Aufwand versprechen.
28
Die genannten Überlegungen werden in den verschiedenen Pilotstudien detaillierter
dargelegt. Aus ihnen ergibt sich ein Set an Designprinzipien, welche den Lehrenden
im Prozess der Neugestaltung unterstützen (Tabelle 3).
29
Segmentierung: Unterteile einen Prozessschritt in Sub-Aktivitäten, …
Seg1:…bis jede Sub-Aktivität eindeutig einer Linie bzw. Ebene im Blueprint zugeordnet werden kann
Seg2:…falls die Sub-Aktivitäten sich stark in Komplexität bzw. adressierter Lernzielebene unterscheiden
Seg3:…falls die Sub-Aktivitäten sich stark in Häufigkeit bzw. zeitlicher Dauer unterschei-den
Re-Design
Automatisierung
Aut1: Automatisiere Aktivitäten geringer Komplexität / Lernzielebene
Aut2: Automatisiere Aktivitäten durch Standardisierung von Eingabemöglichkeiten, z.B. bei Tests
Aut3: Automatisiere Aktivitäten zur elektronischen Datenerhebung Self-Service
Self1: Übertrage Aktivitäten an die Lernenden, wenn sie wenig Raum für Interaktion und individuelle Beiträge bieten
Self2: Stelle sicher, dass die Lernenden die nötigen Fähigkeiten/Wissen besitzen oder er-werben können
Peer Learning
Peer1: Definiere die erwarteten individuellen Beiträge klar
Peer2: Mach die Lernenden verantwortlich und belohne sie für ihre Beiträge
Peer3: Biete mehr Unterstützung und Betreuung bei höheren Lernzielebenen
Peer4: Biete mehr Unterstützung und Betreuung bei geringerem Präsenzkontakt
Priorisierung
Prio1: Präsenzphasen: Tragen das meiste zur Lernzufriedenheit bei
Prio2: Lernendenzeit: Je mehr Zeit Lernende einer Aufgabe widmen, umso größer deren po-tenzieller didaktischer Nutzen
Prio3: Häufigkeit und Dauer: Je häufiger/länger Aktivitäten sind, umso mehr Potenzial zur Zeitersparnis bieten sie dem Lehrenden
Prio4: Abhängigkeit vom individuellen Lernenden: Je mehr individuelle Beteiligung nötig ist, umso schwieriger ist eine Aktivität zu skalieren und umso aufwendiger ist sie
Tabelle 3: Übersicht der Designprinzipien Quelle: Eigene Darstellung
6.3 Beispielhafte Umsetzung der Methode DSB
Die Anwendung des DSB erfolgt am Beispiel der Lehrveranstaltung Info 1. Mit Hilfe
des DSB wird zunächst der Ist-Zustand der Lerndienstleistung vor dem Wintersemes-
ter 2008/2009 dargestellt (Abbildung 3). Die Abbildung entspricht weitestgehend der
Darstellung des vorigen Abschnittes, jedoch sind u.a. noch nicht die Videoaufzeich-
nungen integriert.
30
Abbildung 3: DSB der ursprünglichen Lehrveranstaltung Info 1 Quelle: Eigene Darstellung
Einzelne Aktivitäten könnten, gemäß den Segmentierungsprinzipien, weiter unterteilt
werden. Bereits in dieser Form werden jedoch mit Blick auf die eingangs definierten
Designanforderungen mehrere Schwachpunkte deutlich:
Mangeln an Interaktion im Vorlesungssaal (R8): Die Vorlesung besteht fast
ausschließlich aus Präsentationsphasen, die keine Interaktion der Lernenden
vorsehen
Kein Peer Learning (R3): Potenziale zur Kooperation der Lernenden bleiben
gänzlich ungenutzt, da es keine vorgesehenen Peer Learning Aktivitäten gibt
Mangel an Time-on-Task (R7): Selbstgesteuerte Lernphasen bieten keine kon-
kreten Strukturen, Aufgaben und Ziele
Mangel an Anwendung und Prüfung (R4): Übungen zur Anwendung von Wis-
sen sind lediglich in den Tutorien vorgesehen, Tests existieren nicht
Kein Feedback (R5): Durch den Mangel an Tests existiert auch kaum eine
Möglichkeit für die Lernenden, eine Rückmeldung zu ihrem persönlichen Lern-
fortschritt zu erhalten
31
Wenig Diversität des Lernmaterials (R6): Als Selbstlernmaterial fungiert ein
Skript. Dieses bietet keine Interaktion und ist kognitiv wenig effektiv.
Um diese Probleme zu adressieren, wurden über einen Zeitraum von acht Semestern
unterschiedliche Maßnahmen ergriffen. Das Ergebnis zeigt die Abbildung 4. Der dort
dargestellte Service Blueprint ist deutlich umfangreicher als der ursprüngliche, da zu-
sätzliche Aktivitäten hinzugefügt wurden. Hierzu zählen:
Teilnehmeraktivierungen während der Vorlesung und Tutorien
Ein Online Forum mit Übungsaufgaben
Wöchentliche Multiple Choice Tests
Web Based Trainings als zusätzliche Lernmaterialien
32
Abbildung 4: Blueprint der überarbeiteten Lehrveranstaltung Quelle: Eigene Darstellung
33
Um diese Aktivitäten ohne zu großen zusätzlichen Personenaufwand zu implementie-
ren, wurde auf die Prinzipien des DSB zurückgegriffen.
So unterscheidet der neue Blueprint Aktivitäten auf Seiten der Lernenden anhand der
Lernzielebene (Seg2). Höhere Lernziele wurden vorwiegend in die Präsenzveranstal-
tungen verschoben. Dasselbe gilt für Peer Learning Aktivitäten, da diese in den Tuto-
rien vergleichsweise einfach zu initiieren und zu betreuen sind (Peer3 & 4).
Komplexere Aufgaben wie das gemeinsame Modellieren eines Sachverhaltes werden
durch einfache elektronische Übungen wie Abstimmungen ergänzt. Diese adressieren
niedrigere Lernziele und dienen u.a. dazu, auf elektronischem Wege Rückmeldung
über den Lernstand der Studierenden zu erhalten (Aut1, 2 &3).
Außerhalb des Vorlesungssaales ist es für Lehrende schwieriger, die Lernenden aus-
reichend zu unterstützen. Aufgrund der Annahme, dass niedrige Lernzielebenen weni-
ger Unterstützung erfordern und leichter zu automatisieren sind, wurden für diese Web
Based Trainings (WBTs) sowie wöchentliche Online Multiple Choice Tests eingeführt
(Aut1). Das wöchentlich moderierte Online Forum wiederum dient der Diskussion
komplexerer Aufgabentypen, sprich höherer Lernzielebenen.
Um den nötigen Ressourcenaufwand zu minimieren, wurde ein Großteil der neuen
Aktivitäten im Sinne eines Self-Service direkt an die Lernenden ausgelagert. Dies
kann jedoch nur erfolgreich funktionieren, wenn die Lernenden über die nötigen Vo-
raussetzungen verfügen und ihre individuellen Beiträge in irgendeiner Weise nachver-
folgt und ggf. belohnt werden können (Self2, Peer2). Aus diesem Grund sind alle
selbstgesteuerten Aktivitäten der Lernenden mit Ausnahme der Vor-/Nachbereitung
mit entsprechenden Unterstützungsaktivitäten auf Seiten des Lehrenden verbunden,
wie sich dem Blueprint entnehmen lässt. Im Falle einer Aufgabe wie dem Multiple
Choice Test werden die Daten durch die Software aggregiert und vom Lehrenden ab-
gerufen. Bei komplexeren Tätigkeiten, z.B. dem Lösen einer Modellierungsaufgabe
vor Ort im Tutorium, erfolgt im Abschluss zumindest die Präsentation einer möglichen
Lösung gefolgt von einer durch den Lehrenden moderierten Diskussion. Keine Aktivi-
tät der Lernenden „endet“ jedoch oberhalb der Line of Interaction.
Die Erstellung der Lernmaterialien wurde ebenfalls teilweise an die Lernenden ausge-
lagert. Die WBTs werden in einem Nachfolgekurs der Info1, einem Web Engineering
Seminar, erstellt. Die Items für den Multiple Choice Test werden im Rahmen einer
Teilnehmeraktivierung direkt in der Vorlesung erstellt. Dabei wird insbesondere ein
34
Vorteil aus der Tatsache gezogen, dass Lernende generell sämtliche Aufgaben über-
nehmen können, für die sie ausreichend qualifiziert sind (Self2).
Auf drei der Maßnahmen soll im Folgenden detaillierter eingegangen werden:
1. Wintersemester 2009/2010: Einführung von eLearning Material (WBTs), das
von den Lernenden selbst erstellt wurde
2. Wintersemester 2010/2011: Re-Design der Präsenzvorlesung mit mehr Teil-
nehmeraktivierungen
3. Wintersemester 2011/2012: Einführung neuer Testwerkzeuge (wöchentliche
Multiple Choice Online Test sowie Forum)
Genauere Ausführungen finden sich in (Wegener and Leimeister 2012), (Wegener and
Leimeister 2012) und (Wegener, Prinz et al. 2011).
6.3.1 Von den Lernenden erstellte eLearning Materialien
Die Studierenden investieren in der Info 1 viel Zeit in selbstgesteuerte Lernprozesse
zur Nachbereitung der Vorlesung. Das Skript und die Videos unterstützen sie dabei,
bieten jedoch weder viel Abwechslung, noch sind sie interaktiv. Daher sollten die Ma-
terialien um Web Based Trainings ergänzt werden, also in sich geschlossene, multi-
mediale Selbstlerninhalte. Der Aufwand für die Erstellung hochwertiger eLearning
Inhalte ist zwar unabhängig von der Lernendenzahl konstant, jedoch so hoch, dass er
kaum zusätzlich vom Lehrenden erbracht werden kann. Die Erstellung ist gleichzeitig
so komplex, dass Automatisierung oder ein Outsourcing an die Lernenden selbst zu-
nächst schwer durchführbar scheinen. Segmentiert man den Prozess der Materialerstel-
lung jedoch (Wegener, Menschner et al. 2012), wird klar, dass zumindest Teile davon
durchaus an die Lernenden ausgelagert werden können. So umfasst die Lernmaterial-
erstellung u.a. Schritte wie die Suche nach geeigneten Ressourcen, das Anfertigen von
Grafiken oder Texten. Dies sind Schritte, die nicht zwangsläufig vom Lehrenden aus-
zuführen sind. Die Recherche von sinnvollen Lernressourcen ist bspw. eine Aufgabe,
welche Lernende zwangsläufig im Laufe ihres Studiums immer wieder ausführen.
Vor diesem Hintergrund wurde die Erstellung der WBTs an die Studierenden eines
Seminars zum Thema Web Engineering, der sogenannten Info 2, ausgelagert. Hierbei
handelt es sich um eine Veranstaltung, welche Studierende nach der Info 1 besuchen
35
können. Sie erstellen darin Prototypen von Web-Anwendungen, um Grundkenntnisse
der Softwareentwicklung zu erlernen. Statt beliebige Anwendungen zu entwickeln,
wurde das Seminar dahin gehend angepasst, dass die Studierenden von nun an WBTs
in Flash entwickeln sollten. Der Dozent des Kurses Info 2 gibt dabei grobe Themen,
vorwiegend aus der Info 1, vor, welche die Studierenden aufarbeiten und umsetzen.
Dem liegen mehrere Annahmen zugrunde, welche mit den Designprinzipien zum Peer
Learning korrespondieren:
Da die Lernenden die Info 1 bereits durchlaufen haben, besitzen sie das nötige
Fachwissen, können dieses jedoch reflektieren und vertiefen
Im Seminar Info 2 erlernen sie ohnehin Grundlagen des Web Engineering, wo-
durch sie auch die nötige Umsetzungskompetenz aufweisen
Das Anfertigen von WBTs, welche später real genutzt werden, ist eine bessere
Lernerfahrung als die Anfertigung beliebiger Prototypen
Da es sich bei den WBTs um benotete Leistungen handelt, ist die Motivation
vorhanden, eine hohe Qualität abzuliefern
Für die konkrete Umsetzung des Prozesses, der als Peer Creation bezeichnet wird,
wurde zusätzliche eine Peer Creation Guideline auf Basis der wissenschaftlichen Lite-
ratur im Peer Learning angefertigt (Wegener and Leimeister 2012). Diese beinhaltet
sechs Regeln, die zu beachten sind, wenn Lernende selbst hochwertige Lernmateria-
lien erstellen sollen (Tabelle 4).
Nr. Prinzip
1 Klare und präzise Anweisungen an alle Teilnehmenden (Hall and Stegila 2003)
2 Lernende für ihr Lernprodukt verantwortlich machen (Hall and Stegila 2003)
3 Ausreichendes Expertenwissen sicherstellen (Damon 1984)
4 Training in Didaktik, Kommunikation und Mediennutzung (Damon 1984; Webb 2010)
5 Regelmäßige Betreuung durch den Lehrenden (Damon 1984; Hall and Stegila 2003)
6 Interaktion der Lernenden untereinander strukturieren (Webb 2010), gegenseitige Reviews mit offenem, suggestiven Feedback integrieren (Topping 1998)
Tabelle 4: Die Peer Creation Guideline Quelle: (Wegener/Leimeister 2012b)
Die Umsetzung innerhalb der Info 2 sieht vor, dass der Lehrende den Studierenden
Themen zur Aufarbeitung in einem WBT vorgibt. Die Studierenden erlernen im Semi-
36
nar Grundlagen der Autorensoftware Flash und der Mediendidaktik im Rahmen meh-
rerer Sitzungen. Zugleich arbeiten sie sich selbstständig inhaltlich in ihr Thema ein.
Die Betreuung erfolgt über einen mediendidaktischen und einen inhaltlichen Dozen-
ten, Letzterer mit Bezug zur Info 1. Die Studierenden erstellen mehrere Meilensteine,
zunächst ein Storyboard ihres WBT, anschließend eine erste Version und schließlich
die finale Fassung. Sie erhalten jeweils Feedback von den Lehrenden oder ihren
Kommilitonen im Rahmen strukturierter Peer Reviews. Details zu diesem Prozess sind
in (Wegener and Leimeister 2012) nachzulesen. Auf diesem Weg entstehen jedes Se-
mester rund 15-30 WBTs, aus denen die besten von den Lehrenden ausgewählt und in
der Info 1 eingesetzt werden (Abbildung 5).
Abbildung 5: Beispiele für entwickelte WBTs Quelle: (Wegener and Leimeister 2012)
Die WBTs werden somit von den Lernenden erstellt. Der Lehrende gibt die Themen
vor und steht mit Feedback zur Verfügung. Da das Seminar ohnehin jedes Semester
angeboten wird, hält sich der zusätzliche Aufwand für die Erstellung der WBTs für
den Lehrenden in Grenzen.
6.3.2 Re-Design der Präsenzvorlesung
Eine genauere Analyse der Präsenzvorlesungen zeigt, dass diese vorwiegend aus Prä-
sentationsphasen des Lehrenden ohne Möglichkeiten der Interaktion bestehen
(Wegener, Menschner et al. 2012). Selbst wenn der Lehrende Fragen stellt, beteiligen
sich nur wenige Studierende. Die meisten trauen sich zudem nicht, Fragen zu stellen.
Daher wurde zum Wintersemester 2010 hin die Vorlesung um Teilnehmeraktivierun-
gen auf mobilen Endgeräten ergänzt.
Um Abwechslung und Interaktion zu steigern, wurde zunächst eine Multiple-Choice
Übung integriert auf Basis der Peer Instruction (Crouch and Mazur 2001). Der Leh-
rende stellt eine Frage, welche die Lernenden zunächst selbstständig auf ihren mobilen
37
Endgeräten wie Smartphone oder Laptop beantworten. Anschließend dürfen sie ihre
Antwort mit den Sitznachbarn diskutieren, sich ggf. korrigieren und erneut abstimmen.
Verglichen mit einfachen Fragen an das Plenum bietet dieses Vorgehen mit mobilen
Endgeräten mehrere Vorteile im Hinblick auf die Designanforderungen: So kann sich
jeder Studierende beteiligen und antworten, die Studierenden diskutieren miteinander
und lernen voneinander und die aggregierten Antworten können vom Dozenten einge-
sehen werden. Dies liefert eine Rückmeldung über das vorhandene Verständnis der
Inhalte.
Als zweite Aktivierung wurde ein Peer Assessment namens Co-Create Your Exam
eingeführt (Abbildung 6). Aufgrund der begrenzten Zeit in der Vorlesung wurde der
Prozess dabei stark standardisiert. Die Studierenden geben drei Aussagen zu den Inhal-
ten der Vorlesung ein, die wahr oder falsch sein können. Diese Aussagen werden in
einer Datenbank gespeichert und per Zufall unter den Studierenden verteilt. Jeder muss
anschließend drei Aussagen der Kommilitonen lösen. Dies ist auch nach Ende der
Vorlesung online noch möglich. Die besten Aussagen werden teilweise auch in der
Klausur eingesetzt. Für die Studierenden bedeutet die Aktivierung vor allem eine Pau-
se, die jedoch zugleich reflektierend und aktivierend wirkt (Olmsted III 1999).
Abbildung 6: Beispiele der Teilnehmeraktivierung Quelle: (Wegener, Prinz et al. 2011)
6.3.3 Einführung neuer Testwerkzeuge
Ursprünglich sah das Design der Lerndienstleistung keine Tests während des Semes-
ters vor, lediglich Übungsaufgaben innerhalb der Tutorien. Das Hauptproblem bei
Übungsaufgaben liegt darin, dass diese korrigiert und Feedbacks für die Studierenden
38
angefertigt werden müssen, was bei hoher Teilnehmerzahl einen zu hohen Aufwand
bedeutet.
Ein gewisses Maß an Übung und Feedback lässt sich jedoch integrieren, wenn gemäß
den Segmentierungsprinzipien zwischen einfachem Faktenwissen und komplexerem
Methodenwissen unterschieden wird. Ersteres lässt sich bspw. über standardisierte
Tests wie Multiple Choice Abfragen erfassen. Zudem besteht auch hier die Möglich-
keit, Teile der Erbringung wie die Erstellung des Aufgabenpools, in die Verantwor-
tung der Lernenden zu legen.
Dies geschieht in der Info 1 bereits im Rahmen der Teilnehmeraktivierung Co-Create
Your Exam. Die Anwendung wurde dahin gehend ergänzt, dass die Studierenden die
Aufgaben in Hinblick auf deren Qualität bewerten. Der Dozent wählt jeweils von den
am besten bewerteten Aussagen 20 aus, die er als Test direkt in das LMS importiert.
Auf diesem Weg können die Studierenden ihr Faktenwissen prüfen, ohne dass ein
nennenswerter Aufwand für den Lehrenden entsteht.
Da sich Automatisierung für niedrige Lernzielebenen eher anbietet, wurde für das Prü-
fen von Methodenwissen ein anderer Weg gewählt. Die Studierenden erhalten
Übungsaufgaben, die sie gemeinsam in einem Online-Forum lösen können. Sie können
sich dort austauschen und Fragen an die Lehrenden richten. Lösungen und Fragen
können zudem bewertet werden. Das Forum wird genau einmal pro Woche moderiert
und die am höchsten bewerteten Fragen der Studierenden beantwortet. Zudem werden
hoch bewertete Lösungen und Beiträge mit einem Bonuspunkt für die Klausur hono-
riert. Auf diesem Weg entsteht einerseits eine gewisse Struktur im Forum, zugleich
bleibt der Zeitaufwand für die Tutoren jedoch konstant und überschaubar.
6.4 Evaluation der überarbeiteten Lerndienstleistung
Im Verlauf des Projektes kamen unterschiedliche Formen der Evaluation zum Einsatz.
Allen gemein ist, dass nicht der DSB direkt evaluiert wurde, sondern das aus ihm re-
sultierende Produkt, also die Lerndienstleistung Info 1. Der DSB wird damit indirekt
über die Lehrveranstaltung evaluiert.
So wurde die Güte der studentisch erstellten Lernmaterialien mittels Fragebögen, Tests
und Nutzungsdaten erfasst (Wegener and Leimeister 2012; Wegener and Leimeister
2012). Die Bewertung der Teilnehmeraktivierungen war ebenso Bestandteil der Eva-
39
luation (Wegener, Prinz et al. 2011) wie die Wahrnehmung des Erstellungsprozesses
der WBTs (Wegener, Menschner et al. 2010). Die Ergebnisse können in den entspre-
chenden Publikationen nachgelesen werden. An dieser Stelle wird lediglich auf die
Ergebnisse der Langzeitevaluation in Hinblick auf Lernzufriedenheit und Lernerfolg
eingegangen (Wegener, Menschner et al. 2012), da eine Steigerung in diesen Berei-
chen die Hauptzielsetzung des Forschungsprojektes ist.
Die Lernzufriedenheit wird jedes Semester über einen eigens konzipierten Online-
Fragebogen erfasst. Die darin enthaltenen Konstrukte basieren auf typischen Dimensi-
onen der Lernzufriedenheit (Cohen 1981). Dies sind die allgemeine Bewertung der
Veranstaltung, ihre Struktur (Inhalte und Klarheit), Expertise und allgemeine Sympa-
thie des Lehrenden, der Schwierigkeitsgrad sowie die wahrgenommene Interaktion.
Die Konstrukte bestehen jeweils aus drei bis fünf Frageitems, die über eine 5er Likert
Skala erfasst werden, wobei 1 den besten Wert bzw. volle Zustimmung bedeutet. Alle
Konstrukte weisen ein Cronbachs Alpha von mehr als 0,8 auf, was auf gute Reliabilität
schließen lässt. Lediglich die Interaktion erreicht nur ein Alpha von 0,69, was gerade
noch als moderat angesehen werden kann. Die Teilnahme an dem Online-Fragebogen
ist jeweils mehrere Tage nach der letzten Vorlesung und unmittelbar vor der Klausur
möglich. Die Teilnahme erfolgt anonym und freiwillig, entsprechend schwanken die
Teilnehmerzahlen, wobei die Teilnahmequote jeweils mindestens bei 28% lag. Die
Analyse zeigt, dass zentrale Werte sich über die Zeit deutlich verbessert haben. Ein
Mann-Whitney-U Test in SPSS zeigt weiterhin, dass viele dieser Verbesserungen von
Wintersemester 2008 hin zu Sommersemester 2012 statistisch signifikant sind (Tabelle
5). Hierzu zählen u.a. Innovativität des Kurses (0,5 Punkte) sowie die Bewertung im
Vergleich zu anderen belegten Veranstaltungen (0,42), seine Struktur (0,59), die Qua-
lität der Lernmaterialien (0,49) und die wahrgenommene Interaktivität (0,63).
40
Semester WS
08 SoSe 09
WS 09
SoSe 10
WS 10
SoSe 11
WS 11
SoSe 12
N (+) 106/
144 111/ 225
72/ 167
78/ 249
128/ 245
53/ 164
83/ 156
68/ 243
Dim α Mittelwert(†)
All
gem
ein
0.87
Zufriedenheit 2.65 2.44 2.57 2.40 2.38 2.81 2.25 2.54Vgl. andere Kurse* 2.77 2.53 2.65 2.46 2.41 2.77 2.19 2.35Innovativität* 2.31 2.19 2.11 2.04 1.88 1.91 1.78 1.81Empfehlung 2.57 2.27 2.40 2.37 2.37 2.66 1.96 2.29
Str
uktu
r
0.8
Struktur* 2.47 2.24 2.22 2.10 1.98 2.13 1.81 1.88Inhalt 2.92 2.68 2.83 2.63 2.70 3.04 2.60 2.74Praktische Relevanz 2.49 2.42 2.49 2.53 2.50 2.83 2.63 2.81Lernmaterialien* 2.36 2.33 2.13 2.08 1.98 2.02 1.80 1.87Transparenz d. Anf. 2.62 2.68 2.89 2.58 2.43 2.85 2.63 2.79
Exp
erti
se
0.85
Dozent gesamt* 2.48 2.23 2.21 2.24 2.07 2.30 1.75 2.06Expertise 1.30 1.33 1.19 1.24 1.20 1.25 1.12 1.37Erläuterungen 2.19 1.90 1.90 1.87 1.80 1.83 1.59 2.00Vorbereitung 1.44 1.36 1.36 1.37 1.37 1.38 1.31 1.49Antworten 1.94 1.72 1.74 1.73 1.73 1.89 1.66 1.87
Sym
path
ie
0.82
Enthusiasmus 2.84 2.56 2.51 2.45 2.16 2.47 2.11 2.91Weckt Interesse 2.84 2.43 2.47 2.38 2.23 2.57 2.17 2.90Sympathie* 2.40 2.14 2.24 2.24 2.15 2.28 1.80 1.93Erreichbarkeit* 2.15 2.04 2.17 2.19 2.25 2.19 1.92 1.84
Sch
wie
-ri
g-ke
it
0.83
Schwierigkeitsgrad 3.20 2.90 3.39 3.03 3.23 3.47 3.22 3.19Verhält. Inh./Aufw. 3.32 3.15 3.58 3.17 3.28 3.79 3.24 3.50Verhält. Inh./Zeit 3.51 3.32 3.42 3.31 3.44 3.79 3.33 3.57
Inte
rakt
ion
0.69
Interaktivität allg.* 2.51 2.49 2.35 2.28 2.13 2.11 1.82 1.88Eigener Aufwand* 2.42 2.34 2.29 2.17 2.36 2.17 1.98 1.96Eigene Beteiligung 2.28 2.42 2.60 2.27 2.65 2.38 2.18 2.07Eigenes Interesse 2.76 2.63 2.69 2.53 2.80 2.89 2.57 2.88Kurs weckt Interesse 3.06 2.80 2.90 2.71 2.80 2.98 2.58 2.91
(†) Mittelwerte basierend auf 5er Likert Skale mit 1 als bestem und 5 als schlechtestem Wert
(+) Anzahl Teilnehmende am Fragebogen, darunter Anzahl Teilnehmende an der Klausur
(*) Differenz zwischen WS 08/09 und SoSe 12 signifikant mit p < 0,05 (Mann-Whitney-U Test in
SPSS)
Tabelle 5: Auswertung der Online-Fragebögen zur Zufriedenheit Quelle: Eigene Darstellung
Die besten Ergebnisse zeigen sich im Wintersemester 2011/2012, also dem siebten
Projektsemester. Danach folgt ein Absacken der Werte zum letzten Semester hin. Ein
möglicher Grund ist, dass in diesem Semester der verantwortliche Professor aus orga-
nisatorischen Gründen die Betreuung der Veranstaltung größtenteils an seine wissen-
schaftlichen Mitarbeiter übergeben musste. Auch bei den Tutoren gab es in diesem
Semester mehr Wechsel als üblich. So zeigen sich auch bei der Bewertung des Dozen-
ten schlechtere Ergebnisse als im Vorsemester. Auffällig sind weiterhin die relativ
schlechten Ergebnisse im Sommersemester 2011. Dies fällt besonders auf, wenn man
den Trend betrachtet. Dazu werden die Mittelwerte für die Dimension „Zufriedenheit
41
allgemein“, berechnet jeweils aus den vier Items dieses Konstruktes, miteinander ver-
glichen (Abbildung 7).
Abbildung 7: Entwicklung der allgemeinen Zufriedenheit mit Trend Quelle: Eigene Darstellung
Die Abbildung zeigt die Entwicklung der Dimension „Zufriedenheit allgemein“ über
den Verlauf der acht Semester. Neben zu erwartenden Schwankungen zeigt sich, trotz
einer deutlich positiven Gesamtentwicklung, eine starke Abweichung von der Trendli-
nie im Sommersemester 2011, dem sechsten Projektsemester. Auch hierfür lassen sich
mögliche Ursachen identifizieren. So wurde ab besagtem Semester ein zusätzliches
Thema in der Veranstaltung behandelt, nämlich die Modellierung mittels Business
Process Modelling Notation (BPMN). Aufgrund der Zunahme der Inhalte wurde die
Dauer der Präsenzvorlesung zudem von 90 auf 120 Minuten gesteigert. Individuelle
Reaktionen der Studierenden und die Erfahrungen der Betreuer der Info 1 lassen die
Vermutung zu, dass dies einen wesentlichen Einfluss auf die Zufriedenheit der Studie-
renden gehabt haben könnte. Die Vermutung wird durch die schlechteren Ergebnisse
der Dimension „Schwierigkeit der Veranstaltung“ untermauert. In den Folgesemestern
wurde durch zusätzliche Übungsaufgaben im Bereich Modellierung und durch die
Umgestaltung der Tutorien darauf reagiert, was möglicherweise ein Grund dafür war,
dass die Ergebnisse sich hier wieder besserten. Eine mögliche Einschränkung der Er-
gebnisse im Hinblick auf die Deutung des Erfolgs der getroffenen Umsetzungsmaß-
2.58
2.362.43
2.322.26
2.54
2.05
2.25
1.50
1.70
1.90
2.10
2.30
2.50
2.70
2.90
1 2 3 4 5 6 7 8
Mittelwert der Dim
ension "Zu
friedenheit
allgemein"
Semester
42
nahmen zur Verbesserung der Veranstaltung ist darin zu sehen, dass die Bewertung
des Dozenten sich stetig verbesserte. Dies ist zwar möglicherweise auch auf die ge-
troffenen Maßnahmen wie Teilnehmeraktivierungen und Forum zurückzuführen,
höchstwahrscheinlich aber auch auf die Erfahrungen und Lernkurve des Dozenten und
der involvierten Mitarbeiter. Dies hat sich vermutlich ebenfalls auf die Gesamtergeb-
nisse ausgewirkt.
Der Lernerfolg wurde über die Klausurergebnisse erfasst. Diese erfassen als Einzel-
messung zwar keinen Zuwachs an Wissen und Kompetenzen, jedoch zumindest einen
momentanen Level. Davon ausgehend, dass das Einstiegswissen der Studierenden-
gruppen über die acht Semester ähnlich war, ist ein Vergleich der Klausurergebnisse
somit durchaus aussagekräftig. Dabei ist insbesondere wichtig, dass die Klausur als
Test von Wissen und Fertigkeiten stets einen vergleichbaren Aufbau hat. Die Klausur
besteht jedes Semesters aus drei Teilen: Multiple Choice, Freitextaufgaben und Mo-
dellierungsaufgaben. Während Multipce Choice Aufgaben vorwiegend Faktenwissen
abfragen, erfassen die Freitextaufgaben das Verständnis von Konzepten und die Mo-
dellierungsaufgaben erfordern die Anwendung von Methodenkenntnissen. Die maxi-
mal erreichbare Punktzahl pro Aufgabentyp variiert dabei leicht, weshalb zur Analyse
die Leistung der Studierenden in Prozent der maximal erreichbaren Punktzahl heran-
gezogen wird (Tabelle 6). Von Wintersemester 2008/2009 hin zu Sommersemester
2012 konnten sowohl die durchschnittliche Gesamtleistung (von 44,47% auf 55,67%)
als auch die Leistung in jedem einzelnen Aufgabenteil signifikant gesteigert werden.
Multiple Choice Freitext Modellierung Gesamt
Semester N Max Mittel (%)*
Max Mittel (%)*
Max Mittel (%)*
Max Mittel (%)*
WS 08/09 144 40.00 52.36 15.00 33.47 28.00 39.37 83.00 44.57 SoSe 09 225 40.00 49.91 15.00 38.55 28.00 42.00 83.00 45.19 WS 09/10 167 40.00 50.30 15.00 45.42 27.00 52.15 82.00 50.02 SoSe 10 249 40.00 54.82 15.00 38.58 27.00 61.74 82.00 54.13 WS 10/11 245 30.00 41.77 20.00 35.61 30.00 40.83 80.00 39.88 SoSe 11 164 40.00 51.31 15.00 26.85 27.00 56.83 82.00 48.65 WS 11/12 156 40.00 47.93 15.00 42.50 27.00 50.93 82.00 47.93 SoSe 12 243 40.00 58.46 18.00 41.12 32.00 60.38 90.00 55.67
Tabelle 6: Auswertung der Klausurergebnisse Quelle: Eigene Darstellung
Der Trend ist auch in diesem Fall deutlich positiv, jedoch mit einem negativen Ausrei-
ßer im fünften Projektsemester, dem Wintersemester 2010/2011 (Abbildung 8).
43
Abbildung 8: Klausurergebnisse im Trend Quelle: Eigene Darstellung
Für die starke Abweichung von der Trendlinie im Wintersemester 2011/2011 lassen
sich mehrere Ursachen vermuten. Die wahrscheinlichste liegt in einem Forschungspro-
jekt, das die Universität in diesem Semester startete. Dabei konnten Studierende be-
stimmter Lehrveranstaltungen wie der Info 1 mobile Endgeräte wie iPads zu
Lernzwecken ausleihen. Die Neuheit dieser Geräte zusammen mit der Bindung an die
Info 1 kann dazu geführt haben, dass sich Studierende teilweise aus diesem Grund für
die Veranstaltung entschieden haben. Der Einsatz der mobilen Endgeräte in der Vorle-
sung war zudem in diesem Semester noch mit technischen Problemen der Netzwerk-
infrastruktur und der eingesetzten Lernanwendungen verbunden. Anpassungen der
Lehrplanempfehlungen führten zudem zu einem Zuwachs an Studierenden des Wirt-
schaftsrechts in der Info 1, was die Studierendengruppe zusätzlich veränderte.
Insgesamt zeigt die Auswertung, dass sich viele Aspekte von Lernzufriedenheit und
Lernerfolg über die Zeit nachweislich verbessert haben, obwohl die personellen Res-
sourcen nicht gesteigert wurden. Als Einschränkung ist zu sagen, dass diese Ergebnis-
se jedoch nicht nachweislich auf den DSB als zugrunde liegende Methode
zurückzuführen sein müssen. Auch ein Kausalzusammenhang zwischen den einzelnen
Umsetzungsbeispielen und den Ergebnissen ist nicht nachweisbar. Dabei gilt es auch
zu bedenken, dass es sich um einen realen Feldeinsatz handelt, bei dem viele externe
Faktoren schlicht nicht erfasst werden können.
44.57 45.19
50.02
54.13
39.88
48.65 47.93
55.67
30.00
35.00
40.00
45.00
50.00
55.00
60.00
1 2 3 4 5 6 7 8
Durchschnittliches Klausurergebnis in
Prozent
Semester
44
Dennoch sprechen mehrere Dinge für die Wirksamkeit der Maßnahmen. Zum einen
bedeutet die Evaluation über acht Semester, dass trotz möglicher externe Einflüsse,
welche sich nur in einzelnen Semestern ausgewirkt haben, der Gesamttrend immer
noch sichtbar bleibt. Zudem deuten neben den hier dargestellten auch weitere Evalua-
tionsergebnisse auf die Wirksamkeit der Maßnahmen hin (Wegener and Leimeister
2012; Wegener and Leimeister 2012).
6.5 Literatur
Anderson, L. W. and D. R. Krathwohl (2000). A taxonomy for learning, teaching,
and assessing: A revision of Bloom's taxonomy of educational objectives, Allyn
& Bacon.
Bates, A. (2005). Technology, e-learning and distance education. London, New York,
Routledge.
Bloom, B. S. (1956). "Taxonomy of educational objectives. Handbook I: Cognitive
domain." New York: David McKay 19: 56.
Cohen, P. A. (1981). "Student ratings of instruction and student achievement: A meta-
analysis of multisection validity studies." Review of Educational Research
51(3): 281-309.
Crouch, C. and E. Mazur (2001). "Peer instruction: Ten years of experience and re-
sults." American Journal of Physics 69(9): 970.
Damon, W. (1984). "Peer education: The untapped potential." Journal of Applied De-
velopmental Psychology 5(4): 331-343.
Esch, S., J. M. Leimeister, et al. (2010). Automatisierungsentscheidungen bei der
Gestaltung von Dienstleistungselementen hybrider Produkte. Hybride Wert-
schöpfung in der Gesundheitsförderung: Ergebnisse des Verbundprojekts" Sys-
tematisches Design zur Integration von Produkt und Dienstleistung in der
Gesundheitswirtschaft" (SPRINT). J. M. Leimeister, H. Krcmar, M. Halle and
K. Möslein. Lohmar, Josef EUL: 61-80.
45
Grzega, J. and M. Schöner (2008). "The didactic model LdL (Lernen durch Lehren)
as a way of preparing students for communication in a knowledge society."
Journal of Education for Teaching 34(3): 167 - 175.
Hall, T. and A. Stegila. (2003). "Peer mediated instruction and intervention." Re-
trieved 21.03.2013, from
http://aim.cast.org/learn/historyarchive/backgroundpapers/peer-
mediated_instruction.
Levin, H. M., G. V. Glass, et al. (1987). "Cost-effectiveness of computer-assisted
instruction." Evaluation Review 11(1): 50-72.
Mayer, R. and R. Moreno (2002). "Animation as an Aid to Multimedia Learning."
Educational Psychology Review 14(1): 87-99.
Menschner, P. and J. M. Leimeister (2012). Devising a Method for Developing
Knowledge-Intense, Person-Oriented Services - Results from Early Evaluation.
45. Hawaii International Conference on System Sciences (HICSS). Maui, USA.
Menschner, P., A. Prinz, et al. (2011). "Reaching into patients‘ homes - participatory
designed AAL services." Electronic Markets 21(1): 63-76.
Olmsted III, J. (1999). "The mid-lecture break: When less is more." Journal of Chem-
ical Education 76(4): 525-527.
Shostack, G. (1984). "Designing services that deliver." Harvard business review
62(1): 133-139.
Topping, K. (1998). "Peer assessment between students in colleges and universities."
Review of Educational Research 68(3): 249-276.
Topping, K. J. (1996). "The effectiveness of peer tutoring in further and higher educa-
tion: A typology and review of the literature." Higher Education 32(3): 321-
345.
Topping, K. J. (2005). "Trends in peer learning." Educational Psychology 25(6): 631-
645.
46
Twigg, C. A. (1999). Improving Learning and Reducing Costs: Redesigning Large-
Enrollment Courses.
Twigg, C. A. (2003). "Models for online learning." EDUCAUSE review: 28-38.
Webb, N. M. (2010). Peer Learning in the Classroom. International Encyclopedia of
Education P. Penelope, B. Eva and M. Barry. Oxford, Elsevier: 636-642.
Wegener, R. and J. M. Leimeister (2012). Do Student-Instructor Co-Created eLearn-
ing Materials Lead To Better Learning Outcomes? Empirical Results from a
German Large Scale Course Pilot Study. 45. Hawaii International Conference
on System Sciences (HICSS). Hawaii, USA.
Wegener, R. and J. M. Leimeister (2012). Peer Creation of E-Learning Materials to
Enhance Learning Success and Satisfaction in an Information Systems Course. .
20th European Conference on Information Systems (ECIS 2012). Barcelona,
Spain.
Wegener, R. and J. M. Leimeister (2012). "Virtual Learning Communities: Success
Factors and Challenges." International Journal of Technology Enhanced Lear-
ning (IJTEL) 4(5/6): 383 - 397.
Wegener, R., P. Menschner, et al. (2010). Analyse und Optimierung von Lehrdienst-
leistungen mittels Service Blueprinting - Konzeption und erste empirische Be-
funde. Multikonferenz Wirtschaftsinformatik (MKWI) Göttingen: 383-395.
Wegener, R., P. Menschner, et al. (2012). Design and evaluation of a didactical ser-
vice blueprinting method for large scale lectures. Proceedings of the Interna-
tional Conference on Information Systems (ICIS) (Accepted for Publication).
Orlando Florida, USA.
Wegener, R., A. Prinz, et al. (2011). Steigerung von Interaktivität, Individualität und
Lernerzufriedenheit in einer universitären Massenveranstaltung durch mobile
Endgeräte. DeLFI. Dresden.
47
7 Virtual Learning Communities: Success Factors and Challeng-es
René Wegener, Jan Marco Leimeister
Abstract: Despite their didactical potential many Virtual Learning Communities
(VLCs) fail in enhancing learning outcomes. Therefore, we synthesize factors most
critical for establishing a successful VLC. Applying a structured literature review
(Webster and Watson, 2002), we searched for studies dealing with VLCs in the well
known databases Business Source Premier, Science Direct, and ERIC. We identified,
classified, and synthesized 64 relevant papers. Results indicate that critical success
factors include a strong instructor that acts in different facilitation roles, face-to-face-
meetings that help establishing social ties and well structured small-group assignments
that scaffold the learning process. Main challenges are a lack of common goals, feel-
ings of inhibition and technical problems. Based on the review we offer concrete ad-
vice for instructors building up VLCs. We suggest that future research should focus on
the design of methods and tools for instructors to facilitate the learning process in a
less resource demanding way.
Keywords: Learning, Virtual Community, Success Factors, Literature Review
Please quote as: Wegener, R. & Leimeister, J.M. (2012): Virtual Learning Communi-
ties: Success Factors and Challenges. In: International Journal of Technology En-
hanced Learning (IJTEL) Vol. 4 (2012) Nr. 5/6, S. 383 - 397.
48
7.1 Introduction to Virtual Learning Communities
Virtual Communities have been called the “killer application” of the Web as early as
1998 (Napoli, 1998) and have raised expectations regarding their usage in educational
contexts (Wachter, Gupta, and Quaddus, 2000). But not all Virtual Learning Commu-
nities fulfill these expectations but instead suffer from low engagement. Many re-
searchers have addressed this challenge over the past years by identifying critical
success factors for establishing Virtual Learning Communities. We join this rank by
summarizing the results of these studies. Applying a structured literature review (Web-
ster and Watson, 2002), we searched for studies dealing with Virtual Learning Com-
munities in well-known databases identifying, classifying, and synthesizing 64
relevant papers.
Results indicate that there are several factors critical for the success of Virtual Learn-
ing Communities: a strong, present and helpful instructor that acts in different facilita-
tion roles, face-to-face-meetings that help to establish social ties, and small-group
assignments that offer concrete goals and avoid information overload. Main challenges
are a lack of common interests or goals, feelings of inhibition and technical issues.
The paper is structured as follows: We first explain the basics of Virtual Learning
Communities. Thereafter, we introduce the research framework that served as a basis
for the literature review. We then present, synthesize and discuss the results. Based on
the results we identify future research challenges.
7.2 Definitions and didactical basics
7.2.1 Definition of Virtual Learning Communities
A virtual community can be “any virtual social space where people come together to
get and give information or support, to learn, or to find company” (Preece, 2001). So-
cial interaction is enabled by an information technology platform and members are
bound together by a common purpose, goal, or problem (Leimeister, Sidiras, and
Krcmar, 2004). Virtual Learning Communities (VLCs), as the name implies, are dedi-
cated to learning. Thus, we state that a VLC is a virtual social space enabled by an in-
formation technology platform where people with a common goal or purpose come
together in order to interact with each other to gain and/or share knowledge.
49
However, not every kind of collaborative learning scenario can be called a community.
As Dillenbourg (1999) states, collaborative learning scenarios may differ in time (from
several hours to years) or in the number of learners (from small teams to courses of
thousands of people). Thus, we further characterize a VLC by the fact that it lasts for a
certain time period of at least several weeks and consists of more people working to-
gether than just small teams. In addition, we distinguish between two general kinds of
communities which we call: “Formal VLCs” and “Informal VLCs.” Formal learning is
what usually takes place in school classes and university courses, or through certified
continued education. Informal learning is more unintended, unstructured, and often
lacks a teacher (Eraut, 2004). In our review, we use the term Informal VLC when it is
not directly connected to a coherent course design. Instead, in Informal VLCs, people
form a Community of Practice (Wenger, 1998) around a special topic, distributing
knowledge in a “living” way. The members are informally bound together by their
shared purpose or problem, not formally by a course instructor in a university.
All communities incorporated in this study deal with a special topic, and are dedicated
to learning. Thus, larger communities, such as the well-known Wikipedia or Social
Networks such as Facebook, are out of the scope of this work.
7.2.2 Educational, psychological and technological aspects
As VLCs form social spaces, based on an IT platform and dedicated to learning, VLC
research touches many different disciplines. From an educational point of view, VLCs
offer opportunities for social learning experiences. Interactions like the ones occurring
between learners themselves or between learners and an instructor are crucial for the
learning process (Thurmond and Wambach, 2004). Social constructivism posits that
the interactions with other human beings are of special importance for learners to con-
struct their understanding of the world (Vygotsky, 1988). In a virtual community, in-
teraction is an inherent part and occurs in discussions between its members. They
construct artifacts in dynamic group processes with the mutual engagement. Thus, Vir-
tual Learning Communities seem to be ideal tools to support social learning processes.
Social interactions are enabled through the IT platform and its different tools like
black boards, chats or social media. Research on Virtual Communities has shown that
technological aspects like website stability are important for users’ satisfaction and
actual use of the platform (Leimeister, Sidiras, and Krcmar, 2004). Also the selected
tools should support the desired tasks. Synchronous communication tools, e.g., may be
50
better to support knowledge creation in smaller groups (Hrastinski, 2008) but might be
difficult to apply in large groups.
From a psychological perspective, it is interesting to analyze the factors that drive
learners to act in an intended or unintended way. One important factor that supports
knowledge sharing is trust (Leimeister, Ebner, and Krcmar, 2005). If people do not
trust each other they are more reluctant to share knowledge which hinders an effective
learning process. Technological components like user profiles may help to build trust.
This example shows how the different aspects work together in VLCs. Thus, while this
review focuses on the didactical purpose of VLCs, it will also take into account psy-
chological or technological factors that might hinder interaction and learning.
7.2.3 Measuring Virtual Learning Community success
Success of a VLC can be measured in different ways, including the degree to which
participants feel they actually are members of a community, the overall learning satis-
faction, plain usage of the community platform, or concrete learning outcomes. Meas-
uring learning outcomes is a complex field of research on its own. Learning success
can be measured directly through tests (Kraiger, Ford, and Salas, 1993) or indirectly
through self-reports. The advantage of the latter one is that one can compare results
across different courses and get insights into learners’ self-evaluation. The disad-
vantage is that self-reported outcomes may only correlate weakly with actual learning
success. Thus, they are sometimes considered being more suitable for measuring affec-
tive, i.e. motivational and attitudinal, outcomes. As there are reasonable arguments in
favor for direct as well as indirect measures (Benbunan-Fich, 2010), we will include
both in the review.
7.3 Research framework
7.3.1 Methodology and selection of literature
A literature review is supposed to synthesize the most important scientific results in a
special domain and to identify possible contradictions and the state of the research
(Bem, 1995). In addition, by summing up previous results, white spots are to be point-
ed out, thereby highlighting promising areas for future research (Webster and Watson,
2002). For our research, we looked for empirical studies about VLCs in order to identi-
fy success factors and challenges in designing and establishing VLCs. We chose three
well-known databases for our research: The pedagogical database ERIC (Education
51
Resources Information Center), Business Source Premier and ScienceDirect. These
databases include important journals such as the Academy of Management Learning
and Education (Business Source Premier), or Computers and Education
(ScienceDirect). We conducted the research in January of 2012 and our search string
was ("virtual community" or "online community") for searching through ERIC, which
was supplemented with (AND "learning") in the other databases. We restricted our
search to articles from peer reviewed journals published since the year 2000. We first
searched through the titles of the publications and then the abstracts to identify suitable
literature. We only included empirical papers, not conceptual ones. In the end, we
identified 56 articles through this research method, four in Business Source premier,
24 in ERIC and 28 in ScienceDirect. During the progress and review of this work, sev-
eral external experts pointed to additional publications of interest. These recommenda-
tions led to a further eight publications which makes up a sum of 64 articles.
7.3.2 Categorization scheme
As implied by (Cooper, 1998), we incorporated some background information in our
categorization scheme, i.e. the subject of the community and institutional backgrounds
of the learners. Since most studies were conducted in university courses we only dis-
tinguish between university and other backgrounds. Another important aspect we in-
cluded in the scheme is its virtuality. We consider a VLC to be “blended” if there are
at least face-to-face meetings at the beginning and the end of the course and pure
online if there are no face-to-face meetings. If both categories are marked with a cross,
this means that the study incorporated at least two different courses.
We also categorized the studies with regard to the applied empirical research method
(Cooper, 1998). These are observations, mostly through server logs, interviews, sur-
veys and objective tests, usually university exams.
The last part of our categorization scheme is dedicated to the success factors them-
selves. As implied by Webster and Watson (2002), the different concepts were not
predetermined, but were successively derived from the literature itself at the time of
analyzing the individual papers. As success factors or challenges we declared factors
that contributed to or hindered either learning success, learners’ satisfaction or per-
ceived level of community or presence. To include a wide range of research, we were
open to different measuring methods for each of these aspects. These include quantita-
tive findings, e.g. significant differences between mean test scores of participants of a
52
blended and pure online VLC, as well as qualitative findings, e.g. students stating that
they benefited from the instructor’s regular support. We also took into account the au-
thors’ own interpretations and conclusions in each paper.
7.4 Results
Of the 64 articles, 36 studies dealt with Formal VLCs (Table 1), 16 were classified as
Informal VLCs and there were also 11 meta-studies (Table 2), with some studies ex-
amining dozens of communities each. For a better overview, we distinguish between
these three kinds of studies. Most studies were conducted in university settings and
topics often related to didactics and education. Similarly, the Informal VLCs we came
across were often Communities of Practice consisting of teachers. The most common
topics, in general, were educational ones (24) or topics in the area of Information
Technologies (7). This already shows one shortcoming of current research. Since
VLCs are mostly being studied by researchers from the IS or educational sector, there
is not much knowledge about other topics and to what extend a VLC works better or
worse in specific domains. It is noteworthy that 23 articles were published in 2010 or
later which shows how much attention the topic earned over the last years.
Another interesting aspect is that only six studies actually measured objective learning
outcomes. Most of them relied on server logs (observations) and surveys for success
measurement. So in many studies it remains unclear whether the usage of a VLC really
lead to higher learning outcomes. Especially when taking a look at Informal VLCs
there are no studies actually measuring objective learning success.
We identified three main success factors and three main challenges when establishing
a VLC. The presence and facilitation of the instructor, face-to-face meetings and well-
structured small-group-assignments seemed to foster community feelings and learning
success. Main challenges are technical issues, a lack of common goals and feelings of
inhibition or lack of trust. In this way, the results represent the interdisciplinary influ-
ences on VLCs, as educational, technological and psychological aspects are inter-
twined at this point.
53
Table 1: Compilation of results (Meta-Studies)
Setting
Top
ic
Uni
vers
ity
Oth
er
Pure
Onl
ine
Ble
nded
Obs
erva
tion
Inte
rvie
ws
Surv
ey
Tes
t
Inst
ruct
or
F2F
Mee
ting
s
Gro
up A
ssig
n.
Com
mon
Goa
ls
Inhi
biti
on/T
rust
Tec
hn. I
ssue
s
MetaBeckett, Amaro-Jimenez, … 2010 Different x x x x x xDewiyanti et al., 2007 Different x x x x xGarrison, Cleveland-Innes, ... 2010 Social Sciences, Education x ? ? x xKe, 2010 Different x x x x x x xLaPointe and Reisetter, 2008 Different x x xLin, Hung, and Chen, 2009 IT x x xMatzat, 2010 Education x x x x xRitter et al., 2010 Education x x x x xRovai and Wighting, 2005 Education x x xShea and Bidjerano, 2012 Different x x x x xYu, Lu, and Liu, 2010 IT x x x
Succ.Fact. Chall.Emp. Meth.
Aut
hor &
Yea
r
General Information Instit. Virt.
54
Table 2: Compilation of results (formal and informal VLCs)
Topic
Top
ic
Uni
vers
ity
Oth
er
Pure
Onl
ine
Ble
nded
Obs
erva
tion
Inte
rvie
ws
Surv
ey
Tes
t
Inst
ruct
or
F2F
Mee
ting
s
Gro
up A
ssig
n.
Com
mon
Goa
ls
Inhi
biti
on/T
rust
Tec
hn. I
ssue
s
FormalAkyol, Garrison, and Ozden, 2009 Education x x x x x xAn, Shin, and Lim, 2009 Education x x x x xBernardo et al., 2004 Surgery x x x x x xBorup, West, and Graham, 2011 Education x x x xCacciamani et al., 2012 Psychology, Education x x x xCho et al., 2007 Aerospace System x x x x xConrad, 2002 ? x x x x xDarhower, 2007 Language Learning x x x xDennen, 2008 Education x x x xDowning et al., 2007 Psychology x x x x xFasso, 2010 Education x x x x xFrancescato et al., 2007 Psychology x x x xHansen, 2008 Marketing x x xHrastinski, 2008 Knowledge Management x x x x x xHudson, Hudson, and Steel, 2006 Education x x x x x xJoubert and Wishart, 2011 Education x x x x x x xKing, 2002 Education x x x xLapadat, 2007 Education x x xLiu and Yang, 2012 Ethics x x x xMa and Yuen, 2010 Different x ? ? xMei-hui, 2011 Education x x x x x xOverbaugh and Nickel, 2011 Education x x x xPeacock and Hooper, 2007 Psychology, x x x x xRovai, 2003 Education x x xSamarawickrema, Benson, ... 2010 Education x x x x xSchellens and Valcke, 2006 Education x x x xShea and Bidjerano, 2010 Business Management x x x xSing and Khine, 2006 Education x x x xSmith et al., 2011 Education x x x x xSo and Brush, 2008 Health Education x x x xTeng et al., 2012 Education x x x xTsai, 2010 IT x x x x xVavasseur and MacGregor, 2008 Education x x x x x xWu and Hiltz, 2004 IT x x x xYang, Yeh, and Wong, 2010 Writing x x x x x xZydney et al., 2012 IT x x x xInformalCarr and Chambers, 2006 Education x x x x x x xChalkiti and Sigala, 2008 Tourism x x x x xChiu, Hsu, and Wang, 2006 IT x x x xDuncan-Howell, 2010 Education x x xGairin-Sallan, Rodriguez-Gomez, ... 2010Different x x x x xGao, 2007 Language Learning x x xGray, 2004 Education x x x x x x xGuldberg and Mackness, 2009 Communities of Practice x x x x x xHamulic and Bijedic, 2009 IT x x xJeppesen and Laursen, 2009 IT x x x x xKaragiorgi and Lymbouridou, 2009 Education x x x x xLee, Lin, and Bonk, 2007 Translation x x x x xLin, Lin, and Huang, 2008 Education x x x x x x xParr and Ward, 2006 Education x x x x x x xRiverin and Stacey, 2008 Education x x x x x xRoss, 2007 Taxi Driving x x x x x
Succ.Fact. Chall.General Information Emp. Meth.
Aut
hor &
Yea
r
Instit. Virt.
55
7.5 Discussion of results
Success factor 1 – Facilitation and presence of the instructor: This factor refers to ac-
tivities directly performed by the instructor like starting discussions, encouraging
learners or offering feedback. Teaching presence strongly influences social and cogni-
tive presence. These assumptions are supported by structural equitation modeling
(Garrison, Cleveland-Innes, and Fung, 2010) and content analysis of postings (Shea et
al., 2010). Analyzing posting behavior, King finds that continuous interventions keep
discussions flowing (King, 2002) and Liu states that hard scaffolding enhances discus-
sion quality (Liu and Yang, 2012). Based on content analysis, Smith et al. find that
some students do not understand the importance of online group work (2011) and Sing
and Khine state that learners often are not used to criticize others (2006). Both studies
conclude that it is the instructor’s task to explain importance and rules of online group
work to participants and establish an environment where critique is accepted.
Many studies indicate that instructors’ availability and high number of individual
feedbacks are highly appreciated by students (Peacock and Hooper, 2007; Ke, 2010;
Beckett, Amaro-Jimenez, and Beckett, 2010; Tsai, 2010). However, these are qualita-
tive studies based on self-reports or interviews. It is presumably natural that students
prefer attainable instructors that offer lots of feedback as this makes learning more
comfortable. But the results are no evidence that a certain level of attainability or
feedback is necessary for effective learning as the demand for more instructor inter-
ventions may also be connected to a lack of own engagement. Comparing different
kinds of instructor facilitation between three VLCs, An, Shin, and Lim (2009) find that
mandatory peer feedback creates more interaction than too much facilitation. On the
other hand, forced interactions might be less critical and deep, as learners see postings
only as a duty (Dennen, 2008). As a conclusion, instructors might use socially forma-
tive assignments (like introducing oneself) in the beginning as this has shown to raise
the number of posts (Downing et al., 2007). Then they should assign group tasks and
grade concrete group products. That way, students are not rewarded for superficial
posts and the group product will also help enhance group processes (Dewiyanti et al.,
2007). Instructors should also clearly state when they will be online (Ke, 2010) and
use friendly, precise (Rovai, 2003) and supportive (Cacciamani et al., 2012) communi-
cations styles. To conclude, while clear expectations, tasks and a certain level of inter-
ventions are surely important, it is unclear which level of intervention and individual
feedback is the best.
56
Surprisingly, the central role of an instructor also applies to Informal VLCs, as the
moderator is crucial here as well (Gairin-Sallan, Rodriguez-Gomez, and Armengol-
Asparo, 2010; Chalkiti and Sigala, 2008; Gray, 2004; Lee, Lin, and Bonk, 2007).
Chalkiti and Sigala (2008) highlight the importance of moderators in order to facilitate
communication. Gairin-Sallan, Rodriguez-Gomez et al. (2010) also point to the fact
that the type and degree of intervention necessary will depend on the motivation and
skill levels of the participants, where lower levels demand more intervention from the
instructor. A strong common goal and motivation might substitute external instruction
to a certain degree. In this case members themselves point to the direction to be taken.
Success factor 2 - Face-to-face meetings: This factor sums up any real life meetings.
Most studies analyzing the importance of face-to-face meetings suggest they have sev-
eral beneficial effects. Akyol, Garrison, and Ozden (2009) posit that group cohesion
and perceived teaching presence are higher in a blended course. Shea and Bidjerano
find higher levels of perceived presence and help seeking behavior (2012). Matzat
finds evidence for more willingness to participate in blended communities (2010). Re-
sults are supported by qualitative findings stating that pace of online communications
may be broken up or that face-to-face meetings help to get to know each other in the
beginning (Conrad, 2002; Hudson, Hudson, and Steel, 2006). Comparing blended to
online VLCs Ritter et al. find that perceived community is higher, but not perceived
learning (2010). Similarly, Overbaugh and Nickel only found weak advantages for a
blended VLC in connectedness, but not satisfaction or learning (2011). They state,
however, that in the online course there was a higher attrition rate which may have
biased the results. To conclude, it is not sure that blended VLCs will achieve higher
learning outcomes but probably at least higher perceived presence and satisfaction.
This conclusion is supported by the fact that a lack of trust occurs more often in pure
online than in blended settings. This means virtual communities cannot compensate all
shortcomings of the media they are based on. Usage of rich media might help, e.g.
mixing asynchronous and synchronous communication tools (Teng et al., 2012) or us-
ing video clips to introduce the instructor (Borup, West, and Graham, 2011). The me-
ta-analysis also suggests that meetings may be less important in Informal VLCs,
probably because in Informal VLCs members are often distributed across whole coun-
tries and meetings are just not affordable. The tables also hint at the fact that where
there are no face-to-face meetings, structured assignments seem to become even more
important as stated in the next section.
57
Success factor 3 – well structured small-group assignments: This factor comprises of
two parts that are strongly connected: Assigning learners to collaborate in small groups
and assigning tasks with concrete outcome expectations. Schellens and Valcke (2006)
compared activities of students in online discussion groups of different sizes, coming
to the conclusion that larger proportions of higher level knowledge construction are
detected in smaller groups. Fasso (2010) claims that participants working in concrete
partnerships on specific tasks feel more connected to the community. Hrastinski
(2008) argues that synchronous communication tools support personal participation
and motivation, which appears to be especially true in smaller groups. These results
also seem to be supported when taking a look at studies, namely, Francescato, Mebane
et al. (2007) and Hansen (2008), which show that online learners performed better than
their face-to-face peers: In the learning scenarios of both studies, there was not only
strong facilitation, but there were also different levels of assignments containing indi-
vidual, small-group, and community level work. Dewiyanti et al. (2007) suggest that
demanding a concrete group product (as a result of an assignment) stimulates partici-
pants to regulate their group processes. In the study of Ke (2010), students highlighted
a mixture between class and group assignments as a valued quality. The positive effect
of group assignments might also be enhanced by using protocols that assign different
role and tasks to different learners (Zydney, deNoyelles, and Kyeong-Ju Seo, 2012) or
by integrating reflection activities to enhance the learning process (Cacciamani et al.,
2012). It is notable though that this factor is only supported by one study incorporating
a blended VLC. Less structured interactions may still be suitable activities if only
complementing face-to-face meetings. If interactions only occur online, however, it
becomes even more important to scaffold these activities. To sum up, small-group as-
signments seem to be helpful for learners in several ways. First, assignments give them
concrete actionable advice on what to do. Second, they reduce information overload,
as learners only have to read messages from several peers instead of the whole com-
munity. Third, small group assignments that afford much communication might be
more helpful in establishing social ties.
Challenge 1 – lack of common goals or interest: This factor includes any issues caused
by a lack of shared motivations. It especially holds true for informal communities
where learners are not motivated by receiving a grade or certificate. However, a lack
of common goals is also problematic in formal learning settings. If students are only
motivated by grades, interaction might become superficial (Conrad, 2002; Dennen,
58
2008). Instructors should carefully consider whether their course topics and learning
goals are suitable for a VLC. They should clearly express how learners should engage
in the community and how this helps them to achieve the proposed learning goals
(Joubert and Wishart, 2011).
Challenge 2 – inhibition/lack of trust, fear of criticism: This challenge sums up psy-
chological issues hindering participation. They can be separated into general feelings
of inhibition, e.g. feeling to be exposed to community members, and more specifically
a lack of interpersonal trust. Some people feel inhibited in a VLC (Conrad, 2002).
They are afraid of being criticized, hesitate to criticize others (Lin, Lin, and Huang,
2008; Carr and Chambers, 2006) or to edit their peers’ work (Yang, Yeh, and Wong,
2010). They might be afraid that contributions are not good enough, suggesting that
they have to take risks when contributing, as Parr and Ward (2006) indicate. They
suppose online collaboration should start in a safe environment which also supports
the idea of using small group discussions where people are not exposed to all partici-
pants. This challenge mostly arises in non university settings. One reason may be that
university courses, even if conducted online, still offer a more familiar and safer envi-
ronment than other settings. In addition, in university settings students are often more
or less forced to participate which means that a lack of trust may play a minor role.
Feelings of inhibition also seem to be more common in pure online communities (only
one of six studies mentioning this challenge was based on a blended approach), which
again underlines the importance of traditional face-to-face meetings for establishing
trust and classroom community. Another way may be to implement different trust-
supporting components like sections containing information about the provider, or
other learners (Leimeister, Ebner, and Krcmar, 2005).
Challenge 3 – technological issues: Technological issues refer to basic problems with
regard to connection stability and speed, but also to learners not being able to use dif-
ferent tools in the didactically intended way. Challenges are expressed by six studies.
The technological barriers can be of two kinds. First, members just need a stable con-
nection to the community platform, and should not face problems dealing with the
software. These problems might have become less important over the last years when
high-speed Internet has spread. Second, learners need the competence to use these
technologies. The tables show that technological problems did not occur in VLCs deal-
ing with IT topics. This is probably due to the fact that these VLCs were offered to
technology affine students that were used to the internet and maybe social media. This
59
highlights the importance of acquainting learners with E-learning in a step-by–step
manner. The problem seems to be of less importance in formal VLCs – possibly be-
cause these are more strongly guided by an instructor, and often involve face-to-face
meetings, thus making adaption to the new technology and discussing technical issues
easier.
7.6 Research challenges
The main result of our research lies in indentifying the instructor as being the most
crucial factor for the success of a VLC. He should carefully create and assess group
tasks, intervene regularly, express his expectations and the importance of online group
work and also offer meetings in the real world. We lack, however, knowledge about
the effects of different scaffolding measures and the minimum level of individual
feedback necessary. Also, most existing guidelines for instructors, such as showing
presence, giving individual feedback, or assessing group products, involve a very high
workload. Studies repeatedly hint at the fact that VLCs are very resource demanding
for the instructor as well as for the learner (Chalkiti and Sigala, 2008; Karagiorgi and
Lymbouridou, 2009) without offering much advice on how to overcome this issue. To
support the instructor in his tasks we might need a new toolset of incentivation and
scaffolding measures. Peer learning activities and self-regulation tasks, supported by
IT components, might help to create fulfilling learning experiences with less interven-
tions from the instructor. As an example, students might sign a voluntary agreement
that they will engage in specific ways, e.g. read comments at least once a week and
contribute in-depth postings at least once in two weeks. They could also have to read
and rate a specific number of peer comments. A virtual avatar might remind them of
these tasks. To facilitate self-reflection awareness tools could be used to visualize
one’s own contributions compared to others. Students neglecting to contribute may
receive automated mails from the system. This way, IT tools might support self-
regulation and cooperation and thus also support the instructor. In this context, one
might also think of tools raising awareness of one’s own current learning tasks and
learning status. These tools are common in cooperative work but not in cooperative
learning. If tasks, roles and responsibilities are clearly visible to everyone, this might
scaffold cooperative learning.
The instructor should generally receive more relevant information about learners to get
an overview of the participants’ learning or collaboration processes. For example, in-
60
structors should be able to automatically identify possible lurkers or central actors in
their VLC. When assigning group work, the tools might identify groups with low lev-
els of interaction and offer automatic E-Mail reminders for scheduled tasks. Based on
metrics of Social Network Analysis like number and length of posts, views or centrali-
ty of actors, tools might reveal the most engaged participants in a VLC or the most
viewed posts. These could be awarded by the instructor as a sort of incentive. While
there are many visualization tools for Social Network Analysis, they are not suited for
guiding a whole course at university level and do not offer concrete advice to instruc-
tors so far.
We also lack knowledge about how different tools affect learners. There are studies
dealing with the difference between synchronous and asynchronous communication.
With new tools like Wikis, Blogs or shared repositories it becomes harder to determine
which tools are suited for which task. It would be interesting to analyze which specific
components of each of these tools might contribute to factors like individual engage-
ment. Fear to criticize others, e.g., might be lower in a Wiki, where articles are de-
clared as common goods, than in a personal Blog.
Apart from designing new tools for the instructor it might also make sense to work on
new peer evaluation methods. Other domains where Web 2.0 has had a huge impact,
such as E-Commerce, often strongly rely on peer ratings of contributions or actors.
These peer ratings might contain rewards such as the status of a super-user. Currently
there is not much knowledge about how these rating systems might be adapted to
learning contexts. Since sanctioning lurkers or rewarding active users have shown to
be important aspects in a VLC, we suppose that it is not sufficient to implement peer
ratings functions of a VLC platform but that they have to be combined with further
incentives.
Although the instructor or moderator will probably always be a central actor in a VLC,
new methods of incentivation and new IT components might be ways of supporting
collaboration between members. We suggest that future research on VLCs should fo-
cus on the design of methods and tools that enable instructors to facilitate and guide
the learning processes in a less resource demanding way.
61
7.7 Conclusion, limitations and outlook
This study reports the results of a structured literature review of 64 papers in order to
determine critical success factors and challenges of Virtual Learning Communities.
Results indicate that a strong instructor, face-to-face meetings, and assignments for
small groups are three crucial factors that lead to desirable outcomes, such as a feeling
of community, satisfaction, and learning success. Technological issues, a feeling of
inhibition or lack of trust, and a lack of common goals or motivation, are the main
challenges in VLCs. In conclusion, a community should comprise the following
aspects:
A specific goal which should be clear to every member
Tasks and discussions that are facilitated by skilled instructors or moderators
Opportunities for members to meet face-to-face and to work in small groups.
Our research is subject to several limitations. As our literature review is narrowed
down to a number of relevant databases and terms, there is always a risk of missing
articles. Accordingly, results could be further supplemented by sources that might
have been left aside. So our results should only be considered as an addition to re-
search on related fields (such as Computer Supported Collaborative Learning or E-
Learning). Despite these limitations, we strongly encourage practitioners to take the
above success factors and challenges into account when setting up a VLC. In further
research we plan to investigate methods and tools that might support the instructor in
establishing connectedness and engagement in a VLC in a more resource efficient
way.
7.8 References
Akyol, Z., Garrison, D. R. and Ozden, M. Y. (2009) 'Development of a community of
inquiry in online and blended learning contexts', Procedia - Social and
Behavioral Sciences, Vol. 1, pp. 1834-1838.
An, H., Shin, S. and Lim, K. (2009) 'The effects of different instructor facilitation
approaches on students' interactions during asynchronous online discussions',
Computers & Education, Vol. 53, pp. 749-760.
62
Beckett, G. H., Amaro-Jimenez, C. and Beckett, K. S. (2010) 'Students' Use of
Asynchronous Discussions for Academic Discourse Socialization', Distance
Education, Vol. 31, pp. 315-335.
Bem, D. J. (1995) 'Writing a review article for Psychological Bulletin', Psychological
Bulletin, Vol. 118, pp. 172-177.
Benbunan-Fich, R. (2010) 'Is Self-Reported Learning a Proxy Metric for Learning?
Perspectives From the Information Systems Literature', Academy of
Managament Learning & Education, Vol. 9, pp. 321-328.
Bernardo, V., Ramos, M. P., Plapler, H., De Figueiredo, L. F. P., Nader, H. B., Anção,
M. S., Von Dietrich, C. P. and Sigulem, D. (2004) 'Web-based learning in
undergraduate medical education: development and assessment of an online
course on experimental surgery', International Journal of Medical Informatics,
Vol. 73, pp. 731-742.
Borup, J., West, R. E. and Graham, C. R. (2011) 'Improving online social presence
through asynchronous video', The Internet and Higher Education, Vol., pp.
Cacciamani, S., Cesareni, D., Martini, F., Ferrini, T. and Fujita, N. (2012) 'Influence of
participation, facilitator styles, and metacognitive reflection on knowledge
building in online university courses', Computers & Education, Vol. 58, pp.
874-884.
Carr, N. and Chambers, D. P. (2006) 'Teacher Professional Learning in an Online
Community: The Experiences of the National Quality Schooling Framework
Pilot Project', Technology, Pedagogy and Education, Vol. 15, pp. 143-157.
Chalkiti, K. and Sigala, M. (2008) 'Information sharing and idea generation in peer to
peer online communities: The case of 'DIALOGOI.'', Journal of Vacation
Marketing, Vol. 14, pp. 121-132.
Chiu, C.-M., Hsu, M.-H. and Wang, E. T. G. (2006) 'Understanding knowledge
sharing in virtual communities: An integration of social capital and social
cognitive theories', Decision Support Systems, Vol. 42, pp. 1872-1888.
63
Cho, H., Gay, G., Davidson, B. and Ingraffea, A. (2007) 'Social networks,
communication styles, and learning performance in a CSCL community',
Computers & Education, Vol. 49, pp. 309-329.
Conrad, D. (2002) 'Deep in the Hearts of Learners: Insights into the Nature of Online
Community', Journal of Distance Education, Vol. 17, pp. 1-19.
Cooper, H. 1998. Synthesizing Research: A Guide for Literature Reviews, Thousand
Oaks London New Delhi, SAGE Publications.
Darhower, M. (2007) 'A Tale of Two Communities: Group Dynamics and Community
Building in a Spanish-English Telecollaboration', CALICO Journal, Vol. 24,
pp. 561-589.
Dennen, V. P. (2008) 'Pedagogical lurking: Student engagement in non-posting
discussion behavior', Computers in Human Behavior, Vol. 24, pp. 1624-1633.
Dewiyanti, S., Brand-Gruwel, S., Jochems, W. and Broers, N. J. (2007) 'Students'
experiences with collaborative learning in asynchronous Computer-Supported
Collaborative Learning environments', Computers in Human Behavior, Vol. 23,
pp. 496-514.
Dillenbourg, P. (1999) 'What do you mean by collaborative learning', Collaborative
learning: Cognitive and computational approaches, Vol., pp. 1-16.
Downing, K. J., Lam, T.-F., Kwong, T., Downing, W.-K. and Chan, S.-W. (2007)
'Creating Interaction in Online Learning: A Case Study', ALT-J: Research in
Learning Technology, Vol. 15, pp. 201-215.
Duncan-Howell, J. (2010) 'Teachers Making Connections: Online Communities as a
Source of Professional Learning', British Journal of Educational Technology,
Vol. 41, pp. 324-340.
Eraut, M. (2004) 'Informal learning in the workplace', Studies in Continuing
Education, Vol. 26, pp. 247 - 273.
64
Fasso, W. (2010) 'Facilitated Networking and Group Formation in an Online
Community of Practice', Australian Educational Computing, Vol. 25, pp. 25-
33.
Francescato, D., Mebane, M., Porcelli, R., Attanasio, C. and Pulino, M. (2007)
'Developing professional skills and social capital through computer supported
collaborative learning in university contexts', International Journal of Human-
Computer Studies, Vol. 65, pp. 140-152.
Gairin-Sallan, J., Rodriguez-Gomez, D. and Armengol-Asparo, C. (2010) 'Who
Exactly Is the Moderator? A Consideration of Online Knowledge Management
Network Moderation in Educational Organisations', Computers & Education,
Vol. 55, pp. 304-312.
Gao, X. (2007) 'A Tale of Blue Rain Cafe: A Study on the Online Narrative
Construction about a Community of English Learners on the Chinese
Mainland', System: An International Journal of Educational Technology and
Applied Linguistics, Vol. 35, pp. 259-270.
Garrison, D. R., Cleveland-Innes, M. and Fung, T. S. (2010) 'Exploring causal
relationships among teaching, cognitive and social presence: Student
perceptions of the community of inquiry framework', The Internet and Higher
Education, Vol. 13, pp. 31-36.
Gray, B. (2004) 'Informal Learning in an Online Community of Practice', Journal of
Distance Education, Vol. 19, pp. 20-35.
Guldberg, K. and Mackness, J. (2009) 'Foundations of Communities of Practice:
Enablers and Barriers to Participation', Journal of Computer Assisted Learning,
Vol. 25, pp. 528-538.
Hamulic, I. and Bijedic, N. (2009) 'Social network analysis in virtual learning
community at faculty of information technologies (fit), Mostar', Procedia -
Social and Behavioral Sciences, Vol. 1, pp. 2269-2273.
Hansen, D. E. (2008) 'Knowledge Transfer in Online Learning Environments', Journal
of Marketing Education, Vol. 30, pp. 93-105.
65
Hrastinski, S. (2008) 'The potential of synchronous communication to enhance
participation in online discussions: A case study of two e-learning courses',
Information & Management, Vol. 45, pp. 499-506.
Hudson, B., Hudson, A. and Steel, J. (2006) 'Orchestrating Interdependence in an
International Online Learning Community', British Journal of Educational
Technology, Vol. 37, pp. 733-748.
Jeppesen, L. B. and Laursen, K. (2009) 'The role of lead users in knowledge sharing',
Research Policy, Vol. 38, pp. 1582-1589.
Joubert, M. and Wishart, J. (2011) 'Participatory practices: Lessons learnt from two
initiatives using online digital technologies to build knowledge', Computers &
Education, Vol., pp.
Karagiorgi, Y. and Lymbouridou, C. (2009) 'The Story of an Online Teacher
Community in Cyprus', Professional Development in Education, Vol. 35, pp.
119-138.
Ke, F. (2010) 'Examining online teaching, cognitive, and social presence for adult
students', Computers & Education, Vol. 55, pp. 808-820.
King, K. P. (2002) 'Identifying success in online teacher education and professional
development', The Internet and Higher Education, Vol. 5, pp. 231-246.
Kraiger, K., Ford, J. K. and Salas, E. (1993) 'Application of cognitive, skill-based, and
affective theories of learning outcomes to new methods of training evaluation',
Journal of Applied Psychology, Vol., pp. 311-328.
Lapadat, J. (2007) 'Discourse Devices Used to Establish Community, Increase
Coherence, and Negotiate Agreement in an Online University Course', Journal
of Distance Education, Vol. 21, pp. 59-92.
Lapointe, L. and Reisetter, M. (2008) 'Belonging Online: Students' Perceptions of the
Value and Efficacy of an Online Learning Community', International Journal
on E-Learning, Vol. 7, pp. 641-665.
66
Lee, M. M., Lin, M.-F. G. and Bonk, C. J. (2007) 'OOPS, Turning MIT
Opencourseware into Chinese: An Analysis of a Community of Practice of
Global Translators', International Review of Research in Open and Distance
Learning, Vol. 8, pp. 1-21.
Leimeister, J. M., Ebner, W. and Krcmar, H. (2005) 'Design, Implementation, and
Evaluation of Trust-Supporting Components in Virtual Communities for
Patients', J. Manage. Inf. Syst., Vol. 21, pp. 101-131.
Leimeister, J. M., Sidiras, P. and Krcmar, H. Year. Success factors of virtual
communities from the perspective of members and operators: an empirical
study. In: System Sciences, 2004. Proceedings of the 37th Annual Hawaii
International Conference on, 5-8 Jan. 2004 2004. 10 pp.
Lin, F.-R., Lin, S.-C. and Huang, T.-P. (2008) 'Knowledge Sharing and Creation in a
Teachers' Professional Virtual Community', Computers & Education, Vol. 50,
pp. 742-756.
Lin, M.-J. J., Hung, S.-W. and Chen, C.-J. (2009) 'Fostering the determinants of
knowledge sharing in professional virtual communities', Computers in Human
Behavior, Vol. 25, pp. 929-939.
Liu, C.-J. and Yang, S. C. (2012) 'Applying the Practical Inquiry Model to investigate
the quality of students’ online discourse in an information ethics course based
on Bloom’s teaching goal and Bird’s 3C model', Computers & Education, Vol.,
pp.
Ma, W. W. K. and Yuen, A. H. K. (2010) 'Understanding online knowledge sharing:
An interpersonal relationship perspective', Computers & Education, Vol. 56,
pp. 210-219.
Matzat, U. (2010) 'Reducing Problems of Sociability in Online Communities:
Integrating Online Communication With Offline Interaction', American
Behavioral Scientist, Vol. 53, pp. 1170-1193.
Mei-Hui, L. (2011) 'Discussing teaching videocases online: Perspectives of preservice
and inservice EFL teachers in Taiwan', Computers & Education, Vol., pp.
67
Napoli, L. 1998. The Latest Internet Buzzword: Community. New York Times.
Overbaugh, R. C. and Nickel, C. E. (2011) 'A comparison of student satisfaction and
value of academic community between blended and online sections of a
university-level educational foundations course', The Internet and Higher
Education, Vol. 14, pp. 164-174.
Parr, J. and Ward, L. (2006) 'Building on Foundations: Creating an Online
Community', Journal of Technology and Teacher Education, Vol. 14, pp. 775-
793.
Peacock, S. and Hooper, J. (2007) 'E-learning in physiotherapy education',
Physiotherapy, Vol. 93, pp. 218-228.
Preece, J. (2001) 'Sociability and usability in online communities: determining and
measuring success', Behaviour & Information Technology, Vol. 20, pp. 347 -
356.
Ritter, C., Polnick, B., Fink Ii, R. and Oescher, J. (2010) 'Classroom learning
communities in educational leadership: A comparison study of three delivery
options', The Internet and Higher Education, Vol. 13, pp. 96-100.
Riverin, S. and Stacey, E. (2008) 'Sustaining an Online Community of Practice: A
Case Study', Journal of Distance Education, Vol. 22, pp. 43-58.
Ross, D. a. R. (2007) 'Backstage with the Knowledge Boys and Girls: Goffman and
Distributed Agency in an Organic Online Community', Organization Studies
(01708406), Vol. 28, pp. 307-325.
Rovai, A. P. (2003) 'The relationships of communicator style, personality-based
learning style, and classroom community among online graduate students', The
Internet and Higher Education, Vol. 6, pp. 347-363.
Rovai, A. P. and Wighting, M. J. (2005) 'Feelings of alienation and community among
higher education students in a virtual classroom', The Internet and Higher
Education, Vol. 8, pp. 97-110.
68
Samarawickrema, G., Benson, R. and Brack, C. (2010) 'Different Spaces: Staff
Development for Web 2.0', Australasian Journal of Educational Technology,
Vol. 26, pp. 44-49.
Schellens, T. and Valcke, M. (2006) 'Fostering knowledge construction in university
students through asynchronous discussion groups', Computers & Education,
Vol. 46, pp. 349-370.
Shea, P. and Bidjerano, T. (2012) 'Learning Presence as a Moderator of Cognitive
Presence in the Community of Inquiry Model', Computers & Education, Vol.,
pp.
Shea, P., Hayes, S., Vickers, J., Gozza-Cohen, M., Uzuner, S., Mehta, R., Valchova,
A. and Rangan, P. (2010) 'A re-examination of the community of inquiry
framework: Social network and content analysis', The Internet and Higher
Education, Vol. 13, pp. 10-21.
Sing, C. C. and Khine, M. S. (2006) 'An Analysis of Interaction and Participation
Patterns in Online Community', Educational Technology & Society, Vol. 9, pp.
250-261.
Smith, G. G., Sorensen, C., Gump, A., Heindel, A. J., Caris, M. and Martinez, C. D.
(2011) 'Overcoming student resistance to group work: Online versus face-to-
face', The Internet and Higher Education, Vol. 14, pp. 121-128.
So, H.-J. and Brush, T. A. (2008) 'Student perceptions of collaborative learning, social
presence and satisfaction in a blended learning environment: Relationships and
critical factors', Computers & Education, Vol. 51, pp. 318-336.
Teng, D. C.-E., Chen, N.-S., Kinshuk and Leo, T. (2012) 'Exploring students’ learning
experience in an international online research seminar in the Synchronous
Cyber Classroom', Computers & Education, Vol. 58, pp. 918-930.
Thurmond, V. and Wambach, K. (2004) 'Understanding interactions in distance
education: A review of the literature', International Journal of Instructional
Technology and Distance Learning, Vol., pp.
69
Tsai, C.-W. (2010) 'Do students need teacher's initiation in online collaborative
learning?', Computers & Education, Vol. 54, pp. 1137-1144.
Vavasseur, C. B. and Macgregor, S. K. (2008) 'Extending Content-Focused
Professional Development through Online Communities of Practice', Journal of
Research on Technology in Education, Vol. 40, pp. 517-536.
Vygotsky, L. (1988) 'The genesis of higher mental functions', Cognitive development
to adolescence: A reader, Vol., pp. 61–79.
Wachter, R. M., Gupta, J. N. D. and Quaddus, M. A. (2000) 'IT takes a village: Virtual
communities in support of education', International Journal of Information
Management, Vol. 20, pp. 473-489.
Webster, J. and Watson, R. (2002) 'Analyzing the Past to Prepare for the Future:
Writing a Literature Review', MIS Quarterly, Vol. 26, pp.
Wenger, E. (1998) 'Communities of practice: Learning as a social system', Systems
thinker, Vol. 9, pp. 1-5.
Wu, D. and Hiltz, S. R. (2004) 'Predicting Learning from Asynchronous Online
Discussions', Journal of Asynchronous Learning Networks, Vol. 8, pp.
Yang, Y.-F., Yeh, H.-C. and Wong, W.-K. (2010) 'The Influence of Social Interaction
on Meaning Construction in a Virtual Community', British Journal of
Educational Technology, Vol. 41, pp. 287-306.
Yu, T.-K., Lu, L.-C. and Liu, T.-F. (2010) 'Exploring factors that influence knowledge
sharing behavior via weblogs', Computers in Human Behavior, Vol. 26, pp. 32-
41.
Zydney, J. M., Denoyelles, A. and Kyeong-Ju Seo, K. (2012) 'Creating a community
of inquiry in online environments: An exploratory study on the effect of a
protocol on interactions within asynchronous discussions', Computers &
Education, Vol. 58, pp. 77-87.
70
8 Analyse und Optimierung von Lehrdienstleistungen mittels Service Blueprinting: Konzeption und erste empirische Befun-de
René Wegener, Philipp Menschner, Jan Marco Leimeister
Abstract: Wir stellen einen Ansatz zur Analyse und produktivitätsorientierten Gestal-
tung universitärer Lehre vor. Die Zielsetzung liegt dabei in einer Produktivitätssteige-
rung der Lehre durch Erhöhung des Outputs (Zufriedenheit und Lernerfolg) bei
gleichzeitiger Reduzierung des Inputs (Lehraufwand). Hierzu wurde die aus dem Ser-
vice Engineering bekannte Methode des Service Blueprinting eingesetzt, um den Leh-
rerbringungsprozess zu modellieren und Teilaktivitäten auf Möglichkeiten stärkerer
Studierendenintegration sowie intelligenter Teilautomatisierung hin zu prüfen. Als
erstes Anwendungsbeispiel wurden die Studierenden in die besonders aufwändige Er-
stellung vorlesungsergänzender multimedialer Selbstlerneinheiten eingebunden. Bishe-
rige Evaluationsergebnisse deuten darauf hin, dass diese für den Lehrenden
ressourcenschonendere Vorgehensweise nicht zu Lasten der Studierenden geht, son-
dern eine Bereicherung des Lernerlebnisses darstellt. Dieser Ansatz ist neuartig für die
Entwicklung von Lernszenarien, da er neben Outputfaktoren auch den Input berück-
sichtigt und somit zu einer erhöhten Produktivität der universitären Lehre beitragen
kann.
Please quote as: Wegener, R.; Menschner, P. & Leimeister, J. M. (2010): Analyse und
Optimierung von Lehrdienstleistungen mittels Service Blueprinting - Konzeption und
erste empirische Befunde. In: Multikonferenz Wirtschaftsinformatik (MKWI) 2010,
Göttingen, Germany.
71
8.1 Einleitung
„Das Hochschulsystem leistet einen wichtigen, langfristig wirksamen Beitrag zur För-
derung von Wachstum und Innovation – und damit zur Bewältigung der Herausforde-
rungen des demographischen und wirtschaftlichen Wandels“ (Wissenschaftsrat 2006,
S. 8). Diese Aussage des Wissenschaftsrats zeigt, dass die hochschulische Bildung
wesentlich zur Zukunftsfähigkeit der Bundesrepublik Deutschland beiträgt. Auch die
OECD bestätigt, dass Bildungsinvestitionen sich auf die Produktivität der Wirtschaft
eines Landes auswirken und dadurch einen hohen Return on Investment besitzen
(OECD 2003, S. 17). Dennoch leidet das deutsche Hochschulsystem unter anhaltender
Unterfinanzierung (Wissenschaftsrat 2006, S. 6). Diese Problematik verschärft sich
insbesondere, da die Studierendenzahlen in den nächsten Jahren deutlich steigen wer-
den, auf eine Zahl von bis zu 450.000 Studienanfängern im Jahr 2012 (Kultusminister-
konferenz 2005, S. 29). Während es 2004 noch ca. 1,95 Millionen Studierende an
deutschen Hochschulen gab, beläuft sich eine Prognose für 2012 auf bis zu über 2,6
Millionen (Kultusministerkonferenz 2005, S. 25+). Da bereits 2003 auf einen Profes-
sor fast 150 Studierende fielen (Wissenschaftsrat 2006, S. 52), steht die hochschul-
ische Dienstleistung Lehre aufgrund dieser Zahlen vor einer gewaltigen Aufgabe. Der
deutsche Wissenschaftsrat sieht daher für die hochschulische Ausbildung einen hohen
Bedarf nach Steigerung von Effizienz und Effektivität (Wissenschaftsrat 2006, S.
72f.). Schließlich ist die Ausbildung eines Studierenden auch sehr kostspielig - für ei-
nen Masterstudenten an einer Universität betrugen die Ausbildungskosten 2006 pro
Universität durchschnittlich 47.400 Euro (Brugger et al. 2009, S. 43).
In Anbetracht dieser Zahlen erscheint die klassische Vorlesung ohne nennenswerte
Interaktion mit den Studierenden aus Gründen der Effizienz teilweise alternativlos,
zumal ein Mehr an Interaktion für gewöhnlich auch mit einem deutlich höherem Auf-
wand verbunden ist. Hochwertige, individualisierte Lernangebote können daher nur
umgesetzt werden, wenn sie auch unter wirtschaftlichen Gesichtspunkten zufrieden-
stellend sind.
Um diesem Spannungsverhältnis zwischen individueller, hochwertiger Lernerfahrung
einerseits und Wirtschaftlichkeit andererseits zu begegnen, wird in diesem Artikel auf
Erkenntnisse aus dem Service Engineering zurückgegriffen. Dieses liefert Methoden
zur systematischen Entwicklung von Dienstleistungen. Die Zielsetzung liegt dabei in
einer Steigerung der Produktivität von Lehrdienstleistungen.
72
Als konkrete Methode wird das in der Dienstleistungsforschung bereits vielseitig ein-
gesetzte Konzept des Service Blueprinting aufgegriffen. Dieses wird zunächst erläutert
und auf den Problembereich hochschulischer Lehre übertragen. Ausgehend von die-
sem Begriffsverständnis wird die Methode des Blueprinting dann auf ein typisches
Lehr-Lern-Angebot mit Blended Learning Charakter angewendet. Dabei wird aufge-
zeigt, wo Potenziale zur Optimierung des Lehrerbringungsprozesses liegen. Anhand
eines Beispiels wird gezeigt, wie diese didaktisch fundiert realisiert werden können.
Erste empirische Befunde zeigen dabei das Potenzial dieses Vorgehens auf.
Der hier vorgestellte Ansatz ist neu, weil er das pädagogisch motivierte Streben nach
maximalem Lernerfolg mit der Perspektive des kostenorientierten Bildungscontrol-
lings verbindet und so eine ganzheitliche Betrachtungsweise darstellt. Dieser Artikel
liefert somit konzeptionelle Implikationen für die universitäre Ausbildung, welche ei-
nen Beitrag dazu leisten können, die Produktivität der Dienstleistung Lehre an der
Universität zu steigern.
8.2 Hintergrund und Definitionen
8.2.1 Bildung als Dienstleistung
Für Dienstleistungen oder Services existieren unterschiedlichste Definitionen, je nach
Tätigkeitsbereich oder Forschungsschwerpunkt. Allen Definitionen ist allerdings ge-
mein, dass das Ergebnis der Dienstleistung eine gewisse Wirkung auf den Kunden hat.
Vor diesem Hintergrund kommt (Buhl et al. 2008, S. 61) zu folgenden definitorischen
Eigenschaften für Dienstleistungen:
Intangibilität und Immaterialität
Gleichzeitigkeit von Erstellung und Konsum (Uno-actu-Prinzip)
Integration des Kunden (als externer Faktor) in den Erstellungsprozess
Zu ähnlichen Ergebnissen kommen auch (Chesbrough und Spohrer 2006; Rai und
Sambamurthy 2006, S. 328).
Übertragen auf die Problemdomäne universitärer Lehre lässt sich dies dahingehend
konkretisieren, dass zwischen Dozent und Studierendem im Rahmen des Lehrerbrin-
gungsprozesses eine Interaktion stattfindet mit dem Ziel des Erwerbs von Fakten- und
73
Handlungswissen sowie bestimmten fachlich übergreifenden Kompetenzen auf Seiten
der Studierenden. Das exakte Ergebnis ist dabei nur schwer messbar (gerade bei über-
geordneten Kompetenzen) und hängt stark davon ab, was der Lernende als Kunde zum
Prozess beiträgt.
Sowohl die Interaktion zwischen Dozent und Studierendem, als auch die Bereithaltung
des Potenzials (worunter konkret Mitarbeiter, Softwarewerkzeuge sowie auch Lehr-
Lern-Konzepte und Fachwissen des Dozenten fallen) sind jedoch mit einem hohen
Aufwand auf Seiten des Lehranbieters verbunden. Die gezielte Gestaltung von Dienst-
leistungen muss damit sowohl Input- als auch Outputbetrachtungen vereinen. Bezogen
auf Lehrdienstleistungen werden damit zwei Perspektiven zusammengeführt, die sonst
als eher konkurrierend angesehen werden (Mohr und Krcmar 2005, S. 8): Die Sicht
des ökonomischen Bildungscontrollings, welches vorwiegend auf Kosteneffizienz be-
dacht ist, und das pädagogische Bildungscontrolling, welches auf einen möglichst ho-
hen Lernerfolg abzielt.
Beides zu vereinen bedeutet die Bestrebung, die Produktivität von Bildungsdienstleis-
tungen zu steigern. Produktivität bezeichnet dabei das Verhältnis von Output (Zufrie-
denheit, Lernerfolg und Kompetenzerwerb) zu Input (dem Aufwand auf Seiten des
Lehrenden). Eine Steigerung der Produktivität wird im Idealfall durch gleichzeitige
Reduzierung des Inputs und Steigerung des Outputs erreicht. Als mögliche Stell-
schrauben für Ersteres kommen Standardisierung, Teilautomatisierung und gezieltes
Auslagern einzelner Aktivitäten an Studierende in Frage. Eine Steigerung des Outputs
dagegen wird in der Lehre u.a. durch eine erhöhte Individualisierung angestrebt. Ob-
wohl gerade moderne IKT hier neue Möglichkeiten eröffnen, beides zu verbinden,
schöpfen gegenwärtige Bildungsangebote dieses Potenzial nicht ausreichend aus (Gab-
riel et al. 2007, S. 5). Eine strukturierte Methode zur Modellierung von Dienstleistun-
gen wie das Service Blueprinting kann jedoch helfen, die Problemstellung
überschaubarer zu machen und Anhaltspunkte für Optimierungen zu liefern.
8.2.2 Service Blueprinting
Die Methode des Service Blueprinting geht zurück auf Arbeiten von Shostack
(Shostack 1982, S. 49; Shostack 1984, S. 133) und wurde in zahlreichen Arbeiten fort-
entwickelt. (Zeithaml et al. 2006, S. 236ff) definieren das Service Blueprinting als eine
Methode, die gleichzeitig den Dienstleistungsprozess, die Kundenschnittstellen und
die Wahrnehmung der Dienstleisungserbringung aus Kundensicht darstellt. Ein Ser-
74
vice Blueprint kann somit als zweidimensionales Bild eines Dienstleistungserstel-
lungsprozesses angesehen werden: Die horizontale Achse stellt die Chronologie der
einzelnen Prozessschritte dar, die sowohl vom Leistungserbringer als auch vom Kun-
den erbracht werden, und die vertikale Achse unterteilt die verschiedenen Stufen der
Interaktion zwischen Dienstleistungserbringer und Kunden in Ebenen (Fließ und
Kleinaltenkamp 2004, S. 396).
Obwohl sich die einzelnen Entwicklungsstufen und Anwendungsbeispiele des Service
Blueprinting im Detail unterscheiden, haben sich verschiedene Ebenen durchgesetzt,
die im Folgenden vorgestellt werden:
„Line of interaction“: Diese Linie trennt Aktivitäten, die vom Kunden ausge-
führt werden, von denen, die vom Dienstleister erbracht werden, und stellt
selbst die Aktivitäten dar, die gemeinsam erbracht werden.
„Line of visibility“: Hierbei wird unterschieden zwischen Aktivitäten (des
Dienstleisters), die für den Kunden sichtbar respektive unsichtbar sind.
„Line of internal interaction“: Hier findet eine Unterscheidung zwischen Front-
Office und Back-Office-Aktivitäten statt.
„Line of implementation“: Diese trennt Management-Aktivitäten von Unter-
stützungsleistungen (z.B. IT-Systeme, technische Lösungen).
Je nach Industrie und Anwendungsbeispiel findet man weitere Abgrenzungen in der
Literatur, wie z.B. die „Line of order penetration“ unterhalb der „Line of internal in-
teraction“. Auf diese wurde hier verzichtet, da die meisten nicht kundeninduzierten
Aktivitäten von geringerem Aufwand auf Seiten des Lehrenden sind (bspw. Eintra-
gung der Lehrveranstaltung im Prüfungssystem) bzw. ohnehin unterhalb der „Line of
implementation“ liegen.
Die Stärke des Service Blueprinting Ansatzes ist es, dass neben der Modellierung des
Leistungserstellungsprozess sowohl die Kommunikationsschnittstellen mit den Kun-
den sowie der Integrationsgrad in den Leistungserstellungsprozess detailliert darge-
stellt werden. Darauf aufbauend können diese entsprechend analysiert und optimiert
bzw. Vorgaben für die Dienstleistungsgestaltung gewonnen werden. Die Methode des
Service Blueprinting wurde bereits auf unterschiedlichste Dienstleistungen zu unter-
schiedlichen Zwecken angewandt (Fließ und Kleinaltenkamp 2004, S. 396). Im fol-
75
genden Abschnitt wird die Methode des Service Blueprinting auf den Kontext von
Bildungsdienstleistungen angepasst.
8.3 Service Blueprinting für Bildungsdienstleistungen
Erste Betrachtungen zur strukturierten Analyse von Blended Learning unter Gesichts-
punkten des Service Engineerings finden sich in (Gabriel et al. 2006, S. 76 – 90). Auch
die Service Blueprinting Methode wurde bereits in der Lehre angewandt, allerdings
unter einem anderen Fokus, dem der wahrgenommenen Servicequalität und Kunden-
zufriedenheit (Gabriel et al. 2008, S. 12). In unserer Arbeit werden jedoch dediziert
auch Inputfaktoren berücksichtigt mit dem Ziel einer Steigerung der Produktivität.
Die dazu angestrebte Steigerung der Effizienz wird bei Dienstleistungen mittels ver-
schiedener Formen von Standardisierungen (Stauss 2006, S. 325) und anderen geziel-
ten Eingriffen erreicht, welche auf eine verbesserte Faktorkombination abzielen (Fließ
und Kleinaltenkamp 2004, S. 398). Lernender und Lehrender sollen also ihre Ressour-
cen an Wissen, Methoden, Kompetenzen und Softwareprodukten derartig miteinander
kombinieren, dass die Produktivität maximiert wird. Dazu lassen sich die einzelnen
Teilaktivitäten eines Blueprints bspw. unter folgenden Gesichtspunkten analysieren:
Contact Point Analyse: Hierbei werden die Schnittstellen zwischen Lehrendem und
Lernenden betrachtet. Probleme können dort aus mangelhaften Informationsflüssen
resultieren.
Standardisierung von Kommunikationsschnittstellen: Die Schlussfolgerung einer Con-
tact Point Analyse könnten Bestrebungen zur Standardisierung der Kommunikations-
schnittstellen zwischen Lehrendem und Lernenden sein. Fragen sind pädagogisch
erwünscht, eine schnelle Beantwortung durch den Lehrenden kann gerade in virtuellen
Lernangeboten kritisch für die Motivation der Lernenden sein. Eine effektive Bearbei-
tung kann jedoch bspw. durch unnötig viele Kommunikationskanäle (Videochat, Fo-
rum, Text-Chat, E-Mail, ggf. Diskussionsseiten in einem Wiki, Telefon, persönliches
Gespräch) erschwert werden, da hier u.a. Medienbrüche entstehen.
Integration der Kunden in den Leistungserstellungsprozess: Eine erhöhte Integration
des Lernenden ist nicht zwangsläufig mit steigendem Aufwand für den Lehrenden
verbunden. Stattdessen ist auch eine Auslagerung von Tätigkeiten an den Studieren-
76
den, die Verantwortungsübernahme im Sinne eines angeleiteten Selbststudiums, mög-
lich.
Die Besonderheiten des Service Blueprintings für die Lehre werden an einem Fallbei-
spiel erläutert. Bei der nachfolgend betrachteten Lehrveranstaltung handelt es sich um
die Vorlesung Einführung in die Wirtschaftsinformatik (Info1). Diese war ursprünglich
eine traditionelle, teilnehmerstarke Lehrveranstaltung mit Tutorium, die um E-
Learning Methoden ergänzt und so zu einer Blended Learning Veranstaltung ausge-
baut wurde. Als elektronische Lerninhalte wurden zunächst neben den Präsentationsfo-
lien Videoaufzeichnungen der Lehrveranstaltung auf einer Lernplattform angeboten.
In einem zweiten Schritt sollten dann Web Based Trainings (WBTs) zur Verfügung
gestellt werden, welche der individuellen Nachbereitung und Wissensvertiefung in
Ergänzung zu den Präsenzterminen dienen sollten. Die Rechtfertigung des Zusatzauf-
wands für die multimedialen Inhalte ergibt sich aus folgenden didaktischen Überle-
gungen:
Unterschiedliche Lerntypen benötigen unterschiedliche Formen von Lernmate-
rial oder Lernumgebung, sei es der Vortrag durch einen Dozenten, Übungen
oder multimediales Lernmaterial (Kahiigi et al. 2007, S. 2).
Lernende erhalten durch multimediale Lernmaterialien die Möglichkeit, belie-
bige Teile der Lerninhalte noch einmal zu betrachten (Zhang et al. 2004, S. 79).
Die Flexibilität von Zeit und Ort kann im traditionellen Vorlesungssaal nicht er-
reicht werden (Zhang et al. 2004, S. 76).
Die Darstellung der Vorlesung als Service Blueprint ist in der Abbildung 1 zu
finden. Bei der Realisierung möglicher Effizienzsteigerungspotenziale spielen
die bereits erläuterten Ebenen des Blueprints eine wichtige Rolle: Sie zeigen an,
wie stark der Lernende in eine Aktivität einbezogen wird, und wo deren Ergeb-
nis wieder einfließt. Die einzelnen Linien haben im Fall der betrachteten Vorle-
sung folgende Bedeutungen:
„Line of interaction“: Oberhalb dieser Linie befinden sich Tätigkeiten der Ler-
nenden ohne Interaktion mit dem Lehrenden, also bspw. Selbstlernphasen. Un-
mittelbar auf der Linie befindliche, interaktive Aktivitäten wie
Beratungsgespräche oder Präsenzveranstaltungen sind besonders schwer
77
automatisierbar, tragen jedoch wesentlich zur wahrgenommenen Qualität der
Lehre bei.
„Line of visibility“: Für den Lernenden unsichtbare Dienstleistungen können im
Vergleich zu interaktiven Tätigkeiten leichter angepasst werden, ohne dass da-
mit eine wahrgenommene Qualitätsminderung einhergeht.
„Line of internal interaction“: Eine Unterscheidung zwischen Front- und Back-
office-Aktivitäten macht in der Lehre nur begrenzt Sinn. Diese Linie wurde ur-
sprünglich eingeführt, um die Komplexität des
Dienstleistungserstellungsprozesses auf Dienstleisterseite zu reduzieren. Eine
alternative Deutung dieser Linie für die Lehre findet sich in (Gabriel 2008, S.
8).
„Line of implementation“: Hierunter liegen Unterstützungsaktivitäten wie die
Bereitstellung der Lernplattform. Diese können zur Erzielung von Skaleneffek-
ten oftmals durch Universitätseinrichtungen zentral erbracht werden.
78
Abbildung 1: Service Blueprint der Lehrveranstaltung Info1
79
Die rein lineare Darstellung des Blueprints dient der Vereinfachung, einzelne Aktivitä-
ten wiederholen sich in der Realität oder folgen nicht exakt dieser chronologischen
Ordnung, was für die weitere Betrachtung jedoch unwesentlich ist. Die dargestellten
Teilaktivitäten lassen sich unter verschiedenen Fragestellungen betrachten: Lässt sich
der Ablauf dieser Aktivität durch Standardisierung oder sogar Teilautomatisierung
effizienter gestalten? Oder kann die Aktivität verstärkt an den Studierenden ausgela-
gert werden?
Bei dieser Betrachtung bietet es sich an, diejenigen Aktivitäten mit Priorität zu unter-
suchen, welche mit einem besonders hohen Aufwand für den Dozenten verbunden
sind. Die Untersuchung des Beispiels Info1 ergab dabei folgende Einschätzung:
Das Kurskonzept als solches existierte bereits und wird regelmäßig angepasst,
der Hauptaufwand für die inhaltliche Planung ist somit bereits erledigt.
Die Lernumgebung wird fachbereichsübergreifend zur Verfügung gestellt und
gewartet, sodass an dieser Stelle keine Effizienzsteigerung zu erwarten ist.
Die Vorbereitung des Tutoriums bietet ebenfalls wenig Spielraum für eine Re-
duzierung des Inputs.
Der gesamte Klausurprozess kostet relativ viel Zeit, was jedoch in Anbetracht
der Studierendenzahlen folgerichtig und gegenwärtig nicht vermeidbar ist.
Die Betreuung der Studierenden kann ggf. durch definierte Schnittstellen und
Verwendung von Werkzeugen wie einer FAQ verbessert und im Aufwand re-
duziert werden.
Die Erstellung der WBTs wird als besonders aufwendig angesehen (vgl. z.B.
Köhne 2005, S. 58f.) und hat sich auch in anderen Lehrveranstaltungen als äu-
ßerst zeitintensiv dargestellt.
Aufgrund dieser Einschätzung wurde der effizienten Erstellung der WBTs die höchste
Priorität eingeräumt. Im Gegensatz zu den ohnehin üblichen Folien müssen die WBTs
weitestgehend selbsterklärend sein, die multimedialen Vorzüge des Mediums Compu-
ter ausnutzen und ein erhöhtes Maß an Interaktivität aufweisen. Da die Erstellung der
WBTs somit den mit Abstand größten Teil des Aufwands für die Weiterentwicklung
80
der Lehrveranstaltung ausmachen würde, haben wir uns in einem ersten Schritt darauf
konzentriert, die Inhaltserstellung effizienter zu gestalten.
Das genaue Vorgehen bei der Erstellung der Inhalte wird nachfolgend erläutert und
mit ersten empirischen Befunden gestützt.
8.4 Umsetzung eines Fallbeispiels und erste empirische Befunde
Die Erstellung hochwertiger Lernmaterialien, welche die Multimedialität aktueller
IKT ausnutzen und so unterschiedliche Lerntypen ansprechen, sollte möglichst effizi-
ent durchgeführt werden. Eine mögliche Lösung für diese Aufgabe wurde innerhalb
eines Pilotprojekts eingeführt, welches sich über zwei universitäre Lehrveranstaltun-
gen erstreckt. Hierbei handelt es sich um die bereits genannte Info1 sowie eine weiter-
führende Veranstaltung zur Vermittlung grundlegender Kenntnisse in der
Webprogrammierung (im Weiteren kurz Info2 genannt). Das Ziel bestand darin, Stu-
dierenden der Info1 umfassende multimediale Lernmaterialien zur Verfügung zu stel-
len, die ihnen helfen sollten, das in der Vorlesung Besprochene besser zu
verinnerlichen. Aufgrund des geschilderten Aufwands jedoch wurden in diesen Pro-
zess die Studierenden der Info2 integriert: Die Studierenden erlernen hier nicht nur
Grundlagen der Webprogrammierung, sondern wenden diese aktiv an, indem sie selbst
kleine Lerneinheiten zu Themen der Info1 entwickeln. Diese Materialien wiederum
werden später nach Prüfung durch die Dozenten den Teilnehmern der Info1 zur Verfü-
gung gestellt, um hier ein flexibles, selbstgesteuertes Lernen zu ermöglichen. Dieses
Vorgehen trägt mehreren didaktischen Prinzipien Rechnung:
„Lernen durch Lehren“: Der Perspektivwechsel hin zu einem Lehrenden über-
trägt den Studierenden Verantwortung und hilft ihnen, die zuvor bereits erlern-
ten Inhalte nochmals zu vertiefen. Dieses didaktische Prinzip wurde bereits
erfolgreich in Präsenzszenarien eingesetzt und fördert vor allem Kompetenzen
im kommunikativen Bereich (Grzega und Schöner 2008, S. 171f).
Relevante Aufgabenstellung: Die Studierenden wissen, dass ihre entwickelten
Inhalte unmittelbar Anwendung finden und anderen Lernenden zu Gute kom-
men.
81
Individuelle Selbstlerninhalte: Die zusätzlichen Selbstlerninhalte bieten den
Lernenden der Info 1 eine weitere Auswahlmöglichkeit bei der Gestaltung ihrer
eigenen Lernprozesse.
Über die genannte Methode wird die Individualisierung des Lernangebots verstärkt,
ohne dass der Aufwand in zu hohem Maße wächst. Wichtig ist hierbei jedoch, dass die
Studierenden nicht lediglich als „Lieferanten“ von Lerninhalten angesehen werden,
sondern ihrerseits eine optimale Betreuung erhalten und nicht unter Effizienzbestre-
bungen leiden müssen. Die Befragung der Studierenden in der Veranstaltung Info 2
zeigt jedoch, dass diese das System durchaus schätzen (s. Tabelle 1).
So zeigt die Befragung hohe Werte für die generelle Zufriedenheit und insbesondere
die Einschätzung der Praxisrelevanz der Veranstaltung. Daraus lässt sich schließen,
dass die Methodik funktioniert, ohne für die betroffenen Studierenden mit Nachteilen
verbunden zu sein. Im Gegenteil profitieren diese eher von dem erläuterten Konzept.
82
Allgemeine Fragen Mittel-wert*
Std-Abw.
Wie zufrieden sind Sie mit der Veranstaltung generell? 2,29 0,92Wie würden Sie die Veranstaltung im Vergleich zu anderen bewerten? 2,29 0,85Wie innovativ finden Sie die Veranstaltung? 1,76 0,66Würden Sie die Veranstaltung an Kommilitonen weiterempfehlen? 2,06 0,97Wie zufrieden sind Sie mit dem Dozenten generell? 2,00 0,79Inhalt des Kurses Wie zufrieden sind Sie mit dem Inhalt der Veranstaltung? 2,41 0,94Wie zufrieden sind Sie mit die Struktur der Veranstaltung? 2,53 0,87Wie bewerten Sie die Menge des gelernten Inhalts im Vergleich zum Arbeitsauf-wand? 2,94 1,03Wie zufrieden sind Sie mit dem Schwierigkeitsgrad der Lehrveranstaltung? 2,65 0,79Wie zufrieden sind Sie mit der Menge des vermittelten Inhalts im Vergleich Zeit? 2,71 0,85Klarheit und Transparenz der Anforderungen an die Leistungserbringung 2,53 1,23Wie zufrieden sind Sie mit der Interaktivität der Veranstaltung? 1,88 0,70Wie zufrieden sind Sie mit der Praxisrelevanz der Veranstaltung? 2,00 0,71Wie zufrieden sind Sie mit den Begleitmaterialien zur Veranstaltung? 2,71 1,05Dozent Der Dozent verfügt über das notwendige Fachwissen 1,12 0,33Die Erläuterungen des Dozenten sind wertvoll 1,59 0,44Der Dozent kann begeistern 2,41 0,55Der Dozent ist gut vorbereitet 1,29 0,69Der Dozent schafft es Interesse beim Studenten zu wecken 2,35 0,57Der Dozent ist sympathisch 1,47 0,93Der Dozent beantwortet Fragen klar und strukturiert 1,76 0,60Der Dozent steht auch außerhalb der Vorlesung für Fragen zur Verfügung 2,06 0,79Über mich Wie stark ist Ihr Interesse am Inhalt / der Veranstaltung? 1,82 0,73Hat die Veranstaltung Ihr Interesse am Fachgebiet gefördert? 2,53 0,80Wie viel Aufwand haben Sie in diesen Kurs investiert? 2,00 0,79Wie stark haben Sie sich aktiv am Kurs beteiligt? 1,59 0,87
* auf einer Skala von 1 (sehr) bis 5 (gar nicht)Tabelle 1: Evaluierung
8.5 Zusammenfassung und Ausblick
Die vorliegende Arbeit stellt einen Ansatz zur produktivitätsorientierten Gestaltung
von Lehrveranstaltungen vor. Hierzu wurde das Service Blueprinting angewandt, um
ein Blended Learning Angebot in einzelne Aktivitäten zu zerlegen und zu analysieren.
In einem ersten Schritt wurden gezielt Prozessschritte identifiziert, die besonders res-
sourcenintensiv sind. Darauf aufbauend wurde ein Fallbeispiel zur aktiven Integration
von Studierenden in den Lehrmaterialerstellungsprozess vorgestellt und umgesetzt.
Die ersten empirischen Ergebnisse zeigen, dass ein aus Lehrendensicht ressourcen-
schonenderes Vorgehen nicht zwangsläufig einen pädagogischen Nachteil bedeutet. Es
ist sogar festzustellen, dass sich verschiedene Aspekte moderner Lehr-Lern-Szenarien
83
und eine Senkung des Aufwands auf Seite der Lehrenden durchaus sinnvoll ergänzen
und fördern können.
Für eine umfassende Produktivitätsbetrachtung muss in einem nächsten Evaluierungs-
schritt im kommenden Semester festgestellt werden, wie stark die Studierenden von
den zusätzlichen multimedialen Lerninhalten profitieren.
Dennoch konnten bislang nur erste Schritte im Rahmen einer produktivitätsorientierten
Gestaltung der Lehre durchgeführt und evaluiert werden. Zudem ist festzustellen, dass
das Blueprinting zwar bei der Analyse der Ist-Situation hilft, jedoch die Entwicklung
des Soll-Konzepts immer noch eine kreative Tätigkeit darstellt. Weitere Forschungs-
fragen können daher u.a. folgende Bereiche betreffen:
Das Outsourcing weiterer Leistungen (sowohl didaktischer als auch IT-
Dienstleistungen) an zentrale Einrichtungen der Universitäten
Ermittlung empirischer Zahlen zum Aufwand einzelner Teilaktivitäten zur Ver-
feinerung des Blueprints
Die Auslagerung weiterer Tätigkeiten an die Studierenden, u.a. durch Peer Re-
views, Moderatorenrollen usw.
Eine Contact Point Analyse, bspw. durch Klassifizierung eingehender Fragen
der Studierenden, um Rückschlüsse auf generelle Probleme oder vorhandene
Informationsdefizite zu ziehen.
Zudem liegt im Bereich der Dienstleistungsproduktivität noch hoher For-
schungsbedarf. Neue Forschungsergebnisse hier im speziellen oder im Service
Engineering allgemein bieten enormes Potenzial, um die universitäre Lehre zu
verbessern.
8.6 Literatur
Brugger P, Stroh A, Schmidt P (2009) Hochschulen auf einen Blick. Statistisches
Bundesamt, Wiesbaden.
Chesbrough H, Spohrer J (2006) A research manifesto for services science. Commu-
nications of the ACM 49 (7).
84
Fließ S, Kleinaltenkamp M (2004) Blueprinting the service company Managing ser-
vice processes efficiently. Journal of Business Research 57 (4): 392-404.
Gabriel R, Gersch M, Weber P (2007) Mass Customization und Serviceplattformstra-
tegien im Blended Learning Engineering–konzeptionelle Grundlagen und eva-
luationsgestützte Erfahrungen. In: Oberweis A, Weinhardt C, Gimpel H,
Koschmider A, Pankratius V, Schnizler B (Hrsg) Tagungsband der Internatio-
nalen Tagung Wirtschaftsinformatik, Karlsruhe.
Gabriel R, Gersch M, Weber P (2008) Lern-Service-Blueprinting als Instrument einer
am Lernprozess orientierten Messung von Zufriedenheit im Blended Learning.
Tagungsband der Multikonferenz Wirtschaftsinformatik (MKWI), München.
Gabriel R, Gersch M, Weber P, Venghaus C (2006) Blended Learning Engineering:
Der Einfluss von Lernort und Lernmedium auf Lernerfolg und Lernzufrieden-
heit - Eine evaluationsgestützte Untersuchung. In: Breitner M, Bruns B, Lehner
F (Hrsg) Neue Trends im E-Learning. Physica, Heidelberg: 75 - 92.
Grzega J, Schöner M (2008) The didactic model LdL (Lernen durch Lehren) as a way
of preparing students for communication in a knowledge society. Journal of
Education for Teaching 34 (3): 167 - 175.
Kahiigi E, Ekenberg L, Hansson M (2007) Exploring the e-Learning State of art. Pro-
ceedings of the Conference on E-Learning.
Köhne S (2005) Didaktischer Ansatz für das Blended Learning: Konzeption und
Anwendung von Educational Patterns. Universität Hohenheim.
Kultusministerkonferenz (2005) Prognose der Studienanfänger, Studierenden und
Hochschulabsolventen bis 2020. Kultusministerkonferenz, Bonn,
http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2005/2005_10
_01-Studienanfaenger-Absolventen-2020.pdf Abruf am 2009-11-27.
Mohr M, Krcmar H (2005): Bildungscontrolling: State of the Art und Bedeutung für
die IT-Qualifizierung, Garching b. München: Technische Universität München,
Lehrstuhl für Wirtschaftsinformatik.
85
OECD (2003) The Sources of Economic Growth in OECD Countries. Organisation
for Economic Co-Operation and Development,
http://www.oecd.org/dac/ictcd/docs/otherdocs/OtherOECD_eco_growth.pdf
Abruf am 20.09.2009.
Rai A, Sambamurthy V (2006) The Growth of Interest in Services Management: Op-
portunities for Information Systems Scholars. Information Systems Research
17 (4).
Shostack LG (1982) How to Design a Service. European Journal of Marketing 16
(1): 49-63.
Shostack LG (1984) Design Services that Deliver. Harvard Business Review
(84115): 133-139.
Stauss B (2006) Plattformstrategie im Dienstleistungsbereich. In: Bullinger H-J,
Scheer A-W (Hrsg) Service Engineering. Springer, Heidelberg: 321-340.
Wissenschaftsrat (2006) Empfehlungen zum arbeitsmarkt- und demographiegerechten
Ausbau des Hochschulsystems. Wissenschaftsrat, Berlin,
http://www.wissenschaftsrat.de/texte/7083-06.pdf Abruf am 2009-11-27
Zeithaml VA, Bitner M, Gremler DD (2006) Services marketing : integrating custom-
er focus across the firm. McGraw-Hill/Irwin, Boston, 2006.
Zhang D, Zhao JL, Zhou L, Jay F. Nunamaker J (2004) Can e-learning replace class-
room learning? Commun. ACM 47 (5): 75-79.
86
9 Design and Evaluation of a Didactical Service Blueprinting Method for Large Scale Lectures
René Wegener, Philipp Menschner, Jan Marco Leimeister
Abstract: University instructors face strict economic constraints when designing lec-
tures. Intelligent usage of IT and higher degrees of learner integration can help to face
this challenge, but it is difficult to decide which parts of a lecture should be re-
designed and how. Thus, we present the Didactical Service Blueprint (DSB), a method
to analyze and re-design large scale learning services with reasonable resources by
integrating eLearning and peer learning activities. We have used DSB to iteratively
improve an IS-lecture over the course of four years and evaluated learning success (n =
404) and satisfaction (n = 389). Results indicate that DSB is suitable to improve lec-
tures considering reasonable consumption of resources. As theoretical contribution,
this paper offers an advancement and adaptation of the traditional Service Blueprint
explicitly designed for large scale learning services. The practical contribution lies in
the application of DSB to develop solutions for common problems in large courses.
Keywords: Service engineering, IS education, E-learning
Please quote as: Wegener, R.; Menschner, P. & Leimeister, J. M. (2012): Design and
evaluation of a didactical service blueprinting method for large scale lectures. In: Pro-
ceedings of the International Conference on Information Systems (ICIS), Orlando
Florida, USA.
87
9.1 Introduction
German universities are facing increasing numbers of students while resources are
stagnating due to economic constraints. Offering high quality learning services be-
comes more and more difficult, as many didactically effective teaching methods are
resource demanding and difficult to scale. This results in mass lectures that often lack
interactivity and individuality. Large scale courses also become increasingly important
outside of university classrooms. Particularly in developing countries, but also in rich
economies, many people cannot afford to attend traditional ways of education. With
spreading Internet connections, however, these people might participate in virtual
learning scenarios such as the relatively new phenomenon of massive open online
courses (MOOCs) that are offered online for free and can be attended by thousands of
users. As Kop states (2011), these courses also incorporate a lot of challenges to learn-
ers with regard to their self-managing processes. Structuring and managing such a
large course from an instructor’s point of view, however, cannot be done by traditional
teaching methods.
When dealing with large numbers of students, instructors face the challenge of offer-
ing a valuable learning experience usually with sparse resources, that is, they need to
bridge the gap between didactical effectiveness and economic efficiency. The service
engineering domain offers several methods to re-design different kinds of service pro-
cesses with regard to the customer’s perceived quality as well as the provider’s re-
sources and effort (Leimeister 2012; Menschner et al. 2011a; Patrício et al. 2008). One
of the best known methods is the Service Blueprint (SB) developed by Shostack
(1984). It visualizes a service process by dividing it into single process steps that are
then analyzed with regard to their strategic importance and potential for reducing the
effort of the service provider. Since the SB should apply to any service domain, it is
still very generic, offering only rough guidelines for process re-design. Overcoming
this limitation, we developed the Didactical Service Blueprint (DSB), a progression of
the traditional SB that is mainly focused on university large scale lectures, and evalu-
ated it in a large scale Information Systems (IS) course. The method supports instruc-
tors in re-designing learning services to improve learning success and satisfaction with
reasonable resource demand. It offers additional principles for visualization, identifica-
tion of possible shortcomings and re-design of process steps through standardization,
partial automation and outsourcing process steps to the learner.
88
Development of the DSB has been conducted in a long-term Action Research project
that started in winter term (WT) 2008/2009. Following the steps of Action Research
we diagnosed the problem situation as expressed by one of our own courses, planned
and conducted actions for didactical improvements, evaluated students’ learning suc-
cess and satisfaction and drew conclusions from the results. This process was repeated
several times to gradually improve not only the course but also the DSB method we
used for analysis and re-design. Our theoretical contribution lies in the development of
the DSB to re-design large scale learning services. As a practical contribution, we used
the method to develop concrete solutions for common problems in large scale courses,
implement them and evaluate the results.
The paper is structured as follows: The next section introduces theoretical foundations
and related work from didactics and service science. The research methodology is de-
scribed in the third section. The fourth section presents the DSB method, followed by
an illustration of its applications and an evaluation of the results. The paper ends with
conclusions, limitations, and recommendations for future research.
9.2 Theoretical Foundations and Related Work
9.2.1 Designing valuable learning services
Gagne defines learning as a change of the state of the human being that is expressed in
a change in the individual’s behavior and is based on experiences (Gagne 1984). Thus,
the main goal of a university learning service is to achieve specific changes in stu-
dents’ behavior. The desired learning objectives can be separated into different do-
mains. The best known taxonomy of learning goals or learning domains was
constructed by Bloom (Bloom 1956). Bloom separated learning into cognitive,
psychomotoric and affective domains. The cognitive domain was further separated
into six layers with pure knowledge as the lowest, followed by comprehension, appli-
cation, analysis, synthesis and evaluation as the highest. Higher-level learning goals
are more complex and require that learners have already mastered necessary lower-
level goals. The level also determines suitable methods to facilitate and to assess the
achievement of a learning goal (Kraiger et al. 1993). When evaluating a learning ser-
vice, apart from learning success, one should also take into account the learner's satis-
faction. While there is not one single definition of learning satisfaction, researchers
agree that it depends on different factors such as the instructor’s attitude and compe-
tencies, quality of technology used, contents or task design (Sun et al. 2008). Learning
89
satisfaction should be considered for two reasons: First, satisfied learners might be
more engaged and thus achieve better learning results. Second, instructors should offer
satisfying and motivating learning experiences, as they are competing for the best stu-
dents.
To conclude, improving a learning service would ideally mean to raise satisfaction as
well as learning success. Both are influenced by different factors. The basis of all
learning is interaction occurring in three main forms: learners interacting with each
other, with the instructor and supporting staff or with learning contents (Moore 1989).
To improve the learning service from a didactical point of view, it can be concluded
that it is most important to identify the activities in the learning and teaching process
which directly represent one of these kinds of interactions. Unfortunately, raising in-
teractivity in large classes often proves to be a major issue, as suitable activities have
to be supported and possibly assessed by the instructor. This often demands too many
resources. Thus, many instructors tend to rely on teacher-centered lectures that do not
offer many opportunities for interaction and engagement.
9.2.2 The Service Blueprint (SB)
Originally developed by Shostack (1984), the SB method has since been adapted and
supplemented by other researchers. Zeithaml et al. (2006) define the SB as a method of
modeling the service process, the customer contact points and the perception of the
service delivery from the customer’s point of view. Basically, a SB is a two-
dimensional visualization of a service process: The horizontal axis represents the
chronological order of different activities performed in the service process; the vertical
axis separates these activities into different levels of interaction between the service
provider and the customer (Fließ and Kleinaltenkamp 2004). These levels of interac-
tion are separated by different lines, the most important being the following:
“Line of interaction”: This line differentiates between activities performed by
the customer and those performed by employees of the service provider.
Activities on this line are performed mutually by both.
“Line of visibility”: Activities below this line are not visible to the customer.
“Line of internal interaction”: Activities above this line are directly linked to
the individual customer, while those below are supportive activities. For exam-
ple, cooking a meal in a restaurant is an activity performed invisibly to the cus-
90
tomer, but it is still done on an individual basis. Cleaning the dishes, on the oth-
er hand, is done independently from single customers and is a supportive activi-
ty.
“Line of implementation”: Activities below this line refer to strategic decisions
and are usually subject to the management of a service provider.
The strength of the SB is to model not only the process but also the customer contact
points and the level of customer integration. As a visualization method, it is easy to
understand and to perform. With regard to learning services, the SB offers several
benefits: First, as already explained, interaction is the basis of the learning experience.
Thus, a method that separates between different layers of interaction seems to be well
suited. Second, the method is very easy to apply and to understand, and thus can also
be performed by instructors that do not have any knowledge of more complex model-
ing techniques, as for example UML. Third, the Blueprint helps identify and re-design
activities that can be supported by IT or be outsourced to the customer. As we expect
eLearning and peer learning to be major aspects of learning service re-design, the
method seems to fit ideally to our concept.
9.2.3 Extending the SB – Design of the Didactical Service Blueprint (DSB)
The goal of the Didactical Service Blueprint (DSB) is to improve a large scale lecture
with regard to learning success and satisfaction. It is meant to help in analyzing current
lectures, identifying key issues and offering guidelines to overcome these challenges
with reasonable costs. The development of DSB is oriented at the design process for
the person-oriented services of Menschner and Leimeister (2012). Following this pro-
cess, we first identify key challenges of university large scale lectures. We develop the
design goals based on didactical research and derive a list of design principles to sup-
port the process of analysis and re-design. We then apply the DSB method and use
these principles to develop several possible solutions for common challenges in large
scale courses.
9.3 Research Method
The development and application of the DSB is part of an Action Research project that
started in winter term (WT) 2008/09. Set in a large scale course “Introduction to Busi-
ness Informatics” (IBI), we used DSB to improve the lecture incrementally by devel-
oping several solutions to address its main shortcomings. Typically, Action Research
91
focuses on evaluating measures in real life situations to solve specific problems, and is
divided into five specific steps which are taken iteratively (Susman and Evered 1978):
diagnosing, action planning, action taking, evaluation and specifying learning. We fol-
lowed these steps and tried to improve our concepts and tools after each semester, be-
fore restarting the cycle from the beginning.
With regard to this Action Research project, the five steps included the following: We
first identified key requirements for valuable learning processes and common prob-
lems in large scale courses by analyzing the literature and our own IS course (Diagnos-
ing). We then developed the DSB method in order to re-design several parts of the
course and used the DSB to develop several concepts and methods to overcome key
challenges (Action Planning). These concepts and methods were implemented over the
course of several semesters to incrementally improve our lecture (Action Taking). We
analyzed the success of our solutions through an online questionnaire for learning sat-
isfaction and a power-test for learning success (Evaluation). As a result, we refined our
solutions and the DSB method (Learnings).
9.4 Concept of the Didactical Service Blueprint (DSB)
9.4.1 Challenges and Goals in Educating Large Classes
As expressed previously, interaction is crucial for learning. However, as the number of
students increases, the instructor has less time to offer to individual students. Giving
prompt and individual feedback on learners’ assignments, for example, is important
for learning, but may be unaffordable in large classes. Another typical problem is that
due to limited time, large lectures often are very instructor-centered, offering few pos-
sibilities of interaction in the form of questions or in-depth discussions. Also, effective
assessment often requires too much effort, and thus instructors rely on methods such as
multiple-choice tests, which may not be suitable for assessing higher level learning
goals.
Since lectures can differ a great deal with regard to the learning goals, instructors,
learners, learning environment, etc., it is difficult to derive goals that are generally ap-
plicable. Regardless of the specific situation, most educators agree on some specific
goals that most lectures should incorporate. Our set of design goals is based on well-
known principles of good practice (Chickering et al., 1987). Given that usage of IT on
the one hand, and outsourcing tasks to the learner as peer learning activities on the
92
other are crucial steps in developing effective and efficient large scale learning ser-
vices, we enrich these principles with guidelines from the domain of multimedia learn-
ing (Mayer and Moreno 2003; Moreno and Mayer 2007) and peer learning (Topping
2005; Wegener and Leimeister 2012). Based on the assumption that addressing the
three dimensions of interaction is the key to successful and satisfying learning, we
separate our design goals by these dimensions (Table 1).
93
Table 1. Design goals
Student-Student interaction Students should be encouraged to cooperate with colleagues, e.g., by solving assignments collaboratively, as working with peers has proven to be beneficial for students’ motivation (Gerald 2010). In addition, students learn from each other and construct new knowledge mutually (Topping 2005). Small group assignments have appeared to be more effective for this than are whole class discussions (Fasso 2010), especially if they should result in concrete group products that will be assessed by the instructor (Dewiyanti et al. 2007). Group tasks should be well structured, and the instructor should offer additional advice and help, e.g., by initiating discussions or encouraging learners to participate. Since variety plays an important role in learning, we also recommend implementing different didactical methods to structure group work in order to avoid feelings of repetition. Design goals could include:
Assigning small-group tasks that result in a concrete product that will be assessed by the instructor.
Supporting the collaboration process, e.g., by initiating discussions or providing feedback.
Applying different didactical methods in the classroom, e.g., traditional group work, group puzzles, the fish bowl, etc.
Student-Instructor interaction The instructor plays a crucial role for both learning satisfaction and success (Cohen 1981; Eom et al. 2006; Wang et al. 1993). Thus, students and instructors should interact regularly; if possible, on a face-to-face basis. Instructors should encourage students to participate and involve them in discussions in class. Ideally, students should have the opportunity to get help or feedback from instructors whenever they need it. Instructors, on the other hand, should gain an overview of how students are currently performing from time to time in order to offer additional help or advice for students that might fall behind. Instructors should also show support for students and be attainable and engaged, since such social aspects contribute much to learners’ satisfaction. Design goals should involve:
Interacting with students in the classroom through discussions and questions.
Analyzing which learning goals may not have been achieved thus far (e.g., through an exercise) and taking measures (e.g., offering additional materials or tasks).
Ensuring that students learn continually over the whole semester.
Offering regular feedback with regard to students’ current learning success, e.g., through exercises.
Offering feedback with regard to students’ processes of learning management, teamwork, etc.
Student-Content interaction Learning materials should be designed in an engaging way to support active learning (Chickering et al. 1987). This refers to the content itself (its structure, problem orientation, etc.) as well as its presentation (e.g., using animations or interactive assessments). Materials should be developed with regard to instructional and multimedia design guidelines (Clark and Mayer 2008; Moreno and Mayer 2007) and should be open to different learning styles and preferences (Kolb and Kolb 2005; Zhang et al. 2004). Design goals could include:
Supporting different learning styles and preferences, e.g., through different sorts of learning materials
Designing learning materials in a didactically and cognitively effective way, e.g., self-learning materials may be designed with regard to instructional and multimedia design guidelines
Designing engaging materials with tasks and self-assessments
94
9.4.2 Analyzing and Informing Design
The SB allows segmenting the whole service process into single steps that are ana-
lyzed individually. The main goal when performing the analysis is to identify the value
creating moments (Menschner and Leimeister 2012). These moments are meant to at-
tribute most to the students’ learning success and satisfaction. Accepting that interac-
tion is the core part of the learning experience, it follows that all activities involving
active engagement of students in order to achieve didactical goals are considered to be
of critical importance. These activities represent student–student interactions, but can
also involve student-instructor or student-content interactions. In the traditional SB, all
activities involving customers are arranged on the line of interaction or right above this
line. In our case, this meant that any student–student interaction or student-instructor
(including supporting staff) interaction would be placed on the line of interaction. Ac-
tivities performed in a self-directed way, e.g., self-assessments or collaborative group
work, would be placed above the line of interaction. In this way, activities referring to
student-student interactions and student-content interactions could not be distinguished
visually. Thus, we adjusted the Blueprint slightly by adding the “line of peer interac-
tion” above the line of interaction. Any activities that could be referred to as collabora-
tive learning are placed on this line. Below the line of interaction we place activities
performed by students on their own. With this adjustment, a learning service can be
modeled with the DSB like any other service with the traditional Blueprint, but the
most important activities are separated into the three dimensions of didactical interac-
tions.
9.4.3 Principles to Guide the Process of Re-Design
The basic idea is to break down the learning process by assigning single activities to
time and level of interaction. One can now analyze these process steps of critical im-
portance and begin to improve them with regard to the design goals. As stated, most
design goals can only be accomplished with much effort. The design principles devel-
oped in this section help to address this challenge. Basically, when a service process is
re-designed, the goal is to optimize the combination of internal and external factors.
Internal factors are all contributions of the service provider (i.e., the instructor and his
staff, as well as university employees supporting the teaching process). External fac-
tors refer to all contributions from the customers, i.e., the students. They need to offer
their time, effort and cognitive capacities in order for the learning process to be suc-
cessful.
95
To improve the factor combination, several principles can be applied. The principles
we derived are based on ideas from Menschner and Leimeister (2012) and Fließ and
Kleinaltenkamp (2004). We used our own experiences, as well as educational litera-
ture, to concretize them with the problem domain in mind. For example, Menschner
and Leimeister recommend dividing activities on the line of interaction into smaller
segments to analyze which of these sub-activities really have to be processed mutually
by the service provider and the customer (Menschner and Leimeister, 2012). We expe-
rienced that when segmenting a process step in a learning service it could be beneficial
to segment it concerning different levels of learning goals. It is usually easier to assess
gains in factual knowledge in an automated way than it is to assess achievements with
regard to more complex competencies. An overview of the principles is presented in
Table 2. It describes each principle and lists indicators for its applicability. For each
indicator, an example is given.
Table 2. Principles for learning service re-design
Segmentation: Divide a process step into sub-activities Process step incorporates different levels of interaction: The process step “lecture” can be segmented into activities solely performed by the instructor, the students or both of them. Process step incorporates different levels of learning goals (Bloom 1956): The process step, “assess students,” might be segmented into parts such as “assess factual knowledge” and “assess methodological skills.” Process step incorporates different roles of the instructor (Goodyear et al. 2001): The process step “moderate forum” may be segmented into steps such as “answer organizational questions” (Adviser), “answer questions about course content” (content expert), “facilitate in-depth discussion” (process facilitator) and “facilitate friendly atmosphere” (Administrator).
Standardization: Standardize processes or inputs Process step requires homogeneous input (Fließ and Kleinaltenkamp 2004): If students are asked for their perceived best and worst aspect of each lecture, this can be easily standardized.
Automation: Automate processes with the help of IT Organizational tasks: Signing in for the course itself, the exam or a tutorial should be automated. Didactical tasks focusing purely on assessment: It seems to be easier to automate an assessment activity rather than a whole learning activity. Didactical activities targeting lower level learning goals: Pure acquisition of factual knowledge may be assessed by an online multiple-choice test.
Semi-automation: Automate processes with IT, but also require some personal input Organizational communication activities: Organizational/administrative questions involving dates and rooms should be answered in a forum and not in a personal consultation hour. Communication activities that might suffer from feelings of inhibition or lack of time (Biggs et al. 1999): Discussions should take place online in a chat or forum instead of in the classroom. Didactical activities not focusing on learning goals but on engagement, interest or feedback: Engaging learners through a poll can be done via mobile devices.
Electronic data capture: Data from the students is gathered automatically or entered
96
The instructor needs structured aggregated data from students (self-reported or automated): This may be done via online polls or even conducted in class via mobile devices. Capturing data in electronic form allows faster aggregation and evaluation (Menschner et al. 2011b).
Decision support: Aggregate data in way to support the instructor in his task A personal intervention by the instructor is required but not possible due to the large number of students: If students are supposed to contribute to a forum or Wiki, the instructor should receive an automated overview of students who are just lurking compared to those that are especially engaged.
Face-to-face: Unsure that some crucial activities are performed face-to-face No other face-to-face contacts between students and instructor: In a large scale lecture there is not much room for students and the instructor to meet personally. Thus, there should be at least some regular face-to-face meetings to establish social ties (Borup et al. 2011). Didactical activity that is targeting higher level learning goals and/or is more difficult to master: The scarce time in a lecture should not be used to recapitulate easy basics and factual knowledge but should be reserved for the more complex and engaging topics.
Peer learning: Delegate activities completely to the learner Not prohibited by ethical or legal issues: Peer assessments cannot be used for grading. Solving the outsourced task contributes to students’ learning experience: Acting as peer tutors helps to reflect and understand the content. The students have or can acquire the expert competencies necessary: It is easier for students to act as peer tutors for a course attended during the previous term.
Co-creation: Delegate activities partially to the learner Peer learning activity needs final assessment or quality management by the instructor: The instructor might post an assignment online which is solved by students in a forum. When they manage to solve the task, the instructor should recapitulate and approve the right solution.
9.5 Application of the Method
9.5.1 Background of the Action Research Project
The implementation of our proposed concept was conducted at a German University in
the course IBI, mostly attended by students from the domain of business administra-
tion and economics. The course is offered each semester for around 150 to 300 partici-
pants. It is offered as a traditional frontal lecture (around twelve to thirteen sessions)
supplemented by four small-class tutorials supervised by graduate assistants. Students
are graded by the scores of a written exam at the end of a semester. All students that
attend the course sign in on the university’s central LMS where they can download the
script and all other learning materials and receive E-Mails from the instructors. Apart
from the professor in charge, the course is supported by a scientific assistant and four
graduate assistants.
9.5.2 Analyzing the Current Situation
At the beginning of our Action Research project we analyzed the given situation right
before WT 2008/09. At this point, the course consisted of the lecture and tutorials, a
97
real time video stream and recordings, a script based on PowerPoint slides used by the
instructor and further resources, such as additional literature (Figure 1).
Figure 1. DSB of the original course process
We used the DSB to identify some major shortcomings in our lecture and to derive
conclusions for solving these problems. Figure 1 illustrates the initial DSB. To be not-
ed is that the activities shown may differ in their order and frequency of appearance,
e.g., asking questions via E-mail may also take place before or after the lecture. Fur-
ther, the process is iterative since the phase of self-directed learning and attending the
lecture or tutorials alternates several times. Basically, students sign in for the course
and use the learning materials (script and later on the recordings) from the LMS. In
this way, they prepare for the lecture, attend it (although this is voluntary) and recapit-
ulate it with the learning materials. The same process holds for the tutorial. There are
four tutorial sessions with around 30 students attending each tutorial. The tutorials fo-
cus on specific contents of the lecture, especially modeling techniques such as Entity
Relationship Models. Over the course of the semester, students may contact the in-
structor by E-Mail or during the regular consultation hour. In addition, organizational
updates are sent via the LMS to all participants of the course. From the instructor’s
point of view, additional tasks include setting the learning goals and the basic instruc-
tional design, employing the graduate assistants, setting up the course in the LMS, de-
signing and uploading the learning materials, answering questions and offering
additional advice. The DSB shows that while some of these activities are usually per-
formed by the professor himself, such as setting the learning goals, other activities are
performed by other members of the teaching staff.
98
Although the illustrated DSB is not very detailed, it reveals the course’s major short-
comings:
Student-student interaction: The lecture indeed offers no encouragement of peer
interaction. There are no collaborative tasks, neither on the LMS nor in the tuto-
rial sessions.
Student-instructor interaction: This sort of interaction appears only during the
lecture. As described in the problems section, interactions during the lecture
suffer from a small amount of engagement and student inhibitions due to the
large class. This situation is much better in the tutorials, but the graduate assis-
tants still perceive that not all students contribute and are actively engaged. The
tutorials are always comprised of the same sort of tasks with no variety such as
different didactical methods. There are no feedback mechanisms, except e-mail,
and there are no assessments.
Student-content interaction: The materials for self-directed learning comprise
only the traditional script and lecture videos. More engaging, interactive and
cognitively effective learning materials are lacking.
9.5.3 Re-Designing the Learning Service
After identifying these issues, we started to look for ways to address these challenges
by applying the principles of DSB. Since planning, implementing and evaluating our
actions needed some time, we decided to use WTs for implementing actions, and the
summer terms (ST) for evaluation, reassessment and planning of new actions. In the
following, we focus on three core measures we applied and describe how they were
developed in greater detail.
Introduction of student-generated Web Based Trainings (WTs 09/10): Self-directed
learning materials were at the start limited to script and video recordings. As students
usually spend more time with self-directed preparation and recapitulation activities
than in face-to-face sessions, improving the learning materials was the first measure to
be taken. We decided to create engaging Web Based Trainings (WBTs) and thus ana-
lyzed the process step of “Create learning materials” in more detail, by segmenting this
process with regard to the different layers of interaction. Usually the main instructor,
i.e., the professor, sets the learning goals and basic instructional design, after which
members of the teaching staff create templates for the learning materials and gather
99
resources. Storyboards are created for each learning unit, media is created and the final
WBT is set up. This process happens completely underneath the line of visibility, but
is so complex that automation is out of scope.
There do exist, however, some ways for standardization by creating a shared reposito-
ry of resources if different people are involved in material creation and creating stand-
ardized templates, e.g., for assessments in a WBT. But even with these
standardizations in mind, creating high quality WBTs seemed too resource demanding.
Thus, we opted for delegating this task to our students. While the instructor still set up
learning goals and guidelines for the instructional design and templates, the process of
looking for further resources and creating the storyboard and WBT was delegated to
students from a Web Engineering seminar, a follow-up course of IBI. We applied sev-
eral principles of peer learning and co-creation: Since the students of the Web Engi-
neering seminar had already attended the course, IBI, and would learn web
engineering capabilities in any case, they could be considered experts. Further, creat-
ing learning materials for their peers was believed to contribute to their learning expe-
rience, since this involved developing didactical and lingual skills. Creating learning
materials for a course already taken could also be considered as a measure to transfer,
repeat and deepen their knowledge. We also made sure that there were no legal or
copyright issues in using the learner-generated contents. Finally, the process we set up
incorporated the instructor to check the final WBTs and to select only those that quali-
fied to be used as learning materials in the course. Figure 2 compares the original and
re-designed process for the creation of learning materials.
We expected benefits of this process to be two-fold: The students creating the WBTs
would benefit, as they would work on a meaningful task and deepen their knowledge
on the contents of the IBI course (more details on this can be found in (Wegener and
Leimeister, 2012) and (Wegener et al. 2010)). The students from IBI who would use
the peer-created WBTs would also benefit from the new supplemental learning materi-
als. The WBTs should raise students’ perceived quality of the learning materials and
accordingly, their overall satisfaction. As self-paced learning plays a major role in this
course, we also expected the WBTs to contribute to the learning success.
100
Figure 2. Original and re-designed DSB of the process step “Creation of learning materials”
Raising interaction through in-class assignments on mobile devices (WT 10/11): The
second measure of re-design refers to the lecture. While we initially placed this pro-
cess step on the line of interaction, a more detailed analysis shows that, in fact, most
activities do not really encourage or require an active participation of the students
(Figure 3). The biggest part of the lecture is reserved for the instructor to present the
contents, resulting in a lack of interaction. When the instructor asks a question, only a
few students have the opportunity to answer. Some feel inhibited and most do not ask
questions themselves. This also poses a challenge to the instructor, as he often lacks
feedback from students as to whether they have understood the contents explained thus
far. The lecture is crucial for learning satisfaction, since it is the only contact between
many students and the instructor (face-to-face principle). Thus, beginning in WT
10/11, we implemented in-class assignments in the lecture. Our goal was to reduce
feelings of inhibition, coercing all students to interact with the instructor and resulting
in the instructor getting feedback from students. If students were engaged in small
tasks, applying and testing their knowledge, we expected to raise the level of interac-
tion. Accordingly, this would also influence the learning success.
To allow the huge number of students to engage and to aggregate their feedback, we
applied the principles of semi-automation and electronic data capture. This was possi-
ble because most students already owned some sort of mobile device such as a laptop.
Those who did not were allowed to borrow a netbook or tablet PC from the universi-
101
ty’s IT service center. We developed two main kinds of activities. From time to time
during the lecture the instructor would ask a question and start a poll. Students voted
for an answer, discussed their opinion with their peers and then could change their
mind and vote again. As a variation of this concept, sometimes the instructor provided
a graphic, e.g., a model such as ISO-OSI, containing some flaws that students had to
find. For this, they worked in pairs, in turn, identifying and discussing the flaws. In
this way, all students had the opportunity to answer questions and to become engaged
with their colleagues. In addition, the instructor received aggregated feedback from all
students, either the results of the poll or the number of students who identified the
flaws in the diagram correctly.
The second activity focused on reflection and peer-assessment. In this activity, stu-
dents created true-or-false items with regard to the learning contents they had just
heard about (peer learning expert principle). The students created these items through
a web application on their mobile devices in a highly standardized manner (standardi-
zation principle). They entered exactly three statements with at least one being true
and one false. There was no opportunity to create open ended questions, nor could they
forget to mark their statements as true or false as might be the case if the task was per-
formed with pen and paper. The items were sent and stored in a central database. From
this database, each student then randomly received three items from his or her peers.
To increase interaction with the instructor, he/she also solved some random items in
front of the class. Storing items in a database also enabled students to access them later
on for testing purposes, as we will explain in the next section.
102
Figure 3. Original and re-designed DSB of the process step “lecture”
Offering new assessment tools (WT 11/12): The third measure we implemented was a
new way of assessment. In the original course there was no assessment except for the
final exam. Thus, we had to set up a whole new process. Assessment can be segmented
into the creation and selection of tasks, the students solving these tasks, and the in-
structor checking the solutions and providing feedback. A further segmentation can be
conducted with regard to the learning goals (Bloom, 1956). Usually an assessment ad-
dresses different levels of learning goals, from acquisition of factual knowledge to
methodological skills and more complex competencies. Taking into account the prin-
ciples of automation and standardization, assessment of factual knowledge is easier to
be automated, as it resembles a lower level learning goal and requires more homoge-
neous input. To assess whether a learner can distinguish between the different con-
structs in an Entity Relationship Model, he might, for example, solve a multiple-choice
test or enter the terms in a text field. Assessing the methodological knowledge to con-
struct a diagram from scratch, on the other hand, would be much more difficult, as this
task offers many more possible solutions, with the need for additional explanations or
discussion.
With different learning goals in mind, we applied two different ways of assessment.
For lower level learning goals (with regard to Bloom mostly knowledge and compre-
103
hension) we used an automated online test. As previously described, students in our
course participated in a peer assessment activity conducted on mobile devices. The
items they created were stored in a database and well suited for assessing factual
knowledge. Therefore, we changed this peer assessment activity in such a way that
students also had to rate the items they received with regard to their quality. The best
rated items were checked by the instructor right after class and then uploaded to the
LMS as small automated self-assessments (automation principle, co-creation princi-
ple). To offer a way to assess higher level learning goals such as methodological skills,
additional tasks were created by the instructor and uploaded to a moderated forum. As
these tasks were more complex and offered different solutions, complete automation
was out of scope. Thus, they were solved and discussed mutually online. If students
shared and explained their solutions, they would reflect on their own understanding
and thus deepen their knowledge (peer learning principle). As the forum was moderat-
ed, the instructor was still able to approve the final solution (co-creation principle).
Figure 4 illustrates the process.
Figure 4. DSB of the new process step “assessment”
Similar to the lecture, we also re-designed the tutorials with regard to methodological
variety and a higher level of peer interaction. Therefore, we analyzed the amount of
activities conducted by the graduate assistants and the students and shifted more activi-
ties towards the students. Our measures were distributed over three semesters in order
to be able to evaluate and refine them (Table 3).
104
Table 3. Overview of measures and terms
Term Measures taken to enhance learning service quality
WT 09/10 Introduction of student-generated Web Based Trainings
WT 10/11 Raising interaction through in-class assignments on mobile devices
WT 11/12 Offering new assessment tools:
Weekly interactive multiple-choice self-assessment based on student-generated items
Moderated forum for solving more complex tasks mutually Re-design of tutorials with more peer interaction activities
9.6 Evaluation
To draw conclusions about DSB, we evaluated the method’s product, i.e., the learning
service by measuring students’ satisfaction and learning outcomes. Satisfaction was
measured by a questionnaire and learning by a power-test. Both were conducted online
and independent from each other at the end of the semester before the exam. As partic-
ipation was voluntary, the number of participants for both the questionnaire (Table 4)
and the power test (Table 5) differs. In creating the questionnaire, we followed tradi-
tional dimensions of learner satisfaction proposed by Cohen (1981). “Overall” is the
main dimension that refers to general satisfaction compared to other courses. “Struc-
ture” contains items with regard to course content and clarity, e.g., transparency of
expectations towards the students. The instructor himself is measured through “skill”
and “rapport.” Skill refers to his factual expertise and preparation. Rapport describes
the extent to which students perceive the instructor as being pleasant and attainable
outside of the classroom. “Difficulty” refers to the overall difficulty of the course and
the students’ perceived relation between the amount of learning content and the neces-
sary effort and available time. “Interaction” describes perceived overall interaction as
well as one’s own engagement and interest in the course.
All items were rated on a Likert scale ranging from 1 (full agreement) to 5 (no agree-
ment). The questionnaire was available online for several days before the exam. Partic-
ipation was anonymous and voluntary. Each of the constructs we measured consisted
of three to five items. Cronbachs alpha was computed using SPSS and was between
0.70 and 0.88 for all dimensions. Thus, reliability of all constructs can be assumed to
be at least acceptable and mostly good. As this is a long term research project, our fo-
cus rests on the comparison between the initial semester, WT 08/09, and the final one,
WT 11/12. A Kruskal-Wallis test was conducted to check whether any differences be-
tween the mean values of these terms were significant (Table 4).
105
The table reveals that several items increased significantly from WT 08/09 to WT
11/12. The most important is surely the general course satisfaction that was raised by
0.4 points. Satisfaction with course structure and learning materials increased on a
similar level (0.66 and 0.56). Also, perceived interaction increased by 0.69 points.
These increases indicate that the lecture was perceived as much more satisfying after
we implemented our measures. None of the items decreased in a significant way. Tak-
ing into account that 3.0 would be a medium rating, most results can be considered
generally positive. However, there are some aspects of the lecture that students did rate
slightly negative, i.e., the course difficulty as well as the amount of content compared
to effort and time available. This suggests that the course is generally perceived as be-
ing more difficult and demanding than other courses. What is also striking is the fact
that the rating of the instructor increased by 0.73 points. This might hint at the instruc-
tor’s individual learning curve in conducting the lecture.
106
Table 4. Results from satisfaction questionnaire
Term WT 08/09 WT 09/10 WT 10/11 WT 11/12
Mean (n = 106)
Mean (n = 72)
Mean (n = 128)
Mean (n = 83)
Overall General course satisfaction* 2.65 2.57 2.38 2.25
Compar. to other courses* 2.77 2.65 2.41 2.19
Course innovativeness* 2.31 2.11 1.88 1.78
Recommendation of course* 2.57 2.40 2.37 1.96
Structure Overall structure* 2.47 2.22 1.98 1.81
Course content* 2.92 2.83 2.70 2.60
Practical relevance 2.49 2.49 2.50 2.63
Learning Materials* 2.36 2.13 1.98 1.80
Transparency of expectations 2.62 2.89 2.43 2.63
Instructor Skill
Instructor overall* 2.48 2.21 2.07 1.75
Expertise* 1.30 1.19 1.20 1.12
Explanations provided* 2.19 1.90 1.80 1.59
Preparation for lecture 1.44 1.36 1.37 1.31
Answering student questions 1.94 1.74 1.73 1.66
Instructor Rapport
Enthusiasm* 2.84 2.51 2.16 2.11
Raising interest for topics* 2.84 2.47 2.23 2.17
Pleasance* 2.40 2.24 2.15 1.80
Attainability 2.15 2.17 2.25 1.92
Difficulty General course difficulty 3.20 3.39 3.23 3.22
Ratio content / effort 3.32 3.58 3.28 3.24
Ratio content / time available 3.51 3.42 3.44 3.33
Interaction General course interaction* 2.51 2.35 2.13 1.82
Effort invested in course* 2.42 2.29 2.36 1.98
Own participation 2.28 2.60 2.65 2.18
Interest in course topics 2.76 2.69 2.80 2.57
Course raises interest* 3.06 2.90 2.80 2.58
* difference of mean between WT 08/09 and WT 11/12 significant at level p < .05
To measure learning outcomes, we used an online power test (multiple-choice). Power
tests are a suitable way to measure cognitive learning outcomes (Kraiger, et al., 1993).
This multiple-choice-test originally consisted of 20 items created by two instructors.
The items were designed to cover all of the course’s learning goals equally. Since
some of the learning goals changed over time, two items were removed. Two further
items were answered correctly by more than 80 percent of the students and thus were
removed for being too easy. The presented results refer to a total of 16 items. The test
107
was offered online for three days before the exam, and participation was voluntary.
The test was first introduced in this way in WT 2010/11, and thus only two semesters
can be compared. With the results from these, a split-half analysis was conducted in
SPSS revealing a moderate Spearman-Brown coefficient of 0.71. The mean scores
from both power tests are 6.62 out of 16 in WT 2010/11 and 8.21 in WT 2011/12 (Ta-
ble 5), which is a significant increase by 1.59 points, as revealed by a Mann-Whitney-
U test. This indicates that the measures we took in WT 11/12 had a positive impact on
student learning. This would not be surprising, as in WT 11/12 we offered new ways
of assessment which should be suitable to help students prepare for the exam.
Table 5. Results from power test
Term Mean Score* N Standard Deviation
WT 10/11 6.62 248 3.208
WT 11/12 8.21 156 3.292
* significant at level p < .05
Unfortunately, as power tests were introduced in WT 10/11, we cannot compare the
results to semesters before WT 10/11. This limits our ability to draw conclusion on our
measures. To evaluate the measures from WT 09/10 and 10/11, we can refer to the
questionnaire results which show increases in categories like overall satisfaction, satis-
faction with learning materials and perceived interactivity in these semesters. As this
does not necessarily mean that learning success increased as well, we would also like
to refer to a pre-study that completely focused on the student-created WBTs. In that
study a significant correlation between usage of the WBTs and learning success as
measured by the power test in WT 10/11 could be proven (Wegener and Leimeister,
2012). While this additional and specific evaluation is out of the scope of this paper, it
was another early indicator that the new process of material creation was working.
9.7 Discussion of Results
This case shows that the DSB method can continuously be applied to derive a solution
design for IT-supported educational large scale services. Overall, our experiences to
date reveal that DSB is reasonable, and depict the potentials and possibilities that the
method can offer to the design of mass lectures. Although we have applied the method
over the course of several semesters, a limitation is that the Action Research project is
still ongoing, which might lead to further adjustments of the method as well as the lec-
ture. The novelty of our method is that it integrates service engineering thinking in the
108
design of educational services, an area which has, thus far, been dominated by didacti-
cal thinking only. DSB provides a bridge between efficiency oriented thinking for ser-
vice design and provision, and didactical theory. Additionally, DSB provides
principles that inform design. Design is a creative procedure which can be informed by
principles and patterns that guide the engineer in deriving new solutions (Alexander
1973; Schermann et al. 2009).
As for the outcome of DSB, the re-designed course, the main goal of our measures was
to increase interactivity, the quality of learning materials and accordingly overall satis-
faction and learning success. With regard to interactivity and satisfaction, the results of
the questionnaire suggest that we accomplished our goals. All in all, the students’ rat-
ing increased over the course of the semesters. While we cannot clearly distinguish
between possible effects of our different measures, we can conclude that the measures
altogether had a positive impact on students’ satisfaction. In this context, it is also no-
table that most aspects that we did not target with our measures, e.g., the course diffi-
culty or attainability of the instructor, do not differ significantly. This indicates that the
improvements stated before indeed result from our measures and not from some exter-
nal uncontrolled influences. The rating of the instructor is an exception, as his overall
rating increased drastically, which was probably caused by his individual learning
curve over time. As a limitation of our research, we have to take into account that this
factor may have also influenced the overall satisfaction rating.
An interesting fact is that the perceived effort students put into the course significantly
increased, especially in those semesters when new learning materials were being intro-
duced. This might indicate that usage of the additional learning materials also led to
more effort for the students. The additional effort might also be one reason for possible
increases in learning success. Another striking fact is that perceived own participation
decreased during WT 2009/10 and 2010/11. One possible reason might be that, due to
different learning materials and the live stream, students missed out on some of the
face-to-face lectures, thus perceiving that they had participated less in class than they
could have. It increased again during the last WT. A possible reason for this increase is
the re-designed tutorials which supposedly were much more engaging than those used
previously, but this is conjecture.
With regard to actual learning success, we can conclude only that students performed
significantly better in WT 11/12 than in the previous semester. However, the clear in-
109
crease in overall satisfaction is also a weak indicator for a possibly higher learning
success, as satisfaction and learning success are often correlated to some extent (Eom,
et al., 2006). This, however, is still a much discussed question. Overall, the measures
taken indicate that we have improved our learning service significantly.
Taking a look at the necessary resources, both the in-class assignments and the learner-
created self-assessment do not demand much additional effort. To start a poll, the in-
structor needs only to enter multiple-choice items. The peer assessment activity is
completely conducted by the students without any input by the instructor. Choosing
the best items to upload to the LMS is a task performed once a week and takes only a
few minutes. The most resource demanding task is the forum which is moderated once
a week for about an hour. The graduate assistants post comments or answers on an
irregular basis. These efforts, however, are reasonable, since all actions can be con-
ducted in a fixed time span.
9.8 Conclusion, Limitations and Outlook
In this paper we presented the DSB method to analyze and re-design learning services,
especially large scale lectures, with reasonable resources. We summarized key re-
quirements for successful learning services and common problems in large scale lec-
tures. We then developed several principles to guide the process of re-design. We
applied these principles to a large scale IS lecture and evaluated the resulting lecture
with regard to learning success and satisfaction. Results indicate that after each itera-
tion, the re-designed learning service achieved a higher quality. Still, the results are
subject to several limitations. We evaluated the outcome of our DSB method, i.e., the
course as a whole. These results do not necessarily prove the quality of the method
itself. Any improvements in service quality may result from the different concepts we
developed, not necessarily from the overall method. Second, since this is an Action
Research project, different external factors might have flawed the data, e.g., differ-
ences between the students, slightly changed contents of the course, etc. Third, we
tested DSB in only one setting, an IS course at a German university. Thus, results are
not necessarily adaptable to other target groups.
Despite these shortcomings, the results do indicate that the method worked for our
case. Thus, we will refine it further during the next semesters and will also use it to
improve other lectures. Currently, there is still not much incentive for students to sus-
tain their learning. Instead, we perceive that many students tend to learn mostly during
110
the last weeks of the semester when the date of the exam approaches. Thus, we will
have to find ways to keep students more engaged throughout the whole semester.
There is also still much potential left for further peer activities, especially outside the
classroom. We want to expand the forum to a real Virtual Learning Community, but
we will need tools to help instructors supervise the community or individual learning
groups. We anticipate that this may be one of the core design tasks in our research pro-
ject for the near future.
9.9 References
Alexander, C. 1973. Notes on the Synthesis of Form, (7 ed.). Cambridge, MA, USA:
Harvard University Press.
Biggs, J.B., Tang, C.S., and Education, S.f.R.i.H. 1999. Teaching for Quality Learning
at University. Open university press Buckingham.
Bloom, B.S. 1956. "Taxonomy of Educational Objectives. Handbook I: Cognitive
Domain," New York: David McKay (19), p. 56.
Borup, J., West, R.E., and Graham, C.R. 2011. "Improving Online Social Presence
through Asynchronous Video," The Internet and Higher Education).
Chickering, A.W., Gamson, Z.F., and Poulsen, S.J. 1987. "Seven Principles for Good
Practice in Undergraduate Education,").
Clark, R.C., and Mayer, R.E. 2008. "Learning by Viewing Versus Learning by Doing:
Evidence-Based Guidelines for Principled Learning Environments,"
Performance Improvement (47:9), pp. 5-13.
Cohen, P.A. 1981. "Student Ratings of Instruction and Student Achievement: A Meta-
Analysis of Multisection Validity Studies," Review of Educational Research
(51:3), pp. 281-309.
Dewiyanti, S., Brand-Gruwel, S., Jochems, W., and Broers, N.J. 2007. "Students'
Experiences with Collaborative Learning in Asynchronous Computer-
Supported Collaborative Learning Environments," Computers in Human
Behavior (23:1), pp. 496-514.
111
Eom, S.B., Wen, H.J., and Ashill, N. 2006. "The Determinants of Students' Perceived
Learning Outcomes and Satisfaction in University Online Education: An
Empirical Investigation*," Decision Sciences Journal of Innovative Education
(4:2), pp. 215-235.
Fasso, W. 2010. "Facilitated Networking and Group Formation in an Online
Community of Practice," Australian Educational Computing (25:1), pp. 25-33.
Fließ, S., and Kleinaltenkamp, M. 2004. "Blueprinting the Service Company
Managing Service Processes Efficiently," Journal of Business Research (57:4),
pp. 392-404.
Gagne, R.M. 1984. "Learning Outcomes and Their Effects: Useful Categories of
Human Performance," American Psychologist (39 4), pp. 377-385.
Gerald, E. 2010. "Peer Effects, Motivation, and Learning," Economics of Education
Review (29:3), pp. 364-374.
Goodyear, P., Salmon, G., Spector, J., Steeples, C., and Tickner, S. 2001.
"Competences for Online Teaching: A Special Report," Educational
Technology Research and Development (49:1), pp. 65-72.
Kolb, A.Y., and Kolb, D.A. 2005. "Learning Styles and Learning Spaces: Enhancing
Experiential Learning in Higher Education," Academy of Management Learning
& Education (4:2), pp. 193-212.
Kop, R. 2011. "The Challenges to Connectivist Learning on Open Online Networks:
Learning Experiences During a Massive Open Online Course," The
International Review of Research in Open and Distance Learning, Special
Issue-Connectivism: Design and Delivery of Social Networked Learning (12:3),
pp. 18-38.
Kraiger, K., Ford, J.K., and Salas, E. 1993. "Application of Cognitive, Skill-Based,
and Affective Theories of Learning Outcomes to New Methods of Training
Evaluation," Journal of Applied Psychology (78:2), pp. 311-328.
Leimeister, J.M. 2012. Dienstleistungsengineering und -Management. Heidelberg,
Berlin: Springer.
112
Mayer, R.E., and Moreno, R. 2003. "Nine Ways to Reduce Cognitive Load in
Multimedia Learning," Educational Psychologist (38:1), 2003/03/01, pp. 43-52.
Menschner, P., and Leimeister, J.M. 2012. "Devising a Method for Developing
Knowledge-Intense, Person-Oriented Services – Results from Early
Evaluation," in: Hawaiian International Conference on System Sciences -
HICSS 45. Maui.
Menschner, P., Peters, C., and Leimeister, J.M. 2011a. "Engineering Knowledge-
Intense, Person-Oriented Services - a State of the Art Analysis," in: ECIS 2011
Proceedings. Helsinki, Finland.
Menschner, P., Prinz, A., Koene, P., Köbler, F., Altmann, M., Krcmar, H., and
Leimeister, J.M. 2011b. "Reaching into Patients‘ Homes - Participatory
Designed Aal Services," Electronic Markets (21:1), pp. 63-76.
Moore, M.G. 1989. "Editorial: Three Types of Interaction," American Journal of
Distance Education (3:2), pp. 1-7.
Moreno, R., and Mayer, R. 2007. "Interactive Multimodal Learning Environments,"
Educational Psychology Review (19:3), pp. 309-326.
Patrício, L., Fisk, R.P., and Cunha, J.F. 2008. "Designing Multi-Interface Service
Experiences: The Service Experience Blueprint," Journal of Service Research
(10:4), pp. 318-334.
Schermann, M., Gehlert, A., Pohl, K., and Krcmar, H. 2009. "Justifying Design
Decisions with Theory-Based Design Principles," 17th European Conference
on Information Systems (ECIS), Verona, Italy.
Shostack, G. 1984. "Designing Services That Deliver," Harvard business review
(62:1), pp. 133-139.
Sun, P.-C., Tsai, R.J., Finger, G., Chen, Y.-Y., and Yeh, D. 2008. "What Drives a
Successful E-Learning? An Empirical Investigation of the Critical Factors
Influencing Learner Satisfaction," Computers & Education (50:4), pp. 1183-
1202.
113
Susman, G.I., and Evered, R.D. 1978. "An Assessment of the Scientific Merits of
Action Research," Administrative science quarterly (23:4), pp. 582-603.
Topping, K.J. 2005. "Trends in Peer Learning," Educational Psychology (25:6), pp.
631-645.
Wang, M.C., Haertel, G.D., and Walberg, H.J. 1993. "Toward a Knowledge Base for
School Learning," Review of Educational Research (63:3), Fall 1993, pp. 249-
294.
Wegener, R., and Leimeister, J.M. 2012. "Peer Creation of E-Learning Materials to
Enhance Learning Success and Satisfaction in an Information Systems Course.
," in: 20th European Conference on Information Systems (ECIS 2012).
Barcelona, Spain.
Wegener, R., Menschner, P., and Leimeister, J.M. 2010. "Analyse Und Optimierung
Von Lehrdienstleistungen Mittels Service Blueprinting - Konzeption Und Erste
Empirische Befunde," Multikonferenz Wirtschaftsinformatik (MKWI)
Göttingen, pp. 383-395.
Zeithaml, V.A., Bitner, M., and Gremler, D.D. 2006. Services Marketing : Integrating
Customer Focus across the Firm. Boston: McGraw-Hill/Irwin.
Zhang, D., Zhao, J.L., Zhou, L., and Jay F. Nunamaker, J. 2004. "Can E-Learning
Replace Classroom Learning?," Commun. ACM (47:5), pp. 75-7
114
10 Steigerung von Interaktivität, Individualität und Lernerzufriedenheit in einer universitären Massenveranstal-tung durch mobile Endgeräte
René Wegener, Andreas Prinz, Philipp Bitzer, Jan Marco Leimeister
Abstract: Lernerfolg wird durch eine aktive Auseinandersetzung mit Inhalten, die
Anwendung von Wissen und Interaktion wie die Teilnahme an Diskussionen geför-
dert. Diese Aspekte kommen in universitären Massenveranstaltungen aufgrund der
hohen Teilnehmerzahlen jedoch häufig zu kurz. Mobile Endgeräte bieten an dieser
Stelle das Potenzial, bisherige Strukturen aufzubrechen und neue Interaktionsmöglich-
keiten zu schaffen. Im Rahmen eines Pilotprojekts an einer deutschen Universität wur-
den mehr als 150 mobile Endgeräte, vorwiegend in Form von Tablet Computern, als
Leihgeräte an Studierende einer Massenlehrveranstaltung in den Wirtschaftswissen-
schaften ausgegeben. Im Rahmen der Veranstaltung kamen Applikationen zu Teil-
nehmeraktivierungen mit Hilfe der mobilen Endgeräte sowie mobile Lernmaterialien
in Form von Videos und Web Based Trainings zum Einsatz. Abschließend fand eine
Evaluation mittels eines Online Fragebogens statt (n = 128), welche die wahrgenom-
mene Interaktivität und Zufriedenheit der Studierenden mit Lernmaterialien und Teil-
nehmeraktivierungen erfassen sollte. Die Ergebnisse deuten darauf hin, dass die
entwickelten Lernanwendungen insgesamt als Bereicherung der Lernerfahrung wahr-
genommen werden. Die Interaktivität der Lehrveranstaltung wird besonders positiv
bewertet, insbesondere das Lernen mit Hilfe eines Tablet Computers steigert bei vielen
Studierenden den Spaß an der Lehrveranstaltung. Die Neuartigkeit der Arbeit liegt im
flächendeckenden Einsatz von mobilen Endgeräten innerhalb und außerhalb einer
Massenveranstaltung. Die Ergebnisse sind für Dozenten in der universitären Lehre von
praktischer Relevanz und zeigen zugleich wichtige didaktische Herausforderungen
beim intelligenten Einsatz von IT in Massenveranstaltungen auf.
Please quote as: Wegener, R.; Prinz, A.; Bitzer, P. & Leimeister, J. M. (2011): Steige-
rung von Interaktivität, Individualität und Lernerzufriedenheit in einer universitären
Massenveranstaltung durch mobile Endgeräte. In: DeLFI 2011, Dresden, Germany.
115
10.1 Mobile Learning in Massenlehrveranstaltungen
10.1.1 Begriffe und allgemeine Problemsituation
Das deutsche Hochschulsystem sieht sich gegenwärtig mit steigenden Studierenden-
zahlen, unter anderem durch doppelte Abiturjahrgänge konfrontiert [Bu10]. Die stei-
genden Teilnehmerzahlen sind in vielen Lehrveranstaltungen dahingehend
problematisch, dass Interaktivität und Individualität im Lernprozess nicht mehr gege-
ben sind. Dies wiederum zieht verschiedene negative Konsequenzen nach sich.
Der Lernprozess basiert letztlich auf der Interaktion mit Inhalten, im Fall von IT-
gestütztem Lernen auch mit der Informationstechnologie, dem Lehrenden und anderen
Lernern [TW04]. Dies ist in Veranstaltungen mit hoher Teilnehmerzahl zwar nicht
ausgeschlossen, sinnvolle Gruppenarbeiten oder -diskussionen sind jedoch deutlich
schwieriger umsetzbar. Auch Rückfragen an den Lehrenden werden teilweise nicht
gestellt, da sich Studierende aufgrund der vielen Kommilitonen um sie herum unsicher
fühlen. Damit besteht jedoch die Gefahr, dass Lernende nur noch unzureichend an der
Veranstaltung partizipieren und somit auch Zufriedenheit und Lernerfolg auf der Stre-
cke bleiben.
Lernende besitzen zudem unterschiedliche Vorkenntnisse und Lerneigenschaften. Ge-
rade die Heterogenität der Teilnehmer einer großen Veranstaltung stellt hierbei den
Dozenten vor die Herausforderung, möglichst allen Personen gerecht zu werden. Dies
ist jedoch mit einer hochgradig standardisierten Dienstleistung, worum es sich bei ei-
ner Massenveranstaltung in der Regel handelt, kaum möglich. Darüber hinaus besitzen
Lernende auch unterschiedliche Vorlieben oder Eigenschaften, was den eigenen Lern-
prozess angeht [KK05]. So sind beispielsweise für einige Lernende abstrakte Zusam-
menhänge besser nachzuvollziehen, während andere besser durch aktives
Experimentieren lernen. Idealerweise sollten Lerninhalte auf verschiedenen Wegen
präsentiert werden, um möglichst alle Lerntypen anzusprechen. Auch hier gilt jedoch,
dass diese Form von Individualisierung des Lernprozesses im Rahmen einer standardi-
sierten Massenveranstaltung nur schwer und ressourcenintensiv umsetzbar ist.
Eine mögliche Lösung wären kleinere Vorlesungen, die mehr Raum für gezielte Teil-
nehmeraktivierungen bieten. Die damit verbundenen Kosten lassen eine solche Lösung
jedoch gegenwärtig unrealistisch erscheinen. So konstatiert auch der deutsche Wissen-
schaftsrat einen Bedarf nach höherer Effizienz und Effektivität der hochschulischen
116
Ausbildung [Wi06]. Einen anderen Lösungsansatz stellen mobile Endgeräte dar. Gerä-
te wie Notebooks, Smartphones und zunehmend Tablets sind unter Studierenden mitt-
lerweile weit verbreitet. Eine Befragung unter Studierenden, die im Vorlauf der
nachfolgend vorgestellten Fallstudie durchgeführt wurde, kam zu folgendem Ergebnis:
Von 157 Teilnehmern gaben 68 den Besitz eines üblichen Personal Computers an, je-
doch 88 den Besitz eines Laptops und immerhin 23 den Besitz eines Smartphones.
Zudem sind die Anschaffungskosten für entsprechende Geräte in den letzten Jahren
stark gefallen. Dies macht sogar eine Subventionierung durch die Universitäten inte-
ressant: Laut [Br09] betrugen die durchschnittlichen Kosten eines Studienplatzes für
einen Master-Absolventen 2006 47.400 Euro. In Anbetracht dieser beträchtlichen Kos-
ten scheint die Anschaffung mobiler Endgeräte damit durchaus vertretbar, wenn
Lernerzufriedenheit und Lernerfolg damit nachweislich gesteigert werden können.
Denn der Vorteil dieser Geräte liegt darin, dass durch sie neue Interaktionsmöglichkei-
ten geschaffen werden. Innerhalb einer Lehrveranstaltung können Dozenten durch
Umfragen schnelle Rückmeldungen der Studierenden erhalten oder kurze Selbstlern-
aufgaben zur Reflexion und Vertiefung von Wissen einbauen. Außerhalb der Lehrver-
anstaltung können die mobilen Endgeräte eingesetzt werden, um mittels elektronischer
Lernmaterialien die Vorlesungsinhalte unmittelbar vor- oder nachzubereiten. Dadurch
können einerseits Leerlaufzeiten effizienter genutzt werden, andererseits bieten elekt-
ronische Medien die Möglichkeit, Inhalte zu animieren und mit interaktiven Übungen
zu versehen. Über Learning Management Systeme (LMS) können diese überall, einen
Internetzugang vorausgesetzt, zugänglich gemacht und von den Lernenden zusätzlich
diskutiert werden.
Die didaktische Herausforderung besteht nun darin, die klassische Präsenzveranstal-
tung mit Teilnehmeraktivierungen intelligent zu erweitern und zugleich Selbstlernma-
terialien anzubieten, die einen echten Mehrwert gegenüber einfachen, papierbasierten
Inhalten darstellen. Aus diesem Grund wurde an der Universität Kassel ein Pilotpro-
jekt durchgeführt, bei dem mobile Endgeräte auf Leihbasis für ein Semester an die
Teilnehmer einer Massenveranstaltung ausgegeben wurden. Der nachfolgende Ab-
schnitt soll zunächst den organisatorischen Rahmen dieser Fallstudie erläutern. Darauf
aufbauend wird das didaktische und technische Konzept mit den verschiedenen Lern-
materialien bzw. Lernanwendungen erläutert. Abschließend werden die Evaluationser-
gebnisse einer Online Befragung vorgestellt, in welcher die Teilnehmer der
Lehrveranstaltung ein Feedback zu Aspekten wie den verschiedenen Lernanwendun-
gen und ihrer allgemeinen Zufriedenheit geben sollten.
117
10.1.2 Vorstellung der Fallstudie
Das Ziel des Pilotprojektes bestand darin, durch gezielten Einsatz mobiler Endgeräte
in einer Massenlehrveranstaltung für Wirtschaftswissenschaftler (Einführung in die
Wirtschaftsinformatik, ca. 250 Teilnehmer pro Semester) die Interaktivität und Indivi-
dualität der Veranstaltung, Zufriedenheit der Teilnehmer sowie deren Lernerfolg
nachhaltig zu erhöhen.
Das Konzept basierte dabei auf dem Gedanken, die mobilen Endgeräte sowohl unmit-
telbar in der Präsenzveranstaltung einzusetzen als auch darüber hinaus als mobile
Lerngeräte. Damit sollte die Interaktivität in mehreren Bereichen gefördert werden
[TW04]: Interaktion mit dem Dozenten durch zusätzliche Abstimmungen während der
Vorlesung, Interaktion zwischen den Studierenden durch Aktivierungen, die den Aus-
tausch untereinander erfordern, und stärkere Interaktion mit den Lernmaterialien durch
rein selbstgesteuerte Lernangebote, welche zur zusätzlichen Auseinandersetzung mit
den Inhalten auffordern.
Pro Präsenzveranstaltung sollten zwei Teilnehmeraktivierungen wie kleinere Diskus-
sionen die Veranstaltung auflockern und die Reflexion der Inhalte fördern. Videos und
Web Based Trainings sollten darüber hinaus als multimediale Selbstlerneinheiten die
Vor- und Nachbereitung der Inhalte erlauben. Ermöglicht wurde das Konzept durch
den Verleih von ca. 150 Endgeräten (vorwiegend Tablet PCs in Form von Apple
iPads) an die Studierenden. Auf diesem Weg konnte zusammen mit den bereits unter
den Teilnehmern vorhandenen Geräten erstmals eine komplette Abdeckung mit mobi-
len Endgeräten (iPads, Netbooks, Laptops) sichergestellt werden.
Im Rahmen dieser Ausarbeitung sollen die folgenden Forschungsfragen in Bezug auf
das Projekt beantwortet werden:
1. Welche technischen Herausforderungen sind mit dem Einsatz mobiler Lernma-
terialien und -anwendungen in Massenveranstaltungen verbunden?
2. Wie zufrieden sind die Studierenden mit den vorgestellten Selbstlernmaterialien
und Teilnehmeraktivierungen?
3. Welchen Einfluss hat der Einsatz besonders benutzerfreundlicher Tablet-PCs
(Apple iPads) auf die wahrgenommenen Lernprozesse der Studierenden?
118
Während die erste Frage sich eher auf die Implementierung des Projekts aus Entwick-
lersicht bezieht und im nachfolgenden Abschnitt adressiert wird, fokussieren die bei-
den anderen Fragen die Ergebnissicht, sprich die Wahrnehmung der Studierenden,
welche im Abschnitt „Evaluation“ betrachtet wird.
10.2 Didaktisches und technisches Konzept
10.2.1 Technische Anforderungen
Um eine Lerndienstleistung produktiv zu erbringen, ist neben didaktischer Effektivität
auch die wirtschaftliche Effizienz zu betrachten. Hierzu kann IT einen Beitrag leisten,
wenn sie intelligent dort eingesetzt wird, wo Prozesse standardisierbar sind (z. B. bei
der Durchführung von Abstimmungen innerhalb der Lehrveranstaltung). Vorausset-
zung ist jedoch auch stets, dass die Anwendungen effizient einsetzbar sind und den
Aufwand des Dozenten nicht unnötig steigern [We10]. Anforderungen an Lernanwen-
dungen ergeben sich also sowohl aus Input- als auch Output-Perspektive.
Aus technischer Sicht war im vorliegenden Fall somit nötig, dass die zu entwickelnden
Anwendungen möglichst plattformunabhängig und damit auf unterschiedlichsten End-
geräten lauffähig sind. Um zudem den Einsatz der Teilnehmeraktivierungen auch in
anderen Lehrveranstaltungen ohne großen Aufwand zu ermöglichen, wurde für den
Dozenten ein äußerst einfaches Web-Interface zur Bedienung der Anwendungen ent-
wickelt. Zudem sind beide Anwendungen zur Teilnehmeraktivierung, die später noch
vorgestellt werden, prinzipiell von bestimmten Themengebieten unabhängig und damit
in beliebigen Bereichen einsetzbar. Um während der Vorlesung keine unnötige Zeit zu
verlieren, standen zudem die einfache Bedienbarkeit der Anwendungen für Dozenten
und Studierende sowie kurze Ladezeiten als weitere Anforderungen im Vordergrund.
10.2.2 Technische Infrastruktur
Im Rahmen des Projekts kamen unterschiedliche Softwaretools zum Einsatz. Hierzu
zählen die zentrale Lernumgebung der Universität, die auf iPad und Laptop lauffähi-
gen Tools zur Teilnehmeraktivierung, ein Videostream der Veranstaltung sowie Web
Based Trainings (WBTs), welche bestimmte Vorlesungsinhalte noch einmal aufgreifen
und vertiefen sollen.
119
Die Universität nutzt bereits ein LMS in Form von Moodle. Um dieses auch an das
iPad als Endgerät anzupassen, wurde die App mBook2 auf einer eigens für das Projekt
eingerichteten Moodle-Umgebung installiert. Die Studierenden konnten sich mit ei-
nem frei wählbaren Benutzernamen anmelden, somit waren keine Rückschlüsse auf
den jeweiligen Benutzer möglich.
Der eingesetzte Videoserver wurde an die iOS Restriktionen angepasst, indem der bis-
herige Real-Stream in einen QuickTime-Stream umgewandelt wurde.
Die WBTs wiederum werden von Studierenden der Wirtschaftswissenschaften höherer
Semester mit Hilfe von Adobe Flash entwickelt. Die Wahl von Flash als
Authoringsoftware ist darin begründet, dass auch programmierunerfahrene Studenten
leicht mit dem Programm arbeiten und ansprechende WBTs entwickeln können. Zum
Einsatz auf den iPads gestattet Flash die Konvertierung der Applikationen in native
Apps, die lediglich in Bezug auf das Layout oder die Auflösung ggf. anzupassen sind.
Der Mehraufwand hierfür ist jedoch vergleichsweise gering.
10.2.3 Eingesetzte Lernmaterialien und Lernanwendungen
Web-Based Trainings(WBTs)
Die mobil nutzbaren Lernmodule fördern das selbstständige, aktive Aneignen von
Fakten- und Methodenwissen. Dabei werden gezielt einzelne Themen in kompakten
Einheiten von 20 - 30 Minuten Länge aufbereitet. Die Trainings dienen der Vor- und
Nachbereitung von Lehrveranstaltungen sowie auch der Ausnutzung von Leerlaufzei-
ten an der Universität oder unterwegs. Im Vergleich zu einem klassischen Skript er-
lauben die WBTs eine hohe visuelle Qualität, die Einbindung von Animationen,
Videos und Audiodaten sowie interaktive Übungen zur Wissensüberprüfung. Jedoch
stellen die WBTs lediglich optionale, zusätzliche Lernangebote dar. Dahinter steht die
Überlegung, dass es zum einen unterschiedliche Lerntypen gibt, von denen einige mit
den sehr visuellen WBTs ggf. besser lernen können als bspw. mit einem Skript
[KK05]. Zum anderen sollen die Lernenden mehr Freiraum bei der Gestaltung ihrer
Lernzeiten und -prozesse erhalten [Hu07], [KEH07]. So wird der Anforderung an
mehr Interaktion mit den Lerninhalten Rechnung getragen [TW04].
2 www.moodle.hk
120
Apps zur Teilnehmeraktivierung
Die Software zur Aktivierung in Massenveranstaltungen ist speziell darauf zugeschnit-
ten, auch bei hohen Studierendenzahlen eine robuste und immer einsatzbereite Interak-
tionsform zu ermöglichen. Innerhalb der Präsenzvorlesung kommen meist zwei
Aktivierungen zum Einsatz: In „Co-Create Your Exam“ entwerfen Studierende eigene
Wahr-/Falsch-Aussagen zu den Inhalten der Veranstaltung. Dann bearbeiten sie je-
weils die von ihrem Sitznachbarn entworfenen Übungen. Die Ergebnisse werden
schließlich in eine Datenbank übertragen und die besten Übungen werden online zur
Nachbereitung zur Verfügung gestellt. Innerhalb der Veranstaltung bekommt zudem
der Dozent fünf zufällig ausgewählte Aussagen auf dem Beamer angezeigt, die er
selbst löst. Auf diesem Wege interagieren die Studierenden zum einen untereinander,
zum anderen mit dem Dozenten [TW04].
Als zweite Aktivierungsübung dient die „Peer Discussion“. Dabei bekommen die Stu-
dierenden eine Fragestellung mit mehreren Lösungsmöglichkeiten, über die sie mit
ihren Nachbarn diskutieren und sich schließlich für eine Lösung entscheiden. Das Ab-
stimmungsergebnis wird in Echtzeit berechnet und vom Dozenten ebenfalls direkt auf-
gegriffen. Dieser kann auf bestimmte Auffälligkeiten eingehen und erkennt ggf.
Verständnisschwierigkeiten der Lernenden. Wie die Integration dieser Anwendung auf
dem iPad aussieht, zeigt die Abbildung 1.
Abbildung 1: Teilnehmeraktivierung auf dem iPad
Appstore
Bislang erforderte das Installieren von nativen Applikationen auf dem iPad/iPhone das
Downloaden auf einen PC oder Mac, mit dem das mobile Endgerät anschließend via
iTunes synchronisiert werden musste. Da dieser Prozess einen Aufwand für den Stu-
dierenden bedeutet und eine zusätzliche Barriere für die Nutzung der WBTs darstellt,
121
ist im Rahmen des Pilotprojektes ein eigener Appstore entwickelt worden. Studierende
können über diesen die Applikationen einfach mittels ihres Browsers auf ihr iPad la-
den. Hierfür wurde eine Apple Developer Enterprise Version verwendet, die es ermög-
licht, kompilierte Apps over-the-air (OTA) zu distribuieren, ohne auf den Apple
Appstore oder den Umweg, Apps über den PC zu synchronisieren, angewiesen zu sein.
Videostream
Die Vorlesung wird live als Stream im Internet gezeigt und als Aufzeichnung dauer-
haft zur Verfügung gestellt, um das Nachbereiten der Inhalte zu ermöglichen. Auch
dies ermöglicht wiederum mehr Freiräume und Selbststeuerung im Lernprozess
[KEH07].
10.3 Evaluation
Die Evaluation des Projekts umfasste Aspekte wie Wissenstests und Interviews mit
den beteiligten Dozenten. In dieser Arbeit liegt der Fokus jedoch auf einer Selbstaus-
kunft der Teilnehmer zu ihrer Zufriedenheit und wahrgenommenen Lernprozessen. An
der freiwilligen Online Befragung zu Semesterende nahmen insgesamt 128 Teilneh-
mer teil. Die Fragebogenitems sollen dabei die wichtigsten Dimensionen von
Lernerzufriedenheit abdecken wie Kompetenzen des Dozenten, dessen menschliche
Charakteristiken, die Struktur der Veranstaltung oder deren Schwierigkeitsgrad
[Co81]. Zugleich wurden Aspekte zu den virtuellen Lernmaterialien abgefragt, welche
sich auf die technische Qualität, Flexibilität und Nützlichkeit beziehen (vgl. u.a.
[OK09], [Su08]). Abgefragt wurden diese Aspekte mit einer 5er Likert-Skala, die von
1 = „volle Zustimmung“ bis 5 = „gar keine Zustimmung“ reichte. Die Ergebnisse sind
nachfolgend dargestellt.
122
Abbildung 2: Ergebnisse der Online Befragung
Evaluierung
Allgemeine Fragen Mittelw ert StdAbw
Wie zufrieden sind Sie mit der Veranstaltung generell? 2,38 0,85
Wie würden Sie die Veranstaltung im Vergleich zu anderen bewerten? 2,41 0,83
Wie innovativ finden Sie die Veranstaltung? 1,88 0,87
Würden Sie die Veranstaltung an Kommilitonen weiterempfehlen? 2,37 1,08
Wie zufrieden sind Sie mit dem Dozenten generell 2,07 0,96
Allgemeine Zufriedenheit mit … Mittelw ert StdAbw
Inhalt der Veranstaltung 2,70 0,99
Struktur der Veranstaltung 1,98 0,83
Menge des gelernten Inhalts im Vergleich zum Arbeitsaufwand 3,28 1,06
Schwierigkeitsgrad der Lehrveranstaltung 3,23 1,01
Menge des vermittelten Inhalts im Vergleich zur verfügbaren Zeit 3,44 1,03
Klarheit und Transparenz der Anforderungen an die Leistungserbringung 2,43 1,01
Interaktivität der Veranstaltung (z.B. Mitwirkung der Studenten an der Veranstaltung) 2,13 0,94
Praxisrelevanz der Veranstaltung 2,50 1,03
Begleitmaterialien zur Veranstaltung 1,98 0,87
Fragen zum Dozenten Mittelw ert StdAbw
Der Dozent verfügt über das notwendige Fachwissen 1,20 0,51
Die Erläuterungen des Dozenten sind wertvoll 1,80 0,87
Der Dozent kann begeistern 2,16 1,03
Der Dozent ist gut vorbereitet 1,37 0,67
Der Dozent schafft es Interesse beim Studenten zu wecken 2,23 1,02
Der Dozent ist sympathisch 2,15 1,08
Der Dozent beantwortet Fragen klar und strukturiert 1,73 0,81
Der Dozent steht auch außerhalb der Vorlesung für Fragen zur Verfügung 2,25 0,91
Fragen zum Selbstlernmaterial Mittelw ert StdAbw
Die WBTs sind optisch gut aufbereitet 2,11 0,94
Die WBTs sind ausreichend interaktiv 2,09 0,88
Die WBTs fördern die Nachbereitung der Inhalte aus der Vorlesung 2,02 0,89
Die WBTs unterstützen mein individuelles Lerntempo 2,20 0,89
Die WBTs kommen meinem persönlichen Lernstil entgegen 2,40 0,96
Die WBTs sind eine sinnvolle Ergänzung zu den anderen Unterlagen 2,04 0,92
Ich habe die WBTs häufig genutzt 2,62 1,04
Die Vorlesungsvideos sind ansprechend aufbereitet 2,34 1,11
Die Videos unterstützen mein individuelles Lerntempo 2,14 1,11
Die Videoaufzeichnungen kommen meinem persönlichen Lernstil entgegen 2,10 1,18
Die Videos helfen bei der Nachbereitung der Vorlesung 1,84 0,98
Ich habe die Videos häufig genutzt 2,22 1,31
Die Skype-Sprechstunde ist eine gute Idee 2,35 0,97
Ich würde mir mehr kollaborative Online-Zusammenarbeit (z.B. im Forum) wünschen 2,84 1,12
123
Abbildung 3: Ergebnisse der Online Befragung (Fortsetzung)
Grundsätzlich lag die generelle Zufriedenheit der Studenten mit einem Mittelwert von
2,38 im guten Mittelfeld der abgefragten Werte. Bei dem Fallbeispiel handelt es sich
um eine Grundstudiumsveranstaltung, an der dementsprechend alle Studierenden teil-
nehmen müssen, die einen Studiengang mit einem wirtschaftswissenschaftlichen An-
teil belegen. Dies kann als Erklärung für den relativ schlechten Mittelwert für die
Antwort auf die Frage nach dem Interesse an den Inhalten und der Veranstaltung
(2,80) dienen.
Die Ergebnisse der anderen Item-Batterien bieten im Folgenden Erklärungshinweise,
was die Bewertung der Veranstaltung maßgeblich beeinflusst hat. Grundsätzlich wurde
die Veranstaltung als innovativ bewertet (1,88), doch wurde offensichtlich die Menge
der vermittelten Inhalte als sehr hoch empfunden. Konkret handelt es sich hierbei um
„Die Menge der vermittelten Inhalte im Vergleich zur Verfügung stehenden Zeit“ mit
einem Wert von 3,44. Somit waren aber zumindest aus didaktischer Sicht die Gege-
benheiten vorhanden, um eine als herausfordernd bewertete Menge von Lehrinhalten
den Studenten ansprechender zu präsentieren und neuartige Konzepte zu erproben.
Fragen zur Teilnehmeraktivierung Mittelw ert StdAbw
Die Übung Co Create Your Exam hilft mir, die Inhalte zu lernen 2,71 1,17
Die Übung Co Create Your Exam macht Spaß 2,72 1,10
Die Übung Co Create Your Exam ist eine sinnvolle Ergänzung der Vorlesung 2,41 1,06
Ich habe häufig am Co Create teilgenommen 2,75 1,23
Die Übung Peer-Discussion hilft mir, die Inhalte zu lernen 2,27 1,03
Die Übung Peer-Discussion macht Spaß 2,30 1,05
Die Übung Peer-Discussion ist eine sinnvolle Ergänzung der Vorlesung 2,12 0,94
Ich habe häufig an der Peer-Discussion teilgenommen 2,45 1,29
Verglichen zum Lernen an PC/Laptop… Mittelw ert StdAbw
...lerne ich mit iPad deutlich länger 3,14 1,24
...lerne ich mit iPad deutlich intensiver 2,86 1,24
...macht mir das Lernen mit iPad mehr Spaß 2,15 1,09
...mache ich aus Interesse mehr als zur Vor- und Nachbereitung der Vorlesung vorgesehen 2,95 1,19
..habe ich mit iPad weniger Zeitdruck beim lernen 3,36 1,22
...erkläre ich anderen die Dinge, die ich in meinem Studium lerne 3,08 1,19
Gesamt Mittelw ert StdAbw
Mein Interesse am Inhalt / der Veranstaltung ist hoch. 2,80 1,12
Die Veranstaltung hat mein Interesse am Fachgebiet gefördert. 2,80 1,21
Ich habe viel Aufwand in diesen Kurs investiert. 2,36 1,00
Ich habe mich aktiv am Kurs beteiligt (Mitarbeit, Anwesenheit bei Veranstaltungen). 2,65 1,18
Ich habe bereits Vorerfahrung im Online-Lernen 3,26 1,42
124
Vor dem Hintergrund des Projekts ist jedoch vor allem die Evaluation der Lernmateri-
alien und Teilnehmeraktivierungen interessant. Bei den Lernmaterialien fällt auf, dass
besonders die Videos als hilfreich eingeordnet wurden (1,84). Gleichzeitig wird aller-
dings eine stärkere Form der Interaktion über die Online-Plattform zwischen den Stu-
denten nicht gewünscht (2,84). Ein Erklärungsansatz könnten die besonderen
Charakteristika von Massenveranstaltungen sein. So gibt es starke Unterschiede in der
Bereitschaft zur Nutzung von WBTs (2,62), der Vorerfahrung der Studierenden (3,26
mit einer Standardabweichung von 1,42) und den bereits erläuterten Unterschieden in
der studentischen Zusammensetzung der Vorlesung. Dies führt zwangsläufig zu relativ
anonymen Lehr-Lern-Szenarien, was das empfundene Risiko im Austausch, insbeson-
dere im Internet, erhöhen kann. Die Selbstlernmaterialien schneiden ansonsten tenden-
ziell positiv ab, wenn 3 als Mittelwert angesehen wird. Damit zeigt sich, dass durchaus
eine beträchtliche Anzahl der Studierenden diese Materialien schätzt. Dennoch bleibt
auch zu konstatieren, dass die Nutzung der Materialien für viele Studierende weiterhin
noch nicht den nötigen Mehrwert verspricht.
Die Interaktivität hebt sich mit einem Mittelwert von 2,13 hervor. In Anbetracht der
Tatsache, dass es sich um eine Massenveranstaltung handelt, ist dieser Wert als äußerst
positiv zu betrachten. Die Teilnehmeraktivierung wurde im Mittel mit 2,46 bewertet.
Hierbei fällt auf, dass die Aktivierung der Teilnehmer über das Co-Create (2,75) und
über die Peer-Discussion (2,45) zwar nicht uneingeschränkt positiv bewertet wurde,
allerdings ist bei beiden Angaben die Standardabweichung (1,23 bzw. 1,29) relativ
hoch. Insofern gab es hierbei offensichtlich starke Unterschiede in dem studentischen
Engagement. Grundsätzlich ist festzustellen, dass das Co-Create (2,65) als weniger
hilfreich empfunden wurde, als die Peer-Discussion (2,28). Ein möglicher Erklärungs-
ansatz liegt darin, dass die Peer-Discussion in der Anwendung besonders schnell und
einfach ist. Das Co-Create erfordert an dieser Stelle ein höheres Engagement der Stu-
dierenden, was für diese in einer Großveranstaltung möglicherweise noch zu unge-
wohnt ist. Zudem kann die hohe Standardabweichung auch aus den unterschiedlichen
eingesetzten Endgeräten resultieren (iPads bzw. Laptops). Möglicherweise ist die ein-
fache Bedienbarkeit eines Tablet PCs an dieser Stelle ein Vorteil. Unterstützt wird die-
ser Erklärungsansatz von den weiteren Evaluationsergebnissen: So wurde auf die
Frage nach dem Spaß an der Nutzung des iPads ein relativ hoher Wert erzielt (2,15).
Möglicherweise hat sich dieser „Spaß-Faktor“ auch auf die Teilnehmeraktivierungen
übertragen.
125
Wichtig ist an dieser Stelle jedoch auch die Feststellung, dass eine positive Auswir-
kung auf das selbst wahrgenommene Lernverhalten über das iPad nicht nachgewiesen
werden kann, weder in Bezug auf eine längere Auseinandersetzung mit Lerninhalten
(3,36) noch in Bezug auf das Engagement bei der Vor- bzw. Nachbereitung (2,95).
Der Einsatz von iPads als Endgeräte scheint daher keinen besonderen Einfluss auf die
wahrgenommenen Lernprozesse der Teilnehmer auszuüben.
10.4 Schlussfolgerungen und Ausblick
Die bisherigen Evaluationsergebnisse deuten darauf hin, dass die wahrgenommene
Interaktivität in der Lehrveranstaltung durch den Einsatz der mobilen Endgeräte über-
durchschnittliche Werte erreichen konnte. Die Zufriedenheit der Lernenden sowohl
mit den Anwendungen in der Teilnehmeraktivierung als auch den Videos, Web Based
Trainings und der Veranstaltung insgesamt ist relativ hoch. Dennoch zeigt sich hier
auch noch weiteres Steigerungspotenzial. Ein beträchtlicher Teil der Studierenden
scheint nicht mit allen Materialien zufrieden. Der vergleichsweise „klassische“ Video-
stream schneidet von den Selbstlernmaterialien am besten ab. Die Ergebnisse für die
Selbstlernmaterialien müssen dabei auch unter dem Gesichtspunkt betrachtet werden,
dass diese prinzipiell optional sind. Die Teilnehmer sind frei in der Entscheidung, in-
wiefern sie den Videostream oder die WBTs nutzen möchten. Gerade für die Teilneh-
meraktivierungen sind die Ergebnisse gegenwärtig jedoch noch nicht
zufriedenstellend, da diese anscheinend noch keinen ausreichenden Mehrwert in der
Veranstaltung bieten. Zwar gelingt es, die Vorlesung „aufzulockern“, ein zusätzlicher
wahrgenommener Lernerfolg scheint jedoch nicht in ausreichendem Maße feststellbar.
In Bezug auf den Einsatz von Tablet PCs in Form von iPads ist zu sagen, dass diese
durchaus einen gewissen Spaß-Faktor aufzuweisen scheinen. Dies zeigt, dass der Ein-
satz dieser Geräte prinzipiell vielversprechend ist, da über hohe Usability und Zufrie-
denheit die Chance besteht, auch eine stärkere Auseinandersetzung mit den Inhalten
der Vorlesung zu erreichen. Die Ergebnisse zeigen jedoch auch, dass dies bislang nur
unzureichend der Fall war. Für den zukünftigen Einsatz sollten die Übungen und
Lernmaterialien daher noch weiter angepasst werden. Insbesondere besteht die Heraus-
forderung darin, mittels dieser kurzen Übungen einen didaktischen Mehrwert zu schaf-
fen, der über Auflockerung und Erholung hinausgeht. Aus diesem Grund wird in
kommenden Semestern zusätzlich der Einsatz kollaborativer, spielerischer Elemente in
der Veranstaltung geprüft. Zudem wurden bislang nur die Wahrnehmungen der Ler-
nenden betrachtet. Da jedoch wahrgenommener und tatsächlicher Lernerfolg nicht
126
immer stark korrelieren müssen [Si210], werden im vorliegenden Projekt noch weitere
Daten ausgewertet, um objektive Aussagen zu möglichen Auswirkungen der mobilen
Endgeräte auf den Lernerfolg treffen zu können.
127
10.5 Literaturverzeichnis
[Br09] Brugger, P. et al.: Hochschulen auf einen Blick. Statistisches Bundesamt,
Wiesbaden, 2009.
[Bu10]Statistisches Bundesamt: Studierende nach Nationalität und Geschlecht ab
1975. Abgerufen am 20.03.2011, von
http://www.destatis.de/jetspeed/portal/cms/Sites/
destatis/Internet/DE/Content/Statistiken/Zeitreihen/LangeReihen/Bildung/Conte
nt100/lrbil01a,templateId=renderPrint.psml.
[Co81]Cohen, P.A.: Student ratings of instruction and student achievement: A meta-
analysis of multisection validity studies. Review of Educational Research,
1981.
[Hu07]Hu, P.J.H. et al.: Technology-assisted learning and learning style: A
longitudinal field experiment. IEEE Transactions on Systems Man and
Cybernetics Part a-Systems and Humans, 2007; S. 1099-1112.
[KEH07]Kahiigi, E.; Ekenberg, L.; Hansson, M.: Exploring the e-Learning State of
art. Conference on E-Learning, 2007; S. 349 - 368.
[KK05]Kolb, A. Y.; Kolb, D. A.: Learning styles and learning spaces: Enhancing ex-
periential learning in higher education. Academy of Management Learning &
Education, 2005; S. 193-212.
[OK09]Ozkan, S., Koseler, R.: Multi-dimensional students' evaluation of e-learning
systems in the higher education context: An empirical investigation. Computers
& Education, 2009; S. 1285-1296.
[Si10] Sitzmann, T. et al.: Self-Assessment of Knowledge: A Cognitive Learning or
Affective Measure? The Academy of Management Learning and Education,
2010; S. 169-191.
[Su08] Sun, P.-C. et al.: What drives a successful e-Learning? An empirical
investigation of the critical factors influencing learner satisfaction. Computers
& Education, 2008; S. 1183-202
128
[TW04]Thurmond, V., Wambach, K.: Understanding interactions in distance
education: A review of the literature. International Journal of Instructional
Technology and Distance Learning, 2004; S. 9 - 26.
[We10]Wegener, R.; Menschner, P.; Leimeister J.M.: Analyse und Optimierung von
Lehrdienstleistungen mittels Service Blueprinting - Konzeption und erste empi-
rische Befunde. Multikonferenz Wirtschaftsinformatik (MKWI), Göttingen,
2010.
[Wi06]Wissenschaftsrat: Empfehlungen zum arbeitsmarkt- und demographiegerechten
Ausbau des Hochschulsystems. Berlin, 2006.
129
11 Peer Creation of E-learning Materials to Enhance Learning Success and Satisfaction in an Information Systems Course
René Wegener, Jan Marco Leimeister
Abstract: Creating up-to-date high quality learning materials requires significant re-
sources many instructors cannot afford, especially when it comes to appealing eLearn-
ing materials. Peer creation may help to address this challenge. However, existing
concepts of peer learning focus mostly on enhancing active discussion and reflection.
Thus far, little to no research has addressed processes of systematically creating modu-
lar, re-usable learning materials and evaluated the extent to which these materials can
enrich the learning experience. To close this gap, we transferred principles of tradi-
tional peer learning onto the creation of self-contained, high quality eLearning materi-
als: Web Based Trainings that served as an interactive script and multiple-choice tests
as peer assessments. These learning materials were used in a large-scale Information
Systems course. We analyzed user logs, measured learning outcomes by a pre- and
post-power-test (n = 164) and evaluated learner satisfaction by an online questionnaire
(n = 128). Results show a significant correlation between usage of the peer created
eLearning materials and learning outcomes, as well as satisfaction. The study contrib-
utes to the pedagogical research by adapting and evaluating traditional peer learning
concepts onto eLearning content creation. To practitioners, it reveals ways of creating
high quality eLearning materials in spite of limited resources.
Keywords: eLearning, Blended Learning, peer learning, peer creation, peer assess-
ment, Web Based Training
Please quote as: Wegener, R. & Leimeister, J. M. (2012): Peer Creation of E-Learning
Materials to Enhance Learning Success and Satisfaction in an Information Systems
Course. In: Proceedings of the 20th European Conference on Information Systems
(ECIS 2012), Barcelona, Spain.
130
11.1 Purpose
German Universities are facing the challenge of increasing numbers of students and
stagnating resources. Instructors are often forced to deliver their learning and teaching
services through large scale lectures which suffer from a lack of interactivity and indi-
vidualization. Different learning styles as well as previous experiences of students
cannot be taken into account individually. eLearning was supposed to close this gap, at
least partially through offering visually appealing, interactive learning materials mak-
ing use of the multimedia possibilities of modern PCs. However, the production of
high quality eLearning materials requires skills in education, content creation and
maybe even programming or media editing. Many instructors do not have the re-
sources to create these kinds of learning materials. Thus, university eLearning often
still refers to electronic scripts and blackboards.
One way to face this challenge is to delegate more responsibility to learners, e.g.,
through peer creation. This term refers to learners creating content for their compan-
ions. Usually peer creation takes place in Web 2.0 media such as forums and Wikis,
and is focussed on discussions between learners, often moderated by the instructor. We
propose a different concept of eLearning peer creation. In this concept, students create
multimedia and interactive learning materials for peers that are supposed to supple-
ment or even replace traditional scripts in the long run. The concept is based on well-
known approaches of peer learning, and is highly scalable. That way we try to create a
constant flow of high quality learning materials to support our Information Systems
(IS) courses.
The eLearning peer creation concept is applied onto two different processes of content
creation, with students creating complex Web Based Trainings (WBTs) as well as
more light-weighted multiple-choice tests. These processes were implemented in the
IS courses of a German university. The peer created eLearning materials were then
used in a large scale lecture, and evaluated with regard to learners’ satisfaction, usage
of the materials and learning outcomes. Results implicate that the peer created eLearn-
ing materials were well received and contributed to the learning experience.
Our research framework was based on Action Research (Susman and Evered, 1978):
We diagnosed the problem situation as stated above, planned our actions based on ex-
isting peer learning concepts (section 2), took action by applying these concepts onto
131
our eLearning peer creation processes (section 3), evaluated the results (sections 4 and
5) and specified our learning (sections 6 and 7).
This work contributes to the didactical research by applying traditional concepts of
peer learning to multimedia eLearning material creation. It presents two different
structured processes of content creation and proves their potential. To practitioners,
this paper shows concrete ways of how to create high quality eLearning content with
limited resources in mind.
11.2 Basics of peer learning, multimedia learning and peer creation
11.2.1 Didactical basics of peer learning
Learning is a change in the state of the human and its behaviour, and is based on expe-
riences (Gagne, 1984). These experiences can occur in different situations, e.g., social
interactions such as conversations and discussions (Alavi et al., 2002). The learning
paradigm of Social Constructivism (Vygotsky, 1988) even posits that learning in gen-
eral is an active process of constructing mental models through interaction with other
human beings.
Peer learning is based on theories of Social Constructivism and refers to learning with
and from companions of an equal status (Topping, 2005). There are different ap-
proaches towards peer learning involving different levels of equality between the
learners. On the one hand, it can be based on strict role concepts with one peer acting
similar to a traditional instructor (Topping, 2005, Damon, 1984), e.g. in peer tutoring.
On the other hand, peer learning may be based on equal status and mutual engagement
like in cooperative learning (Topping, 2005). Peer learning in general is supposed to
have several positive effects on learners. Through discussions cognitive conflict arises
fostering critical thinking and reflection (Damon, 1984) as well as improving commu-
nication skills (Topping, 2005). Learners gain responsibility for themselves and others
(Mynard and Almarzouqi, 2006) and may gain more self-esteem. Team mates have
also proven to increase the learners’ motivation (Gerald, 2010).
Peer learning also promises to be a cost-effective way of learning and teaching. As
early as 1987 Levin et al. revealed that peer learning outperformed other learning
methods, including computer-assisted instruction, in an elementary school setting
(Levin et al., 1987). The cost-effectiveness of peer learning is also stated by Goto and
Schneider (2010). However, since technological possibilities have increased, today
132
peer learning is often supported by IT tools, e.g. in Virtual Communities. Since many
Web 2.0 tools such as Blogs allow for ratings and comments, they are perfectly suited
for peer assessment purposes (Chang et al., 2008). The mutual content creation in Web
2.0 contexts adds another element to peer learning: the concept of peer creation.
11.2.2 Peer creation in educational contexts
The concept of peer production or peer creation, the term used throughout this work, is
rooted in the phenomenon of Co-creation which has gained importance in recent years
(Zwass, 2010). Co-creation describes that the separation between producers and con-
sumers is blurring in the digital age. Instead customers create value themselves, e.g. by
adding articles to an online encyclopedia like Wikipedia. The resulting product is often
referred to as user-generated content (UGC) which contains three defining aspects
(OECD, 2007): It is published in some way on a platform in the Internet, its creation
demands a certain amount of creative effort and it is created outside of professional
routines. The last aspect also means that creation often is not commercially but intrin-
sically. A typical example of peer creation is Open-source software development, in
which enjoyment of the development process is one of the main motivators for con-
tributors (Lakhani and Wolf, 2003). One of the main advantages of peer creation is
that often a mass of people is involved. Through the collaboration between these par-
ticipants, including editing and validation, the final product is much more elaborated
than that of single person (Blohm et al., 2011). The joint creation process is usually
enabled through Social Media.
Since creating high quality learning materials is a resource intensive process, ideas of
peer creation have been applied to educational contexts as well. In this case, learners
as customers of a learning service add value to this service themselves by supplement-
ing it with their own contents. The structure and goals of this process may be open or
predetermined by an instructor (Auvinen, 2009). The focus however usually lies on the
creation process itself and not on the resulting content. This peer created content is
usually situational, it consists of single postings, discussions and edits. While those
involved may highly benefit from the processes surrounding the content creation, the
results are not designed as modular, re-usable and independent learning units. In addi-
tion, quality management of these contents arises as a major issue. Thus, our research
focuses on peer creation of re-usable, modular eLearning materials. To address the
challenge of quality management we adapt principles from peer learning theories as
described above to the peer creation process.
133
11.2.3 Principles for designing eLearning materials
eLearning materials in general offer some advantages compared to traditional text-
books. One of the key advantages of multimedia learning is that the same contents can
be explained in different ways, e.g., by narration and visualization, which means that
different sensory memories are being addressed (Mayer, 2003). In addition, multime-
dia materials can offer different ways of interaction. Research in multimedia learning
has identified several key principles for effective presentation of educational content
(Moreno and Mayer, 2007, Clark and Mayer, 2008). These principles are used to avoid
cognitive overload and express facts in an effective way. They include to use words
and relevant visuals rather than words alone (multimedia), to exclude extraneous
words and visuals (coherence), to use easy to understand language and address the
learner directly (personalization), to point out key concepts which the WBT refers to at
the beginning (pretraining), to divide the WBT into several sequences addressing dif-
ferent learning goals (segmenting) and to offer explanatory feedback for all assess-
ments (feedback).
Apart from questions of presentation, eLearning materials like other forms of learning
content should be developed following some instructional design principles. A set of
well known principles comes from the ARCS model of instructional design (Keller,
1987). This model states that to raise motivation in learning, instructors should try to
get students’ attention (A), show the relevance of the learning goals (R), raise stu-
dents’ confidence to achieve these goals (C) and finally leave them satisfied with the
results of their learning process (S). To conclude, effective eLearning materials need to
take into account cognitive aspects of presentation as well as instructional design as-
pects.
11.3 Developing structured processes for eLearning peer creation
11.3.1 Background of the research project
The study was based on two IS courses at a German university. The evaluation took
place in the large scale lecture “Introduction to Business Informatics.” Topics covered
different basics of Information Systems, as well as data and business process model-
ling. The course is offered each semester to around 200-300 students. All students par-
ticipating had the opportunity to borrow a mobile device, such as a netbook, in order to
make full use of any eLearning materials. The course itself consisted of 13 lectures
and four tutorial sessions of three hours each that focussed on applying modelling
134
techniques. All learning materials and information were offered through the universi-
ty’s learning management system (LMS). Usage of all eLearning materials was gener-
ally optional since there was also a traditional script. Usage of the peer-created
contents was not rewarded with any bonus points for the exam. Students attending the
lecture however were asked by the instructor to participate in the peer creation activity
that will be discussed later on.
11.3.2 Adapting principles of peer learning to peer creation
In this study we attempted to implement structured processes of eLearning peer crea-
tion and evaluate their benefit. As a first step we identified key principles of peer
learning from the literature and adapted them to learning material peer creation (Table
1). These principles are based on requirements that have proven to be important for
successful peer learning. We then implemented and evaluated two distinct creation
processes. The first one transferred the concept of peer tutoring to content creation.
Students would act as teachers and develop their own WBTs through the course of a
whole semester. The WBTs were developed in a separate seminar but used in the al-
ready mentioned large scale lecture. The second peer creation process focussed on a
fast, light-weighted peer-assessment activity where each student acted as both teacher
and learner (or assessor and assessed).
No. Principle
1 Clear and focused instructions to all participants (Hall and Stegila, 2003)
2 Making learners responsible of their learning product, i.e. the WBT (Hall and Stegila, 2003)
3 Ensuring sufficient expert knowledge of the creators (Damon, 1984)
4 Training in didactics, communication/explanation skills and media usage (Damon, 1984, Webb, 2010)
5 Regular supervision by the professional instructor (Damon, 1984, Hall and Stegila, 2003)
6 Offering well structured peer interactions (Webb, 2010) and peer assessments aiming at open-ended, suggestive feedback (Topping, 1998)
Table 1: Principles that served as guideline for the creation process
135
Process 1: Peer creation of Web Based Trainings
Basically, the WBTs were created by students in a seminar on “Web Engineering”.
These are business and economics students that have already completed the “Introduc-
tion to Business Informatics” course. Most do not have any didactical, media editing
or programming skills. Normally, students in this seminar would learn basics of Web
Engineering from an example such as a homepage. For this purpose, in several semi-
nar sessions they are introduced to the authoring software Adobe Flash. For the re-
search project the seminar was supplemented by an additional instructor who focussed
on didactical and factual aspects of the WBTs. Thus, while one instructor would teach
the students basics of Web Programming like before, the second would offer feedback
to contents and structure of the WBTs. Ideally this instructor should also be (and in
this case was) the one who would eventually use the WBTs in his course, i.e. “Intro-
duction to Business Informatics”. The WBT creation process itself is very focussed on
self-regulated learning and around the product of the WBT, which, in fact, makes up
most of the final grade. The process is structured in several steps (Table 2).
Step Description
1 The instructors explain the course structure, expectations and grading modalities (principle 1) with students being fully responsible of their WBT (principle 2). Students are informed in which course the instructors might use their WBTs but that they retain full copyright of their work.
2 Each student is randomly assigned one topic from the course “Introduction to Business In-formatics” which they already participated in (principle 3).
3 They receive a summary of their topic explaining main contents that should be addressed and possible learning goals (principle 1). Based on this, they search for further literature (princi-ple 3).
4 Simultaneously students are introduced to basics of Web Design and structuring and visualiz-ing contents. They receive guidelines containing best-practices for WBT creation (principle 4).
5 They create a draft storyboard which is a table of contents explaining the learning goals of their WBT. They receive timely feedback on this draft from the instructor (principle 5).
6 They create a final storyboard with all contents and assessments of the WBT. They again receive individual feedback, this time in a session with one of the instructors (principle 5).
7 They create a first working version of the WBT which is peer-reviewed by two others stu-dents. To do so, students receive guidelines on how to give qualitative, open-ended, sugges-tive advice (principle 6).
8 The students create the final WBT which, in this course, makes for most of the final grade (principle 1). The best WBTs are chosen to be used in the course “Introduction to Business Informatics.”
Table 2: Process of WBT peer creation
136
Students are first introduced to the seminar, especially its purpose, how the WBTs will
be used, and how the creation process will work (step 1). They randomly receive one
topic from the “Introduction to Business Informatics” course (step 2). Most of them
have attended this course in an earlier semester and thus already have some knowledge
concerning their topic. They also receive a short summary created by the instructors
containing possible learning goals and contents for the WBT (step 3). Based on this,
they look for further literature. After they have learned more about their topic they se-
lect and adjust about three to four of the learning goals from the summary for their
WBTs. They write down these learning goals and a short description of each of those
in a draft storyboard which reveals the proposed structure of the WBT. The instructors
offer feedback regarding the storyboards to each student. Detailed work on the actual
WBTs only starts after instructors and students have agreed upon a reasonable WBT
structure and suitable learning goals (step 5). Based on this agreement the students
create a final version of the storyboard containing all learning goals, texts, pictures and
assessments (step 6). They receive a further feedback from the instructors on this final
version. During the whole process of storyboard creation students already learn basics
of Web Design (step 4). Based on what they have learned and their storyboards they
finally create the WBT. A first version gets peer-reviewed by two other students as a
further measure of quality management (step 6). Then they create the final version
which is assessed by the instructors (step 8). The best WBTs are used in the course
“Introduction to Business Informatics”.
During the whole process students may always contact the instructors for any ques-
tions. In addition they can orient themselves at different guidelines they receive. These
contain templates for the WBT layout to ensure visual consistency of the WBTs as
well as examples and hints to create animations, interactive elements and assessments.
Students are advised to take the elements of the ARCS instructional design model into
account as explained in section 2. Following the ARCS model, they should catch the
users’ attention by implementing different forms of interaction like controllable anima-
tions or various assessments. The relevance of the topic should be expressed by using
examples from practice fields showing which problems are addressed by the learning
contents. They should raise confidence by explaining what the learner will be able to
do after completing the WBT, stated as learning goals right at the beginning. Finally,
users should feel satisfied by completing the WBT in the way that every learning goal
gets assessed at the end, so the user realizes what he has achieved so far. The examples
also show how the principles of multimedia learning as explained in section 2 may be
137
applied to the WBTs. E.g. students are taught that every learning goal should make up
one encapsulated segment in the WBT (segmenting principle) or that complex issues
should be explained by using words and additional visualizations (multimedia princi-
ple). Assessments should address all learning goals and should be enhanced by feed-
back explaining why an answer is right or wrong (feedback principle). These
guidelines are supposed to enhance the quality of the WBTs and guarantee a similar
look and feel (see Figure 1 for an impression).
Figure 1: Examples of peer created WBTs.
Since the seminar is offered each semester with participant numbers ranging from
about 15 to 40, a continual production process of new materials is guaranteed. In this
way, older WBTs can be replaced by new ones from time to time. In the evaluation
semester, a total of 18 WBTs were used.
One thing to mention at this point is potential ethical issues. In contrast to voluntary
forms of peer creation, the WBTs were a substitute for a regular exam. The peer crea-
tion process was extrinsically motivated through the course grade. This might raise
concerns regarding the integration of the students into the creation process. To address
this issue, students were informed at the beginning of the course that the WBTs they
created might be used in the course “Introduction to Business Informatics”. Participa-
tion in the seminar required them to grant the instructors the right to use the materials
for teaching purposes. Still all students retained the full copyrights of their creations.
Apart from that, no student had to attend the seminar but had at least one alternative
course to choose. Additionally, regular evaluations of the seminar revealed that the
students creating the WBTs perceived this procedure as interesting and satisfying
(Wegener et al., 2010).
138
Process 2: Peer creation of multiple-choice tests
While the WBT creation was delegated to students from a Web Engineering seminar,
the creation of multiple-choice tests was directly implemented into the large scale lec-
ture “Introduction to Business Informatics” itself. As stated earlier, all students in the
course had some sort of mobile device which allowed for IT-supported material crea-
tion. The activity we implemented was called “Co-Create Your Exam!” The idea be-
hind this method is that in traditional frontal lectures, students' concentration will drop
after some time. To avoid this decline of concentration, Olmsted (1999) recommends
an active mid-lecture break, which gives students time to refresh, to reflect and to en-
gage with one other.
During our activity, students create small true-or-false statements with regard to the
topic they have just learned about (principle 3). Each student enters exactly three
statements containing at least one true and one false item (principle 1). The statements
are entered on their mobile device and sent to a database. Students then directly re-
ceive three items from their peers which they are supposed to solve. The usage of IT
also allows for some supplementation of the traditional peer assessment process: Five
items are randomly delivered to the instructor who solves them on-screen during the
lecture, enabling a sort of interaction between students and instructor. Knowing that
one’s item might be shown on-screen is also supposed to enhance the items’ quality
(principle 5). In addition, all items are stored in a database and made available through
the LMS. Quality management is implemented to the degree that any student solving
one of the items is also supposed to contribute a five-star-rating (principle 6). After
one week, just before the next lecture starts, the instructor chooses 20 of the best rated
items which will be available on the LMS permanently as tests. In this way, the bridge
between face-to-face sessions and online activities is closed, at least to some extent,
since the items created during the lecture are carried over to the virtual space of the
LMS. In addition, some of the items are used in the final exam (the multiple-choice
part makes up about 30% of the exam), and thus the activity’s name: “Co-Create Your
Exam!” While the peer ratings help to find those items of a higher quality, the instruc-
tor is still responsible of choosing items that align with the actual learning goals of the
course. Additionally, the students are told that the peer created items do not necessari-
ly reflect the final exam with regard to difficulty and the priority of single topics.
139
The implementation of this process was subject to one major shortcoming: The final
version of the application we used was only available from the seventh to the thir-
teenth lecture. While the activity of creating items and solving those of a peer was
conducted from the beginning, transferring the data to a database and as a multiple-
choice test to the LMS was only available about half way through the semester. This
means that the peer-created multiple-choice test covered only about half of the topics.
11.4 Evaluation design and instruments
11.4.1 Measurement of satisfaction
Satisfaction with the course in general, as well as satisfaction with specific elements
such as the learning materials, was measured by an online questionnaire. It contained
items with regard to traditional dimensions of learner satisfaction (Cohen, 1981), in-
cluding skill level of the instructor, instructor’s rapport (empathy and friendliness),
course structure, course difficulty and level of interaction. We supplemented the ques-
tionnaire by dimensions taken from eLearning success models for evaluating perceived
quality of the eLearning materials. The items we added covered technological quality
(such as the look and feel), flexibility and usefulness in the learning process (Sun et
al., 2008, Ozkan and Koseler, 2009). In addition, we asked for perceived usage of the
different eLearning materials. All items were rated on a Likert scale ranging from 1
(full agreement) to 5 (no agreement). The questionnaire was available online for sev-
eral days before the exam. Participation was voluntary.
11.4.2 Measurement of eLearning usage
In addition to the questionnaire we used server logs to measure the actual usage of the
different eLearning materials by each of the students. This was only possible since all
names used in the LMS were fictional. The log system tracked whenever a student fol-
lowed the link to one of the learning materials. While the LMS did not log how much
time some person spent on a specific material, the tracking still allowed for counting
how often a student used a specific form of eLearning material.
11.4.3 Measurement of learning outcomes
A suitable way to measure learning outcomes should take into consideration the kind
of knowledge learners are supposed to acquire. In this research project, we focussed on
the cognitive outcomes (such as basic knowledge of terms in the IS domain) and un-
140
derstanding concepts (such as business process modelling). As suggested by Kraiger et
al. (1993), we used a power test to measure these outcomes. It was a multiple-choice-
test containing 20 items that were mutually created by two instructors. The questions
were designed to cover the course’s learning goals equally. In order to measure
knowledge gains, the test was conducted two times, as a pre- and post-test, at the start
of the semester during the first tutorial sessions (without any feedback on correct or
incorrect answers) and online a few days before the exam. Participation in the second
test was voluntary, but most students took part as preparation for the exam.
Knowledge gain was measured as the difference between post- and pre-test.
With the results of the post-test we also conducted a split-half test reliability analysis.
The twenty items were divided into two groups by the odd-even method. The post-test
was taken by 248 students. From these, we excluded tests being conducted within less
than five minutes which marked the fifth percentile of the data, hinting at random se-
lection of at least several items. This reduced the sample to 233 tests. Between the two
halfs of the test a total correlation of 0.558 was revealed to be significant at the level of
0.01. The reliability computed by the Spearman-Brown formula was 0.72 which can
be considered moderate, and suggests that the test can be used for estimating learning
outcomes.
11.5 Results
11.5.1 Results with regard to students’ satisfaction
We first present main results of the questionnaire with regard to the overall satisfac-
tion, as well as the satisfaction with the eLearning materials and the peer assessment
activity (Table 3).
141
Dimension Item Mean Stand. Dev.Course Overall
Satisfaction 2.38 0.852Comparison to Other Courses 2.41 0.827Innovativeness 1.88 0.869Recommendation 2.37 1.079
Course Structure
Structure 1.98 0.827Contents 2.70 0.993Relevance 2.50 1.027Materials 1.98 0.874Transparency of Requirements 2.43 1.009
Interaction Interactivity 2.13 0.942Participation 2.65 1.181
Videos Appearance 2.34 1.111Good For Recapitulation 1.84 0.976Usage 2.22 1.310
WBTs Appearance 2.11 0.941Interactivity 2.09 0.882Good For Recapitulation 2.02 0.887Usage 2.62 1.043
Co-Create Your Exam
Is Fun 2.72 1.101Useful 2.41 1.061Usage 2.75 1.230
Table 3: Mean results of the questionnaire (1= best score, 3= neutral, 5= low-est score)
128 students participated in the questionnaire. The course was moderately well per-
ceived with an overall satisfaction rating of 2.38. The most striking facts are that the
perceived interactivity and quality of the learning materials in general received very
good ratings (2.13 and 1.98), especially keeping in mind that this was a large scale
lecture that usually lacks interactivity. The statement that the WBTs are useful to reca-
pitulate the lecture was rated with a mean of 2.02 indicating a high level of quality of
this peer created material. Overall, the WBTs scored on a similar level as the Videos
from the lecture. Visual appearance and interactivity of the WBTs were rated high as
well (2.11 and 2.09), which indicates a high perceived quality level. The activity “Co-
Create Your Exam!” was less appreciated but still rated positively with values ranging
from around 2.4 to 2.7. One major factor behind these ratings may be that participation
in this activity was requested during the face-to-face lectures, while usage of the pure
eLearning materials was completely voluntary. The relatively high standard deviations
of perceived usage of Videos, WBTs and “Co-Create Your Exam” indicate that learn-
ers indeed differ much with regard to their personal learning preferences.
The next step of our evaluation was to search for correlations between perceived usage
of the peer created eLearning materials and learners’ satisfaction. A Kolmogorov-
142
Smirnov test in SPSS revealed that the data were not normally distributed. Thus, we
had to use a non-parametric two-sided test (Kendall-Tau-b) to check for correlations
(Table 4). Perceived usefulness and usage of the WBTs significantly correlate with
overall satisfaction and satisfaction with content. Perceived usefulness and usage of
“Co-Create Your Exam!” also correlate significantly with overall satisfaction as well
as perceived interaction. The effect sizes are on a medium level (Cohen, 1992). Stu-
dents making active use of the WBTs and the co-creation activity perceived the course
to be more interactive and generally more satisfying. In contrast to this, the perceived
usage of the Videos did not correlate with satisfaction or interactivity on a statistically
significant level. This indicates that the less typical eLearning materials, the WBTs
and co-created assessments, as well as the activating aspect of “Co-Create- Your Ex-
am!” may in fact have contributed to course satisfaction and interactivity.
Satisf. Content Interact. Materials Videos
Useful Videos Usage
WBTs Useful
WBTs Usage
Co-Cr. Useful
Co-Cr. Usage
Satisfaction 1.000 .557** .276** .416** .313** .127 .370** .321** .297** .159*
Content .557** 1.000 .173* .350** .278** .160* .251** .237** .208** .090
Interactivity .276** .173* 1.000 .405** .092 -.041 .278** .083 .412** .242**
Materials .416** .350** .405** 1.000 .307** .101 .406** .174* .329** .151*
Vid. useful .313** .278** .092 .307** 1.000 .515** .324** .160* .247** .003
Vid. usage .127 .160* -.041 .101 .515** 1.000 .083 .110 -.036 -.244**
WBT useful .370** .251** .278** .406** .324** .083 1.000 .527** .346** .075
WBT usage .321** .237** .083 .174* .160* .110 .527** 1.000 .253** .203**
CoCr useful .297** .208** .412** .329** .247** -.036 .346** .253** 1.000 .418**
CoCr usage .159* .090 .242** .151* .003 -.244** .075 .203** .418** 1.000
Table 4. Correlations between satisfaction and specific learning materials (** correlation significant with p < .01, * correlation significant with p < .05)
11.5.2 Results with regard to students’ learning outcomes
First we compared the mean results of the pre- and post-power-tests. The mean score
from the pre-test (n = 206) was 4.58 out of 20, the mean score from the post-test (n =
233) was 8.85. A Mann-Whitney-U-Test revealed that the difference of the mean
scores was significant at p < .001 and thus a general knowledge gain can be assumed.
Since a Kolmogorov-Smirnov test showed that the results of the exam as well as the
values of the media usage were not normally distributed, we again used Kendall-Tau-b
for the correlation analysis between media usage and learning success. In total, 164
students completed both tests and were incorporated in the analysis (Table 5).
143
The first line in the table contains the correlations between usage of the eLearning ma-
terials and actual learning performance. The Videos show a significant correlation of
.151. WBTs usage is also significantly correlated to learning outcomes. However, the
correlation is not as strong as the one for the Videos. The usage of the online assess-
ment created in the “Co-Create Your Exam!” activity does not correlate with the learn-
ing outcomes on a statistically significant level. However, a value of .057 means that
the results nearly reached significance, probably due to the fact that these tests only
covered about half of the course. With regard to its practical implications the correla-
tions can only be considered of small effect size with values slightly above .1 (Cohen,
1992).
Difference Post-/Pre-Test
Actual Usage of Videos
Actual usage of WBTs
Actual usage of Co-Cr. Assess.
Difference Post-/Pre-Test
Corr. Coeff. 1.000 .151** .109* .109
Sig. (2-sided)
. .006 .048 .057
Actual Usage of Videos
Corr. Coeff. .151** 1.000 .368** .327**
Sig. (2-sided)
.006 . .000 .000
Actual usage of WBTs
Corr. Coeff. .109* .368** 1.000 .320**
Sig. (2-sided)
.048 .000 . .000
Actual Usage of Co-Create As-sessment
Corr. Coeff. .109 .327** .320** 1.000
Sig. (2-sided)
.057 .000 .000 .
Table 5: Correlations between eLearning usage and learning performance (** correlation significant with p < .01, * correlation significant with p < .05)
11.6 Discussion of the results
The mean results of the questionnaire revealed that the peer created WBTs were well
accepted and highly appreciated by students. Perceived usefulness, as well as interac-
tivity and appearance, received high ratings, suggesting a huge potential of the peer
created WBTs. These results are supported by the correlation analyses. Perceived use-
fulness and usage of the WBTs both strongly correlated with overall course satisfac-
tion. The actual usage also correlated on a significant level with the learning
performance, although this correlation was quite small and can hopefully be improved
during the next semesters.
144
It may be even more surprising though that the activity “Co-Create Your Exam” and
the multiple-choice test resulting from this activity also contributed to the learning ex-
perience. While the activity scored lower than the WBTs and Videos with regard to
satisfaction, it was still positively rated. Perceived usefulness and usage correlated sig-
nificantly with perceived interaction and general satisfaction. In addition, the usage of
the co-created multiple-choice test also correlated with learning performance but
slightly missed statistical significance. One has to keep in mind, however, that the test
was only available for about half of the lectures, a fact that may have flawed the data
to some degree. Still, the results are promising, especially keeping in mind that the
integration of this activity was nearly neutral with regard to the instructor’s resources.
The results indicate that even a light weighted eLearning peer creation activity may
contribute to learning satisfaction and success.
However, while both peer created eLearning materials proved to be valuable supple-
mentary materials, all interpretations of the correlations need to be taken with consid-
eration. These correlations are not necessarily the result of a direct causal relationship.
It is possible to assume that students being more engaged in the WBTs as well as the
“Co-Create Your Exam!” activity and test were more motivated than their companions
and would have scored higher anyway. However, since students in the questionnaire
stated that the materials were helpful in their learning process, we still assume that the
peer created eLearning materials contributed to both satisfaction as well as learning
performance.
11.7 Summarization, limitations and conclusion
This paper introduced two processes of peer creation. In the first process, students of a
Web Engineering seminar created WBTs for their peers in a large scale lecture. In the
second process, students created small multiple-choice items during each lecture
which were made available as tests on the LMS. We evaluated these processes through
satisfaction questionnaires, logs of the media usage and investigation of learning per-
formance. The peer created eLearning materials were well received by students. Per-
ceived usage of these materials significantly correlated with perceived interaction and
overall satisfaction. Actual usage also correlated with learning outcomes. Thus, we
were satisfied with the results of our first implementation. However, so far we have
only adapted this process in IS courses. Results might differ with other target groups,
especially those not confident with IT. These students might need other tools to create
learning contents. Also, not all contents and learning goals might be suitable for being
145
supplemented by WBTs or other peer creation processes. With regard to the missing
rigorous experimental conditions, we cannot be certain of direct causal relations be-
tween usage of the material and satisfaction or performance. However, since the mate-
rials were generally perceived very well we can assume that correlations at least
partially resulted from causal relations.
With regard to the resources necessary for implementation our results are similar to
others stating that peer learning is time consuming in the beginning but cost-effective
in the long term (Damon, 1984, Topping, 1996). While creating guidelines and IT-
tools was indeed expensive, the supervision of the peer creation is less expensive for
the instructors than creating all materials on their own.
Considering peer creation research and applications, our approach is less focussed on
collaboration and the “wisdom of the crowds” phenomenon. Instead we implemented
relatively strict structures, and relied on the interventions of an expert as measures of
quality management, especially concerning the WBT creation process. Future research
should investigate to what extend these expert interventions can be substituted by more
peer interactions.
The WBT creation process we implemented is continually improved. We create new
assignments, re-work our guidelines and also try to improve our layout templates. Ad-
ditionally, from time to time there are still flaws found and corrected. For this reason,
we will have to further improve on the quality management process. It might make
sense to reward students that find flaws in the WBTs and thus integrate the student
community even more into the quality management process. We are also planning to
have students create WBTs for more courses, maybe even outside the IS courses, to
prove that the concept works in different domains.
146
11.8 References
Alavi, M., Marakas, G. and Yoo, Y. (2002). A Comparative Study of Distributed
Learning Environments on Learning Outcomes. Information Systems Research,
13 (4), 404-415.
Auvinen, A. M. (2009). The challenge of quality in peer-produced eLearning content.
eLearning Papers. Available:
http://www.elearningeuropa.info/files/media/media21212.pdf
Blohm, I., Bretschneider, U., Leimeister, J. M. and Krcmar, H. (2011). Does
collaboration among participants lead to better ideas in IT-based idea
competitions? An empirical investigation. International Journal of Networking
and Virtual Organisations, 9 (2), 106-122.
Chang, Y. J., Chang, Y. S. and Chen, C. H. (2008). Assessing Peer Support and
Usability of Blogging Technology. Third 2008 International Conference on
Convergence and Hybrid Information Technology, 1, 184-189.
Clark, R. C. and Mayer, R. E. (2008). Learning by viewing versus learning by doing:
Evidence-based guidelines for principled learning environments. Performance
Improvement, 47 (9), 5-13.
Cohen, J. (1992). A power primer. Psychological bulletin, 112 (1), 155-159.
Cohen, P. A. (1981). Student ratings of instruction and student achievement: A meta-
analysis of multisection validity studies. Review of Educational Research, 51
(3), 281-309.
Damon, W. (1984). Peer education: The untapped potential. Journal of Applied
Developmental Psychology, 5 (4), 331-343.
Gagne, R. M. (1984). Learning outcomes and their effects: Useful categories of human
performance. American Psychologist, 39 (4), 377-385.
Gerald, E. (2010). Peer effects, motivation, and learning. Economics of Education
Review, 29 (3), 364-374.
147
Goto, K. and Schneider, J. (2010). Learning through Teaching: Challenges and
Opportunities in Facilitating Student Learning in Food Science and Nutrition by
Using the Interteaching Approach. Journal of Food Science Education, 9 (1),
31-35.
Hall, T. and Stegila, A. (2003). Peer mediated instruction and intervention. Wakefield:
National Center on Accessing the General Curriculum. Available:
http://aim.cast.org/learn/historyarchive/backgroundpapers/peer-
mediated_instruction
Keller, J. (1987). Development and use of the ARCS model of instructional design.
Journal of Instructional Development, 10 (3), 2-10.
Kraiger, K., Ford, J. K. and Salas, E. (1993). Application of cognitive, skill-based, and
affective theories of learning outcomes to new methods of training evaluation.
Journal of Applied Psychology, 311-328.
Lakhani, K. and Wolf, R. (2003). Why hackers do what they do: Understanding
motivation and effort in free/open source software projects.
Levin, H. M., Glass, G. V. and Meister, G. R. (1987). Cost-effectiveness of computer-
assisted instruction. Evaluation Review, 11 (1), 50-72.
Mayer, R. E. (2003). The promise of multimedia learning: using the same instructional
design methods across different media. Learning and Instruction, 13 (2), 125-
139.
Moreno, R. and Mayer, R. (2007). Interactive Multimodal Learning Environments.
Educational Psychology Review, 19 (3), 309-326.
Mynard, J. and Almarzouqi, I. (2006). Investigating Peer Tutoring. ELT Journal, 60
(1), 13-22.
OECD (2007). Participative Web: User-Created Content. OECD. Available:
http://www.oecd.org/dataoecd/57/14/38393115.pdf
Olmsted III, J. (1999). The mid-lecture break: When less is more. Journal of Chemical
Education, 76 (4), 525-527.
148
Ozkan, S. and Koseler, R. (2009). Multi-dimensional students' evaluation of e-learning
systems in the higher education context: An empirical investigation. Computers
& Education, 53 (4), 1285-1296.
Sun, P.-C., Tsai, R. J., Finger, G., Chen, Y.-Y. and Yeh, D. (2008). What drives a
successful e-Learning? An empirical investigation of the critical factors
influencing learner satisfaction. Computers & Education, 50 (4), 1183-1202.
Susman, G. I. and Evered, R. D. (1978). An assessment of the scientific merits of
action research. Administrative science quarterly, 23 (4), 582-603.
Topping, K. (1998). Peer assessment between students in colleges and universities.
Review of Educational Research, 68 (3), 249-276.
Topping, K. J. (1996). The effectiveness of peer tutoring in further and higher
education: A typology and review of the literature. Higher Education, 32 (3),
321-345.
Topping, K. J. (2005). Trends in peer learning. Educational Psychology, 25 (6), 631-
645.
Vygotsky, L. (1988). The genesis of higher mental functions. Cognitive development
to adolescence: A reader, 61–79.
Webb, N. M. (2010). Peer Learning in the Classroom. In International Encyclopedia of
Education (Penelope, P., Eva, B. and Barry, M. Eds.), 636-642, Oxford,
Elsevier.
Wegener, R., Menschner, P. and Leimeister, J. M. (2010). Analyse und Optimierung
von Lehrdienstleistungen mittels Service Blueprinting - Konzeption und erste
empirische Befunde. In Multikonferenz Wirtschaftsinformatik (MKWI) 2010
Göttingen. 383-395.
Zwass, V. (2010). Co-Creation: Toward a Taxonomy and an Integrated Research
Perspective. International Journal of Electronic Commerce, 15 (1), 11-48.
149
12 Do Student-Instructor Co-Created eLearning Materials Lead To Better Learning Outcomes? Empirical Results from a German Large Scale Course Pilot Study
René Wegener, Jan Marco Leimeister
Abstract: Universities in Germany face increasing numbers of students, while re-
sources are stagnating or shrinking. Especially large scale lectures suffer from a lack
of individualization and interaction, often leading to inefficient learning outcomes and
low student satisfaction. We present the concept of instructors co-creating eLearning
modules and even parts of the exam with students for improving learning outcomes
and student satisfaction. Following an action research approach, we developed, ap-
plied, and refined the concept in a mass lecture course setting over four semesters.
Evaluation of questionnaires and exam results show that our concept leads to a signifi-
cant increase in perceived learning satisfaction and learning outcomes. This paper out-
lines and tests new ways of enhanced learner integration into learning service delivery.
It shows the actual impact of student integration into learning content creation, both on
service quality and learning outcomes while taking resource efficiency into account.
Please quote as: Wegener, R. & Leimeister, J. M. (2012): Do Student-Instructor Co-
Created eLearning Materials Lead To Better Learning Outcomes? Empirical Results
from a German Large Scale Course Pilot Study. In: 45. Hawaii International Confer-
ence on System Sciences (HICSS), Hawaii, USA.
150
12.1 Introduction
The OECD (Organisation for Economic Co-operation and Development) claim that
investments in the educational sector influence the productivity of an economy, and
thus have a high return on investment for society [28]. However, the German educa-
tion sector suffers from a lack of finances and resources [38], especially since the
numbers of students have been increasing for several years and are expected to grow
even further during the next years at a possible ratio of 25% [25]. Thus, delivering a
qualitative learning service fitting to individual needs becomes more and more diffi-
cult.
eLearning materials offer the opportunity of increasing individuality and quality of the
learning process by encouraging students to learn at their own pace. To implement
eLearning, however, instructors may have to re-design courses, create content, admin-
istrate learning platforms, offer students advice, and assess learning outcomes [15].
They have to switch between roles of affective (creating a good atmosphere in the
classroom), cognitive (helping students achieve learning goals) and managerial (creat-
ing, delivering, and assessing the course from an organizational perspective) tasks [8].
Considering this situation, we need to look for new ways of delivering a high quality
learning service that takes into account the possibilities of new media, didactical
needs, and economic constraints. Web 2.0 platforms, such as Wikipedia, show that
content creation does not exclusively depend on single domain experts. In addition,
many people feel motivated when contributing to a product like a Wiki. However, in
educational contexts we need the right processes and tools that support students in
content creation while still providing a guarantee of high quality. With intelligent inte-
gration of students' minds and information technologies, these goals can be achieved
while leveraging the instructor, thus helping to deal with stagnating resources.
This paper presents the results of a case study that was based on a traditional, instruc-
tor-centered, large scale lecture, but was successively enhanced with more interaction
and student created eLearning modules over a period of four semesters. The main
measures taken were the following:
1. Introducing small tasks during the lecture by letting students create their own
true-false-items with regard to the course content that could later be used in the
exam, and
151
2. Supplementing learning materials through a videoconferencing consultation
hour, a video broadcast and interactive web based trainings (WBTs) that were
implemented not by the instructors but by the students themselves.
The goal was to enhance the course in two ways: First, we wanted to offer students a
better service with higher perceived quality. Second, we wanted to raise the actual
learning outcomes. To evaluate the achievement of objectives, the course was evaluat-
ed after each semester with the help of online questionnaires and a comparison of ex-
am results.
The rest of the paper is structured as follows. The next section introduces related di-
dactical and economic basics. The background of the case study and the research
methodology are described in the third section. The fourth section outlines the evalua-
tion tools before the results are presented. The paper ends with conclusions, limita-
tions, and recommendations for future research.
12.2 Related work, didactical and economic context
The goal of our research was to improve a large scale course with regards to learning
outcomes and learner satisfaction with economically reasonable measures. This re-
quired converging the two different and sometimes conflicting perspectives of eco-
nomically oriented educational and pedagogical control [26]. The next paragraphs
briefly explain didactical basics, as well as the economic challenges, from a service
delivery perspective.
12.2.1 Understanding the learning process
At its core, learning is a change of the state of the human being expressed in a change
in the individual’s behavior based on experiences [13]. When the process of learning is
supported by information and communication technologies, we talk about electronic
learning or the more common “eLearning” [20].
Experiences that trigger learning processes are gained through different ways of inter-
action, e.g., with content or between learners [35]. Learners actively look for meaning
in things [5] and construct their own understanding of the world. Knowledge is viable
as long as it fits with experienced reality. When it comes to testing and adapting one’s
knowledge, social interaction plays an important role: learners need the opportunity to
discuss and reflect on their opinions [1, 6, 14]. In this way, knowledge is co-
152
constructed through a permanent process of divergence and convergence, where learn-
ers iteratively adjust their understanding.
While this principle describes the learning process at its core, learners differ much
with regard to their experiences, personal needs, desires, and preferred individual
learning styles [23] e.g., a more passive consumption of knowledge, visual representa-
tions, or active engagement in real world scenarios. Offering eLearning modules helps
learners work at their own pace and choose the way in which they want to interact with
contents [19]. Thus, a learning scenario should offer different sources of knowledge
acquisition and different ways of interaction with peers, the instructor, and the learning
materials.
12.2.2 Teaching as service delivery
While a learning arrangement is planned with regard to didactical aspects at its core,
one also has to keep in mind that delivering a lecture is a resource demanding service.
When taking into account the different phases of the service delivery [9], resources are
needed for the potential dimension as well as the factor integration. First, instructors
have to keep available contents, methods, technologies, and everything else they need
for delivering their course. Second, the delivery process itself demands that instructors
spend their or their team’s time on the lessons themselves, adjusting materials, and
supporting or assessing students.
This leads to the question of which parts of the teaching service can now be standard-
ized, automated or delegated to the customer (the learner) in order to save resources
without reducing the perceived service quality. While new technology does allow off-
setting face-to-face lessons, service research clearly states that face-to-face contacts
are a crucial part of service delivery, impacting also perceived quality [11]. These
thoughts are supported by learning theory, which stresses the importance of social pro-
cesses.
However, when splitting the teaching process into several parts, some sub-processes
that demand most resources can be automated or delegated to the learner [37]. For ex-
ample, learners spend a lot of time with self-regulated learning. They recapitulate con-
tents of the lecture with the help of the script or whatever learning materials are
offered. For this reason, cost efficient ways of creating high quality learning materials
are very beneficial for students.
153
12.3 Background of the Action Research project
The research presented here was conducted at a German University in the course “In-
troduction to Business Informatics” aimed mostly at students of business administra-
tion and economics. The course is offered each semester with 150 to 300 participants.
It was planned and implemented as a traditional frontal lecture supplemented by small-
class tutorials with graduate assistants. Students are graded by the scores of a written
exam at the end of a semester. We wanted to increase learner satisfaction, as well as
learning outcomes, without using too many (or at best no) additional resources. To
achieve our goals, we went through the typical steps of action research.
12.3.1 Methodological approach for the Action Research project
Typically, action research focuses on evaluating measures in real life situations to
solve specific problems, and is divided into five specific steps which are taken itera-
tively [34]: diagnosing, action planning, action taking, evaluation, and specifying
learning. We followed these steps and tried to improve our concepts and tools after
each semester, before restarting the cycle from the beginning. With regard to the case
study, the five steps included the following.
Diagnosing: First, we analyzed our current situation and the problem/s we were facing.
In general, the large scale lecture was lacking interactivity and individuality. In addi-
tion, we were expecting increasing numbers of students, and thus had to look for ways
of raising the level of interaction and individuality without needing to use more re-
sources. As a first step, we used methods from the Service Engineering domain, such
as Service Blueprinting [37], to identify critical parts of the learning and teaching pro-
cess. We identified two main challenges. First, interaction is one key element for
learning and learners’ satisfaction. There are different types of interaction, the most
important being learner-learner, learner-instructor, and learner-content interaction [27,
35]. In the current situation, there was nearly no learner-learner interaction during the
lecture and just a slight level of learner-instructor interaction when the instructor asked
some questions. In addition, learner-content interaction was mostly focused on a tradi-
tional script, offering not much diversity or visual appeal. Second, a major challenge in
teaching is addressing the students’ different learning speeds and styles. Students dif-
fer in the sensory channels through which they best perceive information and also their
preferred learning method: inductive or deductive [10]. Thus, we also wanted to offer
154
a wide range of high quality learning materials that students could freely choose from
for self-paced learning.
Action Planning: The new learning materials should be more appealing, highly interac-
tive, and diverse. In this context eLearning materials offer the advantage of self-paced
learning as well as stimulating different ways of perception. As stated by other au-
thors, we hoped that a higher degree of learner control might lead to better learning
outcomes [32]. But because development of eLearning materials takes a lot of time,
we decided to involve our students in the creation process based on the idea of “learn-
ing through teaching” [17]. According to this idea, learning can be supported by stu-
dents switching to the role of a teacher. A student acting as a tutor has to reflect deeply
on the content he wants to teach. In addition, explaining things to others requires skills
with regard to creativity, self-confidence, and communication. We adapted this idea
onto the creation of eLearning materials within the framework of a seminar on “Web
Engineering.” After the “Introduction to Business Informatics” course, students could
choose to take part in this course. Since they were supposed to learn the basics of Web
Engineering with Flash, this course was ideally suited for allowing students to create
interactive eLearning modules. This measure will thus be the focus of our paper, ex-
plained in greater detail in the next section.
These Web Based Trainings (WBTs) were supplemented by videos of the lecture of-
fered as live streams, as well as records stored on the learning management system
(LMS). While the videos were not user generated, they offered the possibility of creat-
ing learning materials quickly and at low cost.
In order to raise the interaction in the classroom, two small assignments were integrat-
ed into the 90 minute lecture. At two times in each lecture, students were asked to cre-
ate “true-false-items” with regard to the contents they had just learned. These items
were exchanged, discussed, and revised between the students, and then delivered to the
instructor. The best items were used in the exam at the end of the semester. The idea
behind this is that students’ attention declines during a teacher centered lecture, and
active breaks help them to re-engage as well as reflect on what they have just learned
[29].
Action Taking: Delivery of the lecture as a video stream was easily implemented,
thanks to the central LMS of the university. The assignments where students created
their own “true-false-items” were also easily integrated into the course, since no addi-
155
tional material was needed for this. The challenging task was to get students from the
Web Engineering lecture to create high quality eLearning modules that would deliver a
real benefit to their peers. The first eight WBTs were used in the first semester, and
then supplemented or exchanged by further WBTs during the next semesters. The con-
tent production process is outlined in detail in the next section.
Evaluation: Evaluation focused on the students’ satisfaction as well as learning out-
comes. Data were collected from two sources: 1) online questionnaires that students
filled out at the end of the semester immediately before the exam, and 2) the results of
the exams with regard to the score students had achieved were compared in order to
measure learning outcomes.
Specifying Learning: After the evaluation, measures were taken again in order to im-
prove the learning scenario further, e.g., the creation process of the WBTs was adjust-
ed in order to generate more appealing and interactive eLearning modules for the next
semester.
12.3.2 Integrating students into content production
Creating true-false-items during the lecture
Students were involved in the process of content production in two different ways.
First, as mentioned, they created true-false-items during the lecture, a method entitled:
“Co-Create Your Exam.” During traditional classroom teaching, there is the tendency
for students’ attention to drop from time to time; however, small breaks of about two
to three minutes are helpful to regain their attention. Olmsted [29] suggests several
types of “active breaks,” including assessments or feedback. We wanted to focus on
one method so that students would not have to adapt to different ones. However, we
chose to combine the assessment with the feedback. By letting students create their
own true-false-questions, the instructor would get insights into what content students
struggled with or had already understood (considering that students would probably
focus only on stuff they felt they had understood well). On the other hand, by having
students pass the questions to their neighbors and solving them, there was a sort of
peer assessment which can foster learning by teaching since it supports critical discus-
sions between students [36].
The implementation was very simple. After about 30 to 60 minutes, the instructor ad-
vised the students to take a sheet and write down three statements dealing with the
156
content they just heard. At least one of those statements had to be true and one false.
After a few minutes, students exchanged their sheets and tried to answer their peer’s
questions. The students also had the opportunity to discuss answers or adjust what they
had written. The sheets were then collected by the instructor, who would later select
some of the items as part of the final exam, and some were uploaded on the LMS in
electronic format.
In this way, one of the core principles of learning, the social exchange, is introduced to
the large scale lecture. In addition, the process does not demand any resources from
the instructor, except choosing the best items for the exam. Creating similar items
would surely take at least the same amount of time. Apart from that, the created items
could even be used as supplementary learning materials in future semesters.
Creation of web based trainings
The creation of the WBTs was a very complex process. A WBT is an encapsulated
eLearning module that can be used for self-regulated learning. It offers all the ad-
vantages already discussed in the background section. Students can learn at their own
pace, anytime, anywhere. The materials can also stimulate different senses by use of
video, audio, and textual information, which can offer much more interaction than do
paper based materials. The dynamics of the media also allowed for animations that
could aid understanding of complex processes.
But all these advantages are in effect only if the materials are created properly. The
materials need to take advantage of the potentials of the medium, be didactically
sound, and have flawless contents.
The underlying concept of what we did is called learning through teaching [17, 16].
When being responsible for explaining things to their peers, students are expected to
engage at a deeper level and improve their communication skills. But the students need
to be guided in this. The seminar “Web Engineering” was thus extended with some
didactical basics. In addition, the students received guidelines on how a WBT could be
structured, which common mistakes should be avoided, or how interactive assignments
could be implemented. They also received a standardized layout for the WBT, along
with several examples of animations or assignments they could adjust and use in their
own modules. In this manner, we could guarantee that all trainings had the same look
and feel, as well as basic common features.
157
The general topics of the WBTs were predetermined by the instructor, and all dealt
with the lecture “Introduction to Business Informatics.” However, the students were
offered a great deal of freedom in setting the focus and creating new kinds of anima-
tions or assignments.
The process of implementation of WBTs started with students creating a storyboard.
This was reviewed by an instructor with regard to the learning goals and first impres-
sions. A second storyboard was then developed and again reviewed. Based on this
final review, the students then implemented the actual WBT.
Further, students of the Web Engineering course were introduced to the technical ba-
sics of Flash and Web Programming in several lessons. The course was based on much
self-regulated learning. The instructors were asked to offer their students considerable
freedom when creating the WBTs, since too much instruction would not lead to greater
motivation and deeper learning processes [2]. To facilitate the development process,
the instructor regularly posted hints and templates, or answered questions, thus show-
ing constant presence [31, 22]. Apart from general tips and advice, the instructors al-
ways offered direct 1:1 feedback on questions or products such as storyboards, as
direct feedback is crucial for motivating learners [21].
This process was iteratively improved by instructors. For example, many students
faced problems when planning their WBTs addressing learning goals that were higher
than just pure knowledge acquisition [3]. Even when it came to teaching modeling
techniques - a basic skill in Business Informatics - students often relied on simple mul-
tiple choice tests as assignments. After realizing the problem, the instructors offered a
new template for implementing modeling tasks into the WBTs, thus enabling learners
to compose whole diagrams on their own, instead of just answering simple questions.
This is just one example of how the content production process was gradually im-
proved. During the fourth semester, part of the feedback that the instructors gave on
the WBTs was exchanged for peer-reviews. In this way, even more responsibility was
later delegated to students. During the feedback phase students could take a look at
other’s WBTs and point at good ideas or flaws. Peer assessments have proven to be
quite reliable in identifying strengths and weaknesses of students’ learning products
[36]. The peer review process was also scaffolded by a guideline given to the students
that was intended to encourage them not just to identify their peers’ mistakes, but also
to offer open-ended and suggestive feedback, as implied by Topping [36].
158
The final WBTs were assessed by instructors who chose which ones were suitable for
being used in the lecture. These WBTs were then finalized by instructors by identify-
ing and deleting the last flaws concerning content or technical implementation.
The content was kept up-to-date in two ways. Smaller changes were implemented by
the teaching staff and the research assistants. If there was need for major changes in a
WBT, it was completely exchanged with a newer one. This was possible due to the
fact that the general topics of the WBTs were determined by the teaching staff, and
each semester new WBTs were created by the students.
12.4 Evaluation
12.4.1 Methodological Aspects
Deriving statements on the efficiency of the different actions aimed at increasing
learning outcomes and learner satisfaction requires defined reference measures not
only for the success of each single action but also for all combined actions (in this
case, measures for the success of the entire blended learning course). However, in field
research it is difficult to define success measures or cause-effect-chains for single ac-
tions / interventions, as these affect the users both independently and in combination
with other actions; therefore, their impact cannot be regarded in isolation. Often it is
only possible to measure and evaluate the sum of several actions and influences as a
whole.
For the proposed formative evaluation, we used self-reporting data sources (online
surveys). Choosing an online survey as a method to collect data poses some important
consequences for the process of the investigation and for the design of the question-
naire (for further details see [12, 4]). Some basic problems generally occur when con-
ducting online surveys. The sample is self-selected, since evaluation participation is
voluntary, and therefore cannot be regarded as being representative; thus, statements
about “non-participants” cannot be made [18]. The questionnaire used in this study
was structured, tested, and consequently adapted to the needs of the specific targeted
audiences. For this purpose, a pretest, followed by a discussion with the test persons,
was conducted. In addition, an online-pretest was carried out, which tested the content
and the functionality of the questionnaire.
159
12.4.2 Evaluating students’ satisfaction
We wanted the students to be satisfied with their learning experience, and for this rea-
son, we used the questionnaire to keep track of their levels of satisfaction. Since the
course at its core was a typical large scale lecture, part of the items for the question-
naire were developed with regard to traditional dimensions of learner satisfaction [7].
These six dimensions focused mainly on the instructor and course as a whole. The di-
mensions were: skill level of the instructor, instructor’s rapport (empathy and friendli-
ness), course structure, course difficulty, interaction, and feedback. The last dimension
referred to whether the instructor told students about their learning progress or gave
them feedback on their task performance. Since this was a large scale lecture demand-
ing a lot of self-regulated learning without direct feedback from the instructor, this
dimension was excluded from the questionnaire.
The second part of the questionnaire was supplemented by dimensions taken from
eLearning success models. Since the course offered a great deal of eLearning materi-
als, we wanted to take the eLearning parts into account separately. However, there
were some technological aspects that could not be changed by the instructor. For ex-
ample, the LMS or technical infrastructure could also be evaluated, but since both
were maintained by the University itself, there was no possibility of improving these
factors for the instructor. Thus, only factors that the instructor was in charge of were
taken into account. These factors focused on the different virtual learning materials
and included their technological quality (like the look and feel), their flexibility, and
their usefulness in the learning process [33, 30].
All items were rated on a Likert scale ranging from 1 (full agreement) to 5 (no agree-
ment). Table 1 provides an overview of the items.
160
Course – General (1) Satisfaction with course in general (2) Satisfaction compared to other lectures (3) Innovative-ness (4) Overall recommendation Course – Structure (overall) (1) Overall structure (2) Contents in general (3) Relevance for praxis (4) Learning materials in gen-eral (5) Clarity of performance requirements Instructor – Skill Level (1) Satisfaction with instructor in general (2) Knowledge of the instructor (3) Helpful explanations of the instructor (4) Instructor’s preparation (5) Clarity of question answering Instructor – Rapport (1) Instructor sparks student (2) Instructor is pleasant (3) Instructor raises interest (4) Attainable outside classroom Course – Difficulty (1) Amount of content compared to time at disposal (2) Difficulty of course (3) Amount of content compared to effort (4) Effort put in the course Interaction (1) Interactivity (2) Participation in the course eLearning materials – Technology (1) Visual appearance of WBTs (2) Visual appearance of videos (3) Interactivity of WBTs eLearning materials – Flexibility (1) WBTs supporting individual learning speed (2) WBTs supporting individual learning style (3) Videos supporting individual learning speed (4) Videos supporting individual learning style eLearning materials – Usefulness (1) WBTs helpful in recapitulating the lecture (2) WBTs as useful supplement of materials (3) Us-age of WBTs (4) Videos helpful in recapitulating the lecture (5) Usage of Videos (6) Skype consul-tation hour as useful supplement Affective and motivational outcomes (1) General interest in topics of the course (2) Lecture enhancing interest in the topic
Table 1. Satisfaction questionnaire items
12.4.3 Evaluating learning outcomes
The evaluation of learning outcomes is a complex field. Kraiger et al. (1993) note that
there are three different kinds of learning outcomes: cognitive outcomes (such as fac-
tual knowledge), skill-based outcomes (such as proceduralization capabilities), and
affective outcomes (such as attitudinal or motivational ones). Measurement depends on
which kinds of outcomes are addressed [24].
Cognitive outcomes can be measured by power tests such as multiple choice tests. In
this research, part of the final exam was implemented as a multiple choice test in order
to measure factual knowledge acquisition.
But higher learning outcomes such as specific skills demand the learner not only to
reproduce knowledge but also to take the right steps in solving a task and deciding
which learned concepts are appropriate in a given situation. These skills can be meas-
ured through methods such as observations or hands-on testing. The latter means that a
given task is evaluated with regard to whether a learner chooses and performs the right
161
steps to solve the problem. In our case, this is exactly what an exam does. For exam-
ple, in the final exam the students were required to develop a model such as an entity-
relationship-diagram to a given problem description. They now had to perform several
steps: identifying the relevant entities, adding the right attributes and relations, and
refining the diagram by using special constructs such as generalizations in order to
avoid redundancy. All these steps were assessed, and scores were given with regard to
the degree of task completion. Thus, skill-based outcomes are also part of the meas-
urement of the exam.
Attitudinal and motivational outcomes refer to states of individuals that will affect how
a person acts. For example, if a learner gains more self-confidence throughout a
course, he might be able to act faster and be more self-aware in future situations.
However, these “softer” factors should not be confused with the motivation that learn-
ers feel during the course. Thinking that a course is interesting and that the instructor is
doing a good job are not learning outcomes, but could be considered feedback on the
overall course quality. Attitudinal and learning outcomes are usually measured through
self-reports. In our case, attitudinal and motivational outcomes were not the focus of
the research, but they were addressed by two items of the satisfaction questionnaire
(see Table 1).
We chose exam scores as a measure for learning success. Since the exams had a simi-
lar proportion of content in each semester (with around one third multiple choice, one
third modeling, and one third open questions), the scores (taken in points, not grades)
were deemed to be a reasonably objective measurement tool for learning outcomes.
12.5 Presentation of Results
The results of our study are presented in this section. Since there are four different
groups of students (one for each semester), results are chronologically related to
groups one to four, with group one being the first group (winter term of 2008/2009)
and group four the last (summer term 2010).
12.5.1 Results with regard to learning outcomes
The learning outcomes were measured by comparing mean results of the exam at the
end of the semester. Students could reach a score from 0 to 82 points. Table 2 shows
the actual results, together with the total number of WBTs available in each semester.
162
A Kruskal-Wallis test of variance was conducted in SPSS, as well as a Median-test.
Both tests show that differences are highly significant, with p < .001.
Group N Mean score Standard Devia-tion
Median Total WBTs in use
1 144 36.99 12.85 37.75 02 225 37.51 11.01 37.50 93 167 41.01 9.60 41.75 184 249 44.38 10.94 44.25 18Overall 785 40.34 11.48 40.50 Significance: Group results differ significantly with p < .001 (Kruskal-Wallis Test and Median Test)
Table 2. Comparison of exam results3
The mean score at the beginning was around 37 points. They increased in semester
three and four by up to 44 points. In the first semester, there were no WBTs in use,
since development started only at this point. In the second semester, the first nine stu-
dent-produced WBTs were offered. However, they were not directly integrated into
the LMS but placed on a separate website. Since integration did not work properly,
there were issues such as layout problems (very small frames, e.g.).
These issues were overcome in the next semester when the total number of WBTs was
increased to 18 that were directly placed on the LMS with adjustable screen sizes.
While the results do not allow concluding any causal relations, it is still salient that in
the first two semesters, when no WBTs were in use or they covered only some parts of
the lecture, students performed the worst. At the time when 18 WBTs were used
(which covered nearly all contents of the lecture) and properly implemented, student
performance clearly increased.
The hypothesis that the increased performance can at least be partially ascribed to
WBTs is supported by the results of the questionnaire, where many students reported
that the materials were a beneficial supplement to the script. Since WBTs were not
part of the learning materials at the beginning, the question items with regard to the
eLearning quality were only implemented in the questionnaires of the third and fourth
semesters. Table 3 presents the results of the eLearning quality items taken from the
learning service satisfaction questionnaire (explained in detail in the next paragraph)
of the fourth semester.
3 This table has been changed from the original source
163
Dim eLearning element Mean Variance T
echn
. appearance wbts 1.94 .671appearance videos 1.92 .834interaction wbts 2.08 .786
Fle
xibi
lity
wbt - learning speed 2.17 1,050wbt - learning style 2.26 1.025video - learning speed 1.83 .813video - learning style 1.95 .979
Use
fuln
ess
wbt - recapitulation 1.91 .983wbt - useful 1.94 .998wbt - usage 2.46 1.101videos - recapitulation 1.68 .845videos - usage 1.91 1.107skype - useful 2.04 1.211Table 3. Satisfaction with eLearning materials
The results in general can be considered to be quite good. The students rated the items
on a Likert scale ranging from 1 (full agreement) to 5 (no agreement). Thus, a rating of
1.94 for the item “The WBTs are a useful supplement of the other learning materials”
indeed seems promising. The recapitulation of contents, as well as the visual appear-
ance and interactivity, reached similar results. This seems to support the theory that the
eLearning materials were actually very popular and supported better learning out-
comes. The lowest scores were reached by the items “WBTs support personal learning
style” and “actual usage of WBTs.” These items show quite high variances. This might
hint at the fact that there are indeed different types of learners and learning styles,
some of which value the WBTs, while others make less use of them.
12.5.2 Results with regard to satisfaction
Student satisfaction was measured with an online questionnaire. It was conducted at
the end of the semester just before the exam, and thus participation was voluntary. The
results (mean values) are shown in Table 4. Since our measures were iteratively im-
proved and thus showed the strongest effects in the last semester, we also calculated
the percentile increase (or decrease) of an item by comparing the fourth and the first
semester. We also conducted a t-test of the variance and the medians of the different
question items, comparing these semesters in order to check whether the increases
were significant. Items that increased significantly are marked in Table 4. Details of
the t-test are shown in Table 5 (please note that due to constraints of space, only fac-
tors that increased by nearly 10 percent or more are shown in the table).
164
Mean of Group Incr. (%)
Dimension Item 1 2 3 4
Course over-all
satisfaction 2.7 2.4 2.6 2.4 9.6 comparison * 2.8 2.5 2.7 2.5 11.3 innovativeness 2.3 2.2 2.1 2.0 11.8 recommendation 2.6 2.3 2.4 2.4 7.6
Course - structure
structure * 2.5 2.2 2.2 2.1 14.9 content * 2.9 2.7 2.8 2.6 10.1 relevance 2.5 2.4 2.5 2.5 -1.4 materials 2.4 2.3 2.1 2.1 11.9 transparency 2.6 2.7 2.9 2.6 1.7
Instructor Skill level
instructor 2.5 2.2 2.2 2.2 9.6 knowledge 1.3 1.3 1.2 1.2 4.5 explanations * 2.2 1.9 1.9 1.9 14.5 preparations 1.4 1.4 1.4 1.4 5.0 answers 1.9 1.7 1.7 1.7 10.9
Instructor Rapport
enthusiasm * 2.8 2.6 2.5 2.4 13.8 raising interest * 2.8 2.4 2.5 2.4 16.0 pleasant 2.4 2.1 2.2 2.2 6.4 attainability 2.2 2.0 2.2 2.2 -1.9
Difficulty
difficulty 3.2 2.9 3.4 3.0 5.4 ratio cont./eff. 3.3 3.2 3.6 3.2 4.6 ratio cont./time 3.5 3.3 3.4 3.3 5.7 effort * 2.4 2.3 2.3 2.2 10.6
Interaction interactivity 2.5 2.5 2.3 2.3 9.1 participation 2.3 2.4 2.6 2.3 0.6
Affective & Motiv.
interest 2.8 2.6 2.7 2.5 8.6 raising interest 3.1 2.8 2.9 2.7 11.5
* Significant increase from semester 1 to 4
Table 4. Results of satisfaction questionnaire
Many of the factors that we addressed directly (such as overall satisfaction, satisfac-
tion with materials, contents, and interactivity) increased by about 0.3 points (very
roughly estimated, coming to an increase of about 10%). To check these increases for
significance, the t-test conducted in SPSS first calculates the significance of the hy-
pothesis that the variances of the variables are homogeneous (Table 5, first column).
Next, two t-tests for the mean values were conducted – one for the case where the
probability of variance homogeneity was not significant (first line of each item) and
one for the other case (second line). The results of the two-tailed t-test of the means
are listed for both cases.
Statistically significant factors include the overall satisfaction compared to other lec-
tures, satisfaction with content, explanations of the instructor, the degree to which the
165
instructor managed to raise enthusiasm and further interest in the topic, and the effort
students felt they had put into the course. Two of the most important items for our re-
search, namely, the overall satisfaction and satisfaction with the learning materials,
have not increased significantly, but they are at least nearly at a significant level (.077
and .069). Similar results can be identified for the perceived interactivity (.089). Tak-
ing into account both the percentile increase in satisfaction with the different aspects
of the course, as well as results from the t-test, we assume that the supplementary ma-
terials indeed helped increase learners’ satisfaction.
12.6 Discussion of results and limitations
In this paper we presented a concept on how to integrate students into the process of
learning content production using IT tools and concepts. Students were encouraged to
create true-false-items as part of the final exam. In a Web Engineering seminar they
also created WBTs that were used as supplementary learning materials in the large
scale lecture “Introduction to Business Informatics,” thus making students co-
designers of WBTs for their peers. Content creation was implemented as a co-
construction process between the students and instructors. The WBTs were then used
in the lecture, and the questionnaire as well as exam results were gathered over four
semesters. Results show a significant increase in learners’ satisfaction as well as learn-
ing outcomes. We assume that these results are significantly caused by the new forms
of interaction and implementation of the WBTs. Our assumptions are supported by the
online questionnaires, where most students stated that the WBTs indeed were a useful
supplementation to other materials.
166
Item Test of
Variance T-Test of Means
Sig.
Sig. (biv.) Mean Diff. Stand. Error of Diff.satisfaction .042 .086 .254 .147
.077 .254 .143comparison .864 .032 * .312 .144
.031 .312 .143innovativeness .127 .075 .273 .152
.072 .273 .151structure .008 .014 .369 .149
.011 * .369 .144content .511 .043 * .296 .146
.039 .296 .143materials .068 .073 .282 .156
.069 .282 .154instructor .078 .164 .238 .170
.154 .238 .166explanations .006 .058 .317 .166
.049 * .317 .160answers .288 .127 .213 .139
.114 .213 .134enthusiasm .408 .033 * .391 .182
.031 .391 .180raising interest .244 .011 * .455 .177
.010 .455 .174effort .031 .054 .258 .133
.047 * .258 .129interactivity .015 .100 .227 .137
.089 .227 .133raising interest .467 .059 .351 .185
.057 .351 .183
* Significant with p < .05
Table 5. Overview of significant results
There are, however, several limitations due to the nature of an action research ap-
proach. Working with real students in complex learning arrangements means that it is
very difficult to identify causal relations. As we compare learning scenarios that are
influenced by countless different factors, the usage of single tools or methods can
hardly explain the outcomes on their own. For this reason, we cannot prove causal re-
lations from the data thus far, as we cannot strictly exclude the influence of factors that
were not addressed in this paper directly. Surely, the general approaches of the instruc-
tor and his staff to improve the lecture and the script will also have influenced the out-
comes.
167
In addition, measuring learning outcomes by exam results is problematic, since the
exams changed from semester to semester. Although the structure and rating scheme
stayed similar, it cannot be guaranteed that the difficulty and rating were the same
each semester.
Still, the significant increases strongly hint at the fact that the concept of co-
construction does work. This result is important for researchers in the domain of peda-
gogy who are looking for new ways of learner integration and self-regulated learning.
In addition, the methods of co-construction described in this paper can also be adapted
by practitioners in their own lectures in order to create valuable content.
There is still much need for further improvements of the processes described. With
regard to Web 2.0 technologies and trends such as Open Innovation, it seems reasona-
ble to enhance the content creation and review process even more by use of these
methods and tools. Also, raising interaction in the classroom with the use of mobile
devices which allow digital content production seems very promising. Thus, we will
develop our course further with the help of Web 2.0 and mobile devices in order to
create a stronger sense of community and collaboration.
12.7 References
[1] M. Alavi, G. Marakas and Y. Yoo, "A Comparative Study of Distributed Learning
Environments on Learning Outcomes", Information Systems Research, 13
(2002), pp. 404-415.
[2] H. An, S. Shin and K. Lim, "The effects of different instructor facilitation
approaches on students' interactions during asynchronous online discussions",
Computers & Education, 53 (2009), pp. 749-760.
[3] L. W. Anderson, D. R. Krathwohl, P. W. Airasian, K. A. Cruikshank, R. E. Mayer,
P. Pintrich, J. Raths and M. Wittrock, "A taxonomy for learning, teaching, and
assessing: A revision of Bloom's taxonomy of educational objectives", (2000).
[4] B. Bantinic, K. Moser and B. Puhle, Der WWW-Fragebogengenerator, in W.
Bandilla, B. Bantinic and L. Graef, eds., Online Research - Methoden,
Anwendungen und Ergebnisse, Verlag fuer Psychologie Dr. C.J. Hogrefe,
Goettingen, 1999, pp. 93 - 102.
168
[5] G. M. Bodner, "Constructivism - A Theory Of Knowledge", Journal of Chemical
Education, 63 (1986), pp. 873-878.
[6] E. Chernobilsky, A. Nagarajan and C. E. Hmelo-Silver, Problem-based learning
online: multiple perspectives on collaborative knowledge construction,
Proceedings of th 2005 conference on Computer support for collaborative
learning: learning 2005: the next 10 years!, International Society of the
Learning Sciences, Taipei, Taiwan, 2005.
[7] P. A. Cohen, "Student ratings of instruction and student achievement: A meta-
analysis of multisection validity studies", Review of Educational Research, 51
(1981), pp. 281-309.
[8] N. W. Coppola, S. R. Hiltz and N. Rotter, Becoming a virtual professor:
pedagogical roles and ALN, System Sciences, 2001. Proceedings of the 34th
Annual Hawaii International Conference on, 2001, pp. 1-10.
[9] A. Donabedian, "Evaluating the Quality of Medical Care", The Milbank Memorial
Fund Quarterly, 44 (1966), pp. 166-206.
[10] R. M. Felder and L. K. Silverman, "Learning and teaching styles in engineering
education", Engineering education, 78 (1988), pp. 674-681.
[11] J. A. Fitzsimmons and M. J. Fitzsimmons, Service management : operations,
strategy, and information technology, McGraw-Hill/Irwin, Boston, 2005.
[12] A. Gadeib, Ansprueche und Entwicklung eines Systems zur Befragung ueber das
World Wide Web, in W. Bandilla, B. Bantinic and L. Graef, eds., Online
Research - Methoden, Anwendungen und Ergebnisse, Verlag fuer Psychologie
Dr. C.J. Hogrefe, Goettingen, 1999, pp. 103 - 111.
[13] R. M. Gagne, "Learning outcomes and their effects: Useful categories of human
performance", American Psychologist, 39 (1984).
[14] I. Giannoukos, I. Lykourentzou, G. Mpardis, V. Nikolopoulos, V. Loumos and E.
Kayafas, Collaborative e-learning environments enhanced by wiki technologies,
Proceedings of the 1st international conference on PErvasive Technologies
Related to Assistive Environments, ACM, Athens, Greece, 2008.
169
[15] P. Goodyear, G. Salmon, J. Spector, C. Steeples and S. Tickner, "Competences
for online teaching: A special report", Educational Technology Research and
Development, 49 (2001), pp. 65-72.
[16] K. Goto and J. Schneider, "Learning through Teaching: Challenges and
Opportunities in Facilitating Student Learning in Food Science and Nutrition by
Using the Interteaching Approach", Journal of Food Science Education, 9
(2010), pp. 31-35.
[17] J. Grzega and M. Schöner, "The didactic model LdL (Lernen durch Lehren) as a
way of preparing students for communication in a knowledge society", Journal
of Education for Teaching, 34 (2008), pp. 167 - 175.
[18] P. Hauptmanns, Grenzen und Chancen von quantitativen Befragungen mit Hilfe
des Internet, in W. Bandilla, B. Bantinic and L. Graef, eds., Online Research -
Methoden, Anwendungen und Ergebnisse, Verlag fuer Psychologie Dr. C.J.
Hogrefe, Goettingen, 1999, pp. 21 - 38.
[19] P. J. H. Hu, W. Hui, T. H. K. Clark and K. Y. Tam, "Technology-assisted
learning and learning style: A longitudinal field experiment", IEEE
Transactions on Systems Man and Cybernetics Part a-Systems and Humans, 37
(2007), pp. 1099-1112.
[20] E. Kahiigi, L. Ekenberg and M. Hansson, Exploring the e-Learning State of art,
Conference on E-Learning, Academic Conferences Limited, 2007, pp. 349-368.
[21] F. Ke, "Examining online teaching, cognitive, and social presence for adult
students", Comput. Educ., 55 (2010), pp. 808-820.
[22] K. P. King, "Identifying success in online teacher education and professional
development", The Internet and Higher Education, 5 (2002), pp. 231-246.
[23] A. Y. Kolb and D. A. Kolb, "Learning styles and learning spaces: Enhancing
experiential learning in higher education", Academy of Management Learning
& Education, 4 (2005), pp. 193-212.
170
[24] K. Kraiger , J. K. Ford and E. Salas, "Application of cognitive, skill-based, and
affective theories of learning outcomes to new methods of training evaluation",
Journal of Applied Psychology (1993), pp. 311-328.
[25] Kultusministerkonferenz, Prognose der Studienanfänger, Studierenden und
Hochschulabsolventen bis 2020, Bonn, 2005.
[26] M. Mohr and H. Krcmar, Bildungscontrolling: State of the Art und Bedeutung für
die IT-Qualifizierung, Technische Universität München, Lehrstuhl für
Wirtschaftsinformatik, Garching b. München, 2005.
[27] M. G. Moore, "Editorial: Three types of interaction", American Journal of
Distance Education, 3 (1989), pp. 1-7.
[28] OECD, The Sources of Economic Growth in OECD Countries, Organisation for
Economic Co-Operation and Development, 2003.
[29] J. Olmsted III, "The mid-lecture break: When less is more", Journal of Chemical
Education, 76 (1999), pp. 525.
[30] S. Ozkan and R. Koseler, "Multi-dimensional students' evaluation of e-learning
systems in the higher education context: An empirical investigation",
Computers & Education, 53 (2009), pp. 1285-1296.
[31] S. Peacock and J. Hooper, "E-learning in physiotherapy education",
Physiotherapy, 93 (2007), pp. 218-228.
[32] G. Piccoli, R. Ahmad and B. Ives, Web-BasedVirtual Learning Environments: A
Research Framework And A Preliminary Assessment Of Effectiveness In Basic
IT Skills Training, MIS Quarterly, MIS Quarterly & The Society for
Information Management, 2001, pp. 401-426.
[33] P.-C. Sun, R. J. Tsai, G. Finger, Y.-Y. Chen and D. Yeh, "What drives a
successful e-Learning? An empirical investigation of the critical factors
influencing learner satisfaction", Computers & Education, 50 (2008), pp. 1183-
1202.
[34] G. I. Susman and R. D. Evered, "An assessment of the scientific merits of action
research", Administrative science quarterly, 23 (1978), pp. 582-603.
171
[35] V. Thurmond and K. Wambach, "Understanding interactions in distance
education: A review of the literature", International Journal of Instructional
Technology and Distance Learning (2004).
[36] K. Topping, "Peer assessment between students in colleges and universities",
Review of Educational Research, 68 (1998), pp. 249-276.
[37] R. Wegener, P. Menschner and J. M. Leimeister, Analyse und Optimierung von
Lehrdienstleistungen mittels Service Blueprinting - Konzeption und erste
empirische Befunde, Multikonferenz Wirtschaftsinformatik (MKWI) 2010,
Göttingen, 2010.
[38] Wissenschaftsrat, Empfehlungen zum arbeitsmarkt- und demographiegerechten
Ausbau des Hochschulsystems, Wissenschaftsrat, Berlin, 2006.
172
13 Engineering Learning Services with the Didactical Service Blueprint
René Wegener, Philipp Menschner, Jan Marco Leimeister
Abstract: The purpose of this paper is to develop a new method called the Didactical
Service Blueprint (DSB) for designing educational and training services. It combines
service engineering principles with didactical design requirements to support the de-
sign of didactically sound yet resource efficient learning services. DSB is developed in
an Action Research project based on a large scale university IS-course. Over the
course of eight semesters, we try to enhance learning service quality without additional
personnel resources and evaluate learning outcomes (n = 1593) and satisfaction (n =
699). We find that concerning knowledge-intense services the cognitive process level
is a suitable indicator for decisions regarding self-service and automation. We present
the concept of peer-services as mutually performed consumer self-services. Evaluation
indicates that DSB is a feasible approach for developing didactical solutions for large
learning services. We contribute to service research by extending the Service Blueprint
and service engineering principles to the field of education. We introduce the idea of
segmenting process steps regarding cognitive process levels. We develop principles
for designing consumer peer-services. We offer concrete advice on how to re-design
large scale learning services with limited resources in mind. To the best of our
knowledge this paper offers one of the first approaches combining educational and
service engineering principles in one coherent method.
Keywords: Service design, Service engineering, Education, Blueprint
Please quote as: Article currently under review.
173
13.1 Introduction
Education and vocational training is one of the biggest service markets. The American
Society for Training & Development (ASTD) states that in 2012 companies in the
U.S.A. spent a total of more than 150 billion US Dollars on employee learning and
development4. The OECD also states that education is a critical factor for the produc-
tivity and wealth of any society (OECD, 2003). While learning is most effective with
intensive supervision and support, many providers have to deal with large masses of
consumers but strictly limited resources. Massive Open Online Courses (MOOCs),
e.g., are offered for free to large audiences and may become especially important in
emerging nations. Providers of explanation-intense products such as software face a
similar challenge. While some companies earn money with software trainings, others
have to train their consumers in low-cost ways such as traditional handbooks, web tu-
torials and online forums. Last but not least, university instructors often have to work
with a constant amount of personnel resources despite increasing numbers of students.
These learning service providers share the same challenge: offering high quality learn-
ing to large audiences that have a low ability or willingness to pay. From a service de-
sign perspective, standardization, automation and customer self-service are common
ways to lower costs, yet they also have a downside: Highly standardized or automated
learning services suffer from lower learning outcomes and satisfaction (Cuseo, 2007).
Thus, when (re-)designing a learning service, one has to carefully consider which parts
of the service should be automated or delegated to the consumer as a self-service. Ex-
isting service engineering methods do not offer enough assistance for this task for
three main reasons:
First, person-centered services with intangible outcomes are generally harder to design
with traditional engineering approaches (Bullinger, Fähnrich, and Meiren, 2003) which
makes generic approaches such as Service Blueprints harder to use. To pay attention to
the specifics of a certain service domain, e.g., didactical design goals, interdisciplinary
approaches may be superior to simply transferring existing methods (Bullinger,
Fähnrich, and Meiren, 2003). The huge economic impact of educational services and
their market size justify an advancement of existing service engineering principles to
this specific domain.
4 ASTD State of the Industry Report 2012: http://www.astd.org/Publications/Research-Reports
174
Second, learning is a knowledge-intense service. As such, most activities are about
gaining, applying and testing different levels of cognitive processes. Applying
Bloom’s revised taxonomy of learning goals (Anderson and Krathwohl, 2000), we as-
sume that the cognitive process level of any process step is the most suitable indicator
for its strategic importance and thus for decisions regarding automation and self-
service.
Third, learning is a deeply social process, as consumers learn with, and from, one an-
other. Consumers’ service experiences directly depend on the behavior and contribu-
tions of others. For this reason, consumer peer-services should be an integral part of
any educational service design.
Based on the approach for modeling person-oriented services by Menschner et al.
(Menschner and Leimeister, 2012), we develop a method for the analysis and re-design
of learning services, the Didactical Service Blueprint (DSB). It consists of a set of di-
dactical design requirements for analyzing existing learning services and principles for
segmenting, re-designing and prioritizing process steps. It uses an adapted Service
Blueprint as visualization tool. The DSB pays attention to designing consumer-
consumer interactions and segmenting process steps regarding the incorporated cogni-
tive process levels.
The DSB is developed within an Action Research (AR) setting (McKay and Marshall,
2001). Based on the assumptions stated above (Action Planning), we re-designed a
large scale university IS lecture over the course of eight semesters with constant per-
sonnel resources (Action Taking), evaluating our results after each semester (Evalua-
tion). Combining the initial assumptions with our own experiences, we refined the
different parts of our method (Specifying Learning). The application of the method
and the evaluation results of satisfaction questionnaires (n = 699) and exams (n =
1593) suggest that the DSB is a feasible approach for resource efficient re-design of a
learning service.
Our theoretical contribution is threefold: 1) We adapt, concretize and advance existing
service engineering principles as well as the Service Blueprint to the learning domain.
2) We introduce the cognitive process level as an indicator for automation and self-
service decisions in knowledge-intense services. 3) We contribute to the knowledge
about self-services by introducing the basics and design principles for peer-services.
175
As practical contribution, we provide insights into our project that might inspire other
lecturers in re-engineering their courses. Further, we assume that our findings are val-
uable to practitioners in the overall domain of education and vocational training, as our
concrete requirements, principles and examples for the design of high quality, resource
efficient learning services can be adapted and applied to any educational or vocational
services.
In the next section, we derive basic assumptions on learning service design from exist-
ing literature. We then introduce the concept of the DSB and give a practical example
of its application. Afterwards, we present evaluation results and discuss the contribu-
tion of our research.
13.2 Theoretical Foundations of learning service engineering
13.2.1 Defining basic terms and concepts
Learning is a permanent change of the human mind and behavior (Gagne, 1984), trig-
gered through interactions. The theory and practice of planning these interactions is
referred to as didactics which is why we call our approach The Didactical Service
Blueprint. By the term learning services we refer to any formal learning offerings in
higher education and vocational training. “Formal” means that the learning service is
guided by an instructor, usually offered for a certain amount of time, and leading to a
certificate (Eraut, 2004). The paying customer of a learning service may be a single
person, the learner himself, a company or organization paying for its employees or the
general public, as in, e.g., universities. Thus, we refer to the learner as a consumer in-
stead of a customer. We follow the idea that service quality is defined through an actu-
al impact as well as the consumer’s perception on how this impact came to be (Meyer
and Mattmüller, 1987). Accordingly, we suppose that learning service quality is most-
ly defined by learning satisfaction and learning success.
13.2.2 Advancing service engineering principles to learning
Providers of learning services, especially large scale services, have very limited re-
sources for offering individuality to consumers. Service engineering research states
that standardizing processes (e.g., large classes), automation (e.g., through web based
trainings) and self-services (e.g., self-assessments) are the most promising approaches
to making services scalable. A large degree of automation or standardization, however,
may lead to lower consumer satisfaction and learning success (Wegener and
176
Leimeister, 2012b; Cuseo, 2007). Educators have to carefully consider which parts of
a learning service should be automated or conducted as a self-service. Service engi-
neering research offers several implications for this task (Fließ and Kleinaltenkamp,
2004; Esch, Leimeister, and Krcmar, 2010; Menschner and Leimeister, 2012). Gener-
ally speaking, process steps that are very time consuming or strategically unimportant
are best candidates for automation and self-service. Consumer-induced activities are
more likely to be candidates for self-services, but demand clear communication of the
consumers’ expected contributions. Automation can easily be applied for process steps
of low complexity or for those that do not require heterogeneous input from consum-
ers.
While these principles are useful, they are very generic. The complexity of a process
step is hard to measure and only a rough guideline for automation decisions. Learning
service designers should also see didactical requirements as prerequisites for success-
ful learning, e.g., learners need clear structures, regular feedback and an opportunity to
cooperate with others (Chickering and Gamson, 1991). Part of our research goal was
thus to concretize existing principles for learning services and to combine them with
the most important didactical requirements.
13.2.3 Cognitive process levels to estimate complexity and strategic im-portance
Knowledge-intense services, such as education, vocational training or support for ex-
planation-intensive products, are characterized by preferably high individualization,
high demand of expertise and lots of personal interaction (Menschner and Leimeister,
2012). A trainer contributes skills and shares domain expertise with consumers. Dif-
ferent kinds of knowledge are easier or harder to share and gain than are others. The
type of knowledge thus predetermines the necessary amount of supervision and inter-
action.
A well-known framework for differentiating knowledge levels is the revised taxonomy
of learning goals (Anderson and Krathwohl, 2000). It separates cognitive processes
into six levels: remembering (pure facts), understanding (meaning of information),
applying (execute known procedures), analyzing (e.g., breaking concepts apart to
compare them), evaluating (e.g., identifying and applying suitable criteria for a judg-
ment) and creating (e.g., developing new ideas, concepts, etc.). Complexity rises from
first to sixth level (lv.), as does also the need for an instructor to support the learner.
177
As an example, one might think of a consumer trying to learn a foreign language. Re-
membering terms (lv. 1) is easy to test by oneself. Correct translations of whole sen-
tences are more complex (lv. 2) and checking correct application of grammar rules (lv.
3) might require an expert.
To conclude, segmenting process steps regarding the cognitive level is an integral part
of the DSB. As we will show in our AR project, we used this segmentation principle as
the most important indicator for applying any kind of automation or self-service.
13.2.4 The concept of peer-services
Service designers often focus on contacts between consumers and service personnel,
yet consumer-consumer interactions have been shown to impact service quality as
well. Conversations between consumers may have stabilizing effects on consumer
anxiety in certain situations (Harris and Baron, 2004), and companion-influence may
also affect self-service decisions (Wang, Harris, and Patterson, 2012). In educational
contexts, social interaction has a large impact on learning success and satisfaction
(Crouch and Mazur, 2001; Secomb, 2008). Peer interactions occurring in learning,
however, go beyond random conversations. Discussion, cooperative tasks and group
work represent special kinds of mutually performed self-services that are an integral
part of the service experience. We refer to these self-services where only mutual en-
gagement of consumers leads to desired outcomes as peer-services.
We propose peer-services as a special kind of self-service for two reasons: First, in a
peer-service, consumers carry responsibility for others. Hence, aspects such as reward-
ing individual contributions become more important than they are in typical self-
services. Second, peer-services demand additional coordination and communication
efforts of consumers. The more complex a task, the more supervision and support are
probably necessary. Similarly, settings with less physical presence (e.g., virtual teams)
demand more supervision.
Instructors hence need to carefully plan, supervise and assess peer-services. It is cru-
cial to define tasks and individual contributions precisely, as well as to track contribu-
tions and set incentives (Wegener and Leimeister, 2012a).
178
13.3 Concept of the Didactical Service Blueprint
13.3.1 Methodological Approach
Development of the DSB was conducted in an Action Research (AR) project. The
four-year development process was strongly tied to our own lecture, following the typ-
ical AR steps (Susman and Evered, 1978). The lecture is a large scale IS course for
business students. We realized that as an instructor-centered mass lecture, our learning
service was lacking interaction, students’ engagement and also learning success, a
problem we elaborated on at the beginning of this paper (Diagnosing). Based on the
theoretical assumptions from the previous section, we started to blueprint the service
and combine service engineering principles with our didactical knowledge to improve
learning service quality (Action Planning). We implemented different measures based
on our method (Action Taking), evaluated the results after each semester (Evaluating)
and then tried to improve the DSB, based on these results (Specifying Learning).
For the reader’s convenience, however, we do not explain the different cycles of our
AR project and the evolution of the DSB. Instead, we first introduce the final version
of the DSB concept and then explain how it guided our action taking, i.e., the re-
design of our learning service, as a whole.
13.3.2 Overview
The DSB is supposed to help educational service designers analyze and re-design a
given learning service. It follows an engineering approach for person-oriented services
(Menschner and Leimeister, 2012). It contains five phases that are performed iterative-
ly (Figure 1) and supports each of them by a specific artifact. First, designers visualize
the service using an adapted Service Blueprint. Second, they analyze its quality re-
garding didactical design requirements (Req. 1-8). Third, they segment process steps
to facilitate analysis and re-design using segmentation principles (Seg. 1-3). Fourth,
they re-design them towards a higher degree of automation, self-service and peer-
service with the corresponding design-principles for automation (Des. 1.1-1.3), self-
services (Des. 2.1-2.2) and peer-services (Des. 3.1-3.4). Fifth, they prioritize re-
designed process steps for implementation with prioritization indicators (Prior. 1-4).
179
Figure 1: Phases and artifacts of the DSB method Phase 1: Visualization with an adapted Service Blueprint
A Service Blueprint visualizes different process steps of a service (Shostack, 1984),
representing their chronological order and dependencies. It separates different layers
of actions like customer actions, onstage and backstage activities. The Service Blue-
print is intuitive to use and helps to understand, discuss and re-design a service.
Unfortunately, the Service Blueprint does not distinguish between different levels of
self-services. As traditional self-services and peer-services differ in many ways, we
introduce an additional line named the “line of consumer interaction.” All activities on
this line are performed mutually by at least two consumers. The line helps to visualize
and re-design the consumer-consumer interactions as our application example later on
reveals.
Phase 2: Analysis with pre-defined didactical requirements
The didactical design requirements can work as a benchmark for analysis. Literature
on learning success factors identifies several core requirements for successful and sat-
isfying learning services (Chickering and Gamson, 1991; Wegener and Leimeister,
2012b; ECS, 1995; Cimer, 2007; Prince, 2004). We consolidated eight requirements
that we translated into applicable advice for analyzing the blueprint (Table 1).
180
No Didactical Requirement Conclusion for the DSB
Req. 1 Active learning: Integrate a variety of activities that demand students’ individual engagement.
Ensure there is a certain amount of learn-ing activities on or above the line of inter-action
Req. 2 Effective materials: Use learning materials that are cognitively effective (using suita-ble media) and support interaction.
Check learning material quality for activi-ties between the lines of interaction and consumer interaction.
Req. 3 Peer learning: Give learners the chance to learn with, and from each other, in clearly structured and supervised assignments.
Create activities on the line of consumer interaction. Make sure these activities do not “end” on this line but point to supervi-sion or assessment activities on or below the line of interaction.
Req. 4 Assessment: Allow learners to apply knowledge and receive corrective feed-back. Gain an overview of students’ lear-ning progress.
Ensure that assessments consist of as-signments on or above the line of interac-tion and some sort of feedback by the instructor (line of interaction), peers (line of consumer interaction) or software (self-service between both lines). In any case, the feedback activity should be linked to an activity of the instructor reviewing the learning success.
Req. 5 Attainability: Offer learners different ways to get in contact with teaching staff.
Check contact points for efficiency.
Req. 6 Diversity: Offer optional learning activi-ties to support different learning prefer-ences.
Make sure some activities on or above the line of interaction are optional.
Req. 7 Time-on-task: Devote most time in the learning process to precise tasks with clear expectations, deadlines and contributions.
Decide on which activities learners should spend most of their time. Make sure that these are based on precise communication and connected to scaffolding activities such as assessment and feedback (crossing the line of interaction).
Req. 8 Interaction: Implement interactive activi-ties in the classroom.
Offer face-to-face settings if possible. Make sure they include activities along the line of interaction and consumer interac-tion.
Table 1: Design Requirements
181
Phases 3 and 4: Principles for segmentation and re-design
Segmenting and re-designing are strongly intertwined. Service designers will need to
segment process steps, identify suitable candidates for automation, self-service and
peer-service, adjust process steps and develop new ones. Based on our theoretical as-
sumptions and practical experience, we add the following principles to the DSB (Table
2 and 3). Self-service principles are supposed to hold for both traditional self-services
as well as peer-services. Peer-service principles, on the other hand, are more specific
and only hold for consumers’ mutual activities.
No. Principle
Seg. 1
Seg. 2
Seg. 3
Assign each sub-step unambiguously to one distinct layer or line
Segment sub-steps that differ in complexity / cognitive levels
Segment sub-steps that clearly differ in frequency / duration
Table 2: Segmentation Principles No Principle
Automation
Aut. 1
Aut. 2
Aut. 3
Automate activities of low complexity / that address lower cognitive levels
Automate activities by standardizing input options (useful for assessment)
Automate activities to capture electronic data for supervision purposes
Self-Service
Self. 1
Self. 2
Create self-services for activities that do not offer much space for interaction and individual input (organizational tasks, simple assignments)
Make sure learners have or can acquire the necessary expert knowledge and competencies
Peer-Service
Peer. 1
Peer. 2
Peer. 3
Peer. 4
Clearly define expected individual contributions
Hold learners responsible and reward them for their contributions
Be aware that the higher the cognitive level, the more support and supervision is required
Be conscious that the lower the physical contact, the more support and supervision is re-quired
Table 3: Design Principles
Phase 5: Prioritization
In many cases the re-designed process should not be re-launched at once but subse-
quently. The reason for this could be the provider’s limited resources. Also, an incre-
mental approach can avoid overstraining staff and consumers, and this allows a
smoother transition and adaption to the new concepts. Main indicators for prioritiza-
182
tion are the provider’s resource consumption on the one site and strategic, i.e., didacti-
cal importance of a process step on the other. To evaluate both aspects, DSB supposes
the following indicators (Table 4).
No. Indicator
Prior. 1 Physical contact: Face-to-face contacts contribute most to consumer satisfaction
Prior. 2 Consumers’ time: The more time learners spend on a task, the bigger its potential impact on learning success
Prior. 3 Frequency and duration: The more often process steps occur and the more difficult they are to handle, the more time the instructor has to spend on them
Prior. 4 Consumer-dependence: Process steps demanding a lot of individual consumer contribution are less scalable and thus demand more of the instructor’s time
Table 4: Indicators for prioritization
13.4 Application example
13.4.1 Background
Application of the DSB is demonstrated on the course Introduction to Business Infor-
matics (IBI), a lecture for business and economics students at a German university.
The course in its initial state was designed as a traditional lecture attended each semes-
ter by 150 to 300 participants. We applied the DSB, re-designed the learning service
iteratively and then tweaked our method based on the evaluation over the course of
eight semesters. We now present our main decisions and final re-design of the learning
service as a whole (Action Planning and Action Taking).
13.4.2 Applying the DSB
Visualization: The first step was to visualize the initial service process. Figure 2
shows the most important parts. The instructor first defines and adjusts learning goals
and employs new student assistants if necessary. The teaching staff refines and re-
creates parts of the script which serves as learning material. Due to the large number of
attendants, the lecture is mostly an instructor-centered presentation. Students as well as
the instructor may ask questions, but there is no pre-defined interaction in the class-
room. Four student assistants offer additional tutorials with class sizes of about thirty
students. Tutorials consist of presentation parts and large interaction parts in which
students apply their knowledge to solving assignments.
183
Figure 2: Rough Service Blueprint of the initial course process
Analysis: The initial process reveals several shortcomings regarding our didactical
requirements (Table 1):
Students have to rely solely on a simple script for self-directed learning. The
script fosters a passive way of learning instead of true interaction (Req. 1). As a
learning material, it may be cognitively ineffective (Req. 2). Since it’s the only
learning source, there is also a lack of diversity (Req. 6).
Too much time in lecture and tutorials is spent on presentation parts instead of
active learning (Req. 7), along with a general lack of classroom interaction
(Req. 8).
There is nearly no peer interaction, neglecting the potential for students to learn
from each other (Req. 3).
There is no assessment, except for the assignments conducted during the tutori-
als (Req. 4). Students lack feedback regarding their learning progress, and the
instructor does not receive any overview of students’ performance.
184
Segmentation and re-design: These shortcomings are quite common in large scale
learning services but hard to overcome without additional personnel resources. Over
the course of eight semesters, we iteratively re-designed our service to better meet di-
dactical requirements despite economic constraints. Figure 3 represents the final result.
We now explain the changes we conducted.
185
Figure 3: Re-designed service process
186
Overall changes to meet didactical requirements: The re-designed Service Blue-
print contains more process steps than does the initial one; this is because we intro-
duced: 1) additional assignments during lecture and tutorials, 2) an online forum
where exercises are posted and 3) discussed and a weekly multiple choice online test.
We also created additional learning materials, so-called Web Based trainings (WBTs)
that students can use for self-directed learning. The forum and the assignments in class
increase peer interaction, classroom interaction and time-on-task. The online tests and
(to some extent) the forum offer regular assessment and feedback opportunities. To
implement these new process steps in an economically affordable way, we applied the
segmenting and design principles from the DSB as follows.
Differentiating cognitive process levels: The new blueprint differentiates self-service
activities by their cognitive process level (Seg. 2). As self-services and automation
make more sense for lower cognitive levels (Aut. 1 & Self. 1), our first action was to
move higher level assignments to the face-to-face settings. An example for higher lev-
el assignments (level 3-4) is a modeling task where students have to express an exem-
plary situation as an Entity Relationship Model. As tutorials also allow for easier
implementation of peer learning (Peer. 3& Peer. 4), most assignments are conducted as
peer tasks. e.g., students have to create a model, exchange it with their neighbor, mark
flaws and discuss their solutions. These tasks are supplemented by simple exercises
such as polls, hot-spot tasks and fast peer assessments that are performed on mobile
devices. Integrating simple automated assignments in class allows for the gathering
data for the instructor (Aut. 3).
Outside of the classroom, self-services are more difficult to support. Again, we assume
that students can deal with basic facts and concepts on their own (Self. 1), while higher
level assignments demand additional scaffolding and supervision (Peer. 4). To assess
their basic understanding, students are offered weekly online multiple choice tests
(Aut. 1). For more complex assessment, we added the online forum where we posted
additional assignments regularly. The forum is moderated by student assistants that
answer highest rated student questions exactly once a week. In this way, we reduce the
effort for moderation to a constant amount of time. The assistant also posts tasks and
then students upload and discuss solutions. Student postings that receive good ratings
are rewarded with a bonus point for the exam (Peer. 3). While the forum is less effec-
tive than a well-structured small-group peer learning task, it can partially compensate
for such an assignment and is more resource efficient. We can guarantee that students’
187
self-paced learning is, at least to some extent, supported by the instructor and teaching
staff.
Offering the necessary amount of support and supervision for self-/peer-services:
To reduce our own workload, we delegated to students as many of the new tasks as
possible. The leading questions for this outsourcing are: "Can we expect learners to
deal with this task successfully?" (Self. 2) and "Can we make learners responsible and
supervise their work sufficiently?" (Peer. 1&2). All self-service activities, except for
“preparation and recapitulization” (which, on afterthought, might be a shortcoming of
our re-designed process), are therefore linked to a type of assessing or analyzing ac-
tivity of the instructor. Low cognitive process levels are linked to automated data re-
trieval activities (EDC - electronic data capture). More complex assignments end in
instructor-guided discussions. In this way, students always receive some sort of feed-
back, that is, by peers, the learning application or the instructor.
Creation of learning materials: We delegated the task of creating items for the week-
ly multiple choice test to students. Following the idea of an active mid-lecture break
(Olmsted III, 1999), students create true-or-false items for their peers during the lec-
ture (one of the short in-class assignments called “co-create your exam”). These items
are stored in a database and randomly distributed. Students solve peers’ items and rate
their quality. After class, the instructor chooses 20 of the best-rated items to create the
weekly multiple-choice test mentioned above. This reduces to a minimum the instruc-
tor’s time necessary for test creation. As true-or-false items are very simple, the pro-
cess is easy to automate (Aut. 1 & Self. 1).
To enhance self-regulated learning, we recorded the lecture on video as an optional
(low-cost) learning material. More importantly, over time we also created a set of 20
web based trainings (WBTs) to support diversity of learning styles. WBTs are online
learning modules that rely heavily on potentials of multimedia learning such as anima-
tions and interactive assignments. The main issue regarding WBTs is that their crea-
tion considerable time. Thus, we delegated this task to students from a follow-up
course of IBI, a Web Engineering seminar (hence the activity is in highlighted Figure
3). In this seminar, students work with the authoring software Adobe Flash to create
small multimedia applications. We asked them to create WBTs instead, as they had
already attended the IBI course. Quality of this specific peer-service was guaranteed
through tutorials that taught students the basics of multimedia learning (Self. 1), clear
188
guidelines for the production process (Peer. 1) and -most importantly- the grading of
the WBTs as the seminar exam (Peer. 2). We present details regarding this process in
(reference blinded for review).
Prioritization: The most value creating actions are lectures and tutorials, as they rep-
resent the main face-to-face contacts. The self-regulated learning tasks are also very
important, as, in our experience, students need to spend even more time on preparation
and recapitalization than they spend on actually attending lectures. Thus, we priori-
tized these parts of the new service-process for implementation.
189
13.5 Evaluation
We re-designed the lecture over eight semesters, as mentioned earlier. In winter term
(WT) 2008/2009 we added video streaming and introduced the first web based train-
ings that were expanded in later semesters. In WT 09/10 we re-designed the lecture for
more structured interaction. In WT 10/11 we added weekly multiple choice online
tests and the assignments forum. Each semester we evaluated service quality based on
learning success and satisfaction.
Learning success was measured by exam results. The exams consist of three parts:
multiple choice, open questions and modeling tasks. Overall performance as well as
performance in each part of the lecture significantly increased from WT 08/09 to ST
12, at which time results were best (Table 5). While there are outliers, especially WT
10/11, the line chart of the results reveals a clearly positive trend (Figure 4).
Term N Multiple Choice*
Open-ended * Modeling* Exam Total*
WT 08/09 144 52.36 33.47 39.37 44.57 ST 09 225 49.91 38.55 42.00 45.19 WT 09/10 167 50.30 45.42 52.15 50.02 ST 10 249 54.82 38.58 61.74 54.13 WT 10/11 245 41.77 35.61 40.83 39.88 ST 11 164 51.31 26.85 56.83 48.65 WT 11/12 156 47.93 42.50 50.93 47.93 ST 12 243 58.46 41.12 60.38 55.67
Table 5: Exam results´
190
Figure 4: Line chart and linear trend of exam results
Satisfaction was measured through an online questionnaire containing constructs rep-
resenting typical dimensions of learning satisfaction (Cohen, 1981). It was available
online for several days just before the exam. Participation was voluntary and anony-
mous. Results indicate increasing consumer satisfaction over time. Several items in-
creased significantly, e.g., satisfaction compared to other courses, structure, quality of
learning materials, instructor rating and perceived interaction (Table 6). The line chart
in Figure 5 shows the trend of the dimension “Satisfaction Overall,” revealing a clearly
positive trend.
44.57 45.19
50.02
54.13
39.88
48.65 47.93
55.67
30.00
35.00
40.00
45.00
50.00
55.00
60.00
1 2 3 4 5 6 7 8
Percentual M
ean
Score in
Exam
Semester
191
Term WT
08
ST 09 WT
09
ST 10 WT
10
ST 11 WT
11
ST 12
N (+) 106
(144)
111
(225)
72
(167)
78
(249)
128
(245)
53
(164)
83
(156)
68
(243)
Di
m α
Mean(†)
Ove
rall
0.87
Satisfaction 2.65 2.44 2.57 2.40 2.38 2.81 2.25 2.54
Compar. to other courses* 2.77 2.53 2.65 2.46 2.41 2.77 2.19 2.35
Innovativeness* 2.31 2.19 2.11 2.04 1.88 1.91 1.78 1.81
Recommendation 2.57 2.27 2.40 2.37 2.37 2.66 1.96 2.29
Str
uctu
re
0.8
Structure* 2.47 2.24 2.22 2.10 1.98 2.13 1.81 1.88
Content 2.92 2.68 2.83 2.63 2.70 3.04 2.60 2.74
Practical relevance 2.49 2.42 2.49 2.53 2.50 2.83 2.63 2.81
Learning materials* 2.36 2.33 2.13 2.08 1.98 2.02 1.80 1.87
Transparency of req. 2.62 2.68 2.89 2.58 2.43 2.85 2.63 2.79
Inst
ruct
or S
kill
0.85
Instructor overall* 2.48 2.23 2.21 2.24 2.07 2.30 1.75 2.06
Expertise 1.30 1.33 1.19 1.24 1.20 1.25 1.12 1.37
Explanations 2.19 1.90 1.90 1.87 1.80 1.83 1.59 2.00
Preparation 1.44 1.36 1.36 1.37 1.37 1.38 1.31 1.49
Answers 1.94 1.72 1.74 1.73 1.73 1.89 1.66 1.87
Inst
ruct
. Rap
port
0.82
Enthusiasm 2.84 2.56 2.51 2.45 2.16 2.47 2.11 2.91
Raising interest 2.84 2.43 2.47 2.38 2.23 2.57 2.17 2.90
Pleasance* 2.40 2.14 2.24 2.24 2.15 2.28 1.80 1.93
Attainability* 2.15 2.04 2.17 2.19 2.25 2.19 1.92 1.84
Dif
ficu
lty
0.83
Difficulty 3.20 2.90 3.39 3.03 3.23 3.47 3.22 3.19
Ratio contents/effort 3.32 3.15 3.58 3.17 3.28 3.79 3.24 3.50
Ratio contents/time 3.51 3.32 3.42 3.31 3.44 3.79 3.33 3.57
Inte
ract
ion
0.69
General interaction* 2.51 2.49 2.35 2.28 2.13 2.11 1.82 1.88
Own effort* 2.42 2.34 2.29 2.17 2.36 2.17 1.98 1.96
Own participation 2.28 2.42 2.60 2.27 2.65 2.38 2.18 2.07
Own interest 2.76 2.63 2.69 2.53 2.80 2.89 2.57 2.88
Course raising interest 3.06 2.80 2.90 2.71 2.80 2.98 2.58 2.91
(†) Mean values based on 5-point Likert scale with 1 being the best and 5 the lowest score
(+) Number of participants in questionnaire, in brackets number of students attending final exam
(*) Difference between WT 08/09 and ST 12 significant at p < 0.05 (Mann-Whitney-U test)
Table 6: Results from satisfaction questionnaire
192
Figure 5: Mean score of all items from dimension “Overall score” and linear trend
There are several limitations to this evaluation. First, evaluation started in WT 08/09
when first measures had already been implemented; thus, we cannot offer a true base-
line measurement. Next, while the trends for consumer satisfaction and learning suc-
cess are positive, negative outliers remain, as is evident in the figures. We assume that
the main reasons for these outliers are changes in the curriculum (opening the course
for more students in the fifth term, WT 10/11) as well as changes to the lecture, espe-
cially dealing with additional modeling techniques such as Business Process Modeling
Notation in the sixth term (ST 11).
Further, we cannot prove the causal relationship between applying our method and the
enhancements in learning service quality. Nevertheless, applying the method and eval-
uating the results reveal the following: First, the application shows that the design re-
quirements can easily be applied to a Service Blueprint of an educational service
process. We also show how the principles we derived guided our re-design process.
Next, we did not employ any additional staff, yet there is a clear positive trend in re-
sults over the course of eight semesters. It is not very likely that such long term results
can completely be attributed to effects such as the instructor’s learning curve and a
2.58
2.362.43
2.322.26
2.54
2.05
2.25
1.50
1.70
1.90
2.10
2.30
2.50
2.70
2.90
1 2 3 4 5 6 7 8
Mean
score of all items of dim
ension "Overall
Satisfaction"
Semester
193
refined script. Taking a look at the results, it is also noteworthy that highest gains in
consumer satisfaction were achieved in dimensions that were directly targeted in our
re-design, namely, interaction (increased by 0.63 points), structure (0.59 points) and
quality of learning materials (0.49 points). And finally, we applied additional evalua-
tion methods that support our thesis, showing that usage of WBTs is significantly cor-
related to learning success and that the additional learning materials are perceived as
an enhancement of the lecture (all references blinded for review).
To conclude, we can always assume that a skilled and experienced instructor could re-
design a learning service without the help of a domain-specific service design method.
We argue, however, that the DSB offers several benefits. It integrates precise princi-
ples from both didactics and service engineering that help in analyzing all aspects of a
learning service. It offers implications on factors most important for a satisfying learn-
ing service. It reveals principles as to what to keep in mind whenever integrating any
peer-services. And, finally, it introduces the idea of dealing in different ways with
learning activities regarding their cognitive process levels. Altogether, we assume that
these aspects should be of high value for educational service designers.
13.6 Theoretical contribution and conclusion
Despite of the limitations discussed above, this study offers several contributions to
service design theory. First, we bring together two distinct and sometimes competing
lines of research: didactics and service engineering. The DSB combines principles
from both disciplines. It transfers didactical requirements into the logic of the Service
Blueprint. It adds several new design principles to service engineering and adapts ex-
isting ones into educational services, making them easier to apply. The implementation
shows that it is indeed possible to take an analytical engineering approach to learning.
Evaluation suggests that learning service quality can be enhanced even with limited
resources.
Second, we introduce the idea of segmenting process steps regarding the involved
cognitive process level and show that this segmentation principle is useful in designing
educational services. While we use this principle for automation and self-service deci-
sions, it should also be useful for the internal delegation of tasks. Higher cognitive
process levels usually demand more experience and competences, while lower level
tasks could be delegated to supportive staff or be automated. We assume that this prin-
ciple can be transferred to other knowledge-intense services that require a strong per-
194
sonal relation and interaction, e.g., support for an office-software. The different kinds
of support could be clearly structured regarding cognitive levels. Questions such as
“Where do I find function X?” should be answered quickly and inexpensively in an
FAQ. Explaining basic functions could be part of this FAQ or a simple webpage. Ex-
plaining more complex procedures, such as specific computations in a spreadsheet,
software might be used through Video tutorials and WBTs. Finally, higher level tasks,
such as programming one’s own macros, could then be part of webinars or simply
communicated as being out of the scope of free support.
Third, we explicitly address the task for service providers to deal with consumer-
consumer interactions. Researchers have shown that customer actions need to be pre-
cisely planned, e.g., through scripts (Eichentopf, Kleinaltenkamp, and Van Stiphout,
2011). We assume that similarly, service providers need to think of cooperation scripts
and how to support peer-services. The literature discusses several factors influencing
perceived service quality, yet usually consumers influencing each other through their
interactions are not discussed (think of SERVQUAL and its followers as an example).
When considering a bar or a gym, many consumers would probably state that their
perceived service quality and experience largely depends on the other people they
meet there. Service providers need to clearly communicate rules for consumer interac-
tion, and demand compliance through physical presence of personnel, incentives and
individual responsibility.
Last but not least, we also extend didactical research by introducing a new approach
for analyzing and re-designing a given blended learning arrangement and its corre-
sponding artifacts.
We believe that it would be worthwhile for follow-up research to build upon these
contributions. A big issue for service providers is the question of how to support con-
sumer compliance, especially for services where most of value creation is within the
responsibility of the customer. In our approach, we assume that self-service activities
should always be connected to assessment activities of the service provider. As this is
very resource demanding, it has to be carefully considered. Also, there might be con-
flicting issues, as customers might not want to be observed. Additionally, the princi-
ples and guidelines developed in this paper could be expanded and developed further.
The impact and effects of the single measures are worthy of being tested and verified
195
in empirical or laboratory settings. We hope that our research will inspire others to
contribute to this complex yet interesting field of service research.
13.7 References
Anderson, L. W. and Krathwohl, D. R. 2000. A taxonomy for learning, teaching, and
assessing: A revision of Bloom's taxonomy of educational objectives, Allyn &
Bacon.
Bullinger, H.-J., Fähnrich, K.-P. and Meiren, T. (2003) 'Service engineering—
methodical development of new service products', International Journal of
Production Economics, Vol. 85, pp. 275-287.
Chickering, A. W. and Gamson, Z. F. 1991. Applying the Seven Principles for Good
Practice in Undergraduate Education, Jossey-Bass.
Cimer, A. (2007) 'Effective teaching in science: A review of literature', Journal of
Turkish Science Education, Vol. 4, pp. 20-44.
Crouch, C. and Mazur, E. (2001) 'Peer instruction: Ten years of experience and
results', American Journal of Physics, Vol. 69, pp. 970.
Cuseo, J. (2007) 'The Empirical Case against Large Class Size: Adverse Effects on the
Teaching, Learning, and Retention of First-Year Students', Journal of Faculty
Development, Vol. 21, pp. 5-21.
ECS 1995. Making Quality Count in Undergraduate Education. A Report for the ECS
Chairman's "Quality Counts" Agenda in Higher Education. ECS Distribution
Center.
Eichentopf, T., Kleinaltenkamp, M. and Van Stiphout, J. (2011) 'Modelling customer
process activities in interactive value creation', Journal of Service Management,
Vol. 22, pp. 650-663.
Eraut, M. (2004) 'Informal learning in the workplace', Studies in Continuing
Education, Vol. 26, pp. 247 - 273.
Esch, S., Leimeister, J. M. and Krcmar, H. 2010. Automatisierungsentscheidungen bei
der Gestaltung von Dienstleistungselementen hybrider Produkte. In: Leimeister,
196
J. M., Krcmar, H., Halle, M. & Möslein, K. (eds.) Hybride Wertschöpfung in
der Gesundheitsförderung: Ergebnisse des Verbundprojekts" Systematisches
Design zur Integration von Produkt und Dienstleistung in der
Gesundheitswirtschaft" (SPRINT). Lohmar: Josef EUL.
Fließ, S. and Kleinaltenkamp, M. (2004) 'Blueprinting the service company Managing
service processes efficiently', Journal of Business Research, Vol. 57, pp. 392-
404.
Gagne, R. M. (1984) 'Learning outcomes and their effects: Useful categories of human
performance', American Psychologist, Vol. 39 pp. 377-385.
Harris, K. and Baron, S. (2004) 'Consumer-to-Consumer Conversations in Service
Settings', Journal of Service Research, Vol. 6, pp. 287-303.
McKay, J. and Marshall, P. (2001) 'The dual imperatives of action research',
Information Technology & People, Vol. 14, pp. 46-59.
Menschner, P. and Leimeister, J. M. 2012. Devising a Method for Developing
Knowledge-Intense, Person-Oriented Services - Results from Early Evaluation.
45. Hawaii International Conference on System Sciences (HICSS). Maui, USA.
Meyer, A. and Mattmüller, R. (1987) 'Qualität von Dienstleistungen – Entwicklung
eines praxisorientierten Qualitätsmodells', Marketing, Zeitschrift für Forschung
und Praxis, Vol. 3, pp. 187-195.
OECD 2003. The Sources of Economic Growth in OECD Countries. Organisation for
Economic Co-Operation and Development.
Olmsted III, J. (1999) 'The mid-lecture break: When less is more', Journal of Chemical
Education, Vol. 76, pp. 525-527.
Prince, M. (2004) 'Does active learning work? A review of the research', Journal of
Engineering Education Washington, Vol. 93, pp. 223-232.
Secomb, J. (2008) 'A systematic review of peer teaching and learning in clinical
education', Journal of Clinical Nursing, Vol. 17, pp. 703-716.
197
Shostack, G. (1984) 'Designing services that deliver', Harvard business review, Vol.
62, pp. 133-139.
Susman, G. I. and Evered, R. D. (1978) 'An assessment of the scientific merits of
action research', Administrative science quarterly, Vol. 23, pp. 582-603.
Wang, C., Harris, J. and Patterson, P. G. (2012) 'Customer choice of self-service
technology: the roles of situational influences and past experience', Journal of
Service Management, Vol. 23, pp. 54-78.
Wegener, R. and Leimeister, J. M. 2012a. Peer Creation of E-Learning Materials to
Enhance Learning Success and Satisfaction in an Information Systems Course. .
20th European Conference on Information Systems (ECIS 2012). Barcelona,
Spain.
Wegener, R. and Leimeister, J. M. (2012b) 'Virtual Learning Communities: Success
Factors and Challenges', International Journal of Technology Enhanced
Learning (IJTEL) Vol. 4, pp. 383 - 397.
198
14 Theoretischer Beitrag der Dissertation
14.1 Didaktik und Service Engineering: Kombination zweier Domänen
Im Rahmen dieser Dissertation werden zwei unterschiedliche Forschungsgebiete zu-
sammengeführt, die Didaktik und das Service Engineering bzw. die Dienstleistungs-
forschung. Bislang sind wissenschaftliche Publikationen in diesem
Schnittstellenbereich noch vergleichsweise selten. Zwar wurde die Aus- und Weiter-
bildung auch von anderen Forschern bereits aus Dienstleistungssicht betrachtet
(Schlutz 2006; Gabriel/Gersch/Weber 2007). Eine umfassende Analyse und Neuge-
staltung einer kompletten Lehrveranstaltung aus Dienstleistungssicht existiert jedoch
nach Wissen des Autors bislang genauso wenig wie eine Methode, welche zugleich die
Anforderungen von Lernenden und Lehrenden berücksichtigt. Damit stellt der DSB
einen neuen Ansatz dar, um Lerndienstleistungen zu gestalten. Die Methode kombi-
niert dabei aktuelle didaktische Erkenntnisse mit der analytischen Vorgehensweise des
Service Engineering. Die Umsetzung und Evaluation der Methode zeigt, dass sich ty-
pische Prinzipien des Service Engineering tatsächlich auf den Lernbereich übertragen
lassen. Dabei kann sogar festgestellt werden, dass viele Prinzipien aktuellen didakti-
schen Überlegungen sehr nahe kommen. Die Integration des Kunden in den Dienstleis-
tungsprozess ist ein Element, welches dem didaktischen Ansatz „Lernen durch
Lehren“ und dem Peer Learning sehr ähnelt, auch wenn die Zielsetzung, eine Effizi-
enzsteigerung einerseits und gesteigerter Lernerfolg durch verstärkte Reflexion ande-
rerseits, zunächst unterschiedlich ist. Zudem zeigen die Umsetzungsbeispiele, dass
innovative Lehr-Lern-Prozesse und Effizienzbetrachtungen sich nicht ausschließen
müssen, sondern vielmehr durchaus ergänzen können. Die Übertragung von Aufgaben
des Lehrenden an die Lernenden wird von diesen mitunter positiv wahrgenommen
(Wegener/Menschner/Leimeister 2010), dient didaktischen Zielen wie zusätzlicher
Reflexion und Verantwortungsübernahme und entlastet zugleich den Lehrenden. Die
Betrachtung von Lehr-Lern-Arrangements unter Dienstleistungsgesichtspunkten rückt
zudem grundlegende Eigenschaften derselben in den Blickpunkt, die bislang von der
didaktischen Forschung größtenteils nicht betrachtet wurden. Hierzu zählt die Unter-
scheidung zwischen teilnehmerinduzierten und von den Teilnehmern komplett unab-
hängigen Aktivitäten oder das Vorgehen zur Priorisierung von einzelnen Bestandteilen
der Lerndienstleistung. Ebenfalls neu ist der Gedanke, auf Basis des Interaktionsgrades
im Blueprint Rückschlüsse darauf zu ziehen, welche Mitarbeiter des Lerndienstleisters
die jeweilige Aktivität durchführen sollten. An die Ergebnisse dieser Dissertation an-
199
knüpfend ergeben sich dementsprechend neue Möglichkeiten zur Erforschung von
Lerndienstleistungen, die zum Ende dieser Arbeit noch einmal aufgegriffen werden.
14.2 Adaption von Service Engineering Methoden auf die Lehre
Die in dieser Dissertation vorgestellte Methode des DSB basiert auf dem bereits 1984
entwickelten und viel genutzten Service Blueprint sowie der von Menschner entwi-
ckelten EPOS-Methode (Menschner et al. 2011). Beides sind vergleichsweise generi-
sche Methoden aus dem Service Engineering, die bislang noch nicht oder zumindest
nicht vorrangig für Lerndienstleistungen benutzt wurden. Die EPOS-Methode diente
hier als Rahmen, um Designziele, -anforderungen und -prinzipien für Lerndienstleis-
tungen mit dem Schwerpunkt universitärer Massenveranstaltungen abzuleiten. Dabei
wurden nicht nur bestehende Prinzipien des Service Engineering auf den Lernbereich
übertragen, sondern auch speziell für diese Domäne neue Prinzipien mit den Schwer-
punkten eLearning und Peer Learning identifiziert und umgesetzt. Zudem wurde der
Service Blueprint als Visualisierungstechnik so angepasst, dass die wichtigsten For-
men von Interaktion im Blueprint visualisiert und unterschieden werden können. Die
Ergebnisse dieser Arbeit zeigen, dass beide Methoden auf Lerndienstleistungen im
Allgemeinen und universitäre Massenveranstaltungen im Speziellen angewendet wer-
den können. Gerade vor dem Hintergrund, dass Letztere mehrere Besonderheiten ge-
genüber anderen Dienstleistungsformen aufweisen, so z.B. die fixen Ressourcen auch
bei schwankender Konsumentenzahl, ist dies ein wichtiges Ergebnis. Zugleich konnten
in der Arbeit weitere Besonderheiten von Lehre als Dienstleistung herausgearbeitet
werden. Dazu zählt die Tatsache, dass der Nutzen der Dienstleistung für den einzelnen
Lernenden häufig von den Aktivitäten seiner Kommilitonen abhängt, wie dies bspw.
bei Gruppenarbeiten der Fall ist. Daraus erwächst eine besondere Notwendigkeit, sol-
che Prozesse durch den Lehrenden zu unterstützen und einzelne Beiträge möglichst
genau zu erfassen und zu bewerten.
14.3 Methode zur Entwicklung von Blended Learning Arrangements
Aus didaktischer Sicht ist festzuhalten, dass der DSB eine neue Methode darstellt, um
IT-gestützte Lerndienstleistungen zu analysieren und neu zu gestalten. Bislang existie-
ren als Hilfestellungen zur Gestaltung des Lehr-Lern-Prozesses mehrere Modelle und
Richtlinien. Zu den Modellen gehören Vorgehensmodelle wie die DIN-Norm PAS
1032 oder Instruktionsmodelle wie ARCS (Keller 1987). Zu den Richtlinien gehören
z.B. die Principles of Good Practice (Chickering/Gamson 1991) oder Guidelines für
200
spezielle Aspekte eines Lehr-Lern-Szenarios wie die Gestaltung multimedialer Lern-
materialien (Mayer/Moreno 2003). Diese stellen ohne Frage wertvolle Hilfestellungen
für Lehrende dar. Sie können aber bspw. nicht dazu verwendet werden, eine bestehen-
de Lehrveranstaltung Schritt für Schritt zu analysieren. Auch helfen sie Lehrenden
nicht dabei, Aktivitäten zu priorisieren und betrachten üblicherweise keine unterstüt-
zenden Tätigkeiten, z.B. Prozesse zur Erstellung von Lernmaterialien. Damit werden
aber wesentliche Bestandteile der Gestaltung einer Lerndienstleistung ausgeklammert.
Aus diesem Grund stellt der DSB auch aus didaktischer Sicht einen neuen Ansatz zur
Analyse und zum (Re-)Design von Lehrveranstaltungen dar. Die Anwendung am Bei-
spiel zeigt, dass der DSB genutzt werden kann, um eine Lehrveranstaltung als Ganzes
im Hinblick auf mögliche Probleme und Verbesserungspotenziale zu analysieren. Der
DSB liefert Implikationen für die Umgestaltung bestehender bzw. Entwicklung neuer
Aktivitäten im Lehr-Lern-Prozess. Diese können genutzt werden, um neue didaktische
Methoden oder wie im vorliegenden Fall neue Lernanwendungen zu entwickeln.
14.4 Peer Creation als neue Form des Peer Learning
Mit Hilfe des DSB wurden beispielhaft mehrere typische Herausforderungen in Mas-
senveranstaltungen adressiert. Einen wichtigen Ansatz stellt dabei die Peer Creation
dar, also die Erstellung von Lernmaterialien von Lernenden selbst. Diese wiederum ist
als spezielle Form des Peer Learning zu betrachten. In der bisherigen Peer Learning
Forschung standen in der Regel die direkte Interaktion der Beteiligten im Vordergrund
sowie deren individueller Lernprozess. Ein typisches Beispiel hierfür ist das Bearbei-
ten von Aufgaben in Gruppen. Die Teilnehmenden lernen hierbei voneinander durch
Fragen, Diskussionen und Reflexion. Das hierbei entstehende Wissen ist jedoch stark
situationsgebunden und in der Regel nur für die Mitglieder der Gruppe zugänglich. In
dieser Arbeit wurde als Ergänzung zum klassischen Peer Learning die Peer Creation
vorgestellt, bei der die Entwicklung in sich geschlossener Lernmaterialien im Vorder-
grund steht. Werden diese in digitaler Form erstellt, ergibt sich der Vorteil, dass sie an
beliebig hohe Zahlen von Lernenden verteilt werden können. Dadurch kann auch eine
kleine Gruppe von „lehrenden Lernenden“ effektiv zum Lernprozess ihrer Kommilito-
nen beitragen. Zur Implementierung entsprechender Prozesse wurden im Rahmen die-
ser Dissertation die Prinzipien des Peer Learning auf den Bereich der Peer Creation
übertragen und ergänzt. Dies stellt nach Wissen des Autors einen der ersten Ansätze
dar, das Konzept des Peer Learning zu erweitern und die Erstellung von Lernmaterial
explizit als einen Bestandteil dieses Feldes zu betrachten. Die Umsetzung der entwi-
201
ckelten Peer Creation Guideline und die Evaluation der damit entwickelten Lernmate-
rialien zeigen, dass die Übertragung von Peer Learning Prinzipien auf den Bereich der
Peer Creation funktioniert und den Lehr-Lern-Prozess bereichern kann.
14.5 Integration von eLearning in Präsenzveranstaltungen
Im Rahmen der Entwicklung der mobilen Lernanwendungen zur Teilnehmeraktivie-
rung wurde auf Basis des UTAUT-Modells (Venkatesh et al. 2003) untersucht, welche
Faktoren die Nutzungsintention der Studierenden in Bezug auf Lernanwendungen be-
sonders beeinflussen (Wegener et al. 2011b). Auch wenn dieser spezielle Aspekt nicht
Kern der Dissertation war, so sind die Ergebnisse für das Verständnis und die konkrete
Umsetzung von Mobile Learning im Vorlesungssaal relevant. So konnte gezeigt wer-
den, dass sich eLearning als Bestandteil selbstgesteuerten Lernens und als Komponen-
te im Vorlesungssaal deutlich voneinander unterscheiden. Die Nutzungsabsicht hängt
im erstgenannten Fall vorwiegend von der erwarteten Effektivität der Lernanwendun-
gen ab. Im zweiten Fall dagegen sind soziale Einflüsse wie das Verhalten des Lehren-
den und von Kommilitonen wichtiger (Wegener et al. 2011b). Dies ist eine der
wenigen Studien, welche zwei unterschiedliche Einsatzszenarien von eLearning im
Rahmen ein und derselben Lerndienstleistung miteinander vergleichen. Die Ergebnisse
weisen darauf hin, dass die Nutzungsabsicht von Lernanwendungen sehr stark von der
sozialen Lernumgebung abhängt und weniger von der technischen Umsetzung. Die
Ergebnisse ergänzen damit die Forschung im Bereich eLearning in Bezug auf die Fra-
ge, was Lernende zur Nutzung von Lernanwendungen antreibt.
14.6 Implikationen für die Dienstleistungsentwicklung
Auch für die Dienstleistungsforschung weist diese Arbeit einen Beitrag auf. So handelt
es sich bei Lerndienstleistungen um Angebote, bei denen die Interaktion zwischen den
Konsumenten einen entscheidenden Einfluss auf deren Qualitätsempfinden hat. Das
Lernen in Klassen, Kleingruppen oder Tandems genauso wie Mentorenprogramme in
Unternehmen sind nur dann erfolgreich, wenn die Beteiligten in der vorgesehenen
Weise miteinander interagieren. Dieser Aspekt wird in der Dienstleistungsforschung
jedoch oftmals vernachlässigt, da der Fokus auf der Beziehung und Interaktion zwi-
schen Konsument und Anbieter liegt. Die Arbeit zeigt jedoch am Beispiel Peer Lear-
ning auf, wie auch die Interaktion zwischen den Konsumenten durch geeignete Regeln
und Unterstützung auf Anbieterseite modelliert werden kann. Diese Ansätze können
als Ausgangspunkt für entsprechende Modellierungsbestrebungen in anderen Dienst-
202
leistungsbereichen dienen, bei denen die Konsumenten ständig in Kontakt miteinander
kommen. Beispiele hierfür sind die Gastronomie, der sportliche Bereich wie Fitness-
studios oder Gruppenreisen. Zudem sind Lerndienstleistungen äußerst wissensintensi-
ve Angebote, ähnlich wie telemedizinische Dienstleistungen oder auch der Support
erklärungsintensiver Produkte wie Software. Die Segmentierung und Klassifizierung
von Aktivitäten auf Basis der Lernzielebene, also der kognitiven Prozessebene, kann
auch für diese Formen von Dienstleistungen ein sinnvolles Kriterium für Entscheidun-
gen über Automatisierung und Self-Service darstellen.
203
15 Praktischer Beitrag der Dissertation
Die praktischen Beiträge dieser Dissertation richten sich vorwiegend an Lehrende im
universitären Kontext. Viele der Beiträge lassen sich jedoch zumindest teilweise auch
auf andere Bereiche wie die schulische oder berufliche Bildung übertragen.
15.1 Anforderungen an didaktisch hochwertige Lerndienstleistungen
Die erste Forschungsfrage beschäftigt sich mit Anforderungen an hochwertige Lern-
dienstleistungen. Diese werden aus der Literatur abgeleitet und kategorisiert. Ein be-
sonderer Fokus gilt dabei den Anforderungen an virtuelle Lerngemeinschaften. Die
Identifikation der Anforderungen stellt eine Hilfe für Lehrende bei der Gestaltung der
eigenen Lerndienstleistungen dar. Der Vergleich einer geplanten oder bestehenden
Lerndienstleistung mit den definierten Anforderungen kann erste wertvolle Erkennt-
nisse über deren Qualität oder mögliche Einschränkungen liefern. In Bezug auf die
Gestaltung virtueller Lerngemeinschaften liefert die Publikation (Wegener/Leimeister
2012c) konkrete Anweisungen für Lehrende, wie sich diese verhalten sollten, wie
Übungsaufgaben gestellt werden sollten und welche Herausforderungen in der Betreu-
ung der Lernenden auf sie zukommen. Die Ergebnisse des Literatur Reviews können
Lehrenden, welche eine virtuelle Lerngemeinschaft aufbauen wollen, als Leitfaden
dienen, um die dafür notwendigen Strukturen zu schaffen.
15.2 Der DSB für Analyse und (Re-)Design von Massenveranstaltun-gen
Der DSB stellt für Lehrende eine einfach anwendbare Methode zur Analyse und zum
(Re-) Design von Lerndienstleistungen dar. Aus praktischer Sicht besonders relevant
ist die Tatsache, dass dabei explizit die knappen zeitlichen Ressourcen von Lehrenden
Berücksichtigung finden. Die Methode ist dabei insbesondere relevant für Lehrende,
welche sehr teilnehmerstarke Veranstaltungen an der Universität betreuen. Jedoch bie-
ten sich auch andere Anwendungsfelder wie Massive Open Online Courses (MOOCs)
an. Die definierten didaktischen Anforderungen sind zudem nicht nur für die universi-
täre Lehre sondern vermutlich für die meisten Formen von Lerndienstleistungen rele-
vant. Der DSB kann damit prinzipiell auch in der schulischen und beruflichen Bildung
genutzt werden, auch wenn in diesen Bereichen ggf. zusätzliche Anforderungen ent-
stehen und die Designprinzipien nicht alle genutzt werden können (der Bedarf nach
Anpassungen wird im letzten Kapitel der Dissertation erläutert). Insgesamt adressiert
204
der DSB eine zentrale Problematik, das Spannungsverhältnis zwischen didaktischer
Qualität und wirtschaftlicher Tragfähigkeit. Diesem Problem sehen sich zahlreiche
Lehrende gegenüber. Der DSB ist leicht anwendbar und ähnlich dem Service Blueprint
auch für Personen verständlich, die weniger versiert in der Anwendung von Modellie-
rungstechniken sind. Zudem ist der DSB für die Analyse und das Re-Design bestehen-
der Lehrveranstaltungen geeignet. Genauso kann ein Lehrender aber auch eine neue
Lehrveranstaltung planen, vorab mittels des DSB prüfen und umgestalten. Damit er-
öffnen sich zahlreiche Anwendungsfelder im Lernbereich.
15.3 Umsetzungsbeispiele für Massenveranstaltungen
Innerhalb der FF3 wurden mit dem DSB drei Umsetzungsbeispiele für typische Prob-
leme in Massenveranstaltungen entwickelt. Diese zielen darauf ab, die Interaktion in
Präsenzvorlesungen mit hoher Teilnehmerzahl zu steigern, zusätzliche Lernmaterialien
von den Lernenden selbst entwickeln zu lassen und ihnen Möglichkeiten zu geben, ihr
Wissen anzuwenden und zu testen. Unabhängig von der Methode des DSB können
diese Beispiele von Lehrenden aufgegriffen und für die eigene Lehre genutzt werden.
Erleichtert wird die Umsetzung dadurch, dass hierfür zusätzliche Ressourcen, insbe-
sondere auch IT-Werkzeuge, entwickelt wurden.
15.4 IT-Werkzeuge zur Umsetzung der Methode
Zur Steigerung der Interaktivität im Vorlesungssaal wurden unterschiedliche mobile
Lernanwendungen entwickelt. Hierzu zählen die Anwendungen „Co-Create Your
Exam“, „Peer Discussion“ und „Flaw Diagram“ (Wegener et al. 2011a; Wege-
ner/Prinz/Leimeister 2011). Diesen Anwendungen ist gemein, dass sie ohne großen
Aufwand in verschiedensten Lehrveranstaltungen eingesetzt werden können. Die An-
wendung Co-Create Your Exam verlangt dabei keinerlei Anpassung oder Input durch
den Lehrenden, da die Inhalte hier komplett von den Lernenden erstellt werden. Die
Peer Discussion stellt ein Werkzeug zur Umsetzung der Methode der Peer Instruction
nach (2001) dar. Da diese lediglich eine Multiple-Choice Frage als Input verlangt, ist
die Integration in verschiedene Lehrveranstaltungen ebenfalls vergleichsweise einfach.
Das Flaw Diagram repräsentiert eine Hotspot-Aufgabe. Dabei müssen eine oder meh-
rere Stellen in einer Grafik markiert werden, bspw. Modellierungsfehler in Diagram-
men. Zwei Lernende decken diese Fehler abwechselnd auf und diskutieren sie. Der
Einsatz dieses Werkzeuges verlangt vom Lehrenden die Erstellung einer entsprechen-
den Grafik und die Markierung der Fehler. Die Anwendungen repräsentieren damit
205
sehr generische Übungsaufgaben, die leicht mit Inhalten zu füllen und in vielen Kon-
texten nutzbar sind. Die Werkzeuge erlauben Lehrenden, ohne großen Aufwand die
Ergebnisse dieser Dissertation in der eigenen Lehre einzusetzen. Gegenwärtig werden
im Rahmen eines weiteren Forschungsprojektes die einzelnen Anwendungen in einer
einzigen zusammengeführt, um zusätzliche Funktionen ergänzt und sowohl in der Info
1 als auch einer weiteren Lehrveranstaltung eines anderen Fachgebietes eingesetzt
(Bitzer et al. 2012).
15.5 Guideline und IT-Werkzeug zur Peer Creation
Die im Rahmen des Peer Creation Prozesses entwickelte Guideline unterstützt Lehren-
de dabei, Peer Creation in die eigene Lehre einzubauen. Die beispielhafte Umsetzung
im Rahmen des Forschungsvorhabens kann als Vorlage für die eigene Implementie-
rung dienen. Das zugehörige IT-Tool Co-Create Your Exam erlaubt eine schnelle und
einfache Umsetzung von Peer Creation in der eigenen Lehre, ohne dabei einen neuen
Prozess entwickeln zu müssen. So können Lehrende schnell erste Erfahrungen mit
Peer Creation sammeln und anschließend eigene, komplexere Prozesse auf Basis der
Guideline konzipieren und umsetzen.
206
16 Einschränkungen
Diese Forschungsarbeit unterliegt mehreren Einschränkungen, die sich aus dem zu-
grunde liegenden Forschungsansatz der AR, den eingesetzten Evaluationsmethoden
sowie den erzielten Ergebnissen ergeben.
Typisch für die AR ist die Tatsache, dass die Beantwortung der Forschungsfragen
starken Bezug zu einer Problemsituation, konkret einer Lehrveranstaltung aufweist.
Die Evaluation des vorgestellten DSB beschränkt sich auf eine Lehrveranstaltung der
Wirtschaftsinformatik und kann damit die Tauglichkeit der Ansätze nur für diesen Fall
bestätigen. Die Übertragbarkeit in andere Bereiche müsste durch weitere Forschung
nachgewiesen werden. Da die Konzeption von Methode und Umsetzungsbeispielen
jedoch auf bestehenden wissenschaftlichen Erkenntnissen aufbaut, ist die Übertragbar-
keit vermutlich über den Einzelfall hinaus gegeben. Die Evaluation im Feld bringt zu-
dem die Einschränkung mit sich, dass zahlreiche externe Einflussfaktoren existieren,
die nicht in der Evaluation berücksichtigt werden können. Hierzu zählen Änderungen
an den Lerninhalten, den involvierten Lehrpersonen, der Studierendengruppe usw.
Diese Einflüsse können zwar, soweit bekannt, bei der Deutung der Ergebnisse berück-
sichtigt werden, ihr exakter Einfluss ist allerdings nicht messbar. Diese Problematik
wird in dieser Arbeit zumindest teilweise dadurch entschärft, dass acht Semester eva-
luiert und damit acht Probandengruppen berücksichtigt wurden. Einzelne Ausreißer
aufgrund externer Einflüsse können so eher erkannt werden und relativieren sich in
Anbetracht der Langzeitergebnisse und des Gesamttrends.
Auch aus den eingesetzten Evaluationsmethoden und -werkzeugen ergeben sich Ein-
schränkungen. Zunächst ist anzumerken, dass die Evaluation nur Output-Faktoren
misst. Input-Faktoren wie die Zeit von Lehrendem und Lernenden werden nur konzep-
tionell berücksichtigt (Lehrende) oder nicht weiter betrachtet (Lernende). Zudem wer-
den durch die Evaluation letztlich Artefakte erfasst, welche mit dem DSB entwickelt
wurden, wie konkrete Lernmaterialien oder -anwendungen. Deren Evaluation lässt nur
indirekt Rückschlüsse auf die Tauglichkeit des DSB zu. So sind etwaige Verbesserun-
gen in der Evaluation möglicherweise zwar auf neue Lernanwendungen zurückzufüh-
ren, die jedoch ohne die zugrunde liegende DSB Methode genauso gewirkt hätten.
Daneben weisen die einzelnen Evaluationsmethoden noch Einschränkungen auf, so
z.B. die Tatsache, dass der Schwierigkeitsgrad von Klausuren über die Semester un-
weigerlich schwankt. Diese Einschränkungen werden jedoch zumindest teilweise
207
durch die acht verschiedenen Probandengruppen sowie die Kombination unterschiedli-
cher Messmethoden relativiert. So weisen bspw. Selbstauskünfte, tatsächliche Nut-
zungszahlen und Lernerfolgsmessungen auf den Nutzen des von den Studierenden
erstellten Lernmaterials hin.
In Bezug auf die Ergebnisse selbst ist schließlich noch festzustellen, dass es zwischen
den einzelnen Semestern teilweise zu Verschlechterungen in der Evaluation kam. Ins-
besondere existieren in Bezug auf Teilnehmerzufriedenheit und Lernerfolg jeweils
Semester, in denen die Ergebnisse deutlich abfallen und als Ausreißer vom insgesamt
positiven Trend wirken. Zumindest teilweise lassen sich diese Entwicklungen durch
externe Faktoren begründen, sie zeigen aber auch die Schwierigkeit in der zuverlässi-
gen Evaluation von AR Projekten. Der Vergleich des ersten und letzten Semesters
zeigt letztlich dennoch, dass sich ein Großteil der Evaluationsergebnisse statistisch
signifikant verbessert hat.
208
17 Implikationen für die weitere Forschung
In dieser Dissertation wurde mit dem Didaktischen Service Blueprint eine Methode
vorgestellt, um Lerndienstleistungen, insbesondere universitäre Massenveranstaltun-
gen, zu analysieren und neu zu gestalten. Der DSB berücksichtigt didaktische Anfor-
derungen und wirtschaftliche Restriktionen, welche gerade in Massenveranstaltungen
von Bedeutung sind. Mit Hilfe des DSB wurde die Lehrveranstaltung Info 1 aus dem
Bereich Wirtschaftsinformatik analysiert und über einen Zeitraum von acht Semestern
umgestaltet. Die Evaluation von Lernerfolg und Teilnehmerzufriedenheit deutet darauf
hin, dass die getroffenen Maßnahmen die Qualität der Lehrveranstaltung nachhaltig
verbessern konnten. Zugleich zeigt die Arbeit jedoch an mehreren Stellen einen wei-
terhin hohen Forschungsbedarf auf, der in diesem Kapitel dargestellt wird.
17.1 Weitere Ausarbeitung des DSB und seiner Umsetzung
In den Einschränkungen der Dissertation wurde bereits angemerkt, dass die Entwick-
lung des DSB anhand einer einzelnen Lehrveranstaltung durchgeführt wurde. Hieraus
ergibt sich die Schlussfolgerung, zunächst zu prüfen, inwiefern der DSB tatsächlich
auch in anderen Bereichen anwendbar ist. Hierzu zählen zunächst andere universitäre
Lehrveranstaltungen und in einem zweiten Schritt weitere Lerndienstleistungen, be-
sonders im beruflichen Kontext. In diesem Zusammenhang sind Anpassungen des
DSB denkbar und ggf. notwendig. In der beruflichen Aus- und Weiterbildung sind
bspw. Opportunitätskosten für den Arbeitsausfall der Lernenden ein wichtiger Aspekt,
der die Möglichkeiten aufwendigen Peer Learnings möglicherweise einschränkt. Ge-
nerell ist in diesem Fall die Kostensicht des Lernenden stärker zu berücksichtigen, da
auch Anfahrtswege einen zusätzlichen Kostentreiber darstellen.
Auch beinhaltet der DSB bislang keinerlei Berücksichtigung des Themas bzw. der Art
der Inhalte mit Ausnahme der Lernzielebene. Es ist jedoch sehr wahrscheinlich, dass
der konkrete Lerninhalt ebenfalls starken Einfluss auf die Auswahl geeigneter Peer
Learning oder eLearning Aktivitäten hat. So lässt sich mutmaßen, dass sozialwissen-
schaftliche Themen generell besser für Peer Learning in Form von offenen Diskussio-
nen geeignet sind, als mathematisch-abstrakte Inhalte. Diese wiederum sind
möglicherweise leichter mittels eLearning umzusetzen, da hier abstrakte Daten besser
visualisiert und mit realen Beispielen unterlegt werden können und eher „richtige“
oder „falsche“ Lösungen existieren, die eine Lernanwendung automatisiert überprüfen
kann. Einige Lerninhalte sind zudem ggf. schlicht nicht durch eLearning umsetzbar, da
209
diese bestimmte Hilfsmittel wie Maschinen o.ä. verlangen. Eine entsprechende Analy-
se und ggf. Erweiterung der Designprinzipien des DSB wäre daher sinnvoll.
Zudem wurden auf Basis des DSB bislang lediglich drei Umsetzungsbeispiele für
Massenveranstaltungen vorgestellt. Zukünftige Forschungsvorhaben sollten hier anset-
zen und auf Basis des DSB weitere Ansätze zur Verbesserung der universitären Lehre
entwickeln. Beispiele hierfür sind strukturierte Workflows für Peer Assessments und
Peer Reviews oder neue Formen der Lernerfolgsmessung für hohe Teilnehmerzahlen.
17.2 Peer Learning Prozesse als effektive Workflows
Analog zu anderen wissenschaftlichen Publikationen wurde in dieser Dissertation fest-
gestellt, dass Peer Learning aus didaktischer Sicht ein enormes Potenzial birgt und da-
bei gleichzeitig vergleichsweise effizient für den Lehrenden ist. Bereits einfache
Prozesse der Peer Creation konnten dazu genutzt werden, hilfreiche und von den Stu-
dierenden wertgeschätzte Lernmaterialien zu erstellen. Zugleich zeigte sich aber auch,
dass mit steigender Komplexität der Lernziele auch die Anforderungen an den Leh-
renden steigen im Hinblick auf die Strukturierung, Unterstützung und Beobachtung
der Lern- und Arbeitsprozesse der Studierenden. Der daraus resultierende Aufwand
wiederum ist vermutlich ein Grund, warum das tatsächliche Potenzial des Peer Lear-
ning in der Breite noch nicht ausreichend ausgeschöpft wird.
Zukünftige Forscher sollten hier ansetzen und strukturierte Prozesse des Peer Learning
entwickeln, welche auch komplexe Aufgaben und Lernziele unterstützen und dabei
möglichst effizient vom Lehrenden betreut werden können. Ansätze hierzu existieren
bereits in verschiedenen Formen. Dazu gehören gemeinsame „Verträge“ zwischen den
Beteiligten über Voraussetzungen und Engagement in einer Lerngemeinschaft oder
Lerngruppe (Hübscher-Younger/Narayanan 2003; Yeh 2010) oder Rollenkonzepte,
welche Aufgaben und Verantwortlichkeiten klar verteilen (Strijbos et al. 2007; De
Wever et al. 2009). Um die Zusammenarbeit zwischen Lernenden möglichst effektiv
zu gestalten, wurden zudem von verschiedenen Forschern Kollaborationsskripte einge-
setzt, welche Rollen, Aufgaben und Aktivitäten festlegen (Kobbe et al. 2007). Solche
Kollaborationsskripte finden sich auch bereits in verschiedenen IT-Werkzeugen
(Luxton-Reilly 2009). Sie haben sich jedoch in der universitären Praxis dennoch bis-
lang nicht durchgesetzt, u.a. weil ein nachweisbarer positiver Effekt in Bezug auf das
domänenspezifische Wissen teilweise ausbleibt (Weinberger/Fischer/Stegmann 2005).
210
In Anbetracht der stetigen Weiterentwicklung der zur Verfügung stehenden Technolo-
gien sollten zukünftige Forschungsvorhaben hier ansetzen und möglichst domänenun-
abhängige Skripte entwickeln, welche den Lehrenden entlasten und durch geeignete
IT-Werkzeuge unterstützt werden. Zu dieser Werkzeugunterstützung sollte gehören,
dass die entsprechenden Prozesse ähnlich organisiert ablaufen wie Workflows. So soll-
te bspw. das LMS die Aufgaben übernehmen, Lerngruppen zu bilden, Dokumente an
den jeweiligen Bearbeiter weiterzuleiten, Rollen anzupassen (z.B. wechselnde Mode-
ratoren in Gruppen), den Lehrenden im Falle von Problemen zu informieren und ihm
in diesem Falle zu helfen, das Problem zu lösen. Liefert bspw. ein Lernender im Rah-
men einer Gruppenarbeit seinen Teil der Aufgabenlösung nicht ab, könnte das System
automatisch vorschlagen, die entsprechende Lösung aus einer anderen Gruppe weiter-
zuleiten. Idealerweise würde ein solches System zudem erlauben, dass Lehrende ihre
eigenen Skripte bzw. Workflows zusammenstellen können. Im Rahmen der Erfor-
schung von Web 2.0 Anwendungen wurde in den letzten Jahren viel Wissen darüber
gewonnen, welche Motive Individuen antreiben, sich an kollaborativen Lern- und Ar-
beitsprozessen zu beteiligen und wie diese gezielt verstärkt werden können. Damit
bieten sich möglicherweise auch neue Ansätze für die Weiterentwicklung von Kolla-
borationsskripten und deren technische Unterstützung.
17.3 Kollaborationsskripte für virtuelle Lerngemeinschaften
Virtuelle Lerngemeinschaften, also Online-Plattformen zum Austausch von Wissen
und für das gemeinsame Bearbeiten von Aufgaben, haben in den letzten Jahren stark
an Bedeutung in informellen Lernkontexten gewonnen. Beispielhaft hierfür stehen
Softwareforen, in denen Programmierer sich über konkrete Lösungen zu Problemen
der Softwareentwicklung austauschen. Auch in formalen Lernkontexten wie universi-
tären Lehrveranstaltungen werden häufig Wikis oder Foren eingesetzt. Die Ergebnisse
der Anforderungserhebung in FF1 (Wegener/Leimeister 2012c) zeigen jedoch deut-
lich, dass typische Web 2.0 Prinzipien in der Lehre nur bedingt greifen. Die intrinsi-
sche Motivation zur Beteiligung ist für gewöhnlich geringer, die Zahl der Mitglieder
ebenso. Zugleich muss der Lehrende die Verantwortung dafür übernehmen, dass alle
Lernenden möglichst viele der vorgegebenen Lernziele erreichen. Aus diesem Grund
sind virtuelle Lerngemeinschaften mit einem hohen Maß an Strukturierung, konkreten
Aufgaben und einer Überprüfung der individuellen Beteiligung didaktisch gesehen
meistens effektiver als unstrukturierte Angebote. All dies beansprucht jedoch wiede-
rum die Ressourcen des Lehrenden in hohem Maße.
211
Vor diesem Hintergrund stellt sich die dringende Frage, inwieweit Rollenkonzepte,
Skripte und Anreizmaßnahmen dazu geeignet sind, eine effektive Zusammenarbeit in
virtuellen Lerngemeinschaften zu orchestrieren. Die Kombination entsprechender
Elemente könnte einen didaktischen Rahmen vorgeben, der den Dozenten deutlich
entlastet und zumindest teilweise überflüssig macht. So ist es auch in einer offenen
Gemeinschaft denkbar, dass es wechselnde Moderatorenrollen gibt oder Skripte vor-
geben, dass zu bestimmten Zeiten bestimmte Formen von Posts nötig sind wie Fragen,
Antworten, Bereitstellung von Materialien etc. So könnten Lernende zu bestimmten
Zeiten die Aufgabe bekommen, ihre dringendste inhaltliche Frage ins Forum zu stel-
len. Andere Lernende bekommen danach die Aufgabe zugewiesen, bestimmte Fragen
zu elaborieren und bspw. zu konkretisieren. Wiederum andere Lernende müssten dann
gemeinsam auf diese Fragen antworten oder die Ergebnisse des Posts zusammenfas-
sen. Der Fragesteller wiederum muss die Antworten nach ihrer Güte bewerten oder
sortieren. Denkbar sind zusätzlich Bewertungen der Gruppenmitglieder untereinander,
ein wechselnder Status abhängig von Anzahl und Qualität von Posts oder regelmäßige
Auszeichnungen der aktivsten Lernenden.
Dabei wäre interessant zu erforschen, wie bestimmte Maßnahmen sich auf Qualität
und Quantität von Postings auswirken, wie sich der Lernerfolg einer so strukturierten
virtuellen Lerngemeinschaft im Vergleich zu anderen Lehr-Lern-Arrangements entwi-
ckelt oder wie stark die genannten Maßnahmen den Lehrenden tatsächlich entlasten
helfen.
17.4 Entwicklung eines „Mass Lecture-Referenzmodells“
Obwohl in dem vorgestellten AR Projekt bereits mehrere Beispiele zur Umsetzung des
DSB dargestellt wurden, stellt die bisherige Implementierung lediglich einen ersten
Schritt dar. Eine konsequente Anwendung des DSB würde bedeuten, die Vermittlung
grundlegender Begriffe und Konzepte aus der Präsenzvorlesung zu entfernen und in
eLearning Einheiten auszulagern. Hierzu könnten die bereits existierenden Videoauf-
zeichnungen dienen, effektiver wäre aus didaktischer Sicht jedoch eine neue Aufberei-
tung in Form von deutlich komprimierten Videos oder WBTs. Zu diesen könnten
Aufgaben gestellt werden, die dann innerhalb der Präsenzvorlesungen besprochen
werden. Um zusätzliche Aktivitäten zu ermöglichen, wäre es sogar denkbar, die Tuto-
ren zur Unterstützung von Gruppenarbeiten in der Vorlesung einzusetzen. Auch feste
Gruppenzuteilungen und strukturierte online Zusammenarbeit sind naheliegende Be-
standteile eines solchen Konzeptes. Dies komplett zu planen und auszuarbeiten hieße
212
letztlich, auf Basis des DSB ein Referenzmodell für die Gestaltung universitärer Mas-
senveranstaltungen zu entwickeln, umzusetzen und zu evaluieren.
17.5 Anwendung des DSB auf MOOCs
Wird der DSB auf einen MOOC angewendet, so zeigen sich mehrere Unterschiede im
Vergleich zu einer traditionellen Lehrveranstaltung. Der so wichtige persönliche Kon-
takt zwischen Lehrenden und Lernenden entfällt. Die vergleichsweise effizienten Prä-
senztreffen, im vorliegenden Beispiel zentraler Bestandteil der Lerndienstleistung,
entfallen ebenso. Ohne Vorlesungs- und Tutoriumstermine wird auch das Scaffolding,
das Schaffen eines unterstützenden Rahmens für die Lernenden, erschwert. Alternative
sind Übungen, die online durchgeführt und diskutiert werden, wobei eine individuelle
Kontrolle aufgrund der hohen Teilnehmerzahlen nicht möglich ist. Damit entsteht hier
ein besonders hoher Bedarf nach den bereits genannten Maßnahmen zur Steuerung
einer Lerngemeinschaft. Analog zum vorangehenden Abschnitt könnte ein Referenz-
modell zur Gestaltung von MOOCs entwickelt werden. Der DSB kann dabei als Vi-
sualisierungshilfe dienen und vor allen Dingen den Entwickler des Modells mit seinen
Designanforderungen und Designprinzipien in der Modellierung des entsprechenden
Angebotes unterstützen.
17.6 Analyse und Aufbereitung von Lernendendaten
Nicht nur in Bezug auf Kollaborationsprozesse oder Workflows muss das Manage-
ment einer großen Anzahl Lernender erleichtert werden. Generell mangelt es an Aus-
wertungsmöglichkeiten für Lehrende, welche ihnen Informationen über die Lernenden
in einer solchen Form liefern, dass daraus leicht Handlungsempfehlungen abgeleitet
werden können. Dies ist einerseits ein Problem seitens der Werkzeuge, da gängige
Open Source LMS bislang wenige Funktionen in dieser Hinsicht aufweisen. SCORM-
kompatible Lernumgebungen geben für gewöhnlich Einblicke, wie Lernende bei be-
stimmten Tests abgeschnitten haben oder welche Lernmaterialien sie bislang schon
abgerufen haben. Diese Orientierung an einzelnen Lernmaterialien ist jedoch für Leh-
rende wenig aussagekräftig. Sinnvoller wäre es, wenn der Leistungsstand in Bezug auf
einzelne Lernziele dargestellt würde. So könnten Lehrende sehen, welche Lernziele
generell noch wenig verstanden wurden und z.B. zusätzliche Übungsmaterialien dafür
bereitstellen. Diese Angaben sollten mit weiteren Informationen aus den sozialen Me-
dien wie Foren und Wikis kombiniert werden können. So ist es für Lehrende oftmals
schwierig, schnell festzustellen, wer in den vergangenen Tagen oder Wochen keinen
213
neuen Post im Forum hinterlassen hat oder in einem bestimmten Forenbereich noch
gar nicht aktiv war. Auch werden Lehrende in der Regel vom LMS nicht darin unter-
stützt, besonders hochwertige Beiträge von Lernenden zu identifizieren und mögli-
cherweise auszuzeichnen. Entsprechende Funktionen zur Identifikation und
Kategorisierung der Lernenden würden Lehrende jedoch direkt in ihrem didaktischen
Handeln unterstützen. So könnten leicht aufmunternde Nachrichten verschickt werden
an Lernende, welche zuletzt weniger aktiv waren oder lobende Nachrichten an beson-
ders engagierte Personen. Die Daten könnten darüber hinaus genutzt werden, um au-
tomatisiert Lernteams zu bilden, die inhaltlich möglichst ausgewogen sind.
Aus Forschungssicht ergeben sich hier jedoch viele Fragen. Dies beginnt mit einer zu-
verlässigen automatisierten Lernerfolgskontrolle auch für komplexere Lernziele, der
Frage nach der Zuverlässigkeit von Peer Assessments oder anderen Peer Ratings, nach
weiteren sinnvollen Datenquellen und wie diese letztlich zu aussagekräftigen Informa-
tionen aggregiert werden können, die zu konkreten Handlungsempfehlungen für Leh-
rende führen. Neben dem praktischen Entwicklungsaufwand setzen entsprechende
Werkzeuge daher zunächst ein tief greifendes Verständnis von Lernerfolg und seinen
Determinanten voraus. Dies ist auch deswegen eine Herausforderung, weil viele Akti-
vitäten, die einen Hinweis auf den Lernerfolg oder das Engagement des Einzelnen ge-
ben könnten, möglicherweise außerhalb der Lernplattform stattfinden. Hier müssten
also zusätzliche Datenquellen wie Befragungen genutzt werden. Deren Aggregation zu
sinnvollen Informationen stellt jedoch ein großes Forschungsfeld dar, weil bislang
Lernerfolgsmessung vorwiegend auf einzelnen Testverfahren bzw. Erhebungen zu be-
stimmten Zeitpunkten beruht. Weiterhin müssten rechtliche Fragestellungen geprüft
werden, u.a. inwiefern automatisiert erhobene Daten für die Benotung von Lernenden
verwendet werden können.
Der DSB kann bei dieser Forschungsfrage dazu eingesetzt werden, eine Lerndienst-
leistung zu segmentieren und anschließend ihre einzelnen Bestandteile auf Potenziale
zur Erfassung lernzielspezifischer Daten hin zu untersuchen. So ist denkbar, dass ab-
hängig von der Verortung einer Aktivität im Blueprint unterschiedliche Formen von
Daten anfallen. Peer Learning Aktivitäten bspw. produzieren vermutlich Daten durch
die nötigen Kommunikationsprozesse. Diese wiederum können in Foren oder Wikis
zur Analyse festgehalten werden. Selbstlernaktivitäten produzieren Log-Daten, sofern
sie mit elektronischen Lernmaterialien durchgeführt werden. Für andere Formen von
Lernmaterialien wiederum müssten Daten gesondert erhoben werden, bspw. durch er-
214
gänzende Online-Tests. Der DSB könnte also helfen, potenzielle Datenquellen zu
identifizieren oder im Sinne neuer Lernanwendungen auch zu kreieren.
17.7 Lehrevaluation aus Dienstleistungssicht
Im Zusammenhang mit dem Einsatz des DSB fiel im Verlauf der acht Semester auf,
wie schwierig es ist, ein und dieselbe Lerndienstleistung langfristig sinnvoll zu evalu-
ieren. Klassische Evaluationsmaßnahmen in der Hochschule setzen, wie in dieser Dis-
sertation auch geschehen, bei den Aspekten Teilnehmerzufriedenheit und Lernerfolg
an. Problematisch daran ist jedoch, dass diese Aspekte, wenn sie lediglich als Mittel-
werte zum Semesterende erhoben werden, ggf. falsche Eindrücke erwecken können.
Im vorliegenden Fall schwankte die Teilnehmerzahl zwischen rund 150 und 250 Stu-
dierenden. Allein dies kann starken Einfluss auf die Bewertung durch die Studierenden
haben, da Vorlesungen und Tutorien voller und Sprechzeiten knapper werden. In die-
sem Fall kann die Evaluation schnell zu schlechteren Ergebnissen führen, obwohl der
Lehrende seine Dienstleistung auf demselben Niveau wie im Vorsemester erbracht hat.
Werden in einem Semester die Lernmaterialien in hohem Maße überarbeitet, stellt dies
zudem eine Leistung dar, welche nur einen geringen unmittelbaren Einfluss auf die
Evaluation hat, jedoch die Leistungsbereitschaft des Lehrenden in den darauf folgen-
den Semestern deutlich erhöht. Um dieses Problem zu lösen, ist ein anderes Verständ-
nis der Evaluation nötig, das die Produktivität der Lerndienstleistung als Ganzes
erfasst. Dazu müssten zunächst Produktivitätsfaktoren von Lerndienstleistungen ermit-
telt und zusammengeführt werden. Neben den bereits bekannten Faktoren Zufrieden-
heit und Lernerfolg könnten hierzu auch die Anzahl der Lernenden, Menge neu
entwickelter Lernmaterialien, Anteil zufriedener Lernender, Anzahl beteiligter Lehr-
personen, deren Zeitaufwand etc. gehören. Die Bestimmung des Produktivitätsbegriffs
für Dienstleistungen ist jedoch ein vergleichsweise junges und damit noch relativ we-
nig beforschtes Feld, dasselbe gilt entsprechend für Lerndienstleistungen.
215
Literaturverzeichnis
Anderson, L.W.; Krathwohl, D.R. (2000): A taxonomy for learning, teaching, and
assessing: A revision of Bloom's taxonomy of educational objectives. Allyn &
Bacon 2000.
Bates, A. (2005): Technology, e-learning and distance education. Routledge, London,
New York 2005.
Bitzer, P.; Lehmann, K.; Hirdes, E.; Thillainathan, N. (2012): Managing the
Masses - Developing an Educational Dashboard for Lecturers in Large-Scale
Lectures. Proceedings of the 20th European Conference on Information
Systems (ECIS). Barcelona, Spain.
Bitzer, P.; Wegener, R.; Leimeister, J.M. (2010): Entwicklung eines
Produktivitätsmodells zur Systematisierung von Lerndienstleistungen. 40.
Jahrestagung der Gesellschaft für Informatik 2010. Leipzig, Germany.
Bloom, B.S. (1956): Taxonomy of educational objectives. Handbook I: Cognitive
domain. In: New York: David McKay, Vol. 19 (1956), S. 56.
Bodner, G.M. (1986): Constructivism - A Theory of Knowledge. In: Journal of
Chemical Education, Vol. 63 (1986) Nr. 10, S. 873-878.
Chickering, A.W.; Gamson, Z.F. (1991): Applying the Seven Principles for Good
Practice in Undergraduate Education. Jossey-Bass 1991.
Crouch, C.; Mazur, E. (2001): Peer instruction: Ten years of experience and results.
In: American Journal of Physics, Vol. 69 (2001) Nr. 9, S. 970.
Damon, W. (1984): Peer education: The untapped potential. In: Journal of Applied
Developmental Psychology, Vol. 5 (1984) Nr. 4, S. 331-343.
De Wever, B.; Van Keer, H.; Schellens, T.; Valcke, M. (2009): Structuring
asynchronous discussion groups: Comparing scripting by assigning roles with
regulation by cross-age peer tutors. In: Learning and Instruction, Vol. 20 (2009)
Nr. 5, S. 349-360.
216
Eraut, M. (2004): Informal learning in the workplace. In: Studies in Continuing
Education, Vol. 26 (2004) Nr. 2, S. 247 - 273.
Esch, S.; Leimeister, J.M.; Krcmar, H. (2010): Automatisierungsentscheidungen bei
der Gestaltung von Dienstleistungselementen hybrider Produkte. In: Hybride
Wertschöpfung in der Gesundheitsförderung: Ergebnisse des Verbundprojekts"
Systematisches Design zur Integration von Produkt und Dienstleistung in der
Gesundheitswirtschaft" (SPRINT). Hrsg.: Leimeister, J.M.; Krcmar, H.; Halle,
M.; Möslein, K. Josef EUL, Lohmar 2010, S. 61-80.
Gabriel, R.; Gersch, M.; Weber, P. (2007): Mass Customization und
Serviceplattformstrategien im Blended Learning Engineering–konzeptionelle
Grundlagen und evaluationsgestützte Erfahrungen. In: Internationale Tagung
Wirtschaftsinformatik (Vol. 8), Hrsg.: Oberweis, A.; Weinhardt, C.; Gimpel,
H.; Koschmider, A.; Pankratius, V.; Schnizler, B., Karlsruhe 2007, S. 3–19.
Gagne, R.M. (1984): Learning outcomes and their effects: Useful categories of human
performance. In: American Psychologist, Vol. 39 (1984) Nr. 4, S. 377-385.
Grzega, J.; Schöner, M. (2008): The didactic model LdL (Lernen durch Lehren) as a
way of preparing students for communication in a knowledge society. In:
Journal of Education for Teaching, Vol. 34 (2008) Nr. 3, S. 167 - 175.
Hall, T.; Stegila, A. (2003): Peer mediated instruction and intervention. In:
http://aim.cast.org/learn/historyarchive/backgroundpapers/peer-
mediated_instruction, zugegriffen am 21.03.2013.
Hipp, C.; Gotsch, M.; Schwarz, C.; Weber, L. (2011): Identification of determinants
and development of a model of productivity in the services sector. RESER.
Hamburg, Germany.
Hübscher-Younger, T.; Narayanan, N.H. (2003): Authority and convergence in
collaborative learning. In: Computers & Education, Vol. 41 (2003) Nr. 4, S.
313-334.
Keller, J. (1987): Development and use of the ARCS model of instructional design.
In: Journal of Instructional Development, Vol. 10 (1987) Nr. 3, S. 2-10.
217
Kobbe, L.; Weinberger, A.; Dillenbourg, P.; Harrer, A.; Hämäläinen, R.;
Häkkinen, P.; Fischer, F. (2007): Specifying computer-supported
collaboration scripts. In: International Journal of Computer-Supported
Collaborative Learning, Vol. 2 (2007) Nr. 2-3, S. 211-224.
Kop, R. (2011): The challenges to connectivist learning on open online networks:
Learning experiences during a massive open online course. In: The
International Review of Research in Open and Distance Learning, Special
Issue-Connectivism: Design and Delivery of Social Networked Learning, Vol.
12 (2011) Nr. 3, S. 18-38.
Levin, H.M.; Glass, G.V.; Meister, G.R. (1987): Cost-effectiveness of computer-
assisted instruction. In: Evaluation Review, Vol. 11 (1987) Nr. 1, S. 50-72.
Luxton-Reilly, A. (2009): A Systematic Review of Tools that Support Peer
Assessment. In: Computer Science Education, Vol. 19 (2009) Nr. 4, S. 209-232.
Mayer, R.; Moreno, R. (2002): Animation as an Aid to Multimedia Learning. In:
Educational Psychology Review, Vol. 14 (2002) Nr. 1, S. 87-99.
Mayer, R.E.; Moreno, R. (2003): Nine Ways to Reduce Cognitive Load in
Multimedia Learning. In: Educational Psychologist, Vol. 38 (2003) Nr. 1, S.
43-52.
McKay, J.; Marshall, P. (2001): The dual imperatives of action research. In:
Information Technology & People, Vol. 14 (2001) Nr. 1, S. 46-59.
Menschner, P.; Leimeister, J.M. (2012): Devising a Method for Developing
Knowledge-Intense, Person-Oriented Services - Results from Early Evaluation.,
45. Hawaii International Conference on System Sciences (HICSS). Maui, USA.
Menschner, P.; Prinz, A.; Koene, P.; Köbler, F.; Altmann, M.; Krcmar, H.;
Leimeister, J.M. (2011): Reaching into patients‘ homes - participatory
designed AAL services. In: Electronic Markets, Vol. 21 (2011) Nr. 1, S. 63-76.
Meyer, A.; Mattmüller, R. (1987): Qualität von Dienstleistungen – Entwicklung
eines praxisorientierten Qualitätsmodells. In: Marketing, Zeitschrift für
Forschung und Praxis, Vol. 3 (1987), S. 187-195.
218
Olmsted III, J. (1999): The mid-lecture break: When less is more. In: Journal of
Chemical Education, Vol. 76 (1999) Nr. 4, S. 525-527.
Schlutz, E. (2006): Bildungsdienstleistungen und Angebotsentwicklung. 4. Bd.,
Waxmann Verlag 2006.
Shostack, G. (1984): Designing services that deliver. In: Harvard business review,
Vol. 62 (1984) Nr. 1, S. 133-139.
Strijbos, J.-W.; Martens, R.L.; Jochems, W.M.G.; Broers, N.J. (2007): The effect
of functional roles on perceived group efficiency during computer-supported
collaborative learning: a matter of triangulation. In: Computers in Human
Behavior, Vol. 23 (2007) Nr. 1, S. 353-380.
Susman, G.I.; Evered, R.D. (1978): An assessment of the scientific merits of action
research. In: Administrative science quarterly, Vol. 23 (1978) Nr. 4, S. 582-603.
Topping, K. (1998): Peer assessment between students in colleges and universities. In:
Review of Educational Research, Vol. 68 (1998) Nr. 3, S. 249-276.
Topping, K.J. (2005): Trends in peer learning. In: Educational Psychology, Vol. 25
(2005) Nr. 6, S. 631-645.
Topping, K.J. (1996): The effectiveness of peer tutoring in further and higher
education: A typology and review of the literature. In: Higher Education, Vol.
32 (1996) Nr. 3, S. 321-345.
Twigg, C.A. (2003): Models for online learning. In: EDUCAUSE review, (2003), S.
28-38.
Twigg, C.A. (1999): Improving Learning and Reducing Costs: Redesigning Large-
Enrollment Courses 1999.
Venkatesh, V.; Morris, M.G.; Davis, G.B.; Davis, F.D. (2003): User acceptance of
information technology: Toward a unified view. In: MIS Quarterly, Vol. 27
(2003) Nr. 3, S. 425-478.
Vygotsky, L. (1988): The genesis of higher mental functions. In: Cognitive
development to adolescence: A reader, (1988), S. 61–79.
219
Webb, N.M. (2010): Peer Learning in the Classroom. In: International Encyclopedia
of Education Hrsg.: Penelope, P.; Eva, B.; Barry, M. Elsevier, Oxford 2010, S.
636-642.
Webster, J.; Watson, R. (2002): Analyzing the Past to Prepare for the Future:
Writing a Literature Review. In: MIS Quarterly, Vol. 26 (2002) Nr. 2.
Wegener, R.; Leimeister, J.M. (2012a): Do Student-Instructor Co-Created eLearning
Materials Lead To Better Learning Outcomes? Empirical Results from a
German Large Scale Course Pilot Study. 45. Hawaii International Conference
on System Sciences (HICSS). Hawaii, USA.
Wegener, R.; Leimeister, J.M. (2012b): Peer Creation of E-Learning Materials to
Enhance Learning Success and Satisfaction in an Information Systems Course. .
20th European Conference on Information Systems (ECIS 2012). Barcelona,
Spain.
Wegener, R.; Leimeister, J.M. (2012c): Virtual Learning Communities: Success
Factors and Challenges. In: International Journal of Technology Enhanced
Learning (IJTEL) Vol. 4 (2012c) Nr. 5/6, S. 383 - 397.
Wegener, R.; Menschner, P.; Leimeister, J.M. (2013): Engineering Learning
Services with the Didactical Service Blueprint (2013). Under Review.
Wegener, R.; Menschner, P.; Leimeister, J.M. (2012): Design and evaluation of a
didactical service blueprinting method for large scale lectures. Proceedings of
the International Conference on Information Systems (ICIS) (Accepted for
Publication). Orlando Florida, USA.
Wegener, R.; Menschner, P.; Leimeister, J.M. (2010): Analyse und Optimierung
von Lehrdienstleistungen mittels Service Blueprinting - Konzeption und erste
empirische Befunde. Multikonferenz Wirtschaftsinformatik (MKWI) (S. 383-
395). Göttingen.
Wegener, R.; Prinz, A.; Bitzer, P.; Leimeister, J.M. (2011a): Steigerung von
Interaktivität, Individualität und Lernerzufriedenheit in einer universitären
Massenveranstaltung durch mobile Endgeräte. DeLFI. Dresden.
220
Wegener, R.; Prinz, A.; Leimeister, J.M. (2011): Entwicklung innovativer, mobiler
Lernanwendungen für den Einsatz in Massenveranstaltungen. 6. Konferenz
Mobile und Ubiquitäre Informationssysteme. Kaiserslautern.
Wegener, R.; Söllner, M.; Voss, A.; Leimeister, J.M. (2011b): Einflussgrößen auf
die Nutzungsabsicht von Mobile Learning in unterschiedlichen
Einsatzszenarien – eine empirische Studie. DeLFI 2011 Workshop Mobile
Learning. Dresden.
Weinberger, A.; Fischer, F.; Stegmann, K. (2005): Computer-supported
collaborative learning in higher education: Scripts for argumentative knowledge
construction in distributed groups. In: Proceedings of th 2005 conference on
Computer support for collaborative learning: learning 2005: the next 10 years!
Hrsg. International Society of the Learning Sciences, 2005, S. 717-726.
Yeh, Y.-c. (2010): Integrating collaborative PBL with blended learning to explore
preservice teachers' development of online learning communities. In: Teaching
and Teacher Education, Vol. In Press, Corrected Proof (2010).
221
Vollständige Publikationsliste
Zur Begutachtung eingereicht:
Wegener, R.; Menschner, P.; Leimeister, J.M. (2013): Engineering Learning Ser-
vices with the Didactical Service Blueprint.
Begutachtet und zur Veröffentlichung vorgesehen:
Wegener, R. & Leimeister, J.M. (2014): Factors Influencing Virtual Learning Com-
munity Success. In: Leimeister, J.M. & Rajagopalan, B. (Hrsg.): Virtual Communities.
M.E Sharpe, New York.
Oeste, S.; Wegener, R. & Leimeister, J. M. (2014): Herausforderungen und Best
Practices der E-Learning Einführung im Unternehmen. In: Multikonferenz Wirtschaft-
sinformatik (MKWI), Paderborn, Germany.
Veröffentlicht
Wegener, R.; Prinz, A.; Leimeister, J.M. (2013): Mobiles Lernen mit Tablet PCs in
universitären Massenveranstaltungen – Eine empirische Untersuchung von Einfluss-
faktoren auf Nutzungsintention und Lernendenzufriedenheit. In: Sieber, A.; & de Witt,
C. (Hrsg.): Sammelband Mobile Learning – Potentiale, Einsatzszenarien und Perspek-
tiven des Lernens mit mobile Endgeräten. VS, Springer, Wiesbaden.
Wegener, R. (2013): Ergebnisse des Didaktischen Service Blueprint. In: Leimeister,
J.M. (Hrsg.): Working Paper Series, Nr. 3, Kassel, Germany.
Heußner, M.; Ackermann, L.; Widy, O.; Schmidt, L.; Pippert, M.; Bienhaus, D.;
Durward, D.; Prinz, A.; Wegener, R. & Leimeister, J. (2013): AAL-Weiterbildung
für Pflege und Handwerk: erste Ergebnisse einer Anforderungsanalyse. In: 6. Deut-
scher AAL-Kongress 2013 - Themenschwerpunkt: AAL in der gesundheitlichen Ver-
sorgungskette: Zuhause – Unterwegs – im Krankenhaus – in der Reha – in der Pflege –
im Hospiz , Berlin, Germany.
Stein, K.; Wegener, R. & Schlieder, C. (2013): Pixel-Oriented Network Visualiza-
tion: Static Visualization of Change in Social Networks. In: Özyer, T.; Rokne, J.;
Wagner, G. & Reuser, A. (Hrsg.): The Influence of Technology on Social Network
Analysis and Mining.
222
Wegener, R.; Leimeister, J.M. (2012): Virtual Learning Communities: Success Fac-
tors and Challenges. In: International Journal of Technology Enhanced Learning
(IJTEL) Vol. 4 (2012) Nr. 5/6, S. 383 - 397.
Wegener, R. & Leimeister, J. M. (2012): Do Student-Instructor Co-Created eLearn-
ing Materials Lead To Better Learning Outcomes? Empirical Results from a German
Large Scale Course Pilot Study. In: 45. Hawaii International Conference on System
Sciences (HICSS), Hawaii, USA.
Wegener, R. & Leimeister, J. M. (2012): Peer Creation of E-Learning Materials to
Enhance Learning Success and Satisfaction in an Information Systems Course. In:
Proceedings of the 20th European Conference on Information Systems (ECIS 2012),
Barcelona, Spain.
Wegener, R.; Menschner, P. & Leimeister, J. M. (2012): Design and evaluation of a
didactical service blueprinting method for large scale lectures. In: Proceedings of the
International Conference on Information Systems (ICIS), Orlando Florida, USA.
Wegener, R.; Krause, N.; Flohr, P. & Leimeister, J. M. (2012): Determinanten der
Lernerzufriedenheit IT-gestützter Lerndienstleistungen in Betrieb und Hochschule. In:
Tagungsband der Multikonferenz Wirtschaftsinformatik (MKWI) 2012, Braun-
schweig, Germany.
Wegener, R.; Oeste, S.; Prinz, A. & Leimeister, J. M. (2012): Wann sind Tablet
PCs die besseren Lernwerkzeuge? Ein empirischer Vergleich unterschiedlicher Endge-
räte im Mobile Learning. In: Mobile und ubiquitäre Informationssysteme MMS 2012,
Braunschweig, Germany.
Wegener, R.; Söllner, M.; Voss, A. & Leimeister, J. M. (2011): Einflussgrößen auf
die Nutzungsabsicht von Mobile Learning in unterschiedlichen Einsatzszenarien – eine
empirische Studie. In: e-Learning Fachtagung Informatik (DeLFI) 2011, Workshop
„Mobile Learning“ , Dresden, Germany.
Wegener, R.; Prinz, A. & Leimeister, J. M. (2011): Entwicklung innovativer, mobi-
ler Lernanwendungen für den Einsatz in Massenveranstaltungen. In: 6. Konferenz
Mobile und Ubiquitäre Informationssysteme (MMS), Kaiserslautern, Germany.
223
Wegener, R.; Bitzer, P.; Oeste, S. & Leimeister, J. M. (2011): Motivation und Her-
ausforderungen für Dozenten bei der Einführung von Mobile Learning. In: 41. Jahres-
tagung der Gesellschaft für Informatik, Berlin, Germany.
Wegener, R.; Prinz, A.; Bitzer, P. & Leimeister, J. M. (2011): Steigerung von
Interaktivität, Individualität und Lernerzufriedenheit in einer universitären Massenver-
anstaltung durch mobile Endgeräte. In: e-Learning Fachtagung Informatik DeLFI
2011, Dresden, Germany.
Bitzer, P.; Wegener, R. & Leimeister, J. M. (2010): Entwicklung eines Produktivi-
tätsmodells zur Systematisierung von Lerndienstleistungen. In: 40. Jahrestagung der
Gesellschaft für Informatik 2010, Leipzig, Germany.
Stein, K.; Wegener, R. & Schlieder, C. (2010): Pixel-Oriented Visualization of
Change in Social Networks. In: Proceedings of the 2010 International Conference on
Advances in Social Networks Analysis and Mining (ASONAM 2010), Odense, Den-
mark.
Wegener, R.; Menschner, P. & Leimeister, J. M. (2010): Analyse und Optimierung
von Lehrdienstleistungen mittels Service Blueprinting - Konzeption und erste empiri-
sche Befunde. In: Multikonferenz Wirtschaftsinformatik (MKWI) 2010, Göttingen,
Germany.
Wegener, R.; Prinz, A.; Gerhold, R.; Oeste, S. & Leimeister, J. M. (2010): eLear-
ning Konsumenten zu eLearning Autoren machen - Erfahrungen an der Universität
Kassel. In: Hamburger eLearning-Magazin Nr. 5 (2010).
Wegener, R.; Prinz, A. & Leimeister, J. M. (2010): Interaktiv, überall & jederzeit -
wie Tablets und Netbooks die Lehre verändern können. In: Hamburger eLearning-
Magazin Nr. 5 (2010).
Siemon, A.; Wegener, R.; Bader, F.; Hieber, T. & Schmid, U. (2009): Video
Games can Improve Performance in Sports - An Empirical Study with Wii Sports
Bowling. In: Proceedings of the KI Workshop on Human-Machine-Interaction, Pader-
born, Germany.
Research on IT / Service / Innovation / Collaboration
ISBN 978-3-86219-730-9
Hochwertige Lehre erfordert hohen Ressourcenaufwand. Daher
leiden gerade universitäre Massenveranstaltungen unter man-
gelnder Interaktivität und Individualität. In dieser Dissertation
wird die Methode des „Didaktischen Service Blueprint“ (DSB)
vorgestellt, die Lehrenden hilft, Lerndienstleistungen zu analy-
sieren und mit beschränkten Ressourcen zu verbessern. Der DSB
verbindet didaktische Anforderungen mit Designprinzipien des
Service Engineering und Ansätzen des eLearning und des Peer
Learning. In einer Lehrveranstaltung der Wirtschaftsinformatik
werden beispielhaft drei Maßnahmen entwickelt, welche die
Lerndienstleistungsqualität durch eLearning und Peer Learning
steigern und damit auch die Anwendbarkeit des DSB aufzeigen
sollen. Die Evaluationsergebnisse von Lernerfolg und Lernzu-
friedenheit weisen auf den Erfolg des Konzeptes hin. Der theo-
retische Beitrag liegt in der Entwicklung einer auf dem Service
Engineering basierenden Methode zur Gestaltung von Lehr-
Lern-Prozessen. Lehrenden liefert die Dissertation Richtlinien
und erprobte Umsetzungsbeispiele zur Verbesserung der eigenen
Lehre trotz knapper Ressourcen.
René Wegener
Ren
é W
egen
er /
Der
Dida
ktis
che
Serv
ice
Blue
prin
t
Der Didaktische Service BlueprintEine Methode für Analyse und Design
teilnehmerstarker Lerndienstleistungen
22