DIGITAAL TOETSEN/DIGITALE TOETSZAAL
SILVESTER DRAAIJER
2 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
EEN KORTE PERSOONLIJKE GESCHIEDENIS
> ir. Industrieel Ontwerpen> Eigen ontwerpbureau & Docent op de HHS bij IPO> Een digitale vragenbank gemaakt met collega> Eerste digitale beeldschermtoetsen zelf afgenomen
> Mechanica tentamens> Tempo+/Presto+ van de TU-Delft> Windows Applicatie> Samen met Harry van der Pas en collega’s> Alle valkuilen zelf meegemaakt
> Daarna afgedwaald …
3 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
4 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
DIGITAAL TOETSEN BIJ DE VU
> Questionmark Perception Tests ~ 250.000/jr> Blackboard Tests ~ 50.000/jr> Digitale Toetszaal ~ 20.000 – 50.000/jr> Turnitin ~2300/mnd, ~520 docenten
> http://draaijeronassessmentandtesting.wordpress.com/> SURF Special Interest Group Digitaal Toetsen:
https://www.surfspace.nl/sig/6-digitaal-toetsen/
5 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
WAAROM HOU IK VAN DIGITAAL TOETSEN?
> Toetsen heeft een directe impact op leren en studeren (Snyder 1971)
> ICT biedt nieuwe mogelijkheden> ICT leidt tot veel problemen die er om roepen om opgelost
te worden
> Het is complex, ill defined
6 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
WELKE VALKUILEN ZIJN ER ZOAL?
> Het kost meer tijd dan gedacht> Het kost meer dan gedacht> Er zijn irreeele verwachtingen (rendementen omhoog? Eerst
vragenbanken maken dan pas denken aan toetsen afnemen?)> De servers gaan down> Studenten kunnen afkijken> Studenten klagen dat het te warm is en dat het kijken op het
scherm vermoeiend is> Studenten kunnen niet inloggen> Collega’s klagen dat het surveilleren zoveel tijd kost> Resultaten raken kwijt> De uitvoering zorgt ervoor dat meer studenten zakken dan nodig
7 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
TECHNOLOGY ACCEPTANCE
Teachers regard online testing as useful, but find it difficult to realize it technically and logistically (Schoonenboom, 2012)
8 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
MIDDELEN
> Visie> Geld> Infrastructuur> Menskracht> Organisatiekracht> Kennis> Communicatie en verwachtingsmanagement
9 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
INSTITUTIONAL TAKE-UP OF CAA
Warburton (2009)
10 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
INSTITUTIONAL TAKE-UP OF CAA
Warburton (2009)
Positive drivers Negative drivers
11 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
TOETSINGS UTOPIE?
> Vergezichten rondom (digitaal) toetsen gaan verder dan mijn horizon …
> Twee tegengestelde ontwikkelingen
> Divergentie:Wiki’s, Games, Virtual Worlds, Websites, Group Work, Simulation, Authentic tasks, Portfolio’s, Badges etc.
> Convergentie:Legal Defensibility, Accreditation, Comply or Explain, Numerous Boards, Reliability …
12 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
13 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
QUICKSTART
http://bit.ly/eff-inzet-dig-toetsen
14 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
BREAK – NAAR DE DIGITALE TOETSZAAL OF IETS OVER QUIZZING?
15 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
FORMATIEF TOETSEN - ONLINE QUIZZING
Perfect om studenten ‘huiswerk’ te geven en perfect voor data-verzamelen en op basis daarvan acties uit te zetten.
Een demonstratie …
16 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
FEEDBACK
17 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
LEARNING THROUGHTESTING – TESTING EFFECT
Mcdaniel, M. A. et al. (2007)Karpicke, J. D., & Roediger, H. L. (2008), Roediger, H. L. I., & Karpicke, J. D. (2006, 2008)
Recall test (Short Answer) have stronger effects than recognition tests (MCQ).
E-assessment by design, Nicol, D (2007)
18 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
CORRELATIONAL EFFECTS QUIZZING ON EXAM SCORES
> Correlation between participation rate and exam scores> High correlation: Kibble and others (2007, 2008, 2011)
> Positive effect between quiz promotion and participation> Kibble, J.D. (2011)
> Correlation between credit given and participation> Kibble, J.D. (2011)
19 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
ANALYTICS – ACTING ON THE DATA
> Selection and timing of questions to answer> Repeated practice
> Within minutes/hours/days/weeks/months?> Drop-off rate of succesfully recalled answers
20 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
ANALYTICS – ACTING ON THE DATA
> Timing of feedback – Based on Correct-Incorrectness and Speed> Per question
> Answer again
> Per group of questions> Per test as a whole
> Directly after, longer and even longer
21 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
ANALYTICS – ACTING ON THE DATA
22 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
ANALYTICS
23 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
ANALYTICS
24 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
VARIATIONS - A
> Distributed Learning – Spacing Effect> Ebbinghaus (1885)!> Kerfoot et al. (2007, 2009, 2010)
> Collaborative Testing> Giuliodori, M. J., (2008), Kapitanoff, S. H. (2009), Rao, S. P., et al.
(2002), Slusser, S. R., & Erickson, R. J. (2006).
> Question generation by students> Denny, P., Hanks, B., & Simon, B. (2010), Fellenz, M. R. (2004).
25 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
VARIATIONS - B
> Lecture Clickers and other Response Systems> For example Mazur, E., & Crouch, C. H. (2001), Caldwell (2007), Draper
(2009) - Catalytic assessment, Ipsative Assessment
> Question Formats> Various MCQ formats
http://draaijeronassessmentandtesting.wordpress.com/2012/04/09/innovative-multiple-choice-in-formative-tests/
> Short Answer formats> http://prezi.com/ksd0wxbtdxf-/surf-masterclass-digitaal-toetsen /> http://testdevelopment.nl/qdst/qdst-nl/pro-con-q-formats/dive-general.htm
> Quizzing before or after lecturing> Enhancing engagement in lectures or tutorial meetings> Providing opportunity to direclty apply knowledge
26 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
DIGITALE TOETSZAAL VU (DIGITENT)
27 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
HEB JE EEN DIGITALE TOETSZAAL NODIG?
> Exams are outdated, is it not?> Read your own OER and check your current ‘studiegids’
> With computers, students can take their exam at any moment of their liking, is it not?> Traditional Higher Education system in NL is cohort based
> Students can taken an exam at home, is it not?> Security and Integrity of data and achievement cannot be guaranteed
> Students can bring their own (any) device to the exam hall, is it not?> Power> Network> Security and Integrity of data and achievement
> We can use the regular computerrooms, is it not?> Reliability of computers is poor> Very poor ergonomic conditions> Very poor defference of fraud
> JA! dus
28 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
EN HEB JE EEN GROTE ZAAL NODIG?
> Digitaal toetsen heeft het meeste efficiëntie voordeel bij grote cohorten
> Efficiënt omgaan met grote cohorten> Tentamens
> Deeltentamens
> Tussentoetsen
> Ja, je hebt een grote nodig
29 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
ZIJN WE ALLEEN?
Digitale Toetszaal RUG – 290 plekken permanent
Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent
Digitale Toetszaal VU – 385 plekken – permanent
+ HS Leiden+ Erasums+ Universiteit Leiden+ UvA+ AMC
Universiteitsbibliotheek VU
WAAR KOMT DE DIGITALE TOETSZAAL?
30 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
385 plekken
31 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
32 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.
33 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN
Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback, peer-review. Ook op de Tablet.
34 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD
35 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN
36 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
37 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
> Open vragen (voorkom schrijven met de hand);> Beroepssoftware;> Open vragen toevoegen aan gesloten vragen;> Andere vraagvormen, afbeeldingen, multimedia e.d.
> Verbeteren van het studiesucces> Verbeteren waardering door studenten in het kader van
de NSE (o.a. nakijktermijn)
WELKE TOETSVORM LEVERT HET MEESTE OP IN DE DIGITENT?
Universiteitsbibliotheek VU38 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
Geschikt Maatwerk,
specifieke
software
nodig
Niet of beperkt
mogelijk
MC
xOpen vragen in
tekstvorm xBeroepssoftware met
file bewerking en
uploadx
Beperkte wiskundige,
chemische symbolen xUitgebreide
wiskundige,
chemische of andere
structuren
X (tenzij met
gebruimaking van
beroepssoftware)
Toetsen moeten geschikt zijn om in digitale vorm aan te bieden
Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
WELKE ONDERSTEUNING?
• Centrale Ondersteuning Digitaal Toetsen• ICTO ondersteuner faculteit
39
The personal touch
40 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
ORGANIZATION
Faculteit/Docent
Fac. Ondersteuner
Applicatiebeheer
Database en OS beheer
Functioneel beheer
Onderwijskundig adviseur
(digitaal) toetsexpert
Educational Technologist
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Centrale Ondersteuner
Digitaal Toetsen
ITEDFaculties
DigiTenT
VU Board, Faculty Boards, ICTO Advisory Board
Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
FACULTEITEN ZONDER ICTO ONDERSTEUNING
Pluspakket
41
Type toets
Een nieuw te ontwikkelen toets via Blackboard of Questionmark Perception (evt. in combinatie met beroepssoftware)
Ontwikkelen specifieke vraagtypes
Eerder ontwikkelde toets via Blackboard of Questionmark Perception
Een nieuw te ontwikkelen toets waarbij studenten met beroepssoftware worden getest
Een bestaande toets waarbij studenten met beroepssoftware worden getest
Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
ROOSTERING EN ACTOREN/ONDERSTEUNING
42
43 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
WELKE ORGANISATIE EN LOGISTIEK
Wat • Wie Opmerkingen
Idee formuleren • Docent• Faculteit/Opleiding• Cursuscoördinator
Software hebben • Centrale of facultaire ondersteuning
• IT-functionarissen
• Welke methode: online, clientsoftware• Nauwkeurige toegang regelen tot Topics,
Testen e.d.
Toetsopzet bedenken • Docent• Onderwijskundig ondersteuner
• Vraagtypen• Volgorde van vragen• Instructieschermen• Feedbackschermen• Cijferbekendmaking• Inzage bedenken
Toetsvragen bedenken • Docent• Onderwijskundig ondersteuner• Technisch ondersteuner
Toetsvragen invoeren • Docent (nee, liever niet)• Technisch ondersteuner
44 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
WELKE ORGANISATIE EN LOGISTIEK (CONT.)
Wat • Wie Opmerkingen
Toets samenstellen • Technisch ondersteuner • Navigatie• Templates• Knoppen• Interactieve meldingen
Toets controleren • Docent• Technisch ondersteuner
Toets ter beschikking stellen aan studenten • Technisch ondersteuner• Functioneel beheer• Roosteraars• Curriculum ontwikkelaars
Toetsafnemen onder goed gecontroleerde condities en technisch betrouwbaar
• Technisch ondersteuner• Technisch beheer• Applicatiebeheer• Functioneel beheer
Is er wel of niet een dedicated faciliteit om digitale toetsen af te nemen?
Troubleshooting als de toets ter beschikking staat
• Technisch ondersteuner• Functioneel beheerder
Toetsresultaten downloaden, analyses plegen en scores en cijfers bepalen
• Technisch ondersteuner• Psychometricus
Inzage mogelijk maken • Docent• Technisch ondersteuner
45 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
EN DE TOEKOMST - 1
Accreditatie – Rubrics gebruiken over jaren en cursussen, leidend naar de afstudeerscriptie.
46 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
EN DE TOEKOMST - 2
> MOOC’s> Depent heavily on quizzing
> Large Scale Itembanking and exchange> Publishers> Collaborative efforts (SURF)> Interoperability Standards such as IMS QTI v1.2/v2.1 and IMS BasicLTI
> Computer Adaptive Testing – also in Higher Ed> Aleks, Statistiekfabriek, StudyTube
> Scoring related to Institutional Goals and Outcomes
> Online Proctoring> It is technically possible> But is it affordable (EUR 20-25 per examinee)> But is it acceptable
47 Digitale Toetszaal VU - Haagse Onderwijsdag 2013 Universiteitsbibliotheek VU
BLACKBOARD OUTCOMES
Universiteitsbibliotheek VU
VOOR MEER INFORMATIE
48 Digitale Toetszaal VU - Haagse Onderwijsdag 2013
Silvester [email protected]