owd2012 - 2,3 - studiesucces verhogen met learning analytics - jeroen donkers
TRANSCRIPT
Jeroen Donkers, Universiteit Maastricht, O&O
Profanalytics.blogspot.nl
Gefinancierd door Surf (Innovatieprogramma learning analytics)
Looptijd: maart-september 2012
Opdracht van WiV
Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle
Verstegen, Arno Muijtjens, Guido Tans, Peter Bex
4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd
200 MCQ vragen (met vraagteken) over de hele stof
Relatieve normering
Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten
◦ Bepalen wat te meten
◦ Aanpassen van het ProF systeem om te meten
◦ Verzamelen van data
◦ Analyse en datamining
◦ Vertaling van de resultaten
Vervolg: longitudinale effecten, visualisatie
We hebben ProF aangepast zodat het met Piwik kan werken:◦ Piwik-koppeling is configureerbaar in ProF
◦ Navigatie via URLs is consequenter gemaakt
◦ User-defined variabelen voor o.a. Userid
◦ Piwik-sessie starten bij inloggen gebruiker
◦ Opt-out mogelijkheid
We gebruiken de piwik API om gedetailleerdegebruiksdata in XML vorm te downloaden
Data verzameld in periode mei-juni
De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei
Analyse met behulp van Projet R
RapidMiner, Kmine, ProM 6.1 (process mining)
Meer gebruikt in het eerste jaar
Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio
Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan
jaar UM LUMC UMCN UMCG TOTAAL
1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172
2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227
3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209
4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162
5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045
6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797
totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612
Goede studenten gebruiken ProF meer dan studenten met een onvoldoende
In jaar 4-6 is dat niet significant
TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER Vumc
TOTAAL toetsresultaat
jaar onvoldoende voldoende goed alles
1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172
2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227
3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209
4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162
5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045
6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797
alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
ALLES
numactions
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
ONVOLD
numactions[outcome == 0]
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
VOLD
numactions[outcome == 1]
0 20 40 60 80 120
0.0
00.0
50.1
00.1
5
GOED
numactions[outcome == 2]
Gamma is -0.246: Slechte studenten hebben langere sessies dan goede
Veel sessies met maar één actie!
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
1 2-5 6-20 >20
Perc
enta
ge v
an d
e se
ssie
s
Lengte van de sessie in aantal acties
Onvold
Vold
Goed
Weinig patroon in volgorde: process miningleverde niet veel op
Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten
(-Inf,0] (0.25,0.5]
Alles
0200
400
(-Inf,0] (0.25,0.5]
Onvold
05
15
25
(-Inf,0] (0.25,0.5]
Vold
050
150
(-Inf,0] (0.25,0.5]
Goed0
50
100
Verdeling fractie paginas met details
(-Inf,0] (0.25,0.5]
Alles
0400
800
(-Inf,0] (0.25,0.5]
Onvold
020
40
60
(-Inf,0] (0.25,0.5]
Vold
0100
300
(-Inf,0] (0.25,0.5]
Goed
0100
200
Verdeling fractie paginas met cumulatieve
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Alles
0200
400
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Onvold
010
30
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Vold
050
150
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
Goed
050
100
Verdeling fractie paginas met momentaan vs longitudinaal
(-Inf,0] (0.25,0.5] (0.75,1]
Alles
0200
500
(-Inf,0] (0.25,0.5] (0.75,1]
Onvold
010
20
30
40
(-Inf,0] (0.25,0.5] (0.75,1]
Vold0
100
200
(-Inf,0] (0.25,0.5] (0.75,1]
Goed
050
150
Verdeling fractie paginas met goedscore
Piwik is erg nuttig
Door koppeling van gebruik aan toetsdatakrijgen we nuttige informatie over hoe studenten met het systeem omgaan
Dit levert ons kennis om◦ Het systeem aan te passen: andere openingspagina
◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect
We gaan door met meten om longitudinale effecten te kunnen meten
Je moet veel tools aan elkaar koppelen –kennis van (script)talen (php, perl, sql, R) is daarbij handig
Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1
Privacy: mogen we dit zomaar allemaal doen?