aan de hand van de volgende dia’s laten wij u zien hoe een computerprogramma, geheel automatisch,...
TRANSCRIPT
Aan de hand van de volgende dia’s laten wij u zien hoe een computerprogramma, geheel automatisch, uit een opgavenbank een toets samenstelt die zo goed mogelijk is afgestemd op de vaardigheid van de kandidaat die op dat moment getoetst wordt.
Aan de hand van de volgende dia’s laten wij u zien hoe een computerprogramma, geheel automatisch, uit een opgavenbank een toets samenstelt die zo goed mogelijk is afgestemd op de vaardigheid van de kandidaat die op dat moment getoetst wordt.
ComputergestuurdAdaptief Toetsen
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Vak 1
In vak 1 laten we steeds zien welke actie het computerprogramma op dat moment uitvoert.In vak 1 laten we steeds zien welke actie het computerprogramma op dat moment uitvoert.
Omdat zowel de moeilijkheidsgraad van een opgave als de geschatte vaardigheid van een kandidaat op één en dezelfde schaal kunnen worden afgebeeld, is het mogelijk beide nauwgezet op elkaar af te stemmen. Dit gebeurt tijdens de toetsafname na elke beantwoording van een opgave. In het 2e vak laten we dit afstemmingsproces op grafische wijze zien.
Omdat zowel de moeilijkheidsgraad van een opgave als de geschatte vaardigheid van een kandidaat op één en dezelfde schaal kunnen worden afgebeeld, is het mogelijk beide nauwgezet op elkaar af te stemmen. Dit gebeurt tijdens de toetsafname na elke beantwoording van een opgave. In het 2e vak laten we dit afstemmingsproces op grafische wijze zien.
Vak 2
In het 3e vak geven we middels enkele belangrijke kengetallen het verloop van een fictieve toetsafname weer.
In het 3e vak geven we middels enkele belangrijke kengetallen het verloop van een fictieve toetsafname weer.
VaardigheidGoed/fout?MoeilijkheidVolgnummer itemVak 3
De fictieve toetsafname wordt nu gestart.De fictieve toetsafname wordt nu gestart.
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G
Vaardig-heid
65
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
Vaardig-heid
Onder-grens
Boven-grens
Nee, er kan nog niet gestopt worden.We zien dat de schatting van de vaar-digheid erg onnauwkeurig is. De ware vaardigheid (dat is de vaardigheid waar we naar op zoek zijn) ligt met 90 procent zekerheid tussen de onder- en de bovengrens van de geschatte vaardigheid. Dat betekent in dit geval dat de ware vaardigheid zowel in het groene (voldoende vaar-digheid) als in het rode (onvoldoende vaardigheid) gebied op de vaardig-heidsschaal kan liggen. Een eendui-dige beslissing is dus nog niet te nemen. Daarom moeten we doorgaan met de toets.
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Vaardig-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F
Vaardig-heid
61
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
Vaardig-heid
Onder-grens
Boven-grens
Nee, er kan nog steeds niet gestopt worden. We zijn wel iets zekerder van de geschatte vaardigheid, maar er kan nog niet met voldoende zekerheid een uitspraak gedaan worden over het voldoende of onvoldoende zijn van de vaardigheid. Daarom moeten we doorgaan met de toets.
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59
Vaardig-heid
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F
Vaardig-heid
48
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F 48
Vaardig-heid
Onder-grens
Boven-grens
Nee, we mogen nog niet stoppen. Wèl is de onzekerheid weer verder afgenomen (het gebied tussen onder- en bovengrens is kleiner geworden). Maar er is nog steeds niet met voldoende zekerheid te zeggen of er sprake is van voldoende of onvoldoende vaardigheid. Daarom moeten we doorgaan met de toets.
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F 48
4 48
Vaardig-heid
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F 48
4 48 F
Vaardig-heid
43
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F 48
4 48 F 43
Vaardig-heid
Onder-grens
Boven-grens
Ja, nu kunnen we stoppen met de toets. De onzekerheid over de geschatte vaardigheid is met het antwoord op het 4e item weer kleiner geworden. We zijn er nu voldoende zeker van dat deze persoon onvoldoende vaardigheid heeft.
De computer beoordeelt het antwoordvan de kandidaat als goed of fouten schat de vaardigheid opgrond van gegeven antwoord(en).
Presenteer een opgave die past bij de geschatte
vaardigheid.
Kan er algestopt worden?
De computer presenteert een opgave van gemiddelde
moeilijkheidsgraad.
Moeilijk-heid
Volgnummer item Moeilijkheid Goed/fout? Vaardigheid
1 55 G 65
2 66 F 61
3 59 F 48
4 48 F 43
Vaardig-heid
Onder-grens
Boven-grens
De kandidaat krijgt nu de uitslag te zien, eventueel aangevuld met een advies voor studie of voor overleg met zijn docent.
Rapportageen stop
U zag zojuist een simulatie van een adaptieve toetsafname. In werkelijkheid komt het niet vaak voor dat toetsen al na 4 opgaven worden afgebroken omdat de vaardigheid voldoende nauwkeurig geschat zou zijn. Wèl is het zo dat adaptieve toetsen met aanzienlijk minder items toekunnen dan conventionele toetsen om met een bepaalde zekerheid beslissingen te kunnen nemen.
U zag zojuist een simulatie van een adaptieve toetsafname. In werkelijkheid komt het niet vaak voor dat toetsen al na 4 opgaven worden afgebroken omdat de vaardigheid voldoende nauwkeurig geschat zou zijn. Wèl is het zo dat adaptieve toetsen met aanzienlijk minder items toekunnen dan conventionele toetsen om met een bepaalde zekerheid beslissingen te kunnen nemen.