kwaliteit van toetsing_steeds_meer_in_het_spotlicht
DESCRIPTION
Liesbeth Baartman heeft veel expertise op het gebied van assessment van competenties, kwaliteit van assessment, assessmentprogramma's, beroepsonderwijs, natuurwetenschappen en techniek in beroep en onderwijs. Deze presentatie gaat o.a. over de inzet van een toetsscan.TRANSCRIPT
![Page 1: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/1.jpg)
Kwaliteit van toetsing steeds meer Kwaliteit van toetsing steeds meer in het Spotlichtin het Spotlicht
Avans Hogeschool – Spotlicht bijeenkomst
3 maart 2011
Dr. Liesbeth BaartmanEindhoven School of Education – Technische
Universiteit Eindhoven
![Page 2: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/2.jpg)
Zin en onzin van toetsingZin en onzin van toetsing
![Page 3: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/3.jpg)
Toetsing is driedubbel Toetsing is driedubbel belangrijk!belangrijk!
(1) Stuurt het leren van de student
(2) Met een gerust hart afgeven van een diploma
(3) Als effectmaat in onderzoek
![Page 4: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/4.jpg)
AccreditatieAccreditatie
Toetsing is hoofdonderdeelAlgemene omschrijving
Hoe toon je aan dat de toetsing kwalitatief hoogwaardig is?
![Page 5: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/5.jpg)
ProgrammaProgramma
• Competentie Assessment Programma’s
• Wat is een “goed” CAP?• Validiteit en betrouwbaarheid• 12 kwaliteitscriteria voor CAPs
• Zelfevaluatie van de kwaliteit van CAPs
• Verzameling van bewijzen
![Page 6: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/6.jpg)
Welke van de volgende type vaardigheden is in de afgelopen 40 jaar het minst belangrijk geworden op de werkplek?
1. Routinematige handmatige vaardigheden2. Niet-routinematige handmatige vaardigheden3. Routinematige cognitieve vaardigheden4. Complexe communicatievaardigheden5. Expertdenken/probleemoplossende
vaardigheden
![Page 7: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/7.jpg)
(Levy & Murnane, 2003)
![Page 8: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/8.jpg)
![Page 9: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/9.jpg)
CAP: Competentie Assessment CAP: Competentie Assessment ProgrammaProgramma
triangulatie / complementair “traditioneel” en “nieuw” gecombineerd afhankelijk van context formatief en/of summatief?
CAP
Proeve van bekwaamheid
Open vragen
Theorie-vragen
PortfolioStage
Meerkeuze toets
Opdrachten / projecten
![Page 10: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/10.jpg)
Miller, 1990
Piramide van MillerPiramide van Miller
![Page 11: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/11.jpg)
Wat is een ‘goed’ Wat is een ‘goed’ assessmentprogramma?assessmentprogramma?
Onze proeve wordt onder strikt gecontroleerde condities uitgevoerd
![Page 12: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/12.jpg)
12 kwaliteitscriteria voor CAPs12 kwaliteitscriteria voor CAPs
• Problemen met oude kwaliteitscriteria:
o Wat is validiteit precies?
o Betrouwbaarheid als objectiviteit?
o Generaliseerbaarheidstheorie• Nieuwe kwaliteitscriteria als aanvulling
12 kwaliteitscriteria voor Competentie Assessment Programma’s
![Page 13: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/13.jpg)
Doel
Herhaalbaarheid
Transp
aran
tie
Cognitieve
complexiteit
Au
then
tici
teit
Eerlijkheid
Zelfstu
ring
Betekenis
Onderwijsgevolgen
Tijd & Kosten
Acceptatie
Vergel
ijkbaa
rhei
d
![Page 14: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/14.jpg)
DOEL: Alle competenties en
passende assessmentvormen
![Page 15: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/15.jpg)
HERHAALBAARHEID: Combineren van
verschillende situaties en beoordelaars
![Page 16: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/16.jpg)
TRANSPARANTIE:
Duidelijkheid en begrijpelijkheid voor betrokkenen
![Page 17: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/17.jpg)
VERGELIJKBAARHEID:
Consistente opzet en uitvoering
![Page 18: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/18.jpg)
ACCEPTATIE:
Kunnen de betrokkenen zich vinden in de opzet en
uitvoer?
![Page 19: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/19.jpg)
RECHTVAARDIGHEID:
Geen bevoor- of benadeling
![Page 20: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/20.jpg)
ZELFSTURING:
Stimuleren van reflectie en formuleren leerdoelen
![Page 21: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/21.jpg)
BETEKENISVOLHEID:
Meer dan meetmoment - feedback
![Page 22: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/22.jpg)
COGNITIEVE COMPLEXITEIT:
Hogere cognitieve vaardigheden en denkprocessen
![Page 23: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/23.jpg)
AUTHENTICITEIT:
Overeenkomst met de beroepspraktijk
![Page 24: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/24.jpg)
ONDERWIJSGEVOLGEN:
Effect op leren en onderwijs
![Page 25: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/25.jpg)
TIJD EN KOSTEN:
Haalbaarheid van de ontwikkeling en
uitvoering
![Page 26: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/26.jpg)
ProcedureProcedure zelfevaluatie zelfevaluatie
Uitgangspunten:Evaluatie van programmaMeerdere evaluatorenVerschillende functiesFormatief
Fase 1: instructiebijeenkomstvaststellen CAP
Fase 2: individueel invullenFase 3: groepsinterview
![Page 27: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/27.jpg)
indicatoren
score dmvschuifje
voldoende ja / nee
voorbeeld / bewijs
![Page 28: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/28.jpg)
Kwaliteit bewijzenKwaliteit bewijzen
Scores / beoordelingen kunnen zijn gebaseerd op verschillende redeneringen!
Relevant / representatief?Eén mening of gedeeld?Zowel positief als negatief?Soorten bewijs:
“dat is vanzelfsprekend”“dit zie ik terug bij mijn leerlingen”“hier hebben we de leerlingen naar gevraagd”
![Page 29: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/29.jpg)
![Page 30: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/30.jpg)
19
12
22
33
1719
27
19
14
4
33
4852
75
52
47 4851
65
5861
70
54
38
29
13
25
20
36
30
8
2325 26
13 14
0
10
20
30
40
50
60
70
80
fitne
ss fo
r pu
rpos
e
repr
oduc
ibilit
y
tran
spar
ency
acce
ptab
ility
com
para
bilit
y
fairn
ess
self-
asse
ssm
ent
mea
ning
fuln
ess
cogn
com
pl
auth
entic
ity
educ
con
seq
cost
s &
eff
level 1: no support
level 2: explanation as support
level 3: evidence as support
Wat resultaten …Wat resultaten …
![Page 31: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/31.jpg)
Onderzoek naar portfolio’sOnderzoek naar portfolio’s
(1) Gaat het over de student?(2) Relevant voor de competenties?
Relevant bewijs:(3) Persoonlijke mening
(4) Mening van iemand anders(5) Gedeelde mening(6) Voorbeeldsituatie
(7) Bewijs uit het portfolio
(Van der Schaaf, Baartman, & Prins, submitted)
![Page 32: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/32.jpg)
Kwaliteitschecks:
Alle bewijzen meegenomen in oordeel?Positief en negatieve bewijzen?Gezocht naar tegenbewijzen?Verschillende soorten bewijzen (sterk /
zwak)?Aantal bewijzen?Zijn de assessoren het eens?
Beoordelingsproces portfolio’sBeoordelingsproces portfolio’s
![Page 33: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/33.jpg)
“Ik denk dat alles wel duidelijk is, want ik krijg
nooit vragen”
“Voor we met de opdracht starten, bespreken we de
criteria met de studenten”
![Page 34: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/34.jpg)
“Dat weten we eigenlijk niet” “Ik krijg positieve reacties
van stagebeleiders”“Maar … het
beoordelingsformulier vinden ze maar niks”
![Page 35: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/35.jpg)
AfsluitendAfsluitend
Zonder passende toetsing vernietigen we competentiegericht onderwijs
Kwaliteit van toetsing wordt grotendeels bepaald door de gebruikers ervan
![Page 36: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/36.jpg)
Hartelijk dank voor de aandachtHartelijk dank voor de [email protected]@tue.nl
![Page 37: Kwaliteit van toetsing_steeds_meer_in_het_spotlicht](https://reader036.vdocuments.pub/reader036/viewer/2022062405/5566657ed8b42aa21e8b4faf/html5/thumbnails/37.jpg)