![Page 1: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/1.jpg)
1
UitwisselingInstaptoetsen:
Enkele methodologische beschouwingen
Rianne JanssenCentrum voor Onderwijseffectiviteit en –Evaluatie
Onderzoeksgroep Kwantitatieve Psychologie
School of Education
![Page 2: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/2.jpg)
2
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
![Page 3: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/3.jpg)
3
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
![Page 4: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/4.jpg)
4
doelstellingen opgaven
• Vraag naar doelstelling is vraag naar beoogde validiteit
![Page 5: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/5.jpg)
5
criteriumvaliditeit inhoudsvaliditeit begripsvaliditeit Doel voorspellen Beheersing inhoudsdomein Meten van bepaald
begrip Selectie van items
In principe vrij - Toetsmatrijs! - random steekproef
Afleiden uit theorie
Empirische evidentie
r(test, criterium) argumentatief items: factoranalyse test: Verband met andere metingen
Opmerkingen - Gelijktijdige en predictive validiteit - kwaliteit meting criterium - niet steeds toepasbaar
Bepaling inhoudelijk universum
Interpretatie bij negatieve bevindingen
Samenvatting validiteit
![Page 6: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/6.jpg)
Inhoudsvaliditeit
• Bepaling inhoudelijk ‘universum’– Eventueel consensusgroep experten
• Stel toetsmatrijs op= ‘blauwdruk’ van de toets
= ‘een expliciete formulering van verlangens’• In principe ‘random’ steekproef items uit
elke cel• Argumentatieve validiteit
6
![Page 7: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/7.jpg)
COGNITIEF ONDERZOEKS-VAARDIG-
HEDENKENNEN
BEGRIJPEN
TOEPASSEN
BASIS VAN HET LEVEN 3b 1 2a/b3a/b
2b3b20
132122
MENSELIJK LICHAAM Bouw/werking 8 9a/b/c12a
8 9a/b/c12a
20 23
Voortplanting en seksualiteit
45c/d6a/b 7
5a/b/c/d6a/b7 21
5d20
Gezondheidszorg 10a/b/c1112b
10a/b/c1112b21
20
NATUUR RONDOM ONS Organismen 14a15a/b
1314a15a/b
1320
Ecosysteem 16 14b16171821
14b16172120
Milieuzorg 19 1921
192021
Welke deeldom
einen?
Welke verwerkingsniveaus?
In welke
verh
ouding?
![Page 8: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/8.jpg)
Construeer items
• Open versus gesloten vraagvorm
• Pilootafname voor eerste kwaliteitscheck
• Beoordeling door experten
8
![Page 9: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/9.jpg)
9
Open vraagvorm
• Categorisatie antwoorden– Categorisatiesysteem– Interbeoordelaarsbetrouw-
baarheid
• Productieve (taal)vaardigheid
• Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)?– “Face validity” of ook empirisch
onderbouwd?
Gesloten vraagvorm
• Snelle en objectieve verwerking (QMP!)
• Meer vragen mogelijk– Hogere betrouwbaarheid en
(inhouds)validiteit (cf eerste en tweede set vragen Nederlands)
• Probleem van raden
• Eenvoudige cognitieve vaardigheden (kennis, herkenning)?
1. Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie
2. MKV vaak betere predictoren dan open vragen.
![Page 10: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/10.jpg)
10
Detailopmerking: toeschrijving
• Engels: ‘matching’• Keuzes zijn niet onafhankelijk :
– Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden
– Eventueel een rij langer dan andere rij
Maak de juiste vijf combinaties:
Bloedcirculatie
Erfelijkheid
Evolutie
Hondsdolheid
Psychiatrie
Pasteur
Freud
Mendel
Darwin
Harvey
![Page 11: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/11.jpg)
11
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
![Page 12: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/12.jpg)
• Achterliggend model (Meskauskas, 1997)?– State-view:
• ‘alles of niets’ beheersing (bv. basisspelling)
• Items uitwisselbaar (cf. Ned. : random keuze vragen)
• Domeinproportie (cf. Ned: FB student)
– Trait-view: • gradaties van beheersing (vb. Frans: ERK)
• Items verschillen in moeilijkheidsgraad (vb. WISTIL)
• Meetschaal!
12
meetschaalopgaven
![Page 13: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/13.jpg)
• State-view: – ‘alles of niets’ beheersing– Items
• Afkomstig uit domein• In principe uitwisselbaar
– domeinproportie
13
meetschaalopgaven
![Page 14: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/14.jpg)
• Trait-view: – gradaties van beheersing– Items verschillen in moeilijkheidsgraad– Meetschaal!
14
meetschaalopgaven
![Page 15: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/15.jpg)
15
MEETSCHAAL
OPGAVEN
moeilijkheidsgraad
LEERLINGEN
vaardigheid
beheersing in termen van kansen
Eventueel rekening houdend met raadkans
![Page 16: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/16.jpg)
16
Voordelen meetschaal
• Interpretatie:– Vergelijking positie student met positie opgaven
• Onderzoek naar band met itemkenmerken– Bv. wiskunde:
• ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk)
– stERK• Band met ERK-niveau
• Verschillende toetsen en vergelijkbaar resultaat– Gegeven een meetschaal
(geen verschil “item based” en standaard toets)
– Bij opmaken van een meetschaal
![Page 17: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/17.jpg)
1 2 3 4 5 6 7
Basis van het leven X X X X 2600
Bouw en werking X X X X 2600
Seksualiteit en voortplanting X X X X 260
0
Gezondheidszorg X X X X 2600
Organismen X X X X 2600
Ecosysteem X X X X 2600
Milieuzorg X X X X 2600
N 650 650 650 650 650 650 650 4550
Afnamedesign peiling biologie
![Page 18: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/18.jpg)
IRT alternative to equating
• given common items: possibility of constructing a common measurement scale
instaptoets
uitstaptoets
![Page 19: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/19.jpg)
• Achterliggend model
• Kalibratieonderzoek– Afname bij grote steekproef studenten
• Vooraf, maar ook tijdens implementatie
– Prijs voor IRT-model • Vuistregel: 500 studenten per item
19
meetschaalopgaven
![Page 20: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/20.jpg)
20
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
![Page 21: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/21.jpg)
21
cesuurbepaling
• Terecht: – geen normgerichte cesuur
• Wel: – criteriumgerichte cesuur
• Oordeel experten afhankelijk van meetmodel– ‘alles-of-niets’ model
• Oordeel van toelaatbare foutenmarge (bv. Ned: 25%)
– Gradueel model• Plaatsing cesuur op meetschaal
![Page 22: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/22.jpg)
TOETSNORM
Deze opgaven moeten de leerlingen nog niet beheersen
Deze opgaven moeten de leerlingen beheersen
Behalen eindterm
Behalen eindterm nog niet
![Page 23: Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor Onderwijseffectiviteit en –Evaluatie Onderzoeksgroep Kwantitatieve](https://reader035.vdocuments.pub/reader035/viewer/2022070315/5551a0ee4979591f3c8b736f/html5/thumbnails/23.jpg)
23
Besluit
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context