peilingen en paralleltoetsen€¦ · jaar basisonderwijs secundair onderwijs 2012...
TRANSCRIPT
PEILINGEN EN PARALLELTOETSEN
RIANNE JANSSENCENTRUM VOOR ONDERWIJSEFFECTIVITEIT EN –EVALUATIE
FACULTEIT PSYCHOLOGIE EN PEDAGOGISCHE WETENSCHAPPEN
KU LEUVEN
DOELSTELLING
- Peilingen en paralleltoetsen
- doelstellingen
- Achterliggende logica
DISCLAIMER?
Peilingen van het Vlaamse onderwijsniveau
• Sinds wanneer?
• Hoeveel?
• Voor welke doelgroepen?
• Voor welke leer- of vakgebieden?
• …
Jaar Basisonderwijs Secundair onderwijs
2002 Wiskunde en begrijpend lezen
2004 Informatieverwerving en -verwerking
2005 Wereldoriëntatie: natuurmet praktische proef
2006 Biologie met praktische proef
2007 Nederlands: lezen en luisteren Frans: lezen, luisteren en schrijven
2008 Frans: lezen, luisteren, schrijven en spreken Wiskunde
2009 Wiskunde Wiskunde
2010 Wereldoriëntatie: tijd, ruimte, maatschappij en brongebruikmet praktische proef
Nederlands: lezen, luisteren en spreken
2011 Informatieverwerving en –verwerkingWiskunde
Jaar Basisonderwijs Secundair onderwijs
2012Informatieverwerving en -verwerking met praktische proef ICT
Frans: luisteren en spreken
2013 Nederlands: lezen en luisteren Project Algemene Vakken
2014 Wiskunde
2015Wereldoriëntatie: natuur en techniekmet praktische proef techniek
Natuurwetenschappenmet praktische proef
2016Wiskundemet praktische proef
Burgerzin en burgerschapseducatie
2017 Frans: lezen, luisteren en spreken Techniek
2018 Nederlands (lezen, luisteren en schrijven) wiskunde
2019 Mens en maatschappij wiskunde
Domein BaO SO1A SO1B SO2 ASO
SO3ASO
SO3TSO
SO3KSO
SO3BSO
Nederlands
Lezen 200220072013
2010 2010 2010
Luisteren 20072013
2010 2010 2010
Spreken 2010 2010 2010
Frans
Lezen 20082017
2007
Luisteren 20082017
2007 2012 2012 2012
Spreken 20082017
2012 2012 2012
Schrijven 2008 2007
Domein BaO SO1A SO1B SO2 ASO
SO3ASO
SO3TSO
SO3KSO
SO3BSO
Wiskunde 200220092016
20092018
20082019
2011 2014 2014 2014
Informatieverwerving en -verwerking
201220042011
Project Algemene Vakken 2013
Burgerzin en burgerschapseducatie
2016 2016 2016 2016
Domein BaO SO1A SO1B SO2 ASO
SO3ASO
SO3TSO
SO3KSO
SO3BSO
Wereldoriëntatie
natuur20052015
tijd 2010
ruimte 2010
maatschappij 2010
brongebruik 2010
techniek 2015
Biologie 2006
Natuurwetenschappen 2015
Techniek 2017
Evaluatie op systeemniveau• Peilingen in alle OESO-landen behalve Griekenland en Portugal
• Doelstellingen systeemevaluatie• Student outcomes
• Op tijdstip t met oog voor verschillen tussen leerlinggroepen
• Meten van verandering hierin (maar niet op individueel leerlingniveau, op zich geen leerwinstmonitoring)
• In relatie met achtergrondgegevens
• Onderwijsbeleid• Evaluatie beleidsmaatregelen
• Input voor ontwikkeling
• Feedback aan diverse onderwijsactoren
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
looptijd peilingsproject (44 maanden)
Toets-
ontwikkelingPeiling ValorisatieVoor-
bereiding
OPVOLGING PEILINGSPROJECT
- Stuurgroep
- Opvolgingsgroep basisonderwijs en secundair Onderwijs
- Resonantiegroep
- expertengroep
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Toets-
ontwikkelingPeiling ValorisatieVoor-
bereiding
TOETSONTWIKKELING
- Wat zijn twee belangrijkste criteria voor toetskwaliteit?
Betrouwbaar en/of valide?
Je wil toetsen of leerlingen van het derde leerjaar de kennis van de maaltafels geautomatiseerd hebben. Beoordeel de onderstaande toetsen op hun betrouwbaarheid en validiteit.
I. Een toets met één opgave
II. Een toets bestaande uit 10 vraagstukken waarin de maaltafels nodig zijn om tot een oplossing te komen
17
4
19
4Milieuzorg
2
5
2
5
2Ecosysteem
1
3
1
3
3
2
OrganismenNATUUR
RONDOM
ONS
14
15
14
15
Gezondheids-
zorg
77Seksualiteit
66Bouw /
werking
MENSELIJK
LICHAAM
91011NIET-LEVENDE NATUUR
TOEPASSENBEGRIJPENKENNEN
Inhoudsvalditeit -> toetsmatrijs
SCHRIFTELIJKE TOETSEN
• K
Toetsontwikkeling
19-01-2018
Toetsmatrijs Itemontwikkeling Vooronderzoeken Kalibratie
betrouwbaarheid
• Meetnauwkeurigheid op de meetschaal
• Afhankelijk van toetssamenstelling
• niet: ‘one size fits all’
• Ideaal: toetsen op maat
• Hogere eisen als uitspraken op individueel leerlingniveau
20
21
MEETSCHAAL
OPGAVEN
moeilijkheidsgraad
LEERLINGEN
vaardigheid
beheersing in termen van kansen
22
Schaal: “getalwaarden en gelijkwaardigheid”
Eindterm 1.5:
De leerlingen kunnen natuurlijke getallen van maximaal 10
cijfers en kommagetallen (met 3 decimalen), eenvoudige
breuken, eenvoudige procenten lezen, noteren, ordenen en
op een getallenlijn plaatsen.
Eindterm 1.18:
De leerlingen kunnen in eenvoudige gevallen de gelijk-
waardigheid tussen kommagetallen, breuken en procenten
vaststellen en verduidelijken door omzettingen.
Voorbeeld peiling wiskunde
basisonderwijs (mei 2002)
23
Voorbeeldopgaven
8,098 kg
8,26 kg
8,4 kg
B
C
A
Welke kaas weegt het zwaarst: A, B of C?
kaas ____________________
24
Uit een onderzoek blijkt dat acht van de tien
Vlamingen bereid zijn hogere prijzen te betalen
voor een schoner milieu.
Hoeveel procent van de Vlamingen is dat?
_____________ %
25
Welke twee breuken horen bij het punt dat de pijl
aanwijst?
1 en 2
0 1
26
MEETSCHAAL
“getalwaarden en gelijkwaardigheid”
Breuken getallenlijn
8 van 10
Gewicht kazen
Meetnauwkeurigheid:
informatiewaarde op
niveau van individuele
leerlingen
TOETSONTWIKKELING:
PRAKTISCHE PROEVEN
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Peiling natuur (2005)
• Kunnen leerlingen veel voorkomende dieren en planten herkennen en benoemen? ET 2
• Kunnen leerlingen de wet van eten en gegeten worden illustreren aan de hand van een voedselketen? ET 5
• Kunnen de leerlingen de functie van belangrijke organen in het menselijke lichaam verwoorden? ET 6
• Kunnen de leerlingen van courante voorwerpen uit hun omgeving zeggen uit welke materialen en grondstoffen ze gemaakt zijn? ET 11
• Kunnen de leerlingen gericht waarnemen met al hun zintuigen en hun waarnemingen systematisch noteren? ET12
STEUNPUNT TOETSONTWIKKELING EN PEILINGENSTEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Praktische proef voor ET 12:
Hoeveel soorten bomen bezocht de eekhoorn?
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Amandelnoot Hazelnoot Beukennoot Paardekastanje
Zomereikel Tamme kastanje Walnoot Amerikaanse eikel
Notenkaart
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Eekhoornproef• De leerlingen moesten de noten
classificeren en hun
waarnemingen noteren.
Amerikaanse eikel
Zomereikel
Beukennoot
Amandelnoot
2
2
4
Walnoot
Tamme kastanje
Paardekastanje
Hazelnoot
2
1
3
• Taakvereisteno Nauwkeurig waarnemen en classificeren
o Nauwkeurig tellen
o Systematisch en planmatig de gehele
taak uitvoeren
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
ResultatenProportie juista
Classificatie: walnoot (0)b 0.90
amandel (0) 0.76
beukennootje (2) 0.71
zomereikel (2) 0.69
paardekastanje (1) 0.65
tamme kastanje (2) 0.58
hazelnoot (3) 0.30
Amerikaanse eikel (4) 0.22
Systematisch noteren 0.84
Hoeveel bomen bezocht de eekhoorn? 0.33
Volledig juiste proef 0.08
a N = 997; b aantal noten in de notenverzameling.Amerikaanse
eikel
Zomereikel
Beukennoot
Amandelnoot
2
2
4
Walnoot
Tamme kastanje
Paardekastanje
Hazelnoot
2
1
3
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Besluit
• Notenproef
o Eerder lage scores, gegeven opdracht
o Probleem: systematische aanpak?
• classificeren, nauwkeurig tellen
• Uitspraak over Eindterm 12 ?
o Voorzichtigheid!
• (Beperkt aantal leerlingen)
• Specifieke taak, beperkt aantal deeltaken
• Geen cesuur
• Mogelijk geen perfecte standaardisatie
• Een fout bij een deeltaak, verhoogt de kans op een fout bij een andere
deeltaak
• …
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Praktische proeven• Validiteit
o Niet alle ET toetsbaar met schriftelijke toetsen
• Betrouwbaarheid
o Standaardisatie, beoordeling
• Impact
o Beklemtonen belang van deze eindtermen
• Generaliseerbaarheid
o Uitspraak in ‘detail’ (over deze opdracht), niet in breedte (over de
getoetste eindterm)
o Slechts selectie van eindtermen
• Haalbaarheid
o Materiaal, tijd, scoring, …
Nodig, maar noodgedwongen ook beperkt
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Praktische proeven: evenwichtsoefening
Eindrapport OBPWO 13.02Hoe zijn competenties grootschalig te toetsen?
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Toets-
ontwikkelingPeiling ValorisatieVoor-
bereiding
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
• Representatieve steekproef
• afnamedesign
• Toetsassistent
• Achtergrondvragenlijsten
o Leerkrachten en directive
o Ouders
o leerlingen
Organisatie peiling
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
• Behalen van de eindtermen?
o Criteriumgericht -> cesuurbepaling
• Verschillen tussen leerlingen, klassen en scholen
o Vergelijkende meting (normgericht)
Resultaten
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
CESUURBEPALING
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Behalen van de eindtermen
• Beoordeel de juistheid van onderstaande stelling
o Leerlingen die de helft van de opgaven juist maken op de peilingstoets,
behalen de eindtermen.
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
41
TOETSNORM of CESUUR
Deze opgaven moeten de
leerlingen nog niet beheersen
Deze opgaven moeten
de leerlingen beheersen
Behalen
eindterm
Behalen
eindterm nog
niet
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
42
MEETSCHAAL
“getalwaarden en gelijkwaardigheid”
OPGAVENLEERLINGEN
Breuken getallenlijn
8 van 10
Gewicht kazen
86%
MINIMUM
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
ANALYSE VAN VERSCHILLEN
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Vaststellen prestaties leerlinggroepen
INPUT
leerling• geslacht
• diagnose
thuisomgeving• SES
• thuistaal
• aantal boeken thuis
• stimulerend thuisklimaat
schoolloopbaan• schoolse vordering
• studierichting (SO)
leerkracht• geslacht
• onderwijservaring
• diploma
• nascholing
CONTEXT
• percentage GOK-
leerlingen
• verstedelijkingsgraad
(SO)
• schoolgrootte
• onderwijsnet
• provincie (BaO)
• schooltype (SO)
PROCES
OUTPUT
• wiskunde
• Nederlands
• lezen
• luisteren
• wereldoriëntatie
(basisonderwijs)
• biologie (secundair
onderwijs)
• informatieverwerving
en – verwerking
• Frans
• lezen
• luisteren
• schrijven
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Doelstelling achtergrondvragenlijsten
• NAEP:
“The purpose of administering background items is to give context to NAEP
results and/or to track factors associated with academic achievement. …
Therefore, it is important to note that since NAEP is based on a cross-
sectional design, it is not possible to infer cause-and-effect relationships—it
cannot prescribe what should be done. Rather its descriptions of the
educational circumstances of students at various achievement levels—
considered in light of research from other sources—may provide important
information for public discussion and policy action (NAGB, 2003). ” (eigen
cursivering)
• OECD ‘Pointers for future policy development’:
“Ensure collection of adequate contextual information to effectively monitor
equity” (p.645)
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
46
Onderzoekslogica: Fictief voorbeeld
Leerlingen 4de, 5de en 6de leerjaar basisschool ordenen
volgens lengte
STEUNPUNT TOETSONTWIKKELING EN PEILINGENSTEUNPUNT TOETSONTWIKKELING EN PEILINGEN
47 Rangorde leerlingen
lengte
1. Beschrijving van verschillen
STEUNPUNT TOETSONTWIKKELING EN PEILINGENSTEUNPUNT TOETSONTWIKKELING EN PEILINGEN
48 Rangorde leerlingen
lengte
4de leerjaar
5de leerjaar
6de leerjaar
3. Zoeken naar samenhang
STEUNPUNT TOETSONTWIKKELING EN PEILINGENSTEUNPUNT TOETSONTWIKKELING EN PEILINGEN
49lengte bij geboorte
lengte
4de leerjaar
3. Zoeken naar samenhang (vervolg)
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Schoolfeedback
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
TOEGEVOEGDE WAARDE
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
TOEGEVOEGDE WAARDE
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
• Hoe goed doet deze leerling het in vergelijking met voorheen?
Nog geen leerwinst
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
SCHOOLFEEDBACKBIJ PEILINGEN EN
PARALLELTOETSEN
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Schoolfeedback
• vergelijkende informatie (cf. supra)
o Hoe goed doet mijn school het in vergelijking met scholen
met gelijkaardige kenmerken?
o Toegevoegde waarde van de school
• Criteriumgerichte informatie
o Hoeveel leerlingen halen de eindtermen (eindtermscore op
10)?
o Ook individuele leerlingenfeedback (met aanduiding van de
meetnauwkeurigheid)
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
www.paralleltoetsen.be
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
EVOLUTIES IN HET
ONDERWIJSPEIL
EVOLUTIES IN HET ONDERWIJS
- If you want to measure change, don’t change the measure
- Ankeropgaven op meetschalen
- Vergelijkbaarheid én vernieuwing
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Getallen en bewerkingen – deel 1
ns***
***
***
ns
ns
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Verschil in evolutie 2009 -2016
voor jongens en meisjes
STEUNPUNT TOETSONTWIKKELING EN PEILINGEN
Toets-
ontwikkelingPeiling ValorisatieVoor-
bereiding
PEILINGEN ALS KWALITEITSZORG OP SYSTEEMNIVEAU
KWALITEITSZORG OP SYSTEEMNIVEAU
PLAN DO CHECK ACT
EindtermenImplementatie
Peiling als evaluatie
Borgen en bijsturen
“ONDERWIJS IN NEDERLANDS GAAT ACHTERUIT”
https://www.instagram.com/p/Bv9-hVYg6Dj/
“A WICKED ISSUE”
- Lastige, complexe, meerduidige en intrigerende
kwestie
- In context van een concrete praktijk
vraagt om verschillende perspectieven
Studie- en ontmoetingsdag STEP
VERSCHILLENDE
PERSPECTIEVEN
VAN RESULTATEN
NAAR AANZETTEN TOT ACTIE
- BEGRIJPEN: Beeldvorming- Breed en grondig
- INGRIJPEN: Besluitvorming- Meer gedragen
- Meer doordacht
VERDER ZETTEN CYCLUS
PLAN DO CHECKACT
Beleidsadviezen
Nieuwe peilingNederlands BaO
20XX?
Implementatieonderwijsveld
Concrete aanpak
INSPIRATIEDAG
NEDERLANDS BASISONDERWIJS Wanneer?
25 november 2019
Waar?
Hendrik Consciencegebouw
Wie?
Voor Leraren, directies, pbd’s, lerarenopleiders, praktijkgerichte onderzoekers, uitgeverijen, … Wat?
- Voorstelling beleidsaanbevelingen en actieplan
- Inspirerende praktijkvoorbeelden
- Workshops• De interpretatie van de eindtermen in de praktijk
• Hoe aan de slag met schoolfeedback?
• Wat doen in de lerarenopleiding?
INSPIRATIEDAG
WISKUNDE SO1A
WANNEER?
donderdag 12 december 2019 WAAR?
Hendrik Consciencegebouw WIE?
Voor leraren, directies, pbd’s, lerarenopleiders, praktijkgerichte onderzoekers, uitgeverijen, … WAT?
- Voorstelling beleidsaanbevelingen en actieplan
- Inspirerende praktijkvoorbeelden
- Workshops• De interpretatie van de eindtermen in de praktijk
• Hoe aan de slag met schoolfeedback?
• Wat doen in de lerarenopleiding?
BESLUIT
PEILINGEN EN PARALLELTOETSEN
- Bovenschools én binnenschools
- ‘vinger aan de pols’
- Doordachte inzet
SAMENVATTEND
Toetsontwikkeling
PeilingenSchoolfeedback
Paralleltoetsen
Praktische proeven
(inhouds)valideiten meetnauwkeurigheid
Criteriumgericht meten
Valorisatieleerlingenfeedback
Toegevoegde waarde
cesuurbepaling
Vergelijkende meting
Beleidsrelevantie
Van check naar act
Praktische proeven
Evoluties
LEER-
WINST
DANK VOOR UW AANDACHT!
- Vragen?