Competenties beoordelen met GPHoe doe ik het en hoe borg ik kwaliteit?
Judith Gulikers, Educatie en competentiestudies, WUR. [email protected]
Wat had ik jullie beloofd.....
De vertaling van de algemene competenties in een concrete proeve;
Het objectief observeren van competenties met behulp van de WAKKER methode;
Het gebruik van rubrics met daarin verwervingsstappen;
Het komen tot een zo betrouwbaar mogelijk oordeel (met twee beoordelaars);
Het positioneren van de beoordeling van een proeve binnen een doorlopende leerlijn.
Jullie gaan aan de slag
Het begin: Wat wil je gaan beoordelen?
Validiteit
Betrouwbaarheid
Onderwijsgevolgen de doolopende leerlijn
Piramide van Miller: WAT wil je zien?
Weten Feitentests / vaardigheden: MCtoets, open vragen…..
Weten hoe Contextrijke tests:Casus, werkstuk, …..
Tonen Performance assessment in vitro:Simulatie, rollenspel…………....
DoenPerformance assessment in vivo:Observatie op werkplek, video…..
Aut
hent
icite
it
Validiteit: beoordelen we echt de 4
competenties?
Stap 1: vanuit GP: Verantwoording 4 competenties Praktijksituatie BB, KB, GL gedrag in de praktijksituatie
Maar dit staat allemaal op papier......... kwaliteit wordt bepaald door hoe de school er vorm aan geeft
Dit vraagt (nieuwe) professionaliseit
van docenten
Dit vraagt ondersteunig
om PvB zo uit te voeren als bedoeld
Men neme de PvB mee naar school……
Stap 2: wat kan de school/docenten eraan doen? Gezamenlijk vormgeven aan de uitgangspunten van GP Betekenis geven aan de 4 competenties in eigen PvB Observeren en reflectiegesprek richten hierop richten
Cruciale vraag voor validiteit
Wat betekenen de 4 competenties in deze PvB?
Hoe zie ik deze 4 competenties in deze PvB?
intakevragenlijst
4 competentiesonderzoekenpresenterenplannen en organiserenmet druk en tegenslag omgaan
Jullie invulling hiervan geeft sturing aan:Observatie (waar ga je naar kijken)Reflectiegesprek (waar wil je meer over horen)
Hoe weet ik nu welk gedrag en niveau ik van
leerling mag verwachten?
Rubrics zijn PvB overstijgend Rubrics zijn inhoudsoverstijgend Rubrics zijn gebruikt in PvBs om BB, KB, GL
niveau te beschrijven
Rubrics
De praktijksituatie zoals jullie die vormgeven
moet de leerling alle mogelijkheden bieden om deze
gedragingen te laten zien
Authentieke situatie (locatie / opdrachtgever / echt resultaat)
Stimuli aanbregen om gedrag uit te lokken? (dilemma)
Tot nu toe hebben aan de validiteit gewerkt:
Hoe borg je dat je daadwerkelijk de 4 competenties uit de proeve op het gewenste niveau beoordeelt
Maar hoe zit het dan met betrouwbaarheid?
Hoe borg je dat je het ‘ware’ niveau van de leerling beoordeelt?
Ook hier blijkt de rubric een belangrijk hulpmiddel voor te zijn
And how about reliability?
het ‘oude’ betrouwbaarheid: alle leerlingen doen hetzelfde er is 1 goed antwoordjij ziet precies hetzelfde als ik
het ‘nieuwe’ betrouwbaarheid:er is altijd interpretatie.
niet objectiviteit, maar intersubjectiviteit
én niet gelijkheid, maar vergelijkbaarheid
‘Nieuwe’ betrouwbaarheid:• Weten wat we gaan beoordelen = voorwaarde
Intersubjectiviteit• Meerdere beoordelaars, die onafhankelijk tot
oordeel komen• Meerdere methoden• Meerdere momenten• Oordelen onderbouwen met concrete bewijzen
Vergelijkbare PvB’s voor leerlingen• Uit te voeren activiteiten en moeilijkheid
• Procedure van beoordelen
Het is niet mijn interpretatie hoor!
Wat betekenen die 4 competenties in deze PvB?
+ niveau in rubric geduid
Dilemma’s??
Hoe zit dit in GP?
2 methoden: competenties beoordelen door ernaar te kijken én erover te praten
vaststaand beoordelingsformulier intakegesprek: examinatoren samen beeld vormen van wat ze
gaan beoordelen minimaal 2 beoordelaars Advies voor beoordelingsprocedure
los van elkaar beoordelingsformulier invullen aantekeningen uit observatie + RG gebruiken voor argumenten WACKER procedure voor observeren
Nu gaan we competenties observeren……..
Hoe ga je observeren?
mime filmpjemime filmpje 2
Kindergarten cop
Experimentje
Vrijwilligers om mij te observeren??
Valkuilen bij observeren: je gaat interpreteren
Te snel oordelen: eerste indruk of ervaring met leerling
Op basis van te weinig informatie oordelen De persoonlijkheid van degene die beoordeelt,
speelt mee in de beoordeling De ‘gevolgen’ van de beoordeling, beïnvloeden
de beoordeling
Valkuilen gezien bij GP
Alles willen zien van alle leerlingen observatie is moeilijkJe wilt competenties zien!
“mijn mond houden’ docent gaat helpenLeerling moet laten zien dat hij/zij het (zelf) kanExaminator observeert
Na observatie van praktijkdeel al beoordelenReflectiegesprek is essentieel onderdeel van PvB
Reflectiegesprek gebruiken als feedback gesprekFeedback gesprek komt pas NA de beoordeling
WACKER - Methode
Waarnemen (observeren) Aantekeningen maken Classificeren Kwalificeren Evalueren Rapporteren
Vermijden van valkuilen
Beoordelen via een vaste methodiek Duidelijke omschrijving van competentie hebben Observatie en interpretatie strikt gescheiden houden Tijdens het observeren aantekeningen maken zodat geen
informatie verloren kan gaan Aantekeningen meenemen naar reflectiegesprek In reflectiegesprek verder uitdiepen Daarna ..CKER
WACKER methode
Waarnemen en aantekeningen maken
Observeren van het gedrag van de leerling Het zo volledig mogelijk opschrijven van wat je
observeert / hoort
Aandachtspunt: Je aantekeningen mogen enkel waarnemingen
bevatten, géén interpretaties! Dus ook niet gaan ‘afvinken’ Noteer alles wat je opvalt (goed én minder)
Classificeren
Bepalen wat van het geobserveerde gedrag iets zegt over welke competentie
Welke aantekeningen zeggen iets over welke competenties?
Denk terug: hoe zie ik een competentie in mijn
toetssituatie.
Hierom dus!
Kwalificeren
Bepalen in welke mate een een leerling het gewenste gedrag / de gewenste competenties op niveau heeft laten zien
Hier zijn dus de rubrics van handig!
Evaluaren
Beoordelaars vullen individueel beoordelingsformulier in
daarna Naast elkaar leggen van de verschillende kwalificaties en tot
een gemeenschappelijk resultaat komen Conclusies onderbouwen met concrete voorbeelden uit
aantekeningen
Dit noemen we ‘intersubjectiviteit’ (betrouwbaarheid!)
Oordeel verantwoorden
Eerste oordeel A1 = gezakt, A2 = geslaagd
A1: ik twijfel hoor A2: waarom dan? A1: tja, dat weet ik eigenlijk niet zo goed A2: Daarop kunnen we de leerling natuurlijk niet laten zakken.
Ik vind zijn ontwerp in ieder geval super in elkaar zitten en alle producten die hij heeft opgeleverd voldoen aan onze criteria.
A1: Ja, vind jij dat? Ik vind dat ontwerp niet zo super? A2: Maar vind je het niet zo super omdat het niet aan de eisen
voldoet of vind je het niet zo super omdat het gewoon jouw smaak niet is?
A1: hmm……. lastig
Vervolg
A2: De leerling is wel wat zwakker in de communicatie met de klant. In het verkoopgesprek hebben we geobserveerd dat hij niet de goede vragen stelde om alle benodigde informatie boven tafel te krijgen, maar uiteindelijk heeft hij wel zijn schetsen en ideeën met de klant overlegd en is hij tot overeenstemming gekomen.
A1: Ja, je hebt inderdaad gelijk. Als ik naar de competenties en beoordelingscriteria kijk, heeft hij het inderdaad gehaald. Ik vind zijn ontwerp gewoon persoonlijk niet zo mooi. Maar ik vind het wel belangrijk om op het beoordelingsformulier aan te geven dat hij zich moet verbeteren in de communicatie met de klant.
Rapporteren: eerst beoordelen.........
Nieuwe beoordelingsformulier met op achterkant competentiematrix
1.Holistisch oordeel: kan lln praktijksituatie met daarin de 4 competenties op goed niveau aan?
2.Punten voor voorbereiding, proces, product, reflectie
3.Waar kun je trots op zijn, waar nog aan werken
Op de achterkant: mogelijkheid om per competenties leerling iets mee te geven (zowel positief als negatief)
..................daarna betekenisvolle feedback
Maak van een summatieve toets ook
een leermoment!
Beoordelingen bespreken met leerling en hem/haar feedback geven op zijn functioneren, op basis van concrete voorbeelden en competenties
Bespreken welke acties ondernomen kunnen worden om bepaalde competenties verder te ontwikkelen
Eventuele input voor portfolio, of nieuw POP / PAP
Onderwijsgevolgen = kwaliteitsaspect van
een toets!