rug - template advanced nl
TRANSCRIPT
Decentrale selectie bij geneeskunde:de loting voorbij?
Amsterdam
11 november 2015
Janke Cohen-Schotanus
Theoretisch doel selectie: voorspelling over toekomstig gedrag
student geschikt ongeschikt
selectie
toelaten
afwijzen
XXXXX
XXXXX
Doel selectie: voorspelling over toekomstig gedrag
student geschikt ongeschikt
selectie
toelaten
afwijzen
XXXXX
XXXXX
Problemen:
1.Wat is geschikt?- beste dokters?- beste studenten?
1000 kandidaten
student geschikt ongeschikt
loting
toelaten
afwijzen
360
60540
40
900 100
400
600
Groningen 90% geschikt400 plaatsen
geschikt ongeschikt
selectie
doorlaten
afwijzen
400
100500
winst:
40
900 100
400
600
1000 kandidaten90% geschikt400 plaatsen
Groningen
20
Doel selectie:
student geschikt ongeschikt
selectie
toelaten
afwijzen
XXXXX
XXXXX
Problemen:
1.Wat is geschikt?- beste dokters?- beste studenten?
2. Waar gaat het om?- hoger rendement?- faculteiten hadden geen probleem
Finale propedeuse rendementen (%)
0
10
20
30
40
50
60
70
80
90
100
8 medische faculteiten
Actief leren en veel geprogrammeerde zelfstudietijd
veel hoorcolleges
Schmidt et al, 2009
17 jaar
Nominale propedeuse rendementen
0
10
20
30
40
50
60
70
80
90
100
8 medische faculteiten
19 jaar
Wel een doorstroomprobleem: verschil in planning en organisatie van toetsing
Doel selectie: voorspelling over toekomstig gedrag
student geschikt ongeschikt
selectie
toelaten
afwijzen
XXXXX
XXXXX
Problemen:
1.Wat is geschikt?- beste dokters?- beste studenten?
2. Waar gaat het om?- hoger rendement?- faculteiten hadden geen probleem
3. Wat levert het op? En wat leveren we in?
Voorspellers succes GNK1
Persoonkenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude)
Cognitieve prestaties: lagere studiejaren in NL: eindexamencijfer
Non-cognitieve prestaties: hogere studiejaren multiple mini-interviews (MMI) en situational judgement tests (SJT)
1. Siu & Reiter, 2009
Wat voorspelt niet1
individuele gesprekken
referenties
emotionele intelligentie test
persoonlijkheidstest
‘personal statements’
motivatie/attitude/commitment metingen
1. Siu & Reiter, 2009, 2 Griffin ea 2012
Faking good behavior2
Decentrale selectie in Nederlandvanaf 1999
2000 AMC2000 UMCU en LUMC (beide weer gestopt)
2001 ErasmusMC2006 VuMC2008 UMCG2009 Radboud MC, LUMC2010 MUMC2015 allemaal
Decentrale selectie GNK
1e ronde:CV: schoolcijfers
affiniteit met hulpverleningextra curriculaire activiteitenbijzondere prestaties
(reflectie) opdrachten, SJT’skennistoetsen (met of zonder voorbereiding)pre-university college
Decentrale selectie GNK
2e ronde:college plus toetsingrekentoets, begrijpend lezen, PubMED en anatomieinterviews (gestructureerd)MMI’sCasperSituational Judgement Testschrijfopdrachten
Nb. Bij nieuwe regels is 2e ronde niet meer goed organiseerbaar
Onderzoek effecten van selectie
Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden
hebben gedaan
Unieke situatie Nederland:niet-geselecteerden werden door loting (voor een
deel) toch toegelaten
Instroomgroepen
8+
geselecteerd
ingeloot niet meegedaan aan selectie
na afwijzing
Effecten van selectie GNK NLLagere kans op uitval (ErasmusMC1)(Iets) hogere resultaten coschappen (ErasmusMC2)Verschillen verklaard door zelf-selectie en academische prestaties
(Erasmus3)Meer extra-curriculaire activiteiten (AMC4)Non-cognitief betere prestaties jaar 1 (UMCG5)Studenten die niet meededen aan selectie scoren slechter (UMCG5)Motivatie statements niet voorspellend (VuMC6)Non-cognitieve selectie levert niets op (Erasmus7)Bias in SJT (UMCG8)In context geselecteerden doen het beter (Radboud9)
1/2/3. Urlings-Strop ea 2009, 2011, 2013, 4 Hulsman ea 2007, 5 Schripsema ea 2014, 6 Wouters ea 2014, 7 Lucieer ea 2015, 8 Schripsema ea in preparation, 9 De Visser ea, submitted
Selectie studies GNK NL
(Iets) hogere resultaten coschappen (ErasmusMC1)Lagere kans op uitval (ErasmusMC2)Verklaard door zelf selectie en academische prestaties (Erasmus3)Meer extra-curriculaire activiteiten (AMC4)Non-cognitief betere prestaties jaar 1 (UMCG5)Studenten die niet meededen aan selectie scoren slechter (UMCG5)Motivatie statements niet voorspellend (VuMC6)Noncognitieve selectie levert niets op (Erasmus7)Bias in SJT (UMCG8)In context geselecteerden doen het iets beter (Radboud9)
1 Schripsema ea submitted
Beperkingen:
Veel verwachte effecten worden niet gevonden
Effect sizes klein: hoe (klinisch) relevant zijn verschillen?
Replicatie lukt niet goed
Verschillende outputmaten
Multi-site studies ingewikkeld en last van curriculum
effecten (UMCG,VuMC,Erasmus)1
De cynicus: “we hebben de ene loting door de andere vervangen”
Waar hebben we het over?
Selectie bij geneeskunde: veel geschikte kandidaten afwijzen
“Winst” zeer mager
Selectie geschikt om ongemotiveerden buiten de deur te houden?
Conclusie Selectie GNK
++- -
Selectie & loten
++- -
loten
Meest fair?
Nog meer problemen
Bias in onze selectiemethode? - gender effecten (voordeel meisjes)
- diversiteit (“role of cultural capital”, “medisch milieu”)
- trainingsbureaus
De student als eenheidsworst
Wat voor dokters hebben we eigenlijk nodig? (macrodoelmatigheid)
De metafoor (selectie in topsport)
Scouting in context (langs de velden, niet alleen aanvallers)
De formule:
Geschikt =talent x inzetbereidheid
ego
De metafoor (bij geneeskunde)
Geschikt =talent x inzetbereidheid
ego
Talent:-prestaties VWO-non-cognitieve prestaties-affiniteit met gebieden van gnk waar meeste artsen nodig zijn Ego:
- mooie motivatie brieven-leuke gesprekken met docenten-fantastische referenties
Tonen van inzet door bijvoorbeeld ‘huiswerk’ voorafgaand aan selectie
Uitdagingen voor komende jarenSelecteer studenten die goed bij je programma passen, wijs
studenten die niet-inzetbereid zijn af
Staar je niet blind op (die paar) instrumenten met (een beetje) voorspellende waarde
Fairness: deel plekken toewijzen door loting?
Richt selectie vooral op de artsen die we nodig hebben (bijv. dokters die van oude mensen houden)
Dus, geen eenheidsworst maar diversiteit
Welke dokters hebben we nodig?
Dank u