inspiratiesessie deelname onderzoekspilot
Post on 11-Jan-2017
220 Views
Preview:
TRANSCRIPT
Inspiratiesessie deelname onderzoekspilot:Implementatie van het protocol Beoordelen is mensenwerk. Verbeteren en Verantwoorden van afstuderen in het HBO
Dr. Daan Andriessen, Lector Methodologie van Praktijkgericht Onderzoek, Hogeschool UtrechtDr. Dominique Sluijsmans, Lector Professioneel Beoordelen, Zuyd Hogeschool
Agenda
• Kennismaking• Toelichting Beoordelen is mensenwerk• Toelichting Pilot Protocol Afstuderen• Vragen
Kennismaking deelnemers:
• Wie bent u?• Welke opleiding / hogeschool
vertegenwoordigt u?• Waarom bent u er vandaag bij?
Doelstellingen Pilot Protocol Afstuderen
• Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt
• Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord
• Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren
• Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo
Vreemde Ogen Dwingen, 2012
• Voordelen landelijk examen wegen niet op tegen nadelen
• Overgenomen aanbevelingen:– Externe validering van toetsen via
pilots met gemeenschappelijk toetsen– Externe validering via certificering van
examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE)
– Duurzame kennisuitwisseling– Externe validering van
eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken
Opdracht Expertgroep Protocol
• “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”
Afstudeerprogramma
Prestatie(s)
moet blijken uitBeroeps-bekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Prestaties in het hbo zijn beroepsproducten
1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. OnderzoekMogelijke oplossing of een plan
Verbeelding van een eindproduct
Fysiek of digitale uitwerking van een ontwerp
Professioneel gedrag naar cliënt of publiek
Antwoorden en conclusies
Organisatie-advies
Pedagogisch advies
Financieel advies
Bouwontwerp Technisch
ontwerp Bestemmingspl
an Ondernemings-
plan
Schilderij ICT applicatie Apparaat Film Journalistieke
tekst
Les geven Voorstelling
uitvoeren Hulpverlene
n Verplegen Therapie
geven Leiding
geven Onderneme
n
Archeologisch rapport
Laboratorium rapport
Forensisch rapport
Naar Losse (2012)Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?
Afstudeerprogramma
Beroeps-opdracht
(en)
leiden totPrestatie(s)
moet blijken uitBeroeps-bekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Beroepsopdrachten in het hbo zijn zoveel mogelijk:
• Authentiek:– Authentieke taak– Authentieke omstandigheden
• Representatief:– Complexiteit (cognitief en context)– Zelfstandigheid
Afstudeerprogramma
Beroeps-opdracht
(en)
leiden totPrestatie(s)
moet blijken uit
Examina-toren
beoordeeld door
Beroeps-bekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Examinator is deskundig• Examinator is deskundig op:
– De te beoordelen bekwaamheid– Het beoordelingsproces
• Beoordelen is mensenwerk!
Afstudeerprogramma
Beroeps-opdracht
(en)
leiden totPrestatie(s)
moet blijken uit
Examina-toren
beoordeeld door
Beroeps-bekwaamheid
Eindkwalificaties
verwoord in
Beoordelings-model(len)
Prestatie-criteria en
beoordelings-schalen
geoperationaliseerd in
helpen de
Principes van afstuderen
Beoordelingsmodel ondersteunt de examinator
• Beoordelingsmodel helpt bij beoordelen van:– Kwaliteit beroepsproduct– Kwaliteit verantwoordingsverslag– Kwaliteit van het proces
• Beoordelingsmodel bevat:– Prestatiecriteria– Beoordelingsschalen– Beslisregels
• Beoordelingsmodel is:– Valide– Inzichtelijk– En draagt bij aan betrouwbaarheid
beoordeling
Afstudeerprogramma
Beroeps-opdracht
(en)
leiden totPrestatie(s)
moet blijken uitlei
dt to
t con
clusie
over
Examina-toren
beoordeeld door
Beroeps-bekwaamheid
Eindkwalificaties
verwoord in
Beoordelingsmodel(len)
Prestatie-criteria en
beoordelings-schalen
geoperationaliseerd in
helpen de
Principes van afstuderen
Beslissings-procedure(s)
bepalen scores
Doel van het protocol
• Opleidingen in het hbo helpen om samen te werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn.
– Duidelijkheid scheppen over terminologie en inrichting van het afstuderen.
– Een kader scheppen voor gezamenlijk leren en verbeteren.
– Een kader scheppen voor borging en verantwoording.
Inhoud van het protocol (1)
• Eindkwalificaties1. Weerspiegelen de eindkwalificaties
van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau?
2. Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties?
3. Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?
Inhoud van het protocol (2)
• Beroepsopdrachten4. Zijn de beroepsopdrachten die
studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?
5. Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?
Inhoud van het protocol (3)
• Beoordeling6. Waarborgt de opleiding dat elke examinator
bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen?
7. Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren?
8. Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren?
9. Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?
Inhoud van het protocol (4)
• Randvoorwaarden10.Zorgt de opleiding ervoor dat het
afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden?
• Verantwoording en ontwikkeling kwaliteit11.Geeft de opleiding invulling aan het
‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen?
12.Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?
Onderzoekend vermogen aanleren
• 2009: HBO raad (2009) “Kwaliteit als opdracht”:“In onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie”.
Expertgroep Protocol (2014):
• Reflectie: dit betreft het terugkijken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak;
• Evidence-based practice: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen;
• Innovatie: dit betreft het ontwikkelen van nieuwe handelingen om de beroepspraktijk te verbeteren.
VERANTWOORDEN
ONDERBOUWEN
VERNIEUWEN
Bruggink & Harinck 2012
1. Nieuwsgierig zijn / Willen weten / Je dingen afvragen
2. Een open houding / Op zoek naar eigen vooronderstellingen / Oordeel kunnen uitstellen
3. Kritisch zijn: is het wel zo? / Zaken in twijfel trekken
4. Willen begrijpen / Tot inzicht willen komen / Willen doorgronden
5. Bereid zijn tot perspectiefwisseling6. Distantie nemen van routines / Vraagtekens bij
het vanzelfsprekende / Gebaande paden durven verlaten / Eigen richting durven kiezen
7. Gerichtheid op bronnen / Willen voortbouwen op eerdere opvattingen en ideeën
8. Gerichtheid op zeker weten / Goede bronnen willen gebruiken / Nauwkeurig willen zijn
9. Willen delen met anderen / Onderdeel willen zijn van leergemeenschappen.
Onderzoekend vermogen =
• Onderzoekend houding(Zie bijvoorbeeld Bruggink & Harinck 2012)
• Onderzoeksresultaten van anderen toepassen
• Onderzoek doen
30
Een definitie van onderzoek doen
• Onderzoek doen is het methodisch beantwoorden van vragen dat leidt tot relevante kennis.
OV ondersteunt beroepsproduct
1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. OnderzoekMogelijke oplossing of een plan
Verbeelding van een eindproduct
Fysiek of digitale uitwerking van een ontwerp
Professioneel gedrag naar cliënt of publiek
Antwoorden en conclusies
Organisatie-advies
Pedagogisch advies
Financieel advies
Bouwontwerp Technisch
ontwerp Bestemmingspl
an Ondernemings-
plan
Schilderij ICT applicatie Apparaat Film Journalistieke
tekst
Les geven Voorstelling
uitvoeren Hulpverlene
n Verplegen Therapie
geven Leiding
geven Onderneme
n
Archeologisch rapport
Laboratorium rapport
Forensisch rapport
Naar Losse (2012)Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?
Probleem-stelling Diagnose Plan Ingreep Evaluatie
Methodisch werken
Onderzoeken
Onderzoekscyclus
Probleem-verkennend onderzoek
V A
Onderzoekscyclus
Diagnostischonderzoek
V A
Onderzoekscyclus
Ontwerp-onderzoek
V A
Onderzoekscyclus
Monitoringonderzoek
V A
Onderzoekscyclus
Evaluatie-onderzoek
V A
Naar Leen (2012)
OV ondersteunt het beroepsproduct
Drie niveaus van onderzoekend vermogen
Naar Butter (2013)
Methodische grondigheid (MG)
Praktische relevantie (PR)
Drie niveaus van onderzoekend vermogen
Methodische grondigheid
Praktische relevantie
Bescheiden Diepgaander Uitgebreid
Relevant voor de situatie / opdrachtgever
BA
Relevant voor het vakgebied MA
Relevant voor wetenschap en maatschappij
PhD
Naar Butter (2013)
Methodische grondigheid (MG)Praktische relevantie (PR)
Opleiding bepaalt zelf het niveau
Bescheiden Diepgaander Uitgebreid
Gebruik literatuur
Bewijskracht (Van Yperen, in
press)
Generalisatie
Body of Knowledge
Vakliteratuur vs Wetenschappelijke literatuurNederlands vs Engels
Theoretisch, Indicatief, Causaal
Geen, Beperkte groep, Grote groep
Vereiste kennis van onderzoeksdesigns en -methoden
Methodische grondigheid (MG)
Doelstellingen Pilot Protocol Afstuderen
• Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt
• Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord
• Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren
• Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo
Vraagstellingen Pilot Protocol Afstuderen
• Wat hebben hbo-opleidingen nodig om het protocol afstuderen succesvol te kunnen implementeren?
• Op welke wijze worden de vragen uit het protocol beantwoord en tot welke (her) ontwerpen van het afstudeerprogramma leidt dat?
• Op welke wijze is participatief ontwerpgericht onderzoek mogelijk in het hbo dat zowel kennis oplevert als stimulerend werkt op de verandering?
Hoofdlijnen Pilot Protocol Afstuderen
Implementatiedeel• Pilotopleidingen
analyseren hun programma en stellen een diagnose
• Ontwerpen verbeteringen
• Implementeren verbeteringen
• Evalueren verbeteringen
Onderzoeksdeel• Pilotopleidingen
verzamelen onderzoekgegevens
• Vooraf over de context van implementatie
• Over de diagnosefase
• Over het verbeterplanfase
• Over de implementatie
• Over de evaluatie
Onderzoeksteam en Pilot teams
Onderzoeksteam• Daan Andriessen
(HU)• Mirjam Snel (HU)• Dominique
Sluijsmans (Zuyd)• Fleurie Nievelstein
(Zuyd)
Pilotteams• Eén projectleider• Eén onderzoeker• Aantal leden
(minimaal twee) dat betrokken is bij de afstudeerfase
• Het team is zelf eindverantwoordelijk voor het implementeren van het protocol en voor het aanleveren van de juiste gegevens aan het onderzoeksteam
Voorwaardelijke criteria
• Er kunnen maximaal 7 opleidingen deelnemen. Selectie gebeurt door VH
• Deelnemende opleidingen nemen deel aan het onderzoek van januari 2015 tot januari 2017
• Deelnemende opleidingen stellen zelf een pilot team samen
• Deelnemende opleidingen bekostigen zelf geïnvesteerde uren van de teamleden
• Het pilot team committeert aan:– actieve deelname aan een kick-off bijeenkomst
en vier uitwisselbijeenkomsten waarin deelnemende pilotopleidingen kennis uitwisselen
– het implementeren van het protocol en het aanleveren van onderzoeksgegevens aan het onderzoeksteam
• Er is commitment voor deelname van de leidinggevende
• Er is een voornemen om vreemde ogen mee te laten kijken op een van de niveaus uit tabel 3 van Beoordelen is mensenwerk
Selectiecriteria
• Een mix van opleidingen uit alle 7 domeinen
• Een mix qua regio• Een mix qua voornemen tot vreemde
ogen (niveau 2,3 en 4)• Mix in mate van volwassenheid van
afstudeerprogramma• Bij meerdere opleidingen van één
hogeschool in de top-7 volgt het verzoek aan het CvB om er één aan te wijzen
Buitenring
• Opleidingen die niet zijn geselecteerd kunnen deelnemen aan een buitenring.
• Deze opleidingen gaan zelf aan de slag met implementatie van het protocol
• Zij krijgen periodiek informatie uit de pilot
• Er is 3 x een bijeenkomst van alle leden van de buitenring voor het uitwisselen van ervaringen (eerste keer september 2015)
Aanmelden en Achtergrondinformatie
• Achtergrondinformatie en het aanmeldformulier via website Vereniging Hogescholen vanaf 4 december
• Het protocol Beoordelen is mensenwerk via website Vereniging Hogescholen
• Deadline van aanmelden is 23 januari• Bericht van selectie half februari• Kickoff bijeenkomst en
diagnosebijeenkomst: 3 maart 2015 Domstad, Utrecht
• Planbijeenkomst: 21 april 2015 Domstad, Utrecht
• Planning rest volgt
top related