actief leren: waar en hoe gebeurt dat in het reguliere ... · web viewis wetenschappelijk onderzoek...
Post on 24-May-2020
1 Views
Preview:
TRANSCRIPT
Is wetenschappelijk onderzoek in de onderwijspraktijk mogelijk?
Recensie van een miniconferentie
A.H. van Liere
Datum : juni 2008
Inleiding
Op 23 mei 2008 organiseerde de Open Universiteit Nederland een miniconferentie met als
thema: “de uitdagingen van wetenschappelijk onderzoek in de onderwijspraktijk”.
Een titel waarbij men kan denken aan uitdagingen als het overbruggen van de kloof tussen
wetenschap en de onderwijspraktijk (Vanderlinde & Braak, 2007). Traditionele
onderzoeksmethoden kunnen niet altijd voldoen aan de vraag van het onderwijsveld. Zo zegt
Akker al in 1999 dat de traditionele onderzoeksbenadering nauwelijks bruikbare oplossingen
biedt voor de grote variatie aan ontwerp- en ontwikkelingsproblemen in het onderwijs.
Andere onderzoeksmethoden zoals ontwerponderzoek en actie-onderzoek, zouden hiervoor
een oplossing kunnen bieden, maar dat brengt een volgend probleem, namelijk het slechte
imago van onderwijswetenschap. Akker (1999) spreekt zelfs van een “hazy image”. Een
ander probleem is dat het onderzoeksdoel van de onderzoeker verschilt met het doel van de
onderwijspraktijk (Design-based Research Collective, 2002).
Als oplossing maken onderzoekers gebruik van een mix van kwalitatieve en kwantitatieve
dataverzameling omdat hierdoor een beter begrip kan worden verkregen van de problemen in
de het onderwijs aldus Lodigo, Spaulding en Voegtle (2006). Het DRC (2002) zegt hier over:
“ [..] (aut.: design based research) can productively be linked with controlled laboratory
experiments or randomized clinical trials [ ..]”.
Bovenstaande problemen hebben ertoe geleid dat er een groeiende behoefte is aan evidence
based onderzoek, ook bij het Regionaal Opleidingen Centrum (ROC) waar ik intern
onderzoek uitvoer. De Onderwijsraad (2006) zegt hierover: “Een evidence based benadering
van onderwijs is waardevol. Onderzoek levert betrouwbare kennis, voortbouwend op eerdere
kennis, inzichten en ervaringen. Zo helpt deze benadering om interessante concepten te
beproeven en effectief gebleken aanpakken te verzilveren”.2/24
Bovenstaande leidt tot mijn leervraag: aan welke eisen moet onderzoek in de praktijk van het
onderwijs voldoen, om het onderzoek wetenschappelijk te noemen?
Keynote “Dat zeg je nou wel, maar waar is dat op gebaseerd?”
Door Prof. Dr. E. Boshuizen
De conferentie startte met de keynote van Prof. Dr. E. Boshuizen. Met een voorbeeld waarin
Socrates een onderzoeksvraag stelt, maakt Boshuizen de principes van wetenschappelijk
onderzoek duidelijk. Er kunnen twee typen onderzoek worden onderscheiden: het
onderzoeken van vooraf bepaalde principes en het onderzoeken van wat er speelt in de
praktijk (Robson, 2002a). Lodigo et al. (2006) spreken ook wel van “basic research” en
“applied research”. Voor beide typen onderzoek gelden dezelfde stappen, alleen de regels
verschillen. Deze stappen zijn: conceptualiseren, meten en interveniëren, analyseren en
kwantificeren, interpreteren en concluderen. Tijdens deze stappen wordt het ontwerp en
uitvoering van het onderzoek beïnvloed door factoren als de beschikbare middelen en
organisatie enerzijds en de eigen kwaliteiten anderzijds. Met name in kwalitatief onderzoek
speelt de context een belangrijke rol en bepaalt in belangrijke mate de randvoorwaarden. Al in
de ontwerpfase van het onderzoek dient de onderzoeker hier zoveel mogelijk rekening mee te
houden, zodat de eisen van wetenschappelijkheid - validiteit, betrouwbaarheid en
generaliseerbaarheid-, niet in gevaar worden gebracht.
Onderzoek in de praktijk van het onderwijs is een iteratief proces. Door voortdurend
expliciteren komen (gewijzigde) inzichten naar boven waardoor het noodzakelijk kan zijn dat
het concept wordt aangepast, bij voorkeur zo vroeg mogelijk in het onderzoek. Op de vraag
3/24
hoe je in het onderzoek validiteit, betrouwbaarheid en generaliseerbaarheid moet organiseren
was het antwoord van Boshuizen: door goed te documenteren, te interpreteren en door
theorievorming.
Boshuizen beëindigde haar keynote, terugkomend op het feit dat in verschillende typen
onderzoek, verschillende regels worden gehanteerd: “laat je niet verleiden om toch de regels
van anderen te gebruiken”.
Uit deze keynote concludeer ik dat onderzoek in de praktijk van het onderwijs ook aan de
eisen van wetenschappelijkheid kan voldoen, als men de juiste regels blijft volgen en
nauwkeurig de bevindingen en beslissingen documenteert en beargumenteert.
Na deze keynote, waarin mijn onderzoeksvraag is beantwoord, wil ik weten of er verschil is
tussen de theorie en de praktijk.
Onderzoek in de onderwijspraktijk: voorbeelden, dilemma’s en oplossingen
Presentatie 1De eerste presentatie werd gegeven door Drs. G. Fastré. De onderzoeksvraag was: “Hoe
kunnen we leerlingen ondersteunen om zichzelf te beoordelen d.m.v. een digitaal
ontwikkelingsportfolio?”. Het ontwikkelingsportfolio, ingebed in een leeromgeving dat
tijdens het onderzoek is ontwikkeld, is ook het instrument om data te verzamelen. Gedurende
de presentatie werd duidelijk dat het onderzoek in de onderwijspraktijk niet altijd loopt zoals
gepland en dat verschillende factoren invloed hebben op de uitvoering van het onderzoek. Het
begint al met het feit dat de onderzoeker en de opdrachtgever verschillende verwachtingen
hebben, de onderzoeker wordt beschouwd als de expert en krijgt alle verantwoordelijkheid.
Het uiteindelijke resultaat van het onderzoek is een digitale leeromgeving waarin het 4/24
ontwikkelingsportfolio is vormgegeven en een incomplete set data. Het laatste wordt
veroorzaakt door het feit dat de respondenten te laat of helemaal niet de gegevens aanleveren.
Ondanks dat het ontwikkelde instrument samen met docenten tot stand is gekomen, zien de
docenten de zin hier niet van in, wat ook weer invloed heeft op de studenten waardoor zij de
data niet aanleveren.
Het onderzoek is nog niet afgerond, maar het management van de school heeft inmiddels
besloten om de ontwikkelde leeromgeving niet in te zetten in het curriculum.
De belangrijkste tips die Fastré geeft voor onderzoek in de praktijk van het onderwijs zijn:
zorg behalve voor commitment van het management ook voor interesse en zorg vooral voor
een goede communicatie.
Het bovenstaande voorbeeld bevestigt dat praktijkonderzoek een verantwoordelijkheid is van
zowel de onderzoeker als de respondenten en het management, een kenmerk van toegepast
onderzoek volgens Lodigo et al. (2006). Het DRC (2002) zegt over ontwerpgericht onderzoek
dat “[…] practioners en researchers work together to produce meaningful change in contexts
of practice […]”.
Het onderzoek was complex omdat voor het verzamelen van de data ook een instrument
ontwikkeld moest worden. Dat betekent dat de onderzoeker zich sterk afhankelijk heeft
gemaakt van het instrument. Nu het niet langer wordt ingezet in het onderwijs, heeft de
onderzoeker mogelijk een probleem om aan voldoende data te komen.
Ook uit dit voorbeeld blijkt dat onderzoek in de onderwijspraktijk niet eenvoudig is.
Het volgende onderzoekvoorbeeld betreft een breder onderzoek, niet één opleiding van een
ROC, maar over verschillende onderwijsinstellingen heen.
5/24
Presentatie 2Vervolgens gaf Dr. J. Gulikers een presentatie van haar onderzoek naar de kwaliteit van
assessments, een vergelijkend onderzoek over verschillende onderwijsinstellingen heen.
Eerder onderzoek van Gulikers, Kester, Kirschner & Bastiaens (2007) naar assessments
beperkte zich tot een rollenspel. In het gepresenteerde onderzoek is sprake van andere
groepen en meerdere typen assessments. De onderzoeksdoelen waren drieledig: inzicht
krijgen in competentiegerichte assessments (CGA’s); nieuwe kwaliteitscriteria evalueren bij
verschillende stakeholders; relatie kwaliteitscriteria en kenmerken van CGA. Tijdens het
onderzoek kwam Gulikers de volgende problemen tegen:
- veel variatie in assessmentmethoden en definities;
- wat men zegt is niet hetzelfde als wat men doet;
- assessment is een nieuw fenomeen, waardoor begrippen, werkwijzen en bedoelingen
door stakeholders verkeerd worden geïnterpreteerd en toegepast;
- de grote hoeveelheid data en hoe daarmee wetenschappelijk om te gaan;
- resultaten van het onderzoek zijn moeilijk te publiceren.
Gulikers komt met oplossingen die aansluiten op de wijze waarop volgens Boshuizen
onderzoek een wetenschappelijke waarde krijgt. De grote variatie in assessments hoeft geen
probleem te zijn wanneer een goede vergelijking mogelijk is. Gulikers lost dit op door het
onderzoek in te perken (keuze voor 1 CGA-methode) en te conceptualiseren (kenmerken
benoemen op basis van literatuur) en te classificeren (uitwerkingen in verschillende contexten
in kaart te brengen). Door kritisch te observeren, samenvatten en terugkoppeling naar de
stakeholders , een strategie die door Robson (2002c) “member checking” wordt genoemd,
worden de bedoelingen van de onderzoeker en de uitvoering van het onderzoek in de praktijk
beter op elkaar afgestemd. Het probleem van het nieuwe fenomeen assessment kan volgens
Gulikers worden opgelost door een meer kwalitatieve benadering en ondersteuning door
6/24
experts. Disseminatie tenslotte van de onderzoeksresultaten van een evidence-based
onderzoek kan worden bevorderd door een goed onderzoeksdesign. Dat betekent onder
andere: geen overbodige onderzoeksvragen, alle beslissingen en fasen van het onderzoek goed
beargumenteren, expliciteren en documenteren (Boshuizen, 2008).
‘Mixed methods’ doen het goed volgens Gulikers. Uit haar artikel (Gulikers, et al., 2008)
blijkt dat in het onderzoek gebruik is gemaakt van zowel kwantitatieve als kwalitatieve
onderzoeksmethoden, waarbij vragenlijsten en interviews zijn gebruikt. Deze
methodetriangulatie is een erkende methode. Zo zegt Robson (2002c) dat triangulatie een
strategie is om het onderzoek meer valide te maken en ziet van den Akker (1999) triangulatie
als een methode om een overmaat aan onzekerheid in data-interpretatie te voorkomen.
Gulikers sluit haar presentatie af met een aantal praktische tips voor toekomstige
onderzoekers. Deze tips hebben vooral betrekking op de communicatie en het onderzoek
zoveel mogelijk aansluiten bij de organisatie waar je het onderzoek uitvoert.
Uit deze presentatie blijkt opnieuw dat onderzoek in de onderwijspraktijk weerbarstig kan
zijn, maar dat een onderzoeker daar van tevoren rekening mee kan houden. Uit dit voorbeeld
concludeer ik dat door bewust verschillende methoden te kiezen, de actoren bij het onderzoek
te betrekken en goed te documenteren en interpreteren, een praktijkonderzoek een hoge mate
van betrouwbaarheid kan bereiken.
De volgende presentatie gaat ook over een onderzoek in het mbo. Welke uitdagingen komt
deze onderzoeker tegen?
7/24
Presentatie 3Het laatste voorbeeld van een praktijkonderzoek was het promotieonderzoek van Drs. A.
Walraven. Walraven heeft onderzocht of het mogelijk is om samen met docenten lessen te
ontwikkelen waarbij scholieren van 3 vwo informatievaardigheden worden aangeleerd. Ook is
onderzocht op welke wijze deze vaardigheden het beste kunnen worden gestimuleerd. Daarbij
stonden twee transfertheorieën centraal: de theorie van Simons, VanderLinden en Duffy
(2000), dat transfer bevorderd wordt wanneer leerlingen beschikken over een rijk,
conceptueel, goed georganiseerd kennisnetwerk van de vaardigheid die getransfereerd moet
worden; de theorie van Perkins en Salomon (1989), dat transfer bevorderd wordt door het
stimuleren van metacognitieve vaardigheden. Walraven ging tijdens de presentatie in op de
laatste twee van de drie studies: ontwerp en uitvoering van twee trainingen; herontwerp en
uitvoering. Het ontwerp van haar onderzoek is aangepast aan de organisatie. De selectie van
de docenten was afhankelijk van de beschikbaarheid en bereidheid van docenten. Bovendien
beschikten niet alle docenten over voldoende informatievaardigheden. Bij de uitvoering van
het onderzoek heeft Walraven zoveel mogelijk rekening gehouden met de praktijk. Zo
moesten de te ontwikkelen lessen aansluiten op de plaats en tijdstip van de lesstof in het
geschiedenisboek. Hierdoor maakt Walraven de resultaten direct toepasbaar en dus relevant.
Voor een deel komen de aandachtspunten bij het uitvoeren van een praktijkonderzoek overeen
met de voorgaande sprekers en zijn vooral gericht op: aandacht hebben en rekening houden
met de cultuur en organisatie van een onderwijsinstelling; niet op een eiland functioneren,
maar vooral je laten zien en zoveel mogelijk samenwerken. Tot slot gaf Walraven praktische
tips, zoals: zorg voor budget voor het betalen van docenten, stel jezelf voor in de klas, werk je
notities meteen uit en bedank leerlingen en docenten met iets leuks.
8/24
Uit deze presentatie blijkt dat een onderzoeksontwerp al in de beginfase, als blijkt dat niet aan
alle voorwaarden kan worden voldaan, kan en moet worden aangepast. Het gevaar zit er dan
in dat de wetenschappelijkheid geweld wordt aangedaan.
Welke lessen hebben we nu geleerd uit deze voorbeelden van onderzoek in de praktijk van het
onderwijs? Dat is het onderwerp van de afsluiting van de ochtendsessie.
Afsluiting ochtendsessie
Door dr. S. Brand-Gruwel
Na “de uitdagingen” gehoord te hebben van de drie onderzoekers volgde een korte discussie
met de zaal n.a.v. de vraag: “Wat is nog wetenschappelijk?”, onder leiding van Brand-
Gruwel. Dit leidt tot de volgende conclusies:
Zorg voor een gefundeerd ontwerp, gebaseerd op theoretische aannames
Maak het onderzoeksdesign zodanig dat je er iets over kunt zeggen
Evalueer je bevindingen, bijvoorbeeld door een controlegroep
Als onderzoeker heb je ook een vraag
Meet op 5 niveaus van het curriculum
Een ontwerp hoeft niet geïmplementeerd te worden.
Aan het eind van de ochtend kom ik tot de conclusie dat onderzoek in de praktijk van het
onderwijs inderdaad een uitdaging genoemd kan worden. Collins, Joseph en Bielaczyc
(2004) hebben het over serieuze uitdagingen van ontwerponderzoek: moeilijkheden door de
complexiteit van de echte-wereld situaties en de weerstand om ze te kunnen beheersen; de
9/24
enorme hoeveelheden data door de behoefte om etnografische en kwantitatieve analyses te
combineren; vergelijking dwars door ontwerpen heen.
Na deze ‘licht traumatische’ ochtend, startte het middagprogramma met een workshop.
Workshop “Onderzoeksontwerp”
Ingeleid door Drs. W. Kicken
Na een korte inleiding door Drs. W. Kicken van haar promotieonderzoek “Zelfsturend leren
optimaal ondersteunen” startte de workshop. De deelnemers gingen uiteen in kleine groepjes
en kregen de opdracht om samen met de groepsgenoten, op basis van een ontwerpformat van
onderwijskundig onderzoek, kritisch te kijken naar het onderzoek van Kicken en te komen
met suggesties voor verbetering. Mijn groepje werd begeleid door Drs. S. Wetzels. Het
groepje was gemêleerd en bestond uit medewerkers van vmbo, mbo en hbo en studenten
onderwijskunde. In het volgende stukje wordt een korte beschrijving gegeven van het
onderzoek van Kicken, gevolgd door de kanttekeningen en suggesties van het groepje. In de
bijlage wordt hier een uitgebreider verslag van gedaan.
Onderzoek “Zelfsturend leren optimaal ondersteunen”
De onderzoeksvraag was: “Hoe help je leerlingen in het middelbaar onderwijs zelfstandig
beslissingen te laten nemen over welke leertaken ze willen uitvoeren in een vraaggestuurde
omgeving?”. Er is gekozen voor een quasi-experimenteel onderzoek, waarin de volgende
hypothesen zijn onderzocht:
10/24
Wanneer leerlingen ondersteund worden bij het kiezen van geschikte leertaken met
zowel een ontwikkelingsportfolio als een adviesgesprek zullen hun zelfsturende
vaardigheden zich sterker ontwikkelen en zullen zij geschiktere leertaken kiezen dan
wanneer leerlingen alleen een ontwikkelingsportfolio bijhouden en feedback krijgen
op de inhoud.
De betere keuze van leertaken zal een hogere prestatie tot gevolg hebben.
Tijdens het onderzoek is een begeleidingsmodel ontwikkeld, bestaande uit een
ontwikkelingsportfolio en adviesgesprekken voor drie zelfsturende vaardigheden.
De respondentgroepen bestaan uit leerlingen van de kappersopleiding niveau 2 en 4 mentoren.
Voorwaarde was dat de respondenten vraaggestuurd onderwijs volgden. Dit betekende dat de
leerlingen mochten bepalen welke vaardigheid ze wilden ontwikkelen (e.g., permanenten,
knippen, kleuren), met welke deelvaardigheid hiervan zij wilden starten (e.g., blonderen,
uitgroei verven) en wanneer zij op examen wilden om hun deelkwalificatie te behalen
(Kicken, Brand-Gruwel & Merriënboer, 2008). Er is ook gebruik gemaakt van een
controlegroep. De ene groep werkte met het ontwikkelingsportfolio en adviesgesprekken, de
andere groep met alleen een portfolio en feedback.
De eerste onderzoeksperiode van 10 weken was een voorbereidingsperiode. In de tweede
periode van 20 weken is gewerkt met het ontwikkelingsportfolio: Stepp.
Het zelfsturend vermogen van de leerling is gemeten m.b.v. een zelfmeting, een
docentbeoordeling, verbeterpunten en taakselectie. De prestaties zijn gemeten met
afgetekende opdrachtkaarten en behaalde examens.
De resultaten laten zien dat het zelfsturend vermogen door taakverdelingen en
zelfbeoordelingen hetzelfde zijn, maar dat de groep met adviesgesprekken (adviesgroep)
beter is in het formuleren van analytische leerdoelen. Met betrekking tot Prestatie, laat de
adviesgroep betere resultaten zien op beide metingen.
11/24
De belangrijkste struikelblokken in het onderzoek waren: de betrokkenheid van zowel
docenten als studenten; daardoor ook (te) weinig data om te analyseren; geen inzicht op
daadwerkelijke selecties (waardoor komt een keuze tot stand, welke criteria, heeft men
zomaar wat ingevuld).
Kanttekeningen en suggesties van workshopgroep:
De reacties van de groep beperkte zich tot onderzoeksontwerp en -methode omdat informatie
over de analyse en de conclusies ontbraken.
1. Onderzoeksontwerp
De vraag is in hoeverre er voldaan wordt aan het criterium vraaggestuurd leren. Er is
slechts een keuze uit drie vaardigheden mogelijk.
De methode is mogelijk ongeschikt voor deze groep respondenten.
Het is ook de vraag of het leren van zelfsturende taken relevant is voor deze leerlingen
die opgeleid worden op assistent niveau.
2. Onderzoeksmethode
Door het gebruiken van een controlegroep kan een ongelijke situatie tussen de groepen
ontstaan;
STEPP heeft een belangrijke rol bij het verzamelen van data. Dit levert extra risico op
voor het onderzoek;
Inzicht in het daadwerkelijk uitvoeren van de gekozen vaardigheden ontbreekt;
Het tijdstip van interview bepaalt ook de kans op interferentie met anderen;
De prestaties van de leerlingen kunnen ook door meerdere factoren worden beïnvloed.
In de opvolgende plenaire bijeenkomst lichtten de groepjes de resultaten toe. Een jury,
bestaande uit de onderzoekers Kicken en Brand-Gruwel, gaf commentaar en beoordeelde de
resultaten.
12/24
Na een kijkje te hebben gehad in de keuken van verschillende onderzoekers in de praktijk van
het onderwijsveld, was het de beurt aan Prof. Dr. J. Beishuizen om de deelnemers het gevoel
te geven dat onderzoek in de onderwijspraktijk leuk en uitdagend is.
Beschouwing “Worstelingen van een individuele onderzoeker”
Door Prof.dr. J. Beishuizen
Beishuizen doet onderzoek naar het fenomeen “community of learners” en is van mening dat
het werken in een community of learners onderzoekend leren bevordert, wat de basis vormt
voor kennisontwikkeling. Omdat leerlingen en studenten even serieus genomen worden als
docenten en onderzoekers, kan het bedrijven van wetenschap een vrolijke en zinvolle
bezigheid zijn (Beishuizen, 2004). Eén van de projecten waar Beishuizen bij betrokken is ‘De
Vrolijke School’ aan het Ignatiusgymnasium te Amsterdam. Hiermee wil hij het beeld
bevorderen dat wetenschappelijk onderzoek spannend en stimulerend is, en een onmisbare
bijdrage levert aan de oplossing van maatschappelijke vraagstukken op locale en globale
schaal (Surf, E-learning thema-site).
Allereerst benaderde hij zijn onderzoek vanuit het theoretische perspectief. Hij vatte de
dilemma’s van onderwijsonderzoek samen in: nut voor praktijk of nut voor onderzoeker; wie
is de expert, docent of onderzoeker; willen we weten hoe het moet of hoe het zit. Vervolgens
besprak hij vanuit de twee opvattingen van kennisontwikkeling van Bereiter en Scardamalia
(2003), belief en design, het project “De waterkwaliteit in Amsterdam”, uitgevoerd door 6
groepen van het gymnasium. Het project had tot doel: leerlingen motiveren in een
universitaire studie te kiezen en het onderwijs zinvol en betekenisvol te maken. Men wilde de
hypothese onderzoeken dat een community of learners leidt tot toename in: domeinkennis,
13/24
onderzoeksvaardigheden, succesverwachting, interesse in onderzoek en motivatie om samen
te werken. Een mix van onderzoeksmethoden zoals interviews, vragenlijsten, video-opnames
en kennistests zijn in het onderzoek toegepast. Tijdens het onderzoek traden een aantal
problemen op: er gebeurden onvoorspelbare dingen en het onderzoek werd ingeperkt door een
gebrek aan data. Het onderzoek is afgerond en de resultaten laten zien dat er een positieve
verandering is opgetreden in domeinkennis, onderzoeksvaardigheden en attitude tegenover
onderzoek. Daarmee kon de hypothese deels worden bevestigd.
Tot slot gaf Beishuizen een aantal tips voor onderzoekers in de onderwijspraktijk: eerst
creëren dan aantonen; betrek de docenten erbij; zorg voor common concern; onderscheid
implementatie van ontwerp en effect van implementatie; als het ontwerp succesvol is
gebleken ga dan aantonen waar dat aan ligt.
Uit de presentatie blijkt dat praktijkonderzoek anders benaderd kan worden dan de
traditionele onderzoeken. In praktijkonderzoek wordt niet uitgegaan van te toetsen
theoretische inzichten (bewijzen zoeken voor een veronderstelling), maar creëer je, ontwikkel
je, waarna aangetoond wordt waarom het werkt. Een principe dat van den Akker (1999)
gebruikt voor zijn volgende vuistregel: de voortgang in een onderzoek is het meest gebaat bij
een creatief perspectief van de onderzoeker in de beginfase van onderzoek en een meer
kritisch onderzoeksperspectief in de latere onderzoeksfase.
Tot zover de inhoud van de presentaties en mijn eerste conclusies. In het volgende deel wordt
gekeken naar de samenhang van de programmaonderdelen en eindig ik met een conclusie en
evaluatie.
Samenhang tussen de programmaonderdelen
14/24
In haar keynote legt Boshuizen uit dat een onderzoek in de onderwijspraktijk vaak verschilt
van traditionele onderzoeksmethoden: ze zijn flexibel, gericht op kwalitatief onderzoek en
gebaseerd op realisme (Robson, 2002a). Ondanks de verschillen kunnen dezelfde principes
voor wetenschappelijk onderzoek worden gehanteerd. De verschijning is alleen anders: meer
beschrijvend, geïnterpreteerd en gelinkt aan theoretische inzichten. In de daaropvolgende
presentaties van Fastré, Gulikers en Walraven, wordt duidelijk gemaakt dat onderzoek in de
praktijk van het onderwijs sterk beïnvloed wordt door allerlei factoren als de eigen
onderzoekskwaliteiten, tijd, geld, de actoren en organisatie. Deze factoren zijn door
Boshuizen in haar keynote bestempeld als “de uitdaging”. De tips die alle drie de
onderzoekers gaven, waren dan ook vooral gericht op die uitdagingen en praktisch van aard.
Na de ochtend konden we, op basis van een onderzoek van Kicken, zelf ervaren hoe moeilijk
het is om met een onderzoeksopzet te komen die voldoet aan het onderzoeksprobleem. Dat
meerdere oplossingen mogelijk zijn kan blijken uit de verschillende resultaten van de
groepjes. Tot slot benaderde Beishuizen het onderzoek in de onderwijspraktijk vanuit een
macro-perspectief. Zijn tips hadden onder andere betrekking op de positionering van het
onderzoek: “eerst creëren dan aantonen”.
Conclusie en evaluatie
De miniconferentie heeft voldaan aan mijn verwachtingen. Mijn conclusie en tegelijkertijd het
antwoord op mijn leervraag is, dat de kloof kan worden gedicht tussen wetenschap en de
onderwijspraktijk, als men zich houdt aan de regels die voor wetenschap gelden. Daarbij is
het van belang dat de wetenschap de vormen (h)erkend van de gehanteerde wetenschappelijke
criteria bij onderzoek in de praktijk van het onderwijs, anders houdt dit onderzoek een “hazy
image”. De onderzoeker kan acceptatie van praktijkonderzoek door de wetenschap verhogen
15/24
door een uitgebreide verslaglegging, verantwoording en de resultaten te verbindingen met
bestaande theorieën. Een mening dat door meerdere onderzoekers wordt gedeeld (DRC, 2002;
Collins, et al., 2004). Onderzoek in de praktijk stelt niet alleen eisen aan de wijze waarop
praktijkonderzoek flexibel wordt uitgevoerd, maar ook aan de onderzoeker zelf. Robson
(2002c) zegt hier over: “this kind of research calls for well-trained and experienced
investigators […]”. Een onderzoeker moet ook in staat zijn om een goede relatie op te bouwen
met de respondenten. Immers, bij praktijkonderzoek is interactie met de uitvoerende
essentieel (Akker, 1999). Bovendien vindt het onderzoek vaak over een lange periode plaats
en zijn de doelen van onderzoeker en onderzochte verschillend (Robson, 2002c). Dit blijkt
ook uit de presentaties van Fastré, Gulikers, Walraven, Kicken en Beishuizen: de relatie en
communicatie met de actoren zijn een belangrijk aandachtspunt.
Ik vond de miniconferentie zinvol, maar toch wil ik drie punten van kritiek naar voren
brengen. Ten eerste had ik graag op de vraag van Boshuizen, hoe je in het onderzoek
validiteit, betrouwbaarheid en generaliseerbaarheid moet organiseren, wat verder toegelicht
willen zien. In de praktijk heb ik gemerkt, evenals bij de gepresenteerde onderzoeken, dat
goed organiseren niet meevalt. Ten tweede vond ik de presentatie van Beishuizen voor een
groot deel overeenkomen met de andere presentaties, waardoor deze in dezelfde lijn kan
worden gepresenteerd. Zijn kennis en ervaring m.b.t. Communities of Learners (Beishuizen,
2004) is interessant voor een andere themaconferentie, bijvoorbeeld professionalisering van
docenten. Tot slot wil ik opmerken dat de verschillende uitwerkingen van de
workshopgroepjes niet te volgen was. Daardoor miste ik de verschillende oplossingen van de
andere groepjes en het commentaar van de onderzoekers zelf. In het kader van kennisdeling is
dit een gemiste kans.
16/24
Er is geen handboek die succes garandeert voor wetenschappelijk onderzoek in de
onderwijspraktijk. Voordat ik in staat ben alle “uitdagingen” te trotseren, zal ik zeker meer
ervaring moeten opdoen in onderzoek en van anderen leren.
17/24
Literatuur:
Akker, J. van den (1999). Principles and methods of developmental research. In reader
Onderzoeksmethoden voor onderwijsontwerpen.
Heerlen: Open Universiteit Nederland
Beishuizen, J.J. (2004). De vrolijke wetenschap. Over communities of learners als
kweekplaats voor kenniswerkers (oratie). Amsterdam: Vrije Universiteit.
Opgehaald 13 juni 2008 van
http://e-learning.surf.nl/docs/e-learning/binnen_oratie_def.pdf
Collins, A., Joseph, D., & Bielaczyc, K. (2004). Design research: theoretical and
methodological issues. The Journal of the Learning Sciences: 13(1), 15-42. In reader
Onderzoeksmethoden voor onderwijsontwerpen.
Heerlen: Open Universiteit Nederland
Design-based Research Collective (2003). Design-based research: an emerging paradigm for
educational inquiry. Educational Researcher: 32(1), 5-8. In reader
Onderzoeksmethoden voor onderwijsontwerpen.
Heerlen: Open Universiteit Nederland
Gulikers, J.T.M., Kester, L., Kirschner, P.A., & Bastiaens, Th..J. (2008). The effect of practical
experience on perceptions of assessment authenticity, study approach, and learning
outcomes. Learning and Instruction, 18, 172-186.
Opgehaald 17 april 2008 van
http://attachments.wetpaintserv.us/mUAnwaKBSsPNiUM63iyi%24A%3D%3D374231
Kicken, W., Brand-Gruwel, S., & Merriënboer, J. (2008). Verantwoord verantwoordelijk:
richtlijnen voor effectief vraaggestuurd onderwijs. Paper ingediend tijdens Onderwijs
Research Dagen 2008. CD Proceedings, Licht op Leren.
Eindhoven: ESoE, TU/e en Fontys.
18/24
Lodigo, M.G., Spaulding, D.T., & Voegtle, K.H. (2006). Types of approaches used in
educational research. In M.G. Lodico, D.T. Spaulding, and KH. Voegtle. (2006).
Methods in Educational Research: From Theory to Practice (pp.10-21). San
Francisco, CA: Jossey-Bass. Opgehaald 17 april van
http://attachments.wetpaintserv.us/BfnJxCLGZBL9dIH0v9UMNQ%3D%3D421599
Onderwijsraad (2006). Naar meer evidence based onderwijs. Nr. 20050450/840, januari 2006.
Den Haag.
Opgehaald 10 juni 2008 van
http://www.onderwijsraad.nl/uploads/pdf/naar_meer_evidence_based_onderwijs.pdf
Robson, C. (2002a). Real world enquiry. In C.Robson, Real world research: A resource for
social scientists and practitioners-researchers (pp. 3-15). 2nd edition.
Malden, M.A.: Blackwell Publishing.
Opgehaald 17 april 2008 van
http://attachments.wetpaintserv.us/gvZbLlFY53Ht4gKQ5eI5JA%3D%3D1636627
Robson, C. (2002b). Approaches to Social Research. In C. Robson, Real world research: A
resource for social scientists and practitioners-researchers (pp. 16-44). 2nd edition.
Malden, M.A.: Blackwell Publishing.
Opgehaald 17 april 2008 van
http://attachments.wetpaintserv.us/gR06JBLrTaSQQ2EKqp1kaA%3D%3D1416890
Robson, C. (2002c). Flexible designs. In C. Robson, Real world research: A resource for
social scientists and practitioners-researchers (pp. 163-200). 2nd edition. Malden,
M.A.: Blackwell Publishing.
Opgehaald 17 april 2008 van
http://attachments.wetpaintserv.us/gvZbLlFY53Ht4gKQ5eI5JA%3D%3D1636627
Vanderlinde, R., Braak, J. van (2007). De relatie tussen onderwijsonderzoek en
onderwijspraktijk in Vlaanderen. viWTA Dossier nr. 8.
19/24
Brussel: Vlaams Instituut voor Wetenschappelijk en Technologisch
Aspectenonderzoek.
Opgehaald 16 mei 2008 van http://www.viwta.be/files/onderwijsdossier%201.0.pdf
Walraven, A., Brand-Gruwel, S., & Boshuizen, E. (2008). Internetinfomatie leren beoordelen:
twee onderwijsmethodes vergeleken. Onderwijsinnovatie, 10 (1), 17-25.
20/24
Bijlage: Onderzoek “Zelfsturend leren optimaal ondersteunen”
Een korte beschrijving van het Onderzoek “Zelfsturend leren optimaal ondersteunen” van
Wendy Kicken, aangevuld met opmerkingen n.a.v. de workshop.
De aanleiding voor het onderzoek vormde het probleem, dat vraaggestuurd onderwijs
veelvuldig wordt ingevoerd in het middelbaar beroepsonderwijs, maar deelnemers vaak niet
in staat blijken te zijn om geschikte leertaken te kiezen. Dit heeft een negatief effect op hun
prestatie.
Dit probleem leidde tot de volgende onderzoeksvraag: “Hoe help je leerlingen in het
middelbaar onderwijs (MBO) zelfstandig beslissingen te laten nemen over welke leertaken ze
willen uitvoeren in een vraaggestuurde omgeving?”. Er is gekozen voor een quasi-
experimenteel onderzoek, waarin de volgende hypothesen zijn onderzocht:
Wanneer leerlingen ondersteund worden bij het kiezen van geschikte leertaken met
zowel een ontwikkelingsportfolio als een adviesgesprek zullen hun zelfsturende
vaardigheden zich sterker ontwikkelen en zullen zij geschiktere leertaken kiezen dan
wanneer leerlingen alleen een ontwikkelingsportfolio bijhouden en feedback krijgen
op de inhoud.
De betere keuze van leertaken zal een hogere prestatie tot gevolg hebben.
Tijdens het onderzoek is een begeleidingsmodel ontwikkeld, bestaande uit een
ontwikkelingsportfolio en adviesgesprekken voor drie zelfsturende vaardigheden: (zelf)
beoordelen van prestatie; formuleren van verbeterpunten; selecteren van geschikte taken.
- Het is niet duidelijk hoe deze oplossing tot stand is gekomen en wie daarbij
betrokken zijn. In een praktijkonderzoek is het van belang om als onderzoeker
samen te werken met de experts uit het onderwijsveld. Zo zegt Robson (2002b): 21/24
“[…]But social sciences are not natural sciences, and respondents are not objects
but partners end ‘experts’ […]”.
De respondentgroepen bestaan uit a) leerlingen van twee BBL (Beroeps Begeleidende
Leerweg) klassen (N=43) van de kappersopleiding niveau 2 en b) 4 mentoren. Voorwaarde
was dat de respondenten vraaggestuurd onderwijs volgden.
- Het is aannemelijk dat deze respondenten praktisch zijn ingesteld (BBL en niveau
2) en moeite hebben of een aversie tegen het bijhouden van zelfbeoordelingen.
- De respondenten volgen een opleiding op assistent niveau. Zij zullen in de praktijk
niet zo vaak zelfstandige beslissingen nemen. Men kan zich afvragen of
zelfsturende vaardigheden wel relevant zijn voor de groep.
- Kicken gaf tijdens de presentatie aan dat de leerlingen uit drie taken konden
kiezen. Het is de vraag in hoeverre hier nog sprake is van vraaggestuurd
onderwijs.
De ene groep werkte met het ontwikkelingsportfolio en adviesgesprekken, de andere
groep met alleen een portfolio en feedback.
- In het onderwijs is het moeilijk om twee groepen respondenten te onderzoeken,
waarvan 1 controlegroep, omdat er dan sprake is van een ongelijke situatie en
een groep voordeel kan hebben. De oplossing om de groep zonder portfolio aan te
duiden als ‘portfolio en feedback’ geeft de situatie niet helder weer. Het feit van
ongelijkheid, hetgeen niet vermeden kan worden want anders is onderzoek
onmogelijk, blijft natuurlijk bestaan.
De eerste onderzoeksperiode van 10 weken was een voorbereidingsperiode: introductie +
oefenen STEPP (is ontwikkelingsportfolio); uitleg protocol voor feedback en
adviesgesprekken; voormeting zelfsturende vaardigheden.
22/24
- Het is aannemelijk dat de (controle)groep met alleen het portfolio geen
voorbereiding op de adviesgesprekken heeft gehad. Kicken kreeg van 1 groep
weinig medewerking. Mogelijk betreft dat dezelfde groep en kan de oorzaak liggen
in het feit, dat deze groep zich er minder bij betrokken voelt.
In de tweede periode, bestaande uit 20 weken, is gewerkt met het ontwikkelingsportfolio:
Stepp (= ontwikkelingsportfolio) wekelijks vullen met zelfbeoordelingen en
docentbeoordelingen; wekelijks taakselectie maken; 2-wekelijks een feedback/advies gesprek
met mentor; interviews docenten en studenten.
- Tijdens het praktijkonderzoek moesten de leerlingen aangespoord worden om
wekelijks de zelfbeoordelingen in te vullen. Behalve de mogelijke aversie, zie
eerdere opmerking, is het de vraag of dit het meest geschikte instrument. In het
onderzoek krijgt het instrument een erg grote nadruk (het is nieuw en leerlingen
zijn mogelijk niet gewend om met computers om te gaan). Zo zeggen Gullikers et
al. (2008) dat je niet te veel nieuwe dingen tegelijk moet nemen, omdat het voor de
deelnemers te complex kan worden.
- Het instrument is voor de onderzoeker een middel om te komen tot
dataverzameling, maar leerlingen en docenten zien niet altijd het nut ervan in.
Alhoewel het portfolio eenvoudig van opzet is vraagt het discipline om wekelijks in
te vullen (ze komen maar 1 dag op school en gaan waarschijnlijk die dag liever
werken, het zijn immers doeners.
- Omdat de onderzoeker geen inzicht krijgt in het keuzeproces van de leerling, is het
observeren van de leerlingen tijdens het uitvoeren van de taakkeuze een
alternatief. Door de leerlingen tijdens het keuzegedrag hardop te laten denken,
wordt duidelijk welke criteria, argumenten worden gebruikt bij de keuze.
Tegelijkertijd is er controle of het keuzeproces bewust gebeurd. 23/24
- Het is niet duidelijk hoeveel, op welke wijze de interviews zijn gehouden. Als er
enige tijd zit tussen de beoordeling en het interview, dan is het mogelijk dat
docenten en leerlingen elkaar hebben beïnvloed.
- Er is geen controle op de keuze die gemaakt is. Een mogelijke oplossing biedt het
opnemen van een criterium in de beoordeling door de docent.
Het zelfsturend vermogen van de leerling is gemeten m.b.v. een zelfmeting, een
docentbeoordeling, verbeterpunten en taakselectie. De prestaties zijn gemeten middels
afgetekende opdrachtkaarten en behaalde examens.
- In hoeverre de prestaties verband hebben met het begeleidingsmodel of met het
leervermogen van een leerling is niet te zeggen.
De resultaten laten zien dat het zelfsturend vermogen door taakverdelingen en
zelfbeoordelingen hetzelfde zijn, maar dat de groep met adviesgesprekken (adviesgroep)
beter is in het formuleren van analytische leerdoelen. Met betrekking tot Prestatie, laat de
adviesgroep betere resultaten zien op beide metingen.
- Of deze resultaten significant zijn is niet duidelijk.
- Op welke wijze de analyse van de metingen heeft plaatsgevonden is niet duidelijk.
De belangrijkste struikelblokken in het praktijkonderzoek waren: de betrokkenheid van zowel
docenten als studenten; daardoor ook (te) weinig data om te analyseren; geen inzicht op
daadwerkelijke selecties (waardoor komt een keuze tot stand, welke criteria, heeft men
zomaar wat ingevuld).
24/24
top related