module 6: evaluatiebfdwever/kl1516/module6.pdf · 2015-10-14 · module 6: evaluatie krachtige...
TRANSCRIPT
MODULE 6: Evaluatie
Krachtige Leeromgevingen
Donderdag 8 oktober 2015
Prof. dr. Bram De Wever
De vragen…
1. Wat is evaluatie?
2. Waarom evalueren we?
3. Wat is het doel van evaluatie?
4. Wat is de functie van evaluatie?
5. Wanneer evalueren we?
6. Wie evalueert wie?
Nog twee vragen
• Positieve evaluatie ervaringen
– Omschrijf kort
• Een paper evalueren, hoe ga je dat aanpakken?
– Omschrijf kort
Opdracht
• Evalueer de volgende cases
(1) Ellen, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 27
(2) Stijn, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 18
(3) Sofie, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 72
(4) Arne, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 63
(5) Ellen, tweede leerjaar
Ellen (zelfde als daarnet)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 27
Ellen (op een eerder moment)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 25
• 9 x 3 = 27
(6) Stijn, tweede leerjaar
Stijn (zelfde als daarnet)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 18
Stijn (op een eerder moment)
• 3 x 2 = 6
• 10 : 2 = 20
• 4 x 4 = 12
• 6 x 5 = 35
• 9 x 3 = 18
(7) Els, derde leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 63
(A) Bespreek de 3 niveaus in het OR
• Het onderwijsknudig refrentiekader bestaat uit drie verschillende niveaus: het micro-, het macro-, en het meso-nivau.
(B)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau.
(C)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau. Het microniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het macroniveau focust op beleidsorganen en beslissingnemers.
(D)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het macro-, het meso-, en het micro-niveau. Het macroniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het microniveau focust op beleidsorganen en beslissingnemers.
Jullie evaluatie van de cases
(1) Ellen, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 27
(2) Stijn, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 18
(3) Sofie, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 72
(4) Arne, tweede leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 63
(5) Ellen, tweede leerjaar
Ellen (zelfde als daarnet)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 27
Ellen (op een eerder moment)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 25
• 9 x 3 = 27
(6) Stijn, tweede leerjaar
Stijn (zelfde als daarnet)
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 9 x 3 = 18
Stijn (op een eerder moment)
• 3 x 2 = 6
• 10 : 2 = 20
• 4 x 4 = 12
• 6 x 5 = 35
• 9 x 3 = 18
(7) Els, derde leerjaar
• 3 x 2 = 6
• 10 : 2 = 5
• 4 x 4 = 16
• 6 x 5 = 30
• 8 x 9 = 63
(A) Bespreek de 3 niveaus in het OR
• Het onderwijsknudig refrentiekader bestaat uit drie verschillende niveaus: het micro-, het macro-, en het meso-nivau.
(B)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau.
(C)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het micro-, het meso-, en het macro-niveau. Het microniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het macroniveau focust op beleidsorganen en beslissingnemers.
(D)
• Het onderwijskundig referentiekader bestaat uit drie verschillende aggregatieniveaus: het macro-, het meso-, en het micro-niveau. Het macroniveau focust op de leeractiviteiten tussen een instructor en een lerende. Het mesoniveau focust op organisaties en instellingen zoals scholen. Het microniveau focust op beleidsorganen en beslissingnemers.
Reflectie op jullie evaluatie
• Cijfer versus tekstuele evaluatie?
• Cijfers gelijk? Belang van context? (gewogen grading)
• Heb je vergeleken (norm ipv criterium)?
• Heb je scores aangepast van voorgaand gescoorde cases?
• Had je al dan niet aandacht voor eerdere prestaties van dezelfde leerling? (ipsative)
Wat is evaluatie?
• Thorpe (1988):
• Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact.
Wat is evaluatie?
• Dus naast het meten van instructie-effecten bij de lerenden ook het gehele systeem van instructie evalueren – integrale kwaliteitszorg
Assessment versus evaluation
• Onderscheid in het Engels: Britse context
• Assessment
– De kwaliteit van het gedrag van de lerende
• Evaluation
– Het nakijken in welke mate aspecten van de instructiesituatie functioneren, bijvoorbeeld het handboek, de docent, de gebruikte leeromgeving.
• Nederlands: toetsing versus kwaliteitszorg
Assessment versus evaluation
• Onderscheid in het Engels: Amerikaanse context
• Assessment
– Focus op de activiteit van het “meten”
• Evaluation
– Focus op de activiteit van het “waarderen” wat “gemeten” is.
• Nederlands: meten versus beoordelen
Dimensies in evaluatie
• Op welke aggregatieniveau wordt de evaluatie uitgevoerd?
• Wat is de functie van de evaluatie?
• Wie voert de evaluatie uit?
• Op welk type leerdoelen richt de evaluatie zich?
• Wanneer wordt de evaluatie opgezet?
• Welke technieken worden gebruikt bij evaluatie? Welke tools kan je gebruiken?
• Evaluatie kan betrekking hebben op alle variabelen, processen en actoren die zich situeren op het microniveau van het referentiekader. – Lerende
– Instructieverantwoordelijke
– Instructieactiviteiten
– Leeractiviteiten
– Organisatie
Microniveau
• Vaak focus op microniveau
• Vaak focus op de mate waarin de leerdoelen zijn bereikt
• Ook hier zo in deze module
• Maar ook aandacht nodig voor andere aspecten, zeker in functie van algemene kwaliteitszorg.
Terminologie
• Criteriumgerichte evaluatie
– Criterion-referenced assessment
• Normgerichte evaluatie
– Norm-referenced assessment
• Ipsative assessment
– Self-referential assessment
Criterium
• Criteriumgerichte evaluatie
• [criterion-referenced assessment]
• Criterium op voorhand vastgelegd
• Eénzelfde standaard voor iedereen
• Voorbeeld: bij 100 meter lopen: iedereen die binnen de 15 seconden finisht = geslaagd
• Doel is selectie of het nemen van een finale beslissing
Norm
• Normgerichte evaluatie
• [Norm-referenced assessment]
• Voorbeeld: gemiddelde van iedereen, en wie sneller loopt dan M+1sec = geslaagd
• (toevallige) samenstelling groep speelt mee, minder duidelijk wat nu precies gekend is, wat de ondergrens is
• Vergelijking
Ipsative
• Ipsative assessment
• Self-referential assessment
• [ipsatieve/zelf-referentiële – naar zichzelf verwijzende assessment]
• Vooral in contexten waar de leerbaarheid in het oog wordt gehouden.
• Beroepsonderwijs of buitengewoon onderwijs
• Lopen: vooruitgang (rekening houdend met eigen mogelijkheden) = geslaagd (Doel = progressie)
Mesoniveau
• I.f.v. kwaliteitzorg
• Belangrijk punt van aandacht
• Responsabilisering van onderwijsinstellingen
• Bvb vorige les: kader met eindtermen en ontwikkelingsdoelen, scholen moeten kunnen aantonen dat ze kwaliteitsvol zijn en dus de eindtermen bereiken
CIPO-model
• Calder (1994):
– Context, Input, Process, Product
• Vlaanderen: CIPO
– Context, Input, Proces, Output
Doorlichting van scholen
• Procedure
– Zelfevaluatieverslag
– Vooronderzoek
– Doorlichtingsbezoek
• Verslag: openbaar
• Adviezen:
– Gunstig; gunstig beperkt in tijd; ongunstig
Macroniveau
• Kwaliteit van het onderwijssysteem
• Performance indicatoren
• Indicatoren als parameter voor kwaliteit
• Vergelijken met voorgaande metingen of met andere landen
• Voorbeelden: TIMSS, PISA, PIAAC, …
PISA (Boven: wiskundige geletterdheid) (Onder: wetenschappelijke geletterdheid)
PISA (HB p. 449) Toppresteerders wiskunde, 2003 – 2012)
VL --- B
Centrale examens
• CITO toetsen, bacalauréat, national curriculum
• Centrale examencommissie
• Peilingsproeven
• Voordeel
• Nadeel
• Krantenartikel HB p. 451
• De standaard, 23 april 2014
De functie van evaluatie
• Formatieve evaluatie versus summatieve evaluatie
• Verschillende doelen, aanpakken, en gebruik van evaluatie
• “Assess while you teach, teach while you assess”
• Assessment of learning, for learning, as learning
De functie van evaluatie
• Certificerende/kwalificerende functie
• Selectie functie
• Prognostische/predictie functie
• Didactische functie, inhoud verschaffen over het onderwijsleerproces
• Koppel bovenstaande functies aan formatieve dan wel summatieve evaluatie.
Evaluatie op meso / macro niveau
• Formatief: intern gericht
• Summatief: extern gericht
Wie voert de evaluatie uit?
Wie voert de evaluatie uit?
Self Assessment
• Waarom wel?
• Waarom niet?
Self Assessment
• Waarom wel?
– Verantwoordelijkheid en betrokkenheid lerende (~constructivisme)
– Doelen bepalen, criteria vastleggen, checklist uitwerken, evaluatie uitvoeren, conclusies trekken
– Zelfreflectie, monitoren eigen leerproces, zelfregulatie
– Academische standaarden
Vandevelde, S. & Van Keer, H. (2015). Coaching en begeleiding - Workshop - 22 september 2015
VOOR
TAAKANALYSE PLANNEN MOTIVATIE SELF-EFFICACY
TIJDENS
LEER-STRATEGIEËN
MOTIVATIE-STRATEGIEËN
MONITORING DOORZETTINGS-
VERMOGEN
NA
ZELFEVALUATIE ATTRIBUTIE
STUDIE-OMGEVING
Self Assessment
• Waarom niet?
– Niet zo eenvoudig
• Begeleiding, oefening
– Niet altijd handig als het om scoren gaat
• Laag versus hoogpresteerders
Peer Assessment
• Waarom wel?
– Constructivisme en samenwerkend leren
– Betrouwbaarheid, validiteit en bruikbaarheid is over het algemeen vrij goed.
– Academische standaarden toepassen op anderen, maar ook zelf daaruit leren
Peer Assessment
• Waarom niet?
– Niet zo eenvoudig
• Begeleiding, oefening
• Geleidelijke opbouw en trainingsaanpak
– Niet handig als het om scoren gaat
• Peer grading versus peer assessment
• Friendship marking, veiligheid, anonimiteit
• Neiging om rond het gemiddelde te scoren
Voorbeeld van een gestructureerd proces voor peer assessment
• Elke lerende stelt afzonderlijk criteria op
• Vergelijk in duo en stel bij
• Verzameling criteria opmaken
• Gebruiken om eigen werk te beoordelen
• Gebruiken om anders werk te beoordelen
• Werkstukken herwerken
• Instructor beoordeelt op basis van criteria
• Bespreken in paren en opnieuw bijstellen
Peer feedback
• Peer feedback versus peer assessment
• The power of feedback
The Power of Feedback
The Power of Feedback
John Hattie and Helen Timperley
REVIEW OF EDUCATIONAL RESEARCH 2007 77: 81
DOI: 10.3102/003465430298487
The online version of this article can be found at:
http://rer.sagepub.com/content/77/1/81
http://education.qld.gov.au/staff/development/performance/resources/readings/power-feedback.pdf
Quote
Effective feedback must answer three major questions asked by a teacher and/or by a student: Where am I going? (What are the goals?), How am I going? (What progress is being made toward the goal?), and Where to next? (What activities need to be undertaken to make better progress?) These questions correspond to notions of feed up, feed back, and feed forward.
Feedback
• Feed up
– Where am I going? (What are the goals?)
• Feed Back
– How am I going? (What progress is being made toward the goal?)
• Feed forward
– Where to next? (What activities need to be undertaken to make better progress?)
Peer feedback
• Drie belangrijke elementen in peer feedback
– Feed up: criteria, standaarden, doelen, gewenste situatie
– Feed back: informatie over huidige situatie
– Feed forward: suggesties om vanuit de huidige situatie tot de gewenste situatie te komen
Voorbeeld
• Onderzoek Mario Gielen (Vakgroep onderwijskunde, Universiteit Gent): Peer feedback in online omgeving
(zie volgende dia’s)
(3) VOORBEELDEN
ONDERWIJSKUNDE
(3) VOORBEELDEN
FASE 1 - DRAFT VERSIE VAN ABSTRACT
(3) VOORBEELDEN
FASE 2 - PEER FEEDBACK GEVEN
- Assessment criteria (Sluijsmans, 2002)
- Power of feedback (Hattie & Timperley, 2007)
– Feedback on past performance
– Feed forward in function of future improvement
(3) VOORBEELDEN
FASE 2 - PEER FEEDBACK GEVEN
(3) VOORBEELDEN
FASE 3 – FINALE VERSIE ABSTRACT
(3) VOORBEELDEN
FASE 4 - PEER FEEDBACK EVALUEREN
EARLI 2013 Symposium: Formative feedback in online interaction to enhance learning
Earli SIG1 – Professional Development in Assessment
EARLI 2013 Symposium: Formative feedback in online interaction to enhance learning
Voorbeeld
• http://www.tecolab.ugent.be/pres/20150908_Mobiel_leren.html#/8
• Onderzoek Tijs Rotsaert (Vakgroep onderwijskunde, Universiteit Gent): Classroom response technology
• Peer assessment en feedback in de klas
Rubrics
• http://users.ugent.be/~bfdwever/fb13/
Wanneer wordt de evaluatie opgezet?
• Voor het leerproces
– Advance organizers
– Cognitivisme
– Activeren voorkennis
Wanneer wordt de evaluatie opgezet?
• Tijdens het leerproces
– Voortgangsevaluatie, vaak formatief
– Portfolio evaluatie
• Bestewerkportfolio / showcaseportfolio
• Procesportfolio
• Leerdoelenportfolio
• Documentportfolio of productportfolio – Reflectieverslagen
Wanneer wordt de evaluatie opgezet?
• Na het leerproces
– Toetsen en examens
– Cf. verschillende functies
Welke technieken worden gebruikt?
• Vraagtypes
• Rubrics
• Performance evaluatie
Het scoren van evaluatieresultaten
• Absolute grading
• Relative grading
• Gewogen grading
• Item analyse
• IRT
Kwaliteitseisen bij evaluatie
• Betrouwbaarheid
• Validiteit
• Authenticiteit
• Recentheid
Evaluatie: kritische visies
• Handboek
– Momentopname
– Gestandaardiseerde en efficiënte toetsen kunnen andere toetsvormen verdringen
– Gevaar dat veel vaardigheden niet getoetst en dus ook niet aangeleerd worden
– Teaching to the test
Nog kritische visies
Assessing and evaluating
• Jarvis, P. (2010). Assessing and evaluating. In P. Jarvis (Ed.). Adult education & Lifelong learning. Theory and Practice (4th ed., pp.210-226). London: Routledge.
98
• Assessment is a complex process
• Assessment houdt een zeker niveau van subjectiviteit in
• Assessment is not measurement
• Methodes om subjectiviteit te verminderen
99
A rationale for assessment
• Waarom?
– Diagnostic tool (formatief)
– Aangeven van een standaard
• Gelijke tests – vergelijken? – input!
– Wat werd verworven?
• Attainment ~= ability
• Guide / indication
100
Types of assessment
• Formative
• Summative
• Analytical
• Global
• Self / Peer / Co (collaborative)
101
Curriculum / course evaluation
• Kwaliteit?
– ~= effectiviteit
– ~= efficiëntie
– ~= tevredenheid
102
Evaluatie curriculum
• Hoe evalueer je een curriculum?
An andragogical process model for learning
• In M. S. Knowles, E. F. Holton III, & R. A. Swanson (Eds.), The adult learner. The definitive classic in adult education and human resource development (6th ed., pp. 115-138). Oxford: Elsevier Inc.
Kirkpatrick (1971)
• Reaction evaluation
• Learning evaluation
• Behavior evaluation
• Results evaluation
The primary purpose of [evaluation] is to improve teaching and learning
(Knowles, 2005, p. 132)
Praktische tips
• http://krachtigeleeromgevingen.weebly.com/uploads/1/1/9/4/11944505/breed_evalueren.pdf
• http://krachtigeleeromgevingen.weebly.com/uploads/1/1/9/4/11944505/evalueren_vsko.pdf
Jullie antwoorden op
• Positieve evaluatie ervaringen – Wat waren ze?
– Waarom denk je dat deze je bijgebleven zijn?
• Een paper evalueren, hoe ga je dat aanpakken? – Hoe ging je dat doen?
– Heb je eventueel je idee daarover wat aangepast na deze les?
De vragen…
1. Wat is evaluatie?
2. Waarom evalueren we?
3. Wat is het doel van evaluatie?
4. Wat is de functie van evaluatie?
5. Wanneer evalueren we?
6. Wie evalueert wie?
Praktische mededelingen
• Handboek bestellen kan via mail (zie aankondigingen op Minerva voor details)
• Graag jullie laptop meebrengen naar de oefeningensessies op 15 oktober (opgeladen)
• Examen voor dit opleidingsonderdeel: multiple choice open boek (toepassing)
MODULE 6: Evaluatie
Krachtige Leeromgevingen
Donderdag 8 oktober 2015
Prof. dr. Bram De Wever