de kracht van kalibratie van eindwerkstukken
DESCRIPTION
Voor betrouwbaar beoordelen van eindwerkstukken in het hbo is het noodzakelijk dat verschillende examinatoren op één lijn zitten. Kalibratie is een hulpmiddel om tot overeenstemming te komen.TRANSCRIPT
Beoordelen beoordeeld
Kennisplatform Examinering HO 30 oktober 2014 Tecla Lampe
Opzet workshop
Beoordelen beoordeeld • Procedure en resultaten • Opdracht beoordeling handtekenen • Voorbeeld resultaten scriptie • Vervolg procedure
Procedure
• Onafhankelijk beoordelen van hetzelfde werkstuk
• Vergelijking oordelen en toelichtingen • Inventarisatie verbeterpunten • Afspraken en aanpassingen
Resultaten
Betrouwbare beoordeling door: • Afspraken over beoordeling • Duidelijker documenten • Gemeenschappelijk referentiekader
• Afspraken over begeleiding
Beoordelingsprocedure
• Onafhankelijk van elkaar beoordelen • Oordelen vergelijken • Beslissen tot eindoordeel
Beoordelingsopdracht
• Industrieel Product Ontwerpen • Vijf tekeningen met de hand
Beoordeel de vijf tekeningen van de student • onafhankelijk van elkaar • op grond van het beoordelingsformulier.
Verbeterpunten
Formuleer drie verbeterpunten, bijvoorbeeld over: • de omschrijving van de criteria • de opmaak en inhoud van het
beoordelingsformulier • de beoordelingsprocedure • beoordelingsinstructies • de totstandkoming van het eindoordeel.
Oordelen set 2
Tekentechniek
Perspectief 4 6 7 7 5 7 7 7 7
3D suggesties 5 7 8 7 4 6 7 7 6
Vormconstr. 4 7 7 8 6 5 6 7 6
Vormvariatie 4 6 7 8 5 7 7 7 6
Lijnvoering 5 6 8 7 4 7 7 8 7
Effecten 6 6 7 6 4 5 7 7 4
Beroepshouding
Exper. Lust 6 6 7 6 4 8 7 6 6
Omgang og 6 6 7 6 4,5 8 6 7 6
Inzet/leercurve 6 5 7 4 4,5 8 6 7 6
eindcijfer 5 6 7 7 5 7 7 7 6
Conclusies
• Lijnvoering minste overeenstemming (bij alle 5 sets tekeningen)
• Criteria over beroepshouding aanpassen
Verbeteringen
Uiteindelijk …
De student kan … Score Rechte lijnen trekken 0 – 1 Met lijndiktes spelen 0 – 1 Perspectief opzetten 0 – 1 Kubussen en balken construeren 0 – 1 Ellipsen construeren 0 – 1 Cilinders en conussen construeren 0 – 1 Aanzichten in Amerikaanse projectie tekenen 0 – 1 Verhoudingen tekenen 0 – 1 …. 0 – 1
Totaal
Beoordelen beoordeeld
Voorbeeld resultaten scriptie • Onafhankelijk beoordelen van hetzelfde
werkstuk • Vergelijking oordelen en toelichtingen • Inventarisatie verbeterpunten • Afspraken en aanpassingen
Oordelen over scriptie
Vakkundigheid A B C D E Kwaliteit van ... probleemanalyse, onderzoeksvraag en deelvragen g t t v o theoretisch kader t o t t t onderzoek/ data-analyse v t t o o beroepsproduct v t t o o/t conclusie en aanbevelingen v t t o t
Schriftelijke communicatie Kwaliteit rapportage g t t/v t o
Eindoordeel 60 5 40 4,5
Toelichtingen bij scriptie
onderzoeksmethoden en instrumenten • Blijft op globaal niveau: interviews, desk research. Type
interview of research wordt niet concreet gemaakt, noch verantwoord: wie is/zijn geïnterviewd, hoeveel mensen, met welke vraagstellingen, hoe zijn de resultaten verzameld?
• Bij inventarisatie van de huidige situatie (deelvraag 1) wordt de werkwijze niet vermeld;
• Naar sommige bijlagen wordt helemaal niet gerefereerd; • In H6 wordt niet naar de interviews verwezen, die de basis
vormen van de vastgestelde requirements; • Onderzoeksmethoden niet in hoofdverslag beschreven,
instrumenten ook niet.
Kwaliteit van onderzoek …
• De student beschrijft welke onderzoeksmethoden en instrumenten gebruikt worden
• De gemaakte keuzes m.b.t. de uitvoering van het onderzoek zijn verantwoord en onderbouwd
• De gehanteerde methoden en technieken zijn juist gekozen en adequaat toegepast
Toelichting in beoordelingsformulier: Per deelvraag beschrijft de student de selectie van de correcte methode(n) en instrument(en), inclusief een verantwoording/onderbouwing
Beoordelen beoordeeld
Vervolg procedure Onafhankelijk beoordelen van hetzelfde
werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen
• En dan….?
Beoordelen beoordeeld
• Nogmaals onafhankelijk beoordelen van ander werkstuk
• ‘Democratische’ beoordelingsstandaard = gemeenschappelijke oordelen/toelichtingen
• Vergelijking toelichtingen met standaard
0102030405060708090
100
A B C D E F
Beoordelen beoordeeld
Procedure Onafhankelijk beoordelen van hetzelfde
werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen
Beoordeling van oordelen en toelichtingen
Dank voor uw aandacht