de rubrics-app: de kunst van eenvoudig feedback geven en objectief beoordelen - joris remmers, sonia...
Post on 22-Jun-2015
378 Views
Preview:
DESCRIPTION
TRANSCRIPT
De Rubrics app
De kunst van eenvoudig
feedback geven en objectief
beoordelen
Joris Remmers / Sonia Gómez Puente
Even voorstellen
Sonia Gómez Puente
• Beleidsmedewerker onderwijsontwikkeling
Technische Natuurkunde en Electrotechniek
Joris Remmers
• Universitair Docent Werktuigbouwkunde
• O.a. verantwoordelijk docent 1e jaars OGO casus
OGO = Ontwerp Gericht Onderwijs
De Rubrics app
Professionele Vaardigheden
De Rubrics app
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
• Omgaan met informatie
• Presenteren
• Reflecteren
• Vergaderen
• Samenwerken
• Schrijven
Beoordeling professionele vaardigheden
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
• Hoe kunnen we de ontwikkeling van de professionele
vaardigheden op een objectieve manier meten?
• Hoe kunnen we die bevindingen op een eenvoudige
wijze vastleggen in het eDossier?
• Hoe kunnen we docenten motiveren (en faciliteren)
om de professionele vaardigheden op dezelfde
manier te meten en vast te leggen?
De Rubrics app
Beoordeling professionele vaardigheden
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
• Hoe gaan we beoordelen?
• Hoe vullen we het eDossier?
• Hoe motiveren en faciliteren we docenten?
De Rubrics app
Oplossing: rubrics
Een rubric is een standaard voor het beoordelen van
vaardigheden (moeilijk meetbare grootheden).
Eerste gebruik: 1970s (geestelijke gezondheidszorg).
Belangrijkste doel (voor ons): een objectieve
beoordeling van de vaardigheden van studenten.
Voorbeelden: het beoordelen van
• presentaties;
• verslagen, projecten.
De Rubrics app
Oorsprong van de term ‘Rubric’
• Uit het latijn: ‘Rubrica’
betekent ‘Rood kleuren’.
• Methode om in handschriften
nieuw onderdeel aan te geven.
• In onbruik geraakt met de
uitvinding van de boekdrukkunst.
• Moderne afleidingen:
• Rubriek (Nederlands)
• Rubric (Engels)
De Rubrics app
Een rubric is een verzameling rubrieken
De onderdelen van een rubric
• Criteria (rubrieken)
• Niveaus
• Beschrijvingen
Gebruikelijke notatie in matrix formaat
• De rijen zijn de criteria.
• De kolommen zijn de niveaus.
• De inhoud van de matrix wordt gevormd
door de beschrijvingen.
De Rubrics app
Voorbeeld: presentatie
Onvoldoende
< 5
Matig
6
Goed
7 / 8
Uitstekend
9 / 10
Vorm De slides zijn
rommelig, bevatten
veel fouten, geen
eenduidige lay-out.
De slides zijn
rommelig, zijn niet
mooi opgemaakt
De slides zien er
verzorgd uit, maar
bevatten wat foutjes
De slides zien er
verzorgd uit.
Inhoud Er zit geen structuur
in de presentatie.
De inleiding of het
slot ontbreekt of is
niet duidelijk.
De samenhang
tussen de inleiding,
kern en slot
ontbreekt.
De presentatie heeft
een duidelijke
inleiding, kern en slot.
Spreker Spreker is niet in
staat om het verhaal
te vertellen. Geeft
geen blijk van
voldoende kennis van
de materie.
De presentatie is
moeilijk te volgen.
Te veel details. De
grote lijn ontbreekt.
Uitleg is niet zo
helder. De spreker
laat af en toe een
steekje vallen.
Heldere uitleg. De
spreker heeft kennis
van zaken en weet
dat goed over te
brengen.
De Rubrics app
Criteria
Niveaus
Beschrijvingen
Onvoldoende
< 5
Matig
6
Goed
7 / 8
Uitstekend
9 / 10
Vorm De slides zijn
rommelig, bevatten
veel fouten, geen
eenduidige lay-out.
De slides zijn
rommelig, zijn niet
mooi opgemaakt
De slides zien er
verzorgd uit, maar
bevatten wat foutjes
De slides zien er
verzorgd uit.
Inhoud Er zit geen structuur
in de presentatie.
De inleiding of het
slot ontbreekt of is
niet duidelijk.
De samenhang
tussen de inleiding,
kern en slot
ontbreekt.
De presentatie heeft
een duidelijke
inleiding, kern en slot.
Spreker Spreker is niet in
staat om het verhaal
te vertellen. Geeft
geen blijk van
voldoende kennis van
de materie.
De presentatie is
moeilijk te volgen.
Te veel details. De
grote lijn ontbreekt.
Uitleg is niet zo
helder. De spreker
laat af en toe een
steekje vallen.
Heldere uitleg. De
spreker heeft kennis
van zaken en weet
dat goed over te
brengen.
Voorbeeld: presentatie
De Rubrics app
Rubrics
• Formalisatie van bestaande beoordelingen.
• Ontwerp vergt een aantal iteraties.
Het aantal criteria is belangrijk
• Te veel criteria:
• Eindeloze invul oefening
• Tijdrovend
• Te weinig criteria:
• Te veel ruimte voor eigen interpretatie
• Minder objectief
De Rubrics app
Andere voordelen
• Feedback van de beoordeling naar de studenten
• Studenten krijgen een kort en bondig overzicht van de
goede en slechte punten.
• Achteraf, maar ook tijdens het vak.
• Eventueel kan het dienen als checklist
• Studenten weten waar ze op beoordeeld worden.
• Hulpmiddel bij het schrijven van verslagen /
voorbereiden van presentaties (vooral eerste jaar).
De Rubrics app
Rubrics als input voor eDossier
• De beoordeling is objectief en volledig.
• De beoordeling bevat automatisch een toelichting /
feedback op de beoordeling.
• Echter, de hoeveelheid informatie kan
enorm groot worden.
De Rubrics app
Eigen ervaringen met Rubrics
• Nakijken van verslagen van een eerstejaars OGO
casus bij de faculteit W in oktober 2012.
• In totaal 224 studenten, opgesplitst in 112 koppeltjes
• De beoordeling zelf verliep uitstekend
• Objectiviteit is onderzocht door Sonia Gomez
• Echter, de verwerking van 112 handgeschreven
formulieren was een ramp…
De Rubrics app
De Rubrics app
De Rubrics app
De Rubrics app
De Rubrics app
De Rubrics app
De Rubrics app
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
De Rubrics app
De Rubrics app
De Rubrics app
• Beoordelen van
• Vergaderingen
• Presentaties
• Verslagen
• Projecten
• Eenvoudig in het gebruik
• Alles is digitaal
• Deelnemers importeren uit de
centrale studentenadministratie
• Resultaten exporteren naar
studentenadministratie
De Rubrics app
De ‘ForAllRubrics’ app / website
• Web gebaseerd.
• Platform onafhankelijk (html 5).
• Voldoet grotendeels aan onze wensen.
• Mogelijkheid om verzameling Rubrics aan te leggen.
• Inlezen van studentengegevens (als csv bestand).
• Exporteren van resultaten (als pdf).
• Amerikaans initiatief (Chicago, IL).
• Gratis te gebruiken voor individuele docenten.
• Verschillende licentie overeenkomsten mogelijk.
De Rubrics app
ForAllRubrics workflow
De Rubrics app
Stap 1: Het voorbereiden van de beoordeling
• Aanmaken / importeren van
een ‘Roster’ (groep studenten).
• Ophalen van bestaande
Rubric uit een bibliotheek.
• Aanpassen van de Rubric.
Synchronisatie
De Rubrics app
Synchronisatie
ForAllRubrics workflow
De Rubrics app
Stap 2: de beoordeling
• Geen internet verbinding nodig
• Verschillende studenten en
klassen kunnen door elkaar
beoordeeld worden.
• Verschillende docenten kunnen dezelfde groep
studenten beoordelen.
Synchronisatie
De Rubrics app
Synchronisatie
ForAllRubrics workflow
De Rubrics app
Stap 3: Verwerking van de resultaten
• Analyseren van resultaten
• Exporteren van cijfers
(als CVS bestand)
• Exporteren van Rubrics
(als PDF bestand)
Een oefening: een beoordeling
• Ga naar: www.forallrubrics.com
• Maak een account aan of,
• Log in als: onderwijsdag@home.nl
Wachtwoord is: default
• Zet alles klaar voor de beoordeling van:
• Roster: Presentatie Rubrics App
• Rubric: Presenteren (kort)
• Beoordeel Sonia en Joris
De Rubrics app
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
/ PICTO: Project Rubrics
Presentatie Rubrics App
Een oefening: een beoordeling
• Ga naar: www.forallrubrics.com
• Maak een account aan of,
• Log in als: onderwijsdag@home.nl
Wachtwoord is: default
• Zet alles klaar voor de beoordeling van:
• Roster: Presentatie Rubrics App
• Rubric: Presenteren (kort)
• Beoordeel Sonia en Joris
De Rubrics app
Conclusie
• De app is uitermate geschikt voor het beoordelen
van grote groepen studenten.
• Meerdere docenten kunnen simultaan studenten
beoordelen.
• Een goede integratie met bestaande onderwijs
systemen is noodzakelijk.
• Informatie wordt opgeslagen op Amerikaanse
servers. Gevolgen voor privacy.
• Website niet altijd even goed bereikbaar.
• De ontwikkeling van een eigen platform heeft
wellicht de voorkeur.
De Rubrics app
Conclusie
• Veel docenten zijn onbekend met rubrics als
beoordelingstechniek
• Investeer eerst in de ontwikkeling van goede rubrics
en maak docenten hiermee vertrouwd.
• Het gebruik van de app is dan een logische
vervolgstap.
De Rubrics app
S
De Rubrics app
De Rubrics app
De kunst van eenvoudig feedback geven en
objectief beoordelen
Joris Remmers / Sonia Gómez Puente
e-mail: J.J.C.Remmers@tue.nl
web: http://icto.tue.nl/
top related