senter for e-læring (sel)

Verktøykasse for underveisvurdering og tilbakemelding

Torunn Gjelsvik, Senter for e-læringAnne Swanberg, Senter for e-læring

Workshop kursansvarlige 17.11.09

Senter for e-læring (SEL)

• Pedagogisk kompetansesenter for hele BI

• Spesialfelt: bruk av IKT i undervisningen– Aktuelt prosjekt: Nytt LMS

• Målgruppe: BIs faglige i undervisning

• Tips Blackboard/It’s Learning: www.bi.no/foreleser


http://www.bi.no/Content/Article____43638.aspx

http://www.bi.no/foreleser

Metodeutvikling og verktøyanvendelse for undervisning og læring med underveisvurdering i høyere utdanning

- i mellomstore og store klasser -


Utfordringer• Den fagansattes utfordring:

– Store klasser – problem med tilbakemelding– Mye jobb med tilbakemelding

• Høyskolenes utfordring:– Kursdesign-strategier og prosesser– Store klasser = kostnadsbesparende….– Prosessvurdering = kostnadsdrivende…. Eller?


Noen løsninger

• Ny LMS - bruk av læringsplattform som viktigste ”logistikkleverandør”

• Innføring av arbeidskrav (obligatoriske aktiviteter underveis, uten summativ vurdering)

• Aktivisering av studenter underveis

• Mer automatisering og effektivisering


Prosjektide

• Tilby faglige ansatte verktøy for planlegging og gjennomføring av undervisning med prosessvurdering

• Prosjektmål: En utprøvd metode for planlegging, gjennomføring og evaluering av undervisning der prosessvurdering inngår. Utvikling av en verktøykasse til hjelp planlegging og gjennomføring.

• For BI: Hjelp til å implementere Bachelor-reformen


HovedprosjektUtvikling metode

HiST, HiNT,BIProsjektledelse: BI

Delprosjekt/PilotVerktøyanvendelse

HiST


HiNT

tid

Forts. hovedprosjektEvaluering og avslutning

HiST, HiNT, BIProsjektledelse: BI


BI

FASE 1Feb-Jun 09

FASE 2Jun 09-Jun 10

FASE 3Jul-des 10


Academic Susan


Non-Academic Robert


Hvorfor mer tilbakemelding?Foruten:

1) Overordnede føringer– Bologna-prosessen (Europa)– Kvalitetsreformen (Norge)– Opprettelsen av NOKUT

2) Interne prosesser BI– Bachelor- og masterreformene

Så øker studentmassen og vi får flere “Roberter”


https://www.itslearning.com/index.aspx?customerid=&username=&redirectlogin=itslearning.com&MustUseSsl=true&

Oppgaveverktøy – automatisert tilbakemelding

• Verktøy for produksjon av digitale tester og spørsmålsbaser

• Mange ulike oppgavetyper, flest med automatisert tilbakemelding

• Eks. multiple choice, multiple answer, true/false, matching, ordering

• Mulig å teste på flere nivåer? (ref. Blooms) • Oppnår vi for eksempel både kunnskapsmål

og ferdighetsmål, ref. kursbeskrivelsen?


Fordeler med automatiserte tester

• Motiverer og aktiviserer studentene• Gir umiddelbar tilbakemelding og resultat• Tidsbesparende for lærer mht. retting• Gjenbrukbart læringsinnhold• Kan brukes diagnostiserende, gi en pekepinn for

den videre læringsprosessen• 100 % objektiv vurdering• Effektiv repetisjon av pensum• Mulighet for tilpasset/utdypende tilbakemelding for

rette og gale svar


Ulemper/farer ved bruk av flervalgstester

• Kan påvirke læringen i instrumentell retning• Kan virke begrensende, særlig hvis multiple

choice er eneste oppgavetype• Krevende for lærer å utvikle, må ha gode

spørsmål og svaralternativer (både riktige og gale svar)

• Tester kun faktakunnskap???


Hvor langt opp i pyramiden kan vi komme?


Eksempel 1

Automatiserte tester som arbeidskrav i BØK 3411

Kursbeskrivelse BØK 3411

• Kunnskapsmål: Etter endt kurs skal studentene kunne forklare sentrale begreper og redegjøre for viktige verktøy som brukes i analyser av bedriftsøkonomiske problemstillinger (med verktøy menes sammenhenger, metoder, teknikker, modeller, teorier o.l. som brukes innen fagområdet).

• Ferdighetsmål: Etter endt kurs skal studentene kunne (a) anvende tilegnede kunnskaper (dvs. begreper og verktøy) i analyser og diskusjoner av bedriftsøkonomiske problemstillinger, (b) skille mellom relevant og irrelevant informasjon, og (c) gi skriftlige svar på spørsmål som gjør at leserne forstår anvendt fremgangsmåte og svaret som fremkommer (herunder kontrollere de kilder som er anvendt).


Arbeidskrav i kurset

• Minst 5 av 8 obligatoriske innleveringer må være godkjent

• Innleveringene består av 10 spørsmål, hvorav minst 2 må være riktig

• 3 forsøk per test• Studentene får umiddelbar tilbakemelding

på poengscore, mens hjelp til oppgaveløsning skjer i klasserom


Eksempel

I denne oppgaven skal du se bort fra merverdiavgift. En bedrift benytter lineære avskrivninger for sine maskiner. Avskrivningssatsen er 20%. Maskinene ble kjøpt inn ved inngangen til året 20x1 for kr 2 200 000. Årlige avskrivninger ble fastsatt til kr 400 000. Ved utløpet av perioden for antatt levetid ble maskinen solgt for kr 175 000 mer enn dens bokførte verdi. Hva var salgssummen? Oppgi salgssummen i hele kroner uten tusenskiller.


Resultater fra BØK3411 H2009


Erfaringer

• Høy deltakelse – ”alle er med”

• Få ”ikke godkjent”

• 80/20 – snudd om – studentene er bedre forberedt til undervisning

• Bieffekt: studenten tar tester flere ganger for å lære mer

• ”Smertefri” avvikling

• Lite administrativt arbeid

• Vellykket bruk av nettet som supplement til forelesning



Vite mer om flervalgstester?

• Munkvold mfl.: Nettbasert undervisning. Kristiansand, Høyskoleforlaget 2008

• Sirnes, S.-M.: Flervalgsoppgaver – konstruksjon og analyse. Bergen, Fagbokforlaget 2005

• Svein Lie: Om testteori og flervalgsoppgaver. Presentasjon på Inspirasjonsdag for forelesere ved Handelshøyskolen BI, 2008 (tilgjengelig fra www.inspirasjon.binettstudier.no

http://www.inspirasjon.binettstudier.no/

Metode og verktøykasse

Pedagogisk rammeverk

Hva gjør vi for å hjelpe Robert?– Utvikle undervisning etter Bigg’s

“constructive alignment”• Kursbeskrivelsene legger premissene

– Utvikle tilbakemeldingsaktiviteter• Teori underbygger at tilbakemelding er sentralt

i læringsløpet

– Aktivitet fremmer læring (Dewey)• Se - høre –gjøre (studentene produserer)


EksamenLæringsmål

Aktivitet 1-N

Constructive alignmenteller

Samstemt undervisning

(Biggs & Tang, 2007)


EksamenLæringsmål

Aktivitet 1

Aktivitet 4

Aktivitet 5

Aktivitet 1

Aktivitet 2

Aktivitet 6

Aktivitet 3


Aktivitet 1

Sjekk mot læringsmål og eksamen

Sjekk mot øvrige kursaktiviteter

Valg av første kursaktivitet 1.Hva skal denne bestå i?2.Hva er hensikten med aktiviteten?3.Hvordan støtter den opp om læringsmålet?4.Hvordan støtter den opp om eksamen?


I klasserommet•Tilbakemelding i plenum

Gjennomgang av løsningsforslag(utregninger , eks.oppg. drøftinger)

•Tilbakemelding via medstudenterGrupperSummegrupper

•One-minute-paperEgen Refleksjon Tilbakemelding på undervisningGrunnlag for plenumstilbakemelding

•Casepresentasjoner

På nettet•Interaktive tester

Automatisert tilbakemelding (regning – begrepsinnlæring)

•MapperArbeidsmapperVurderingsmapper

•MedstudentvurderingHøy grad av automatisering

•Innleveringer •Diskusjongrupper (og blogg)•Simuleringer•Samskriving (wiki )

Kombinasjoner•Videosnutter m/MC eller refleksjonsoppgave – diskusjon i plenmum•Interaktiv oppgave (digital ressurs) som forberedelse til forelesning•Interaktiv oppgave som kontroll av kunnskaper fra forelesning•Polling før, underveis og etter forelesning


Eksempel

”One Minute Paper”

Refleksjon og tilbakemelding med tanke på dagens forelesing

1. Nevn 3 ting du har lært i dag:

a)__________________________________________________________

b)__________________________________________________________

c)__________________________________________________________

2. Hva tenker du er det mest betydningsfulle du lærte i dag?

____________________________________________________________

Hvorfor?

____________________________________________________________

3. Var det noen temaer du synes var vanskelige eller uklare? Evt. hvilke?

____________________________________________________________

4. Hva likte du minst med forelesningen?

____________________________________________________________

5. Hva likte du best med forelesningen?

____________________________________________________________

Feedback memo (Filene, 2005, p15)

The main point of today’s class is___________________________

What interested me most is___________________________

What I don’t understand is___________________________

Name (optional)______________


Eksempel 2

Planlegging av ORG3401 etter Bigg’s metode

Læringsmål

Kunnskapsmål

Studentene skal tilegne seg grunnleggende psykologiske, ledelsesfaglige og organisasjonsteoretiske kunnskaper som er relevante for arbeidslivet og for videre studier i andre organisasjons- og ledelsesfag.

Ferdighetsmål

Studentene skal kunne redegjøre for sentrale begreper, prosesser og teorier og hvordan disse relateres til effektivitet i organisasjoner.

Holdningsmål

Studentene skal utvikle forståelse for at psykologiske egenskaper og prosesser og organisasjonsmessige betingelser har stor betydning for optimal fungering i arbeidslivet.


Tema 7 Læring – L.O.

• definere begrepet læring – kunnskap om = nivå 1

• gjøre rede for ulike former for læring – kunnskap om = nivå 1

• drøfte forholdet mellom erfaring og læring– forstå = nivå 2

• forklare hva som menes med “den lærende organisasjon” – forstå = nivå 2


Knowledgearrangedefineduplicateknowlabellistmatchmemorizenameorderquoterecognizerecallrepeatreproducerestateretain

Comprehensioncharacterizeclassifycompletedepictdescribediscussestablishexplainexpressidentifyillustratelocaterecognizereportrelatereviewsorttranslate


Applicationadministerapplycalculatechoosecomputeconductdemonstratedramatize..

AnalysisSynthesisEvaluation

Aktivitet 1





Temaoppgave (eksamensrettet)Rettes av medstudent etter kriterierPlenumsgjennomgang

Aktivitet 2





Video om ”operant betingingslæring” RefleksjonsoppgaveFerdig løsningsforslag på nettet

Aktivitet 3





Flervalgsoppgave Automatisert tilbakemlding på nettet

Studentdreven “kunnskapsproduksjon”

Utnytt studentene og utnytt mediene:

• Studenter lager flervalgsoppgaver– Fin måte å bygge opp oppgave-base– Krever kvalitetssikring fra lærer

• “YouTube”-produksjoner– Eks demonstrer begrepet “Sosial

fasilitering” (dvs å få alle i gruppen til å jobbe)


senter for e-læring (sel)

Documents