1

Námsmat

Námskeið við Hjallaskóla

Námskeiðsdagur 17. október 2007

Meyvant Þórólfsson

2

Lykilspurningar• Hver er tilgangur námsmatsins?• Hvað ættum við að meta? • Hvernig ættum við að meta?• Hverjir eiga að meta?• Hvenær á að meta?• Hvernig viðmið eru við hæfi?• Hvernig tökum við á álitamálum?• Hvernig eigum við að vinna úr niðurstöðum og túlka

þær? Hvað svo?• Að hvaða marki er hægt að tryggja og gera alla

meðvitaða um samræmi milli markmiða og námsmats?

Derek Rowntree o.fl.

3

Tilgangur námsmats...Langalgengast:• Stuðningur við nám og kennslu, leiðsagnarmat (e.

formative assessment, assessment for learning).• Að gefa upplýsingar (samantekt/uppgjör) um

námsárangur við lok námstíma/námsáfanga. yfirlitsmat – lokamat (e. summative assessment, assessment of learning)

Einnig:• Endurgjöf – styrking, að efla áhugahvöt, greining, mat

á stöðu, samanburður/röðun, þáttur í mati á skólastarfi og menntarannsóknum

4

Hvað er metið? Sbr. MARKMIÐ tengd atferlismarkmiðum

• Bloom og fél. – þekkingarsvið:

Þekking/kunnátta

Skilningur

Beiting

Greining

Mat/Gagnrýnin hugsun

Nýmyndun/Skapandi hugsun

Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006

5

Hvað ætti að meta?Tveir stórir flokkar til viðbótar hjá Bloom og fél.

• Flokkur viðhorfa og tilfinninga (affective domain - feeling, emotions - attitude - 'feel‘) – Hefur að gera með frumkvæði, viðhorf, ábyrgð, áhuga, þátttöku, samygð o.fl.

• Flokkur leikni og færni (psychomotor domain - physical skills - 'do') – Hefur að gera með verklega frammistöðu, sköpun, framkvæmd, verklagni, “performance” o.s.frv.

• Hvað annað gæti verið metið? Eitthvað ófyrirséð í fari nem., sbr. eigindlegt (kvalítatíft) mat.

6

Hvaða leiðir höfum við til að meta?Matsaðferðir

• Próf: stöðupróf, samræmd próf, yfirlitspróf, stöðluð próf, könnunarpróf, heimapróf, hóppróf, svindlpróf, munnleg próf...

Óformlegt mat: Námsmat samofið námi og kennslu:

• Óhefðbundið námsmat: Rauntengt og heildrænt námsmat (e. authentic assessment), oftast við lausn verkefna sem eru tengd raunverulegum aðstæðum og tengjast margþættri kunnáttu og færni.

• Fleiri leiðir til að meta: Þrautalausnir, sýnismöppur, verkmöppur, gátlistar, marklistar, dagbækur, viðtöl, sjálfsmat, jafningjamat, virkniathuganir, “rubrics”.

7

Valkostir við gerð hefðbundins skriflegs prófs

Valið stendur milli:

• Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni.

Og

• Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

8

Huga þarf að:

• Orðalagi svo prófatriðið greini örugglega milli þeirra sem kunna og þeirra sem ekki kunna og nemendur skilji fyrirmæli rétt.

• Fjölda prófatriða og lengd prófs: Þetta fer eftir

aðstæðum, aldri nem., próftíma, tegundum prófatriða, til hvers á að nota niðurstöður. Hversu hás réttmætis er krafist?

• Hvernig prófatriðum er komið fyrir-raðað upp? Svipuð atriði saman. Erfiðari atriði síðast.

Margs er að gæta við prófsamningu

9

Fjölval: Túlkunarverkefni (Interpretive exercises)

• Sett er fram einhvers konar kynningarefni, t.d. texti, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun.

• Kostir/styrkleikar: Mat auðvelt, auðveldasta leiðin til að meta “læsi” og ýmsa hæfni til að tengja sbr. PISA. Hægt að meta flókin “learning outcomes”

• Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

10

Dæmi um túlkunarverkefni í PISA rannsókn OECD

PISA 2002.

http://www.pisa.oecd.org/dataoecd/43/54/33690904.pdf

11

Túlkunarverkefni

Að hverju þarf að huga við samningu túlkunarverkefna:• Velja kynningarefni sem hæfir þeim námsþáttum

(learning outcomes) sem á að meta. • Velja kynningarefni sem er hæfilega framandi. • Hafa efnið hnitmiðað og læsilegt. • Ekki hafa spurningar þannig að hægt sé að svara

þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið.

• Fylgja má vinnureglum um fjölvalsverkefnaform.

12

Fjölval: krossaspurningar

• Langalgengasta gerðin af prófatriðum• Má nota til að meta margvíslegan námsafrakstur

(learning outcomes).• Eru vönduð prófatriði ef rétt er staðið að samningu

og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika).

• Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær.

13

Meginverkefni námskeiðsins• Tveir til fimm vinna saman að þróun námsmats er tengist

námi og kennslu í þeirra starfi.

• Meginfókus á að skilgreina matsþætti og aðferðir: Þ.e. hvað er metið og hvernig er metið?

• Huga að samhengi milli markmiða og “learning outcomes” (sbr. réttmæti).

• Hvernig tengist verkefnið heildarstefnu skólans um námsmat?

• Kynna verkefnið síðar á námskeiðinu og fá umræðu um það

14

Eðli krossaspurninga

Námskeið um námsmat

  Merki/ Bókstafur Viðfangsefni

Athuga v/námskeiðs

Aldís Guðmundsdóttir      

Ágústína Jónsdóttir      

15

Að meta þekkingu/minni

• Hentar mjög vel krossaspurningaforminu

• Reynir mest á hvort nemendur muna staðreyndir, heiti, reglur o.s.frv.

• Getur spannað yfir mjög vítt svið: orðaforði, merking hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

16

Dæmi um krossaspurningu sem metur þekkingu – reynir á minni

Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru:

( ) Haraldur lúfa og Þangbrandur

( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði

*( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði

( ) Gissur hvíti og Gísli Súrsson

17

Að meta skilning

Krossaspurning:

• Hentar vel til að fá hugmyndir um hversu vel nemandi skilur meginefnið án þess að láta hann beita skilningi sínum í rituðu máli.

• Gefur möguleika á að meta merkingu (þýðingu), hvort

nem. finnur dæmi um eða spáir fyrir um.

18

Dæmi um krossaspurningu sem metur skilningNemandi túlkar merkingu hugmyndar.

Sú fullyrðing að Íslendingar geti orðið sjálfum sér

nógir um orku í framtíðinni merkir að hér á landi:

( ) sé nóg af olíu næstu hundrað árin

*( ) sé næg óbeisluð orka í íslenskri náttúru

( ) sé mikið af ónýttri vatnsorku til stóriðju

( ) verði alltaf hægt að afla orkuríkrar fæðu

19

Að meta beitingu

• Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim.

• Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Þá er verið að prófa þekkingu (minni), ekki skilning eða beitingu.

20

Dæmi um krossaspurningu sem metur beitinguNemandi beitir þekkingu sinni til að lesa rétt af korti

Íslandskort í mælikvarðanum 1:5000 000 (1 cm á kortinu jafngildir 50 km)

Hver er fjarlægðin milli Borgarness og Blönduóss skv. kortinu? ( ) 70 km *( ) 170 km ( ) 270 km ( ) 370 km

21

Hvers þarf að gæta við samningu krossaspurninga?Byggt á N. Gronlund 2003 (6 glærur) -1

• Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). Hefur með réttmæti að gera.

• Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera.

• Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Hefur með áreiðanleika að gera.

22

Krossaspurningar: Hvers þarf að gæta ... -2

• Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt.

• Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra.

• Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist örugglega.

• Ekki má orka tvímælis hvert er rétta svarið.

23

Krossaspurningar: Hvers þarf að gæta...-3

• Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu.

• Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari.

• Æskilegt að gera villusvör (distracters) freistandi svarmöguleika.

• Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.

24

Krossaspurningar: Hvers þarf að gæta...-4

• Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur.

• Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð.

• Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.

25

Krossaspurningar: Hvers þarf að gæta... - 5

• Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv.

• Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur.

• Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð.

26

Krossaspurningar: Hvers þarf að gæta... -6

• Gætt sé að stafsetningu og greinarmerkjasetningu.

• Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt áreiðanleiki (stöðugleiki) sé góður.

• BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR SÉ ÞESS ÞÖRF!

N. Gronlund 2003

27

Fjölval: Annað en krossaspurningar

• Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu.

• • Ef um er að ræða marga sambærilega þætti getur

verið betra að nota pörunarspurningar (Matching exercise).

• Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

28

Rétt-rangt (S/Ó) verkefni

• Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun.

• Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi...

• Heppilegt að nota S/Ó spurningar og biðja nemendur svo að rökstyðja svarið

29

Dæmi um Rétt-rangt (S/Ó) verkefni

Hver eftirfarandi hugtaka eru notuð yfir myndir orku(orkuform)?Settu hring utan um S ef orðið er notað yfir myndir orku(orkuform),settu annars hring um Ó. S Ó Stöðuorka S Ó LjósorkaS Ó HraðaorkaS Ó HreyfiorkaS Ó Fæðuorka

30

Rétt-rangt (S/Ó) verkefni

Atriði til að hafa í huga við samningu S/Ó spurninga:

• Mikilvægt að hafa fullyrðingar hnitmiðaðar með einungis einni meginhugmynd.

• Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag• Nota neitanir sparlega, einnig tvöfaldar neitanir.

Prófar fremur lesskilning heldur en það sem átti að meta. • Ekki spyrja um sanngildi skoðana nema þær tengist

ákveðnum heimildum, einstaklingum o.s.frv.

31

Rétt-rangt (S/Ó) verkefni

Atriði til að hafa í huga við samningu S/Ó spurninga:

• Ef um er að ræða mat á sambandi orsakar og afleiðingar, þá þurfa fullyrðingarnar að vera sannar.

• Varast að nota óþarfa vísbendingar, t.d. “alltaf”, “aldrei”, “aðeins”, “oftast” eða “stundum”.

32

Pörunarverkefni

• Í raun afbrigði af krossaspurningaforminu.

• Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum.

• Ath. styrkleika og veikleika pörunarspurninga

33

Pörunarverkefni

Að hverju þarf að huga við samningu pörunarverkefna:

• Hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra.

• Hafa möguleikana ekki of marga, innan við 10.

• Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa má kost á fleiri en einni tengingu við sama svarmöguleika.

34

Dæmi um pörunarspurninguÍ dálki I eru fullyrðingar um persónur sem komu við söguvið kristnitökuna á Íslandi. Í dálki II er nöfn nokkurrapersóna sem þá komu við sögu.

Dálkur I

Árni Magnússon __

Hallur á Síðu __

Hjalti Skeggjason __

Snorri Sturluson ___

Þangbrandur __

Þorgeir Ljósvetningagoði __

Dálkur II

A Lagðist undir feld til að hugsa

B Lögsögumaður kristinna

C Kristniboði Noregskonungs

D Var heiðinn Lögsögumaður

E Var skírður af Þangbrandi

35

Pörunarverkefni

Að hverju þarf að huga við samningu pörunarverkefna:

• Æskilegt að hafa svörin í stafrófs- eða númeraröð.

• Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota megi sama svarmöguleika oftar en einu sinni.

• Láta pörunarverkefni ekki skiptast milli blaðsíðna í prófi.

36

Innfyllingaratriði (Supply type): Stutt svör

• Meta vel hvort nemendur muna og/eða skilja.

• Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar.

• Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið

37

Innfyllingaratriði (Supply type): Ritgerðir

• Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o.s.frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun.

• Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það.

• Fer alveg eftir samhengi hversu skýr og nákvæm viðmið eru viðhöfð við mat.

• Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum

38

Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun

• Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist.

• Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur!

• Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e.t.v. frekar til að örva og styðja við nám.

39

Við í hita leiksins:

Hvernig metum við nám og námsframvindu? • Hlutlægt/huglægt? Formlegt/óformlegt? Með

samanburði? Við hvað? Er tilgangurinn að styðja við nám hvers og eins og/eða dæma um árangur?

Námsmat: • Hver metur? Hvenær? Hvað? Hvernig? Hvað er gert

með niðurstöður?

40

TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld

• Skilvirknihugmyndin styðst fremur við hópbundna („relatífa“) túlkun niðurstaðna og einkunnagjöf...

41

TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld

• ...báðar námskrárbundna/markmiðabundna („absolúta“) túlkun niðurstaðna og einkunnagjöf. Liberal-stefnan hafnar í raun öllu slíku í sinni tærustu mynd.

• Nefndarálit 1972: ...hallast frekar að þessu af því „obbi seinfærra nemenda á naumast möguleika á öðru en lágum einkunnum“ í hópbundna kerfinu „...og því er líklegt, að kerfið meini þeim námshvatningu, sem önnur kerfi gætu hugsanlega miðlað.“

42

HVAÐ TÍÐKAST...? Flokkun Blooms og fél... Vitsmunasvið - stigbundið kerfi

Nýmyndun – skapandi hugsun Mat – gagnrýnin hugsun

Greining

Beiting

Skilningur

Þekking - minni

Greining

43

HVAÐ TÍÐKAST Í SKÓLUM?Flokkun markmiða – áhrif frá atferliskenningu

• Bloom og fél – þekkingarsvið:

Þekking/kunnátta

Skilningur

Beiting

Greining

Mat/Gagnrýnin hugsun

Nýmyndun/Skapandi hugsun

Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006

44

HVAÐ TÍÐKAST...? Hvað gerist í „svarta kassanum“? (Inside the black box)

Input Output

Áhrif frá pósitívisma, raunhyggju og atferlishyggju: Nám er röklegt, línulegt og mælanlegt

Áhrif frá rökhyggju og hugsmíðihyggju: Nám er flókið, ófyrirséð, afstætt og erfitt að meta

45

Samræmd „vitpróf” á 20. öld

• Eitt af aðalhlutverkum skólans er að þaulkynnast hverjum nemanda og uppgötva með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn og hjálpa honum til að velja sér lífsstarf samkvæmt viti hans, hneigð og hæfni. Sérstök bók ætti að fylgja honum frá upphafi. Þar væri skráð ekki aðeins öll skólasaga hans, heldur og upplýsingar að heiman og úr umhverfinu. Þótt vitpróf leysi ekki alla þessa þraut, eru þau einn sá meginþáttur, sem ekki má án vera.

Steingrímur Arason 1948

46

Framtíð samræmdra „vitprófa“?

• Rúnar Sigþórsson HA: „Eru samræmd próf barn liðins tíma, ein af lausnum gærdagsins á viðfangsefni morgundagsins?“

• Krafan um einstaklingsmiðaða kennsluhætti og skóla fyrir alla hlýtur að teljast ógnun við samræmd „vitpróf“ í þeirri mynd sem við þekkjum þau í dag.

• EN...krafa hvers einstaklings um að fá sig metinn „með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn … samkvæmt viti hans, hneigð og hæfni. – hlýtur að lifa áfram