Gæði mælinga

Stefán Hrafn Jónsson27-2-2014

• http://www.youtube.com/watch?v=pVeTexc4YgE

Mælingar

• Ferlið að setja tölur eða texta á einingar í úrvinnslu (t.d. einstaklinga) þannig að það endurspegli t.d. magn, styrk, umfang hugtaks.

• Dæmi: Hversu góð/góður/gott var – kvikmyndin (4 ½ stjarna af 5 mögulegum), – veitingastaðurinn (vondur matur en fín þjónusta)– stefnumótið (algerlega mislukkað).

3

Lykilhugtök í mati á gæðum mælinga

• Áreiðanleiki mælinga– Hversu stór hluti dreifingar á mæligildi er tilkomin

vegna dreifingar í raungildi– Hversu nákvæm mælingin er

• Réttmæti mælinga– Hvort og hversu vel við mælum það sem við

viljum/ætlum að mæla. – Að við séum ekki að mæla eitthvað annað en það

sem við ætlum að mæla

4

Lykilhugtök• Líkan/módel (e. model)

– Mælingamódel• Dulin breyta (e. latent variable)• Raungildi (sanngildi, e. true score)• Mæligildi (e. observed score)• Villa mælinga

– Ókerfisbundin villa• Minnkar áreiðanleika og réttmæti

– Kerfisbundin villa• Minnkar réttmæti

5

Samsettar mælingar

• Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga sameiginlega orsök– Henta til þáttagreiningar og til að reikna

Chronbacks alpha

– Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga ekki sameiginlega orsök (t.d. áföll) henta ekki til þáttagreiningar

Dulin breyta og atriði

• Hugmyndin að baki sambandinu á milli hugtaka, duldra breyta og mælinga er mjög mikilvæg

• Byggir á classical measurement theory sem mun nýtast mjög vel síðar. – Sígilda mælingakenningin

• Grundvallarhugmynd er að dulin breyta hafi áhrif á hvernig fólk svarar spurningum (atriði).

• Ef breyta hefur áhrif á atriði má gera ráð fyrir fylgni þar á milli.

7

Mælingalíkan fyrir scale/index með sameiginlega orsök

Dulin breytaGreind

D

sp1 sp2 sp3

e1 e2 e3

8SP1 SP2 og SP3 eru þá þrjú atriði á greindarprófi.

Ókerfisbundin villa• Þegar villan er óútskýranleg með öðrum mældum eða

ómældum breytum er hún sögð ókerfisbundin• Ókerfisbundin skekkja er ýmist + eða – Dæmi:

– Persóna A er nákvæmlega 65kg. – A fer á sömu vigt, 50 sinnum og sér að mælingarnar flökta frá

64,2 til 65,8kg. – Villan er ókerfisbundin +/- 0,8kg– Ef A fer á vigtina 50 sinnum með bakpoka, fullan af

skólabókum og fartölvu, sýnir vigtin 74,2 til 75,8kg– Þá hefur bæst við kerfisbundin villa +10kg sem má að fullu

skýra með þyngd skólatöskunnar. Auk þess er ókerfisbundna villan uppá +/- 0,8kg enn til staðar.

9

Ókerfisbundin villa (skekkja)

• Dæmi um ókerfisbundna villu (flökt í mælitæki)

• Vog sem er með skekkju. Stundum mælir vogin +1 gramm, stundum -1 gramm, stundum eitthvað þar á milli. Svo lítil skekkja skiptir ekki máli þegar þyngd fólks er mæld en getur skipt verulegu máli í efnafræðirannsóknum

• Námundun á næsta heila tug, hundruð eða eins og algengt er um verð á bílum, næsta 100.000kr

10

11

Kerfisbundin skekkja eða villa• Þegar villan er útskýranleg (stærð og stefna) með

öðrum mældum eða ómældum breytum er hún sögð kerfisbundin

• Oft þarf að sætta sig við skekkju, þá er best að skekkjan sé sem minnst.

• Bakpokinn á fyrri glæru er skýrt dæmi um kerfisbundna skekkju. Bakpokinn bætti alltaf við +10kg kerfisbundinni skekkju við mælinguna hjá þessum einstakling.

• Næsti nemandi gæti verið með 8kg bakpoka og sá þriðji með 12kg bakpoka.

12

13

Erum við að mæla það sem við viljum mæla eða eitthvað annað?

Dulin breytaViðhorf

T=true score

X1Viðhorf Atriði 1

e1 e2

X2Viðhorf Atriði 2

Ókerfisbundinvilla atriði 1

Ókerfisbundin Villa atriði 2

Dulin breytaLestrarkunnátta

0,01

0,85

0,01

0,850,52

0,52

14

Skekkjur og gæði mælinga

• Ókerfisbundin villa minnkar:– Áreiðanleika mælinga og– Réttmæti mælinga

Kerfisbundin villa minnkar réttmæti mælinga

15

Mælingamódel

Dulin breytaD Mæld

breytae1

16

Mælingamódel

Dulin breyta

Mæld breyta

e1

X = T + EObserved score True score Error Mæligildi Sanngildi VillaMæld breyta Dulin breyta

Latent variable

17

Tilraun var framkvæmd 27.2.2014

• 20 nemandi fær úthlutuðum launum að geðþótta kennara– Meðallaun eru 300 þús– Nemendur bæta við (eða draga frá)

handahófskenndri villu (A) við launin og gefa kennara upp „mæld laun“

Teiknum upp mælingalíkan fyrir laun

Dreifni

σ2 = Dreifni = Staðalfrávik*Staðalfrávik

σ2 =Variance = (Std.dev)2

20

Takið eftir að dreifni er mæld fyrri marga einstaklinga. Við erum ekki ennþá kominmeð margar mælingar (atriði) á sömu duldu breytunni.

Sígilda mælingakenninginÁreiðanleiki

X = T + E

Með nokkrum forsendum fæst:σ2

X = σ2T+ σ2

E

σ2measure = σ2

true+ σ2error

σ2total = σ2

true+ σ2error

Allar þrjár formúlurnar hér að ofan segja það sama

σ2 = variance, dreifni 21

Áreiðanleiki

Skilgreinum áreiðanleika mælinga: •rxx = áreiðanleiki mælinga (reliability)

•rxx = σ2true / (σ2

true + σ2error) = σ2

true / σ2 total

•rxx = σ2true = σ2

true (σ2

true + σ2error) σ2

total

22

• Áreiðanleiki er sá hluti heildadreifni (total variance) sem er tilkominn vegna dreifni á sanngildi (raungildi)

• Ef σ2true = 100

• Og σ2error = 20

• Þá er σ2total=120

•rxx = 100/120 = 0,83 •Áreiðanleiki er frá 0 til 1,0 Því hærri því betri•

23

Mælingamódel

Dulin breytaD

sp1sp2 sp3

e1e2 e3

Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

0,49

0,7

0,7

Fylgnifylki Hversu margar duldar breytur eru líklegar til að skýra fylgnina á milli þessa

atriða?

Correlations

1 ,508 ,606 ,594 ,021

. ,000 ,000 ,000 ,649

452 452 452 452 452

,508 1 ,615 ,618 ,022

,000 . ,000 ,000 ,637

452 452 452 452 452

,606 ,615 1 ,741 ,001

,000 ,000 . ,000 ,989

452 452 452 452 452

,594 ,618 ,741 1 -,013

,000 ,000 ,000 . ,786

452 452 452 452 452

,021 ,022 ,001 -,013 1

,649 ,637 ,989 ,786 .

452 452 452 452 452

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

SP1

SP2

SP3

SP4

SP5

SP1 SP2 SP3 SP4 SP5

Fylgni á milli atriða

sp1 sp2 sp5sp3 sp4

0,02

0,02

0,00

-0,01

0,6

0,60,5 0,74

0,60,6

Þáttagreining byggir fylgnitölum á milli atriða og finnur á svipaðan hátt og áður (0,7*0,7=0,49), fylgni á milli þátta og atriða

Takið eftir fylgni milli sp5 og annarra atriða

Mælingalíkan

sp1 sp2 sp5sp3 sp4

0,6

0,60,5 0,74

0,6

0,8

Dulin breytaD1

Dulin breytaD2

0,8

0,6

0,9 0,90,99

0,006

-0,03

Villuþáttum (e1 til e5) sleppt til að einfalda framsetningu líkansins

Mælingalíkan

sp1 sp2 sp5sp3 sp4

0,8

Dulin breytaD1

Dulin breytaD2

0,8 0,9 0,90,99

e1 e2 e3 e4 e5

Þáttahleðsla

Þáttur (e. Factor, Component)Dulin breyta (e. Latent variable)Vídd

Atriði (e. item)