spørgeskemaer, skalaer og tests
TRANSCRIPT
![Page 1: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/1.jpg)
SPØRGESKEMAER,
SKALAER OG TESTS
SIGNE BOE RAYCE
![Page 2: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/2.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 2
MÅLING AF EFFEKTER - METODE
Nogle oplysninger findes i statistikker og registre, men ikke alt. Spørgeskemaer: adgang til personlig (og subjektiv) information · Mental sundhed… Diagnoser tilgængelige. Hvad med depressive symptomer eller lav livsglæde?
· Livsstil… Misbrugere muligvis registreret. Hvad med unges forbrug af alkohol og hash?
· Arbejdsliv… Sygefravær tilgængeligt. Hvad med egne grunde til, at man melder sig syg?
![Page 3: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/3.jpg)
21-05-2015 TITEL 3
HVOR SVÆRT KAN DET EGENTLIGT VÆRE?
![Page 4: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/4.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 4
SVÆRT!
Et rigtig godt og velvalideret spørgeskema kan tage år at udvikle. Kvaliteten af den måling man foretager afhænger af: · at man er klar over, HVAD man vil have svar på… · at man stiller det RIGTIGE spørgsmål… · på den RIGTIGE måde… · til at får svar på PRÆCIS det man gerne vil have svar på.
![Page 5: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/5.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 5
GØR MAN IKKE DET…
risikerer man… · at man får svar på noget ANDET end det, man har behov for… · at man IKKE får et PRÆCIST svar på det, man spørger om… · og allerværst – at man ikke er klar over, at det er gået GALT!
![Page 6: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/6.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 6
IKKE SKRÆMMEEKSEMPEL
DERIMOD EN OPFORDRING TIL: · respekt for kompleksiteten · tænk grundigt over, hvad det er, I vil undersøge · se på hvordan andre har gjort · søg information om det er gjort på en god og valid måde · brug validerede spørgeskemaer, items og skalaer hvis muligt · spørg om hjælp, ved tvivl eller behov for hjælp!
![Page 7: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/7.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 7
ANVENDELSE AF GODE OG VALIDE SPØRGESKEMAER OG MÅLEINSTRUMENTER
VIGTIGT FOR: · at man kan stole på resultatet af effektmålingen · at man ikke kommer til at træffe beslutninger på et forkert videns grundlag.
![Page 8: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/8.jpg)
21-05-2015 TITEL 8
FØR DU GÅR I GANG…
![Page 9: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/9.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 9
FORMÅL MED EFFEKTMÅLINGEN
· Hvem er målgruppen? · Hvad er det præcis, vi ønsker at opnår viden om?
· Hvad er det præcis vi har behov for at spørge om/ måle, for at opnå denne viden?
er der desuden behov for baggrundsoplysninger (køn, alder, socioøkonomiske oplysninger mm.)
![Page 10: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/10.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 10
UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER
FORDELE VED STANDARDSKEMAER: · Tidsbesparende · Kvalitet ofte kan være bedre · (Skala)validering kan være udført · Erfaringer opnået · Nogle gange findes der ’norm’ eller ’referencedata’ – fx fra en stikprøve af den danske befolkning (herom senere)
NB! Husk at følge anvisninger hvis sådanne findes
![Page 11: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/11.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 11
UNDERSØG MULIGHEDEN FOR AT ANVENDE ALLEREDE EKSISTERENDE SPØRGESKEMAER
ULEMPER VED STANDARDSKEMAER: · Passer måske ikke helt til formålet · Indholdsvaliditet måske lavere, end når spørgeskemaet skræddersyes. · Der kan være copyright på
Og HUSK generelt: At et spørgeskema allerede eksisterer og er blevet brugt, er ikke en garanti for, at det er godt.
![Page 12: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/12.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 12
HVILKEN INDSAMLINGSMETODE? (1)
Besøgsinterviews · Længere og mere komplicerede spørgeskemaer · Dyrt og tidskrævende · Høj svarprocent.
Telefoninterviews · Højere grad af anonymitet – personfølsomme spørgsmål · Hurtigere og billigere en besøg · Krævere kortere spørgsmål og færre svarkategorier · Lavere svarprocent end besøg
![Page 13: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/13.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 13
HVILKEN INDSAMLINGSMETODE? (2)
Selvudfyldte spørgeskemaer · post eller online spørgeskemaer · Udlevering i setting – overvej om kontekst påvirker svar? · Anonymitet · Enkle spørgsmål og mulighed for åbne spørgsmål · Lavere omkostninger og tidsbesparende · Risiko for lav motivation – afhængigt af emne og relevans · Laveste svarprocent
![Page 14: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/14.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 14
SPØRGESKEMAETS LÆNGDE
Spørg kun om det I har behov for at vide Længde betydning for om man får svar på alt · Max 1 time (ca. 200 items) · Afhænger af målgruppe · Overvej placering af item – vigtigste først, evt. følsomme spørgsmål til sidst (undtagelser) Online spørgeskemaer: skal alle items besvares for at fortsætte?
![Page 15: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/15.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 15
MOTIVATION
Indre motivationsfaktorer · Relevant emne · Emnet har særlig interesse
Ydre motivationsfaktorer · Belønning – gaver, ekstra ydelser, · Information om egne resultater
Rykkere – Hvor mange gange?
![Page 16: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/16.jpg)
21-05-2015 TITEL 16
SPØRGESKEMAER GENERELT
![Page 17: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/17.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 17
ITEMS
Items: · evt introducerende tekst · Et spørgsmål · en eller flere svarkategorier · evt. hjælpetekst
I dette spørgsmål beder vi dig tænke på sidste uge. Hvor mange overarbejdstimer har du haft? ___ timers overarbejde (Skriv venligst det samlede antal timer, du har oplyst til din arbejdsgiver vedrørende de sidste 5 dage, du har været på arbejde)
![Page 18: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/18.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
18
ITEM KONSTRUKTION – GENERELLE REGLER
· Tilpas spørgsmålet til målgruppen –skal opfattes passende af alle · Gør spørgsmålet forståeligt · Spørgsmålet skal være entydigt · Spørg kun om én ting ad gangen · Stil korte spørgsmål · Undgå spørgsmål, der kan virke stødende eller placér dem til sidst. · Undgå værdiladede spørgsmål
![Page 19: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/19.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 19
SVARKATEGORIER
Lukkede vs. åbne spørgsmål · Lukkede mulighed for statistisk bearbejdning · Åbne nuanceret men tidskrævende at bearbejde · Kombination
Svarkategorier – nogle eksempler · Prædefinerede – ja/nej · Ordinale kategoriske skalaer - Likert skalaer
Meget enig Enig
Hverken eller Uenig
Meget uenig
Spørgeskemaer er spændende…
![Page 20: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/20.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 20
SVARKATEGORIER - OVERVEJELSER
Hvor mange? – nok til at det er meningsfuldt for respondenten ‘Midterkategorier’ og ‘ved ikke’ er omdiskuteret ved holdningsspørgmål Nogle gange er det lettere at svare med tal end med svarkategorier
![Page 21: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/21.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 21
SKALAER
Skalaer/tests · flere items, der måler/reflekterer det samme begreb · analyseres samlet (fx sumskala) Eksempel: Ensomhed (1 item) eller fx UCLA Loneliness Scale (4 items)
![Page 22: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/22.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 22
PILOTTEST
Test skemaet inden i ‘går i luften’ – også selvom det har været anvendt af andre før · Prøv selv at svare på skemaet · Få en ekspert (emne + spørgeskema) til at se det igennem · Pilottest spørgeskemaet i en relevant population
• Var der mange ubesvarede spørgsmål • Papirskemaer – blev sat kryds/skrevet til flere steder? • Udfyldelse + efterfølgende interviews Eksempel: Hvad er betyder hjælpeløs?
![Page 23: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/23.jpg)
21-05-2015 TITEL 23
SKALAER
![Page 24: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/24.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
24
SKALAER – MANGE NAVNE
· Skalaer · Spørgeskemaer · Tests · Måleinstrumenter · Psykometriske tests · Psykologiske tests · Pædagogiske test · Screeningsredskab · …
![Page 25: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/25.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 25
HVAD BRUGES SKALAER TIL?
Måler fænomener som ikke kan observeres direkte, men som vi antager findes – fx egenskaber, kompetencer, følelser. (latente variable) Eksempler: ensomhed, udvikling, matematik færdigheder mm. Måles på forhold/spørgsmål, som er indikatorer for det, vi gerne vil måles - dvs. flere items, med ét samlet score En skala må måle ét (og KUN ét) begreb
![Page 26: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/26.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 26
EN GOD SKALA
KENDETEGN: · Bygger på en grundig konceptualisering af det begreb den måler · Måler KUN ét begreb · Høj validitet – grundigt (psykometrisk) valideret · Fungerer ens i forskellige subgrupper af målgruppen - (køn, alder, etnicitet, socioøkonomiske position · God reliabilitet · (Psykologiske) tests har ofte en standardiseret procedure for administration af test - samt detaljer om kodning og fortolkning
![Page 27: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/27.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
27
VALIDITET
Grundlæggende et udtryk for et items/skalas/tests gyldighed og troværdighed – at den måler, hvad den siger, den gør. Flere former for validitet · Indholdsvaliditet (Er spørgsmålenes indhold rigtige?) · Begrebsvaliditet (Måler vi vores begreb? – skalavalidering) · Kriterievaliditet (Sammenhæng med eksternt kriterium) Forskellige definitioner i litteraturen!
![Page 28: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/28.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
28
RELIABILITET
Hvorvidt en målemetode giver reproducerbare resultater Måles ved hjælp bl.a. ved brug af: · Test-retest (hvis man da antager, at der er tale om et tidsmæssigt stabilt begreb) · Cronbach’s Alpha (forudsætter ensdimensionalitet)
· >0.70 regnes normalt som god · >0.90 ved diagnostiske test Rapporteres oftest – i artikler + manual e.l.
![Page 29: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/29.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
29
VALIDITET OG RELIABILITET
Høj validitet kan være kombineret med både høj og lav reliabilitet Høj reliabilitet kan være kombineret med både høj og lav validitet
![Page 30: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/30.jpg)
PETER HAR FEBER – 38,5 helt præcist
T4: 38,2 40,0 38,8 39,6 = 39,2 (Lav reliabilitet – lav validitet)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 30
Vi tester 4 forskellige termometre – hver 4 gange:
T1: 38,5 38,5 38,5 38,5 = 38,5 (Høj reliabilitet – høj validitet) T2: 38,4 39,0 38,6 38,0 = 38,5 (Lav reliabilitet – høj validitet) T3: 39,5 39,5 39,5 39,5 = 39,5 (Høj reliabilitet – lav validitet)
![Page 31: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/31.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 31
STANDARDISEREDE TESTS
Test hvor fordelingen af resultaterne er kortlagt i forbindelse med en stor repræsentativ undersøgelse af en stor gruppe personer i målgruppen. · Sammenligne med testresultater fra en større population
· Ofte percentilværdier – 50% = midt i populationen · Der kan udarbejdes høje, lave kritiske værdier mm. · Kræver præcis gennemførelse mht. setting, testprocedure, tester, tidspunkt mm. som beskrives i manual
![Page 32: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/32.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
32
OVERSÆTTELSE AF SKALAER OG TESTS
Vær opmærksom på følgende: · Passer skalaen eller testen til en dansk kontekst? · Man kan ikke nødvendigvis sammenligne med internationale normer og niveauer.
· Oversæt til dansk ekspertvurdering tilbageoversættelse · Gerne to oversættere på hvert trin · Valideringsstudie herunder test for differentiel item funktion
![Page 33: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/33.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE 33
HVORFOR BRUGE SKALAER I EFFEKTMÅLING?
Giver en højere indholdsvaliditet i ens måling · Er med til at gøre målingens indhold præcist – ex. Ensomhed
Giver en højere sensitivitet – responsiveness i ens måling · bedre mulighed for at skelne mellem høj og lav, når der måles mange grader af det begreb, man måler. · bedre mulighed for at måle ændringer og udvikling
Giver en højere reliabilitet i ens måling
![Page 34: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/34.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
34
HVORFOR BRUGE SKALAER I EFFEKTMÅLING?
Ved eksisterende og godt validerede tests/skalaer: Fordi det er undersøgt og dokumenteret, at de måler det, vi vil måle på en god måde.
· Giver et score/niveau for borgeren · Mulighed for at måle udvikling over tid · Nogle gange mulighed for at sammenligne niveau/score med en større baggrundspopulation.
![Page 35: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/35.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
35
OG HUSK...
Et test score kan have store konsekvenser for den enkelte person og bør ikke stå alene på individniveau. Effektmålinger baseret på skalaer kan have (store) konsekvenser, i tilfælde af at der handles på dem – positive og negative
Vigtigt, at anvende velvaliderede spørgeskemaer, items og tests
![Page 36: Spørgeskemaer, skalaer og tests](https://reader031.vdocuments.pub/reader031/viewer/2022020307/55abe37e1a28ab3d298b4627/html5/thumbnails/36.jpg)
21-05-2015 SPØRGESKEMAER; SKALAER OG TESTS SIGNE BOE RAYCE
36
GOD FORNØJELSE – DET ER SJOVT
(også selv om det kan virke lidt tørt….)