att skriva och utvärdera frågor till en statistisk …¤r – unipolär skala 1 grundregler 2...

Att skriva och utvärdera frågor till en statistisk

undersökning

Fredrik SchefferEnheten för mätteknik SCB

[email protected]

Att skriva och utvärdera frågor till en statistisk undersökning

• Mätinstrumentet

• Några olika typer av frågor

• Svarsalternativ/skalor

• Test och utvärdering av frågor

Mätinstrumentet

?

2011-05-06 4

Kommunikation via språket (tal/skrift)

Frågekonstruktör Uppgiftslämnare

=

Mätinstrumentet

2011-05-06 5

=Kommunikation via språket (tal/skrift)

Frågekonstruktör Uppgiftslämnare

Mätinstrumentet

Svarsprocess(Fyrstegsmodellen – CASM-modellen (Tourangeau 1984))

Bedöma svaret

Finna svar

Förstå fråga

Avge svaret

Frågorna är viktiga!

Jag förstår inte vad de menar i den där frågan. Jag chansar på något….

Det där vill jag inte svara på. Jag hoppar över frågan…

De där uppgifterna finns inte i den enheten i våra system

Frågekonstruktion

• Frågan ska vara: enkel, kort, rak och begripligt formulerad (som en fråga).

• Frågan ska förstås av ALLA! • Frågan ska vara neutral.• Betrakta blanketten som ett samtal (som

genomförs standardiserat)

Några olika frågetyper (att fundera kring)

- Direkta frågor

- Attitydfrågor

- Påståendefrågor

Direkta frågor

Hur många barn har du?

Inga1234…

2011-05-06 11

”Hur många barn har du?”

Barn? Räknas sambos barn?

Måste de vara hemmaboende?Ingår de som är över 18 och myndiga?

Tid och rum

Läser du kvällstidningar?1 Ja2 Nej

Hur länge har du bott här?Sedan år: ……………………..

Tid och rum

Brukar du läsa kvällstidningar minst 5 dagar i veckan? ( eller .... någon gång/Hur ofta ...)

1 Ja2 Nej

Hur länge har du bott i den här kommunen?Sedan år: ……………………..

Mer än en fråga

Har du bytt arbetsgivare och arbetsplats under det senaste året?

1 Ja2 Nej

Vag fråga - svåranalyseradHur ofta brukar du sola på sommaren? (Hur många gånger per vecka eller månad)?

1 Mer än 2 gånger i veckan2 1-2 gånger i veckan3 2-3 gånger i månaden4 1 gång i månaden eller mindre5 Aldrig6 Vet ej

Som man frågar får man svar

• Tänk igenom fråga för fråga• Kan alla svara på den?• Uppfattar alla frågan på samma sätt?• Sunt förnuft

Attitydfrågor

Att fråga efter någons attityd/åsikt/inställning till någonting

Attitydfrågor

Två typer av attityder

• ”Stabila”• ”Temporära”

Attitydfrågor

The filedrawer model (Wilson & Hodges 1992)

Antaganden:• Attityder finns redan• Attityder är stabila

Attitydfrågor”Stabila”

Skapa en åsikt ”här och nu”

• Förstå fråga• Finna Skapa svar• Bedöma svar• Avge svar

Attitydfrågor”Temporära”

Skapa en åsikt ”här och nu”Perifer info blir viktigt:

• Frågekontext• Frågeordning• Andra omständigheter

= osäkra mätningar(?)

Attitydfrågor”Temporära”

Attitydfrågor – problemFrågans syfte & fokus

• Är det bra eller dåligt om du får möjlighet att välja mellan vård på ett privat sjukhus och vård på ett sjukhus som drivs av landstinget, förutsatt att det inte kostar mer på det privata sjukhuset?

• Tycker du det vore bra eller inte bra om också privata företag kunde äga och driva sjukhus om kostnaden för patienten vore densamma?

• Tycker du att privatägda företag ska få driva sjukhus med vinst, som kan tas ut ur verksamheten?

Attitydfrågor – problemFrågans syfte & fokus

• Är det bra eller dåligt om du får möjlighet att välja mellan vård på ett privat sjukhus och vård på ett sjukhus som drivs av landstinget, förutsatt att det inte kostar mer på det privata sjukhuset?

Bra 81%• Tycker du det vore bra eller inte bra om också privata

företag kunde äga och driva sjukhus om kostnaden för patienten vore densamma?

Bra 56%• Tycker du att privatägda företag ska få driva sjukhus

med vinst, som kan tas ut ur verksamheten?Ja 30%

Att tänka på: (Wärneryd m.fl.)

• Var försiktig med att fråga om ämnen som folk inte intresserat sig för

• Var försiktig med att dra slutsatser från svaren på enstaka frågor

• Ej ja/nej-frågor

Attitydfrågor”Temporära (och stabila)”

Frågor i påståendeform

Frågor i påståendeform

Frågor i påståendeform ÄR problematiskt

Frågor i påståendeformVarför fungerar det dåligt?

• Hypotetiska situationer• Uppmuntrar till ”acquiescence” (benägenhet

att hålla med)• Osäkrare på sina svar• Svårt att utforma neutrala påståenden• Inte lika förpliktigande

Frågor i påståendeformNär fungerar det?

• Riktiga påståenden, aktuella och som alla kan förväntas ha en uppfattning om

• När ämnet är känsligt• Bättre för attityder/värderingar än för rena

faktafrågor

Frågor om det förflutna

Det första man bör fråga sig är om respondenterna kan förväntas ha uppmärksammat det man frågar efter överhuvudtaget.

Hur många bilar passerade dig på vägen till jobbet imorse?

Hur långt tillbaka kan man fråga om då?

Det beror på vad man frågar efter. Riktlinjer:

Framträdande händelser (större inköp, sjukhusvistelser, viktiga livshändelser etc) = kan minnas många år senare

Vardagliga händelser (matinköp, motionerande etc) = Få veckor

Minnet är inte ett fotoalbum med objektiva bilder som förblir oförändrade över tid!

1 Grundregler2 Svarsskalor3 Antal skalsteg?4 Mittenalternativ?5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

Grundregler

1 Ömsesidigt uteslutande2 Uttömmande3 Överblickbara4 Jämna skalsteg5 Ett svar på frågan

Svarsalternativ


Svarsalternativ

• Konsekvens i blanketten om möjligt• Verbaliserade alternativ (undantag)• Jämna skalsteg

Svarsskalor

“Tomater är röda”

□ Instämmer helt □ Instämmer helt

□ Instämmer delvis □ Instämmer till stor del

□ Varken instämmer eller tar avstånd □ Instämmer till viss del

□ Tar delvis avstånd □ Instämmer inte alls

□ Tar helt avstånd

□ Vet ej/ingen åsikt □ Vet ej/ingen åsikt

Frågor i påståendeformBipolär – unipolär skala


Svarsalternativ

Antal skalsteg

• 5-10 (11).... 7• Dock två aspekter1. Reliabilitet – validitet2. Användarvänligt

Hur ska analysen göras/se ut?

Svarsskalor

Man får inte glömma bort att de flesta skalor är pånominal/ordinal-skalenivå!

Attitydfrågor -skattningsskalor


Svarsalternativ

• Varken bra eller dåligt• Både bra och dåligt

Mittenalternativ?

• Varken bra eller dåligt• Både bra och dåligt

• En väg ut…

Mittenalternativ?


Svarsalternativ

Hur ofta gick du i kyrkan förra året?

1 Regelbundet2 Då och då3 Sällan4 Aldrig

Vaga svarsalternativ

Hur ofta gick du i kyrkan förraåret?

1 Mer än 12 gånger2 Mellan 6 och 12 gånger3 Mellan 1 och 5 gånger4 Ingen gång

Vaga svarsalternativ

Att tänka på

• Allt man gör ska hjälpa respondenten att läsa, förstå och svara på frågan!

• Plats får inte vara en faktor. I webb kostar det inte mer att använda mer plats!

Test och utvärdering av frågor

Enheten för mätteknikSCB

Mätteknik – inte bara frågekonstruktion

• Motsvarar frågorna ämnesproblemet? (mäter vi det vi avser att mäta?)

• Orsakar några frågor bortfall?• Svarsmotivation• Får rätt respondent rätt fråga?• Respondentbörda / användarvänlighet• Intervjuarträning• Kostnadseffektivitet

Varför testa en blankett?

• I det stora hela: Minska det totala felet

Strategier:• Låtsas som det regnar• Skatta alla felkomponenter• Preventiva åtgärder

- Varför testa överhuvudtaget?Extremt svårt att formulera frågor ”vid skrivbordet”.

Minska mätfel, öka svarsfrekvens, minska kostnader för granskning etc.

1 Expertgranskning2 Fokusgrupper3 Djupintervjuer4 Kognitiva intervjuer5 Experiment6 Debriefing

Att testa blanketter

Hur vi utvärderar frågor på SCB

Före datainsamling

Datainsamling Efterdatainsamling

Analys av svarsdata

Experiment

Debriefings

Återkontakter

FokusgrupperDjupintervjuer

Expertgranskning

Kognitiva teknikerExperiment

MedlyssningBeteendekodning

Processdata

Kognitiva intervjuer -

Vad? När? Varför? Hur?

Kognitiva intervjuer är en testmetod för att…• …undersöka om uppgiftslämnarna upplever att de

kan svara på frågan (dvs. tycker sig förstå frågan, kan svara på den och förstår hur svaret ska lämnas i blanketten.)

2011-05-06 52



Kognitiva intervjuer är en testmetod för att…• …undersöka om uppgiftslämnarna upplever att de

kan svara på frågan (dvs. tycker sig förstå frågan, kan svara på den och förstår hur svaret ska lämnas i blanketten.)

• …undersöka om frågorna samlar in den önskade informationen (oavsett uppgiftslämnarnas upplevelse av frågan)

2011-05-06 53



• En kognitiv intervju är en intervju som fokuserar på uppgiftslämnarnas svarsprocess

2011-05-06 54




• Kognitiva intervjuer används för att testa relativt färdiga frågor

2011-05-06 55





• Det är viktigt att testa på ”riktiga” uppgiftslämnare eftersom det är mycket svårt att skapa fungerande frågor ”vid skrivbordet”

2011-05-06 56





• Det är viktigt att testa på ”riktiga” uppgiftslämnare eftersom det är mycket svårt att skapa fungerande frågor ”vid skrivbordet”

• Ett antal uppgiftslämnare får besvara blanketten och berätta om och motivera sina svar.

2011-05-06 57

2011-05-06 58

Resultat från kognitiva intervjuer

Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna?

Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation.

Tespersonens svar: Jag antar att svaret beror på vad man menar med ”talat med”. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter.

Nej, det är inte sådant prat vi vill mäta

2011-05-06 59


Tespersonens svar: Jag antar att svaret beror på vad man menar med ”talat med”. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna.


Osäkerhet om referensperioden


2011-05-06 60


Tespersonens svar: Jag antar att svaret beror på vad man menar med ”talat med”. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna. Jag har också förståss pratat med flera läkare när mina barn har varit sjuka men det menar ni väl inte, men jag är inte säker.


Det är inte samtal med läkare om andras hälsa vi vill mäta


2011-05-06 61


Tespersonens svar: Jag antar att svaret beror på vad man menar med ”talat med”. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna. Jag har också förståss pratat med flera läkare när mina barn har varit sjuka men det menar ni väl inte, men jag är inte säker. Jo, förresten, jag har fått akupunktur också men jag vet inte om det räknas som en ”läkare”, som ni ser det.


Osäkerhet om vad som innefattas. Behövs en definition?


2011-05-06 62



•Vi behöver förtydliga ”talat med” (inte prat i annan egenskap än läkare, inte om andras hälsa).

•Behöver vi kortare referensperiod?

•Behöver ”läkare” definieras?


Kognitiv Probe Exempel

Förståelse Hur tolkar du ”det senaste året”?Vad är ”ansträngande motion” för dig?

Minne Hur tänkte du när du kom fram till svaret var 3 gånger förra veckan?

Bedömning Av vilken anledning anser du att x men inte y ska ingå i svaret?

Anpassning Varför kryssade du först i x men ändrade till y?

Parafrasering Kan du återge frågan med dina egna ord?

Etc…

2011-05-06 63

Olika typer av probesKognitiva tekniker – ”probing”

Testa blanketten!

Att testa blanketter

Strukturen i en blankett• Vad är viktigt? Börja med det

• Var ska bakgrundsfrågorna vara?

• Sammanhängande block (samma ämne –samma avsnitt)

• Logisk ordning

• Så få hoppanvisningar som möjligt

• Använd filterfrågor ”Om du har bil…?”Fråga: Ej svar eller partiellt bortfall?

Blankett - layout

• Intresseväckande• Lätt att läsa• Lätt att förstå• Lätt att fylla i• Rationell att hantera

6

•Bryt ner komplexa frågor till flera, enklare frågor

•Ha en konsekvent layout på sidan/skärmen

•Använd visuell design för att tydliggöra vad som hör ihop och inte

•Frågor och svarsalternativ ska vara nära varandra

•Ha instruktioner vid frågan där de behövs – undvik separata instruktioner

Visuell design

Bra svensk litteratur om statistiska undersökningar

Wärneryd B m.fl. (1990) Att fråga Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.

Dahmström K (2000). Från datainsamling till rapport –att göra en statistisk undersökning Studentlitteratur, Lund

Fråga rätt! Utveckla, testa, utvärdera och förbättra blanketter (2001) SCBhttp://www.scb.se/Pages/PublishingCalendarViewInfo____259923.aspx?PublObjId=2048

http://www.scb.se/Pages/PublishingCalendarViewInfo____259923.aspx?PublObjId=2048�

http://www.scb.se/Pages/PublishingCalendarViewInfo____259923.aspx?PublObjId=2048�

Mer litteratur om statistiska undersökningarRibe M. (1994, 1996) ABC i statistik, DEF i statistik

Särtryck ur Välfärdsbulletinen

Wallgren A och B, Persson R, Jorner U, Haaland J-A (1996): Graphing Statistics & Data. Creating BetterCharts SAGE Publications

Att köpa statistiska undersökning (1998) SCB

Engelsk litteratur

Schwarz N, Dudman S (1996): Answering QuestionsJossey-Bass

Fowler Floyd J. (1995) Improving Survey QuestionsDesign and Evaluation

Willis G. B. (2005) Cognitive InterviewingSAGE Publications

Couper M. (2008) Designing Effective Web Surveys. Cambridge New York.

Dillman D, Smyth J.D, Christian L.M. (2009) Internet, Mail and Mixed Mode Surveys, The Tailored Design Method. Wiley & Sons

Kontaktstrategier –web/mixed mode

• Optimal Contact Strategy in a Mail and Web Mixed Mode Survey (Holmberg, Lorenc, Werner 2008):

http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/S8P4_OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf

• To Mix or Not to Mix Data Collection Modes in Surveys (de Leeuw 2005):http://www.odum.unc.edu/odum/content/pdf/deleeuw%20mixed%20mode%20jos%202005.p

df

http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/S8P4_OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf�



http://www.odum.unc.edu/odum/content/pdf/deleeuw mixed mode jos 2005.pdf�




att skriva och utvärdera frågor till en statistisk …¤r – unipolär skala 1 grundregler 2...

Documents