hvordan lager man gode surveyspørsmål?
DESCRIPTION
Hvordan lager man gode surveyspørsmål?. Bernt Aardal. Definisjon. ’Survey’: et forskningsdesign der et utvalg enheter trekkes fra en populasjon og undersøkes med henblikk på å trekke slutninger til populasjonen Mange ulike innsamlingsmetoder - PowerPoint PPT PresentationTRANSCRIPT
1
Hvordan lager man gode surveyspørsmål?
Hvordan lager man gode surveyspørsmål?
Bernt AardalBernt Aardal
2
DefinisjonDefinisjon• ’Survey’: et forskningsdesign der et utvalg
enheter trekkes fra en populasjon og undersøkes med henblikk på å trekke slutninger til populasjonen
• Mange ulike innsamlingsmetoder• Besøksintervju, telefonintervju, automatisert
telefonintervju (lydbånd), post-enquete, e-post, internett (QuestBack), ”mentometer” (fokusgrupper, kontinuerlige reaksjoner)
• ’Survey’: et forskningsdesign der et utvalg enheter trekkes fra en populasjon og undersøkes med henblikk på å trekke slutninger til populasjonen
• Mange ulike innsamlingsmetoder• Besøksintervju, telefonintervju, automatisert
telefonintervju (lydbånd), post-enquete, e-post, internett (QuestBack), ”mentometer” (fokusgrupper, kontinuerlige reaksjoner)
3
Hva måles?Hva måles?
• Atferd• Fact-finding• Kunnskap• Holdninger• Motiver
• Atferd• Fact-finding• Kunnskap• Holdninger• Motiver
• Kan misbrukes både bevisst og ubevisst
• Krever kunnskap og erfaring
• Kan misbrukes både bevisst og ubevisst
• Krever kunnskap og erfaring
4
Hvor galt kan det gå?Hvor galt kan det gå?• ”Synes De at livsforsikring er billig og
vel anvendte penger, eller har De ingen omtanke for Deres familie?”
• ”Støtter De tanken om et motorsykkel-senter i Fredensroveien med utendørs racerbane, eller ser De heller at ungdommen dør på gata som sprøytenarkomane?”
• ”Synes De at livsforsikring er billig og vel anvendte penger, eller har De ingen omtanke for Deres familie?”
• ”Støtter De tanken om et motorsykkel-senter i Fredensroveien med utendørs racerbane, eller ser De heller at ungdommen dør på gata som sprøytenarkomane?”
5
Hvem, hva og hvorfor spør du?
Hvem, hva og hvorfor spør du?
• Hvem: har svarpersonene forutsetninger for å svare på spørsmålene?
• Hva: er formålet med spørsmålet og undersøkelsen helt klart?
• Hvorfor: bare ”kjekt å vite”?
• Hvem: har svarpersonene forutsetninger for å svare på spørsmålene?
• Hva: er formålet med spørsmålet og undersøkelsen helt klart?
• Hvorfor: bare ”kjekt å vite”?
6
Måling av atferdMåling av atferd• Mange svaralternativer: hvilken av
følgende ti aktiviteter er viktigst for deg?• Biter seg merke i enkelte alternativer (poleffekt)
• Hvor mange ganger i løpet av de siste fire årene har du..? • Tidsrom forkortes eller forlenges
(teleskopeffekt)
• Vil du begrense din egen bilkjøring hvis kollektivtrafikken blir bedre utbygd?• Hypotetiske spørsmål gir hypotetiske svar
• Mange svaralternativer: hvilken av følgende ti aktiviteter er viktigst for deg?• Biter seg merke i enkelte alternativer (poleffekt)
• Hvor mange ganger i løpet av de siste fire årene har du..? • Tidsrom forkortes eller forlenges
(teleskopeffekt)
• Vil du begrense din egen bilkjøring hvis kollektivtrafikken blir bedre utbygd?• Hypotetiske spørsmål gir hypotetiske svar
7
Hva er problemet?Hva er problemet?• Hvor ofte slår De Deres kone?• 1. Svært ofte• 2. Ofte• 3. Nokså ofte• 4. Nokså sjelden• 5. Sjelden• 6. Aldri
• Hvor ofte slår De Deres kone?• 1. Svært ofte• 2. Ofte• 3. Nokså ofte• 4. Nokså sjelden• 5. Sjelden• 6. Aldri
8
Hva er problemet?Hva er problemet?• Hvor ofte slår De Deres kone?• 1. Ofte• 2. Av og til• 3. Nokså sjelden• 4. Sjelden, aldri
• Hvor ofte slår De Deres kone?• 1. Ofte• 2. Av og til• 3. Nokså sjelden• 4. Sjelden, aldri
9
Måling av kunnskapMåling av kunnskap• Kan ikke brukes i postskjema eller Questback• Er vanskelighetsgraden tilpasset formålet og
svarpersonene?• Utdanningsnivå (forsker vs. svarperson)• Yrkes- og erfaringsbakgrunn (ikke nødv. høy vs.
lav)• Spørsmål med ulik vanskelighetsgrad• Kunnskapsspørsmål kan nesten aldri bli for lette
• Gjør kunnskapsspørsmål ”ufarlige”• Vet du tilfeldigvis?• Eller er du ikke så opptatt av dette spørsmålet?
• Kan ikke brukes i postskjema eller Questback• Er vanskelighetsgraden tilpasset formålet og
svarpersonene?• Utdanningsnivå (forsker vs. svarperson)• Yrkes- og erfaringsbakgrunn (ikke nødv. høy vs.
lav)• Spørsmål med ulik vanskelighetsgrad• Kunnskapsspørsmål kan nesten aldri bli for lette
• Gjør kunnskapsspørsmål ”ufarlige”• Vet du tilfeldigvis?• Eller er du ikke så opptatt av dette spørsmålet?
10
11
Måling av motiverMåling av motiver
• Hvorfor ikke spørre direkte?• Ubevisste og komplekse motiver• Ønske om å dekke til (pynte på)
motivene• Jeg stemmer på parti X fordi det tar
vare på de svake i samfunnet• Jeg stemmer på parti X fordi det
forsvarer mine økonomiske interesser
• Hvorfor ikke spørre direkte?• Ubevisste og komplekse motiver• Ønske om å dekke til (pynte på)
motivene• Jeg stemmer på parti X fordi det tar
vare på de svake i samfunnet• Jeg stemmer på parti X fordi det
forsvarer mine økonomiske interesser
12
Måling av holdningerMåling av holdninger• Påstander man sier seg enig eller
uenig i (Likert-skalaer)• A sier og B sier: hvem er du mest
enig med?• Holdningsskalaer (f.eks. 0-10)• Måler vi holdninger eller luft?• Hvor sentrale er holdningene for
svarpersonen?• Hvor stabile er de over tid?
• Påstander man sier seg enig eller uenig i (Likert-skalaer)
• A sier og B sier: hvem er du mest enig med?
• Holdningsskalaer (f.eks. 0-10)• Måler vi holdninger eller luft?• Hvor sentrale er holdningene for
svarpersonen?• Hvor stabile er de over tid?
13
PåstanderPåstander
• Ja-effekt: tendens til å si seg enig• Ikke egnet til å si noe om nivå• Motvirkes ved å slå sammen
påstander med ulik retning til indekser
• Ja-effekt: tendens til å si seg enig• Ikke egnet til å si noe om nivå• Motvirkes ved å slå sammen
påstander med ulik retning til indekser
14
A sier og B sier...A sier og B sier...
15
A sier og B sier...A sier og B sier...• Mer realistisk valgsituasjon (A eller B)• Men er alternativene gjensidig
utelukkende?• A: å øke velstanden i landet• B: å fordele velstanden mer jevnt
• Spørres det om mer enn ett holdningsobjekt?• A sier: God utdanning og en høy stilling er
belønning god nok, og forskjellene i lønn mellom ulike yrker kan godt reduseres betraktelig
• Mer realistisk valgsituasjon (A eller B)• Men er alternativene gjensidig
utelukkende?• A: å øke velstanden i landet• B: å fordele velstanden mer jevnt
• Spørres det om mer enn ett holdningsobjekt?• A sier: God utdanning og en høy stilling er
belønning god nok, og forskjellene i lønn mellom ulike yrker kan godt reduseres betraktelig
16
HoldningsskalaerHoldningsskalaer
17
HoldningsskalaerHoldningsskalaer• Må tydeliggjøre referanserammen• ”I politikken snakkes det i blant om
venstresiden og høyresiden. Hvor vil du plassere deg...
• Må forankre ytterpunktene på skalaen (er de dekkende?)
• Tidkrevende å gjennomføre• Fordel med visuell støtte (kort)
• Må tydeliggjøre referanserammen• ”I politikken snakkes det i blant om
venstresiden og høyresiden. Hvor vil du plassere deg...
• Må forankre ytterpunktene på skalaen (er de dekkende?)
• Tidkrevende å gjennomføre• Fordel med visuell støtte (kort)
18
Strengt forbudt!Strengt forbudt!• Flertydige spørsmål• ”sørger vi etter din mening godt nok for
kvinner og barn i dagens samfunn?”• ikke mer enn ett holdningsobjekt pr.
spørsmål
• Dobbelte nektelser• ”er du enig eller uenig i at vi ikke bør
tillate forurensende biltrafikk i boligområder?”
• Flertydige spørsmål• ”sørger vi etter din mening godt nok for
kvinner og barn i dagens samfunn?”• ikke mer enn ett holdningsobjekt pr.
spørsmål
• Dobbelte nektelser• ”er du enig eller uenig i at vi ikke bør
tillate forurensende biltrafikk i boligområder?”
19
”Vet ikke” & ”på midten” svar”Vet ikke” & ”på midten” svar
• Skal de utelates, tillates eller tilbys?• Avhengig av innsamlingsform
• Postskjema/Questback: tillate = tilby
• Varierer med utdanningsnivå, usikkerhet og overbevisning
• Balansen mellom ”for” og ”mot” påvirkes lite
• Skal de utelates, tillates eller tilbys?• Avhengig av innsamlingsform
• Postskjema/Questback: tillate = tilby
• Varierer med utdanningsnivå, usikkerhet og overbevisning
• Balansen mellom ”for” og ”mot” påvirkes lite
20
Hvordan tolkes spørsmålene?Hvordan tolkes spørsmålene?
• Et vanskelig spørsmål tolkes slik at det er lettere å svare på
• Vidt meningsinnhold snevres inn• Deler av spørsmål med flere
beskrivende ledd blir oversett
• Et vanskelig spørsmål tolkes slik at det er lettere å svare på
• Vidt meningsinnhold snevres inn• Deler av spørsmål med flere
beskrivende ledd blir oversett
21
RekkefølgeffekterRekkefølgeffekter• Plassering i spørreskjemaet kan
påvirke svarene• Mener du er viktig å kreve høy
moralsk vandel av våre ledere?• Har du noen gang arbeidet svart,
dvs. uten å betale skatt for inntekten?
• Plassering i spørreskjemaet kan påvirke svarene• Mener du er viktig å kreve høy
moralsk vandel av våre ledere?• Har du noen gang arbeidet svart,
dvs. uten å betale skatt for inntekten?
22
Supplerende litteratur
Supplerende litteratur
• Arlene Fink: How to Ask Survey Questions, London: Sage, 2008
• Tove Mordal: Som man spør får man svar, Oslo: Tano, 1989
• Jean M. Converse & Stanley Presser: Survey Questions. Handcrafting the Standardized Questionnaire, London: Sage, 1986
• Arlene Fink: How to Ask Survey Questions, London: Sage, 2008
• Tove Mordal: Som man spør får man svar, Oslo: Tano, 1989
• Jean M. Converse & Stanley Presser: Survey Questions. Handcrafting the Standardized Questionnaire, London: Sage, 1986
23