Im wcześniej tym lepiej. O precyzji odpowiedzi na pytania ilościowe w badaniach

ankietowych.

Wojciech Hardy

Wydział Nauk Ekonomicznych

Uniwersytet Warszawski

21 czerwiec 2013

Tematyka

Większość danych na poziomie mikro pochodzi z ankiet, w tym informacje o indywidualnym wynagrodzeniu. Czy dane te odzwierciedlają rzeczywistość? Co jeśli dane są ’nieprecyzyjne’?

PLAN PREZENTACJI:

• Przegląd dotychczasowej literatury.

• Związek długości ankiety z precyzją odpowiedzi na pytania ilościowe (dane i metodologia).

• Omówienie wyników i podsumowanie.

Literatura - Psychologia udzielania odpowiedzi

• Cztery etapy (za Krosnick i Presser, 2009):

I. interpretacja pytania i dedukcja jego właściwego znaczenia,

II. przeszukanie pamięci by odnaleźć odpowiednią informację,

III. zintegrowanie odnalezionej informacji w pojedynczy osąd,

IV. przetłumaczenie osądu na odpowiedź, według podanych przez pytanie możliwości.

• Satisficing vs Optimizing

• Kluczowe (za Krosnick 1999):

Motywacja respondenta

Zdolności respondenta

Trudność zadania

Literatura - Problemy z pozyskaniem odpowiedzi

• Response rate

– Przyjazność kwestionariusza.

– Motywacja (pieniężna).

• Abandonment rate

– Długość ankiety.

• Incompletion rate

– Długość ankiety.

– Motywacja (pieniężna).

– Pytania kontrowersyjne/osobiste (patrz: dochód).

Literatura - Problemy z jakością odpowiedzi

• Rodzaje problemów:

– Straight-line responding.

– Almost-straight-line responding.

– Odpowiedzi nieinterpretowalne lub błędne.

• Galesic i Bosnjak (2009):

DŁUGOŚĆ ANKIETY

Abandonment rate

Długość odpowiedzi otwartych

Czas odpowiedzi

Wariancja odpowiedzi

A pytania ilościowe?

• Weak satisficing

– Znużenie

– Dekoncentracja

• Strong satisficing

– Zniecierpliwienie

– Celowe ‘upraszczanie’

Zmniejszona precyzja odpowiedzi

Zaokrąglanie odpowiedzi

BAEL, 2005 / 2006

• Badanie Aktywności Ekonomicznej Ludności

– Quasi-eksperyment: 2005q2-2006q2.

– Zmiana kwestionariusza -> ok. 20-pytaniowe przesunięcie.

Wynagrodzenie Chciane godziny Godziny pracy

dodatkowej Minimalne

wynagrodzenie Godziny na

dokształcanie

37 29 34 51a 72

59 48 54 72 98

Metodologia

1) Testy statystyczne porównujące wariancje odpowiedzi z obu lat: – Test F,

– Test Levene’a,

– Test Browne’a-Forsythe’a W10, W50,

– Manna-Whitneya-Wilcoxona.

2) Porównanie częstotliwości okrągłych liczb, czyli: – 50

– 100

– 500

Wyniki, wariancja

Pytanie ‘Jaki dochód miesięczny’

‘Ile chciałby pracować’

‘Godziny pracy dod.’

‘Minimalny zarobek’

‘Ile godz. dokształcania’

Rok 2005 2006 2005 2006 2005 2006 2005 2006 2005 2006

Odchylenie 673,1709 691,7568 10,23 9,9 8,72 8,7 398,7 423,31 16,74 21,08

Test F wzrost odchylenia* spadek odch.* brak zmian wzrost odch.* wzrost odch.*

Test Levene’a zmiana odchylenia* zmiana odch.* brak zmian zmiana odch.* zmiana odch.*

Test Browna-Forsythe’a

W50

zmiana odchylenia* zmiana odch.* brak zmian zmiana odch.** zmiana odch.*

Test Browna-Forsythe’a

W10

zmiana odchylenia* zmiana odch.* brak zmian zmiana odch.* zmiana odch.*

Test MW zmiana rozkładu* zmiana

rozkładu* brak zmian

zmiana rozkładu*

brak zmian

* - na poziomie istotności 1%; ** - na poziomie istotności 5%

Odporność? Wskaźnik Giniego

24

26

28

30

32

34

36

38

2002 2003 2004 2005 2006 2007 2008 2009

Wsk

aźn

ik G

inie

go

Wskaźnik Giniego dla Polski 2002-2009

EU-SILC (WORKING?)

OEDC stats (TOTAL)

World Bank

Transmonee

BAEL

Sprzeczny wynik – dlaczego?

29 -> 48 Ile godzin łącznie (w pracy głównej i dodatkowej)

chciał(a)by Pan(i) pracować w tygodniu?

16 -> 15 Ile godzin zwykle przepracowuje Pan(i) łącznie (w pracy

głównej i dodatkowej) w pojedynczym tygodniu?

Satisficing Udzielenie informacji

podobnej

A więc czy: (p48 – p15 | 2006) < (p29 – p16 | 2005)?

Test t: TAK -> 0,0000

Średnia = 3,59 Średnia = 4,11

Wyniki, zaokrąglanie

Częstotliwość zaokrągleń do: 50 100 500

2005 0,4085 0,3567 0,1119

2006 0,4262 0,3743 0,1179

Ha: śr(2005) < śr(2006) 0,0002 0,0001 0,0307

Ha: śr(2005) <> śr(2006) 0,0004 0,0003 0,0614

Ha: śr(2005) > śr(2006) 0,9998 0,9999 0,9693

Test t na równość średnich.

Im wcześniej tym lepiej.

• Długość ankiety istotnie wpływa na precyzję otrzymywanych danych.

• Postawa satisficing.

• Implikacje:

– słabsze testy statystyczne,

– brak porównywalności między zbiorami,

– zawyżone wskaźniki nierówności w dochodach.

• A więc konieczność brania poprawki.

DZIĘKUJĘ ZA UWAGĘ

Bibliografia

• Don A. Dillman, Michael D. Sinclair, Jon R. Clark 1993. Effects of Questionnaire Length, Respondent-Friendly Design, and a Difficult Question on Response Rates for Occupant-Addresed Census Mail Surveys, Public Opinion Quarterly, vol. 57, No. 3, pp. 289-304

• Mirta Galesic, Michael Bosnjak 2009, Effect of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey, Public Opinion Quarterly, vol. 73, No. 2, pp. 349-360, Oxford University Press

• Thomas A. Heberlein, Robert Baumgartner 1978. Factors Affecting Response Rates to Mailed Questionnaires - A Quantitative Analysis of the Published Literature, American Sociological Review, vol. 43, No. 4, pp. 447-462

• A. Regula Herzog, Jerald G. Bachman 1981. Effects of Questionnaire Length on Data Quality, Public Opinion Quarterly, vol. 45, pp. 451-559

• Jon A. Krosnick, Duane F. Alwin 1987, An Evaluation of a Cognitive Theory of Response-Order Effects in Survey Measurement, Public Opinion Quarterly, vol. 51, No. 2, pp. 201-219

• Jon A. Krosnick 1991, Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys, Applied Cognitive Psychology, vol. 5, pp. 213-236

• Jon A. Krosnick 1999, Survey Research, Annual Review Psychology, vol. 50, pp. 537-567 • Jon A. Krosnick, Stanley Presser 2009, Question and Questionnaire Desing, Handbook of Survey Research (2ed) • Amy F. Subar, Regina G. Ziegler, Frances E. Thompson, Christine Cole Johnson, Joel L.Weissfeld, Douglas Reding,

Katherine H. Kavounis, and Richard B. Hayes for the Prostate, Lung, Colorectal, and Ovarian Cancer Screening Trial Investigators 2001, Is Shorter Always Better - Relative Importance of Questionnaire Length and Cognitive Ease on Response Rates and Data Quality for Two Dieatary Questionnnaires, American Journal of Epidemiology, vol. 153, No. 4

• Lightspeed Research 2008, Questionnaire Length [online], Lightspeed Research, Dostępne: http://www.lightspeedresearch.com/pdfs/Questionnaire_Length.pdf , [14 sierpień 2011]

ROK POZYCJA (numer) TREŚĆ

2005 20 Proszę podać wysokość swoich zarobków netto w

poprzednim miesiącu w głównym miejscu pracy. w zł 2006 37

2005 29 Ile godzin łącznie (w pracy głównej i dodatkowej)

chciał(a)by Pan(i) pracować w tygodniu? 2006 48

2005 34 Ile godzin pracował(a) Pan(i) w badanym tygodniu w pracy

dodatkowej? rzeczywista liczba godzin 2006 54

2005 51a Przy jakim minimalnym miesięcznym wynagrodzeniu

brutto był(a)by Pan(i) gotów (gotowa) podjąć pracę? w zł 2006 72

2005 72 Ile godzin łącznie poświęcił(a) Pani na dokształcanie w

ciągu ostatnich czterech tygodni? 2006 98

ROK WSP. GINIEGO ŹRÓDŁO

2005 36,6 Household Budget Survey (Transmonee 2007)

2006 34 Survey of Earnings Distribution (Transmonee 2007)

2005 35,6 EU-SILC

2006 33,3 EU-SILC

2005 34,92 Bank Światowy

2006 34,13 Bank Światowy

2005 27,13 BAEL

2006 27,48 BAEL

Grupa

2005 2006

Obserwacje 19795 19682

Średnia 4,109523 3,585002

Odch. Stand. 7,857317 7,489539

H1: Różnica < 0 Pr(T < t) = 1

H2: Różnica <> 0 Pr(|T| > |t|) = 0,0000

H3: Różnica > 0 Pr(T > t) = 0,0000