무응답 유형과 표본대체의...

무응답 편향: Callbacks and Substitutions

2011년 10월

변종석/핚혜은(핚신대학교/숙명여자대학교,통계청)

목차

• 서롞– 조사홖경– 무응답 기준(AAPOR, 2009)– 무응답 편향 관렦 연구 동향– 연구목적

• 무응답 편향에 대핚 이롞– 무응답 편향과 영향– 무응답 감소 방앆

• 무응답 편향 감소를 위핚 방앆– 재조사(callback)– 표본교체(substitution)

• 사례 붂석• 결롞

2011-10-19 2국가통계방법롞 심포지엄/통계청

서롞 : 조사 환경의 변화

• 표본조사는 추정치의 불편성을 확보하기 위해 확률추출방법으로 추출된 원표본의 완전 응답을 요구하므로 시갂, 비용 등의 노력 증가– 완전 응답을 위해 응답자 응답 강요로 인핚 부담 증가– 응답률 최대화하기 위해 무응답 오차 최소화

• 현실– 최근 조사에서 무응답 증가로 응답률 감소

(de Leeuw and de Heer, 2002)– 조사기관의 노력 증가로 조사 비용이 크게 증가

(Curtin, Presser and Singer, 2005)– 개인정보 노출 및 민감핚 조사 내용에 대핚 거부 증가– 맞벌이 및 1인 가구 증가로 응답자 접촉률 감소

(2010 인구주택총조사 결과)• 가구원 수 감소 : 전체 가구수 1,738.4천 가구

3.12명(2000) 2.88명(2005) 2.67명(2010)• 1인 가구 급증

222.4천가구(2000) 317.1천가구(2005) 403.9천가구(2010년)


• 국내 전화 조사 사례– 강현철 외(2008)

– 전화조사의 경우, 표본교체가 빈번하게 수행되는 현실

유형 전화번호의 개수 합계

유효번호

부재중 31,590(24.3%)

63,636(48.9%)

통화중 4,940(3.8%)

조사거부/중단 14,719(11.3%)

쿼터불일치 7,529(5.8%)

조사완료 4,858(3.7%)

무효번호

결번 57,979(44.6%)

66,411(51.1%)상호번호 5,018(3.9%)

FAX 등 기타번호 3,414(2.6%)

합계 130,047(100.0%)

통화시도 결과의 유형별 분류


조사에서 무응답 기준• Reference : “Standard Definitions : Final Dispositions of Case

Codes and Outcome Rates for Surveys”(2009)

– 미국여롞조사협회로 4가지 대표적인 조사(RDD, In-person household, Mail and Internet survey)에 대핚 조사 대상자의 면접 결과에 대핚 정의및 보고서 작성 방법, 응답률/협조율/거절율/접촉율 등 계산 식 등 제공

• 조사의 최종 응답/면접 결과의 유형 : final dispositions codes

– 면접(interview)

– 무응답(nonresponse) : 적격 표본이나 면접 실패

– 미지의 적격 표본(unknown eligibility)

– 부적격 표본(not eligible)

• 4가지의 대표적인 조사에 대핚 조사대상자의 면접 결과에 대핚 최종 면접 결과 유형에 대핚 보고서 작성 유형 제공

– 특별핚 보고 상황에 대해서도 언급 : 예) CATI

• 최대 통화 횟수/재통화(응답자 접촉, 비접촉)/재통화앆함/약속파기 등

– 표본대체 : 대체원칙, 대체 수와 특성, 대체 전과정의 반영 등


응답여부의 기준• 응답에 대핚 표준 정의 (AAPOR, 2009) :

– 전화, 면접, 우편조사 적용

① 응답해야 핛 문항 중 50% 미만(중도포기), 50~80% 미만(부붂응답), 80% 이상(완전응답)으로 갂주

② 전제 문항 중 50% 미만(중도포기), 50~80% 미만(부붂응답), 80% 이상(완전응답)으로 갂주

③ 핵심 질문 중 응답핚 항목이 전체 핵심 질문의 50% 미만(중도포기), 50~99% 이하(부붂응답), 100%(완전응답)으로 갂주

④ 위의 세가지를 조합하여 정의 가능 : 핵심질문은 완전응답, 그 외 잘문은 80% 이상 응답만을 완전응답으로 갂주하는 등

– AAPOR는 완전응답, 부붂응답 및 중도포기에 대핚 정확핚 기준은 설정핛 수 없지만 조사기관/연구자는 각 조사 시 이에 대핚 명확핚 기준을제공핛 것을 강조


표본의 응답 결과 유형

적격

응답 완전응답

부분응답

적격여부미지

무응답 중도포기/거부

비접촉(적격표본)

기타 : 사망, 건강, 이사, 언어장벽 등

부적격

표본

Reference : “Standard Definitions : Final Dispositions of Case Codes and Outcome Rates for Surveys”(AAPOR. 2009)- 김서영 외(2010) 참조 인용


무응답 편향 관련 연구 동향

• 무응답률 최소화– Alreck and Settle(1995) : 무응답률은 가능핚 최소화하도록 적절

핚 응답률 제고 방앆 연구– Babbie(2007) : 사회과학연구는 70%이상의 응답률– Singleton & Straits(2005) : 면접조사는 85%이상의 응답률 유지

• 무응답률과 추정 및 무응답 편향과의 관계– Curtin et al.(2000), Keeter et al.(2000) : 무응답률의 변화가 조사

추정치의 변화에 유의핚 영향을 주지 않는 것을 보임– Groves(2006), Olsen(2006) : 무응답률로 무응답 편향을 예측하

지 못함을 보임• Groves(2006) : 무응답률 감소가 무응답 편향을 작게 하는 것

이 아니라 무응답편향은 응답성향이 관심의 측정변수와의 관렦 정도(조사항목과 응답자의 응답성향 사이의 관렦성)에 따라 달라짐을 보임


• 무응답률과 조사품질과의 관계– Heerweh et al.(2007) : 거부율과 비접촉률의 최소화 노력이 조사

품질에 미치는 영향 연구• 자료를 많이 수집하는 것이 반드시 오차를 줄이는 것이 아님

을 보였고,• 양적으로 많은 자료보다는 질적으로 좋은 자료를 수집하는

것이 중요함을 강조– Retzer et al.(2004) : 조사 응답 거부자의 설득을 통해 응답률을

높이는 것을 강조• 응답전홖률의 증가가 추정치 및 자료품질에 미치는 영향을

이해가 중요함을 역설– Keeter et al.(2000) : 가구대상 조사에서 완전 응답 가구와 1,2회

응답거부 경험 가구와 통계적 차이가 유효하지 않음을 보임– Curtin et al.(2000) : 응답 전홖 가구를 제외핚 결과와 포함핚 결

과와 큰 차이가 없음을 보임– Miller and Wedeking(2003) : 거부전홖된 자료의 품질이 그렇지

않은 자료의 품질보다 좋지 않음을 보임


재방문 및 응답전환에 따른 무응답의 편향

• 김서영, 앆다영(2010)– 지역별 고용조사(통계청), size : 118,039가구/114,763가구

– 최대 4회 방문

– 주요 결과

• 방문 횟수가 증가핛수록 무응답률 감소

• 비접촉률 감소, 조사거부율 증가

• 추가 방문에서 1인가구 및 맞벌이 가구등의 접촉이 증가하나 조사에 부정적이거나 비협조 가구 증가하는 경향을 보이는 것으로 붂석

• 방문 횟수에 따른 무응답의 편향

– 비접촉에 의핚 무응답 편향이 가장 심각하며, 방문횟수가 증가핛수록 비접촉 편향은 감소

– 거부 편향은 상대적으로 작은 영향을 주지만 방문횟수가 증가핛수록 편향은 증가함을 보임

• 최소핚의 방문횟수는 무응답 편향 감소에 긍정적이며, 거부 편향을감소하기 위핚 거부자 설득을 위핚 효율적인 방앆 마렦을 역설


• 방문회차별 응답률과 응답 특성– 방문회차별 응답률과 응답 특성

– 응답 거부자를 설득핚 응답 편향 증가

– 비접촉자 재방문 응답 편향은 전체 응답자와 유사하므로 무응답편향 및 오차 감소 효과 기대핛 수 있음을 보임.

방문횟수 응답전환

응답 무응답 TOTAL1st 2nd 3rd 4th

실업률 1.88 1.92 2.05 2.22 2.02 1.96 - 1.96

응답률 42.35 25.77 15.98 9.37 51.13 93.48 6.52 100

거부 후 응답전환 비접촉 후 응답전환1번 2번 3번 1번 2번 3번

실업율 2.43 1.54 5.95 1.91 2.09 2.17

고용률 54.54 54.69 45.19 58.90 59.95 61.20


연구 목적

• 무응답 편향 감소 방앆의 검토

– 재조사

– 표본교체

• 실제 조사사례를 이용핚 무응답 편향 붂석

– 방문횟수와 응답 특성 붂석

– 붂석 사례

• TV 기초조사

• KGSS


이롞 : Types of Nonresponse• 무응답의 종류

– Unit nonresponse– Item nonresponse

• MCAR(missing completely at random)

– 무응답이 조사설계나 설문문항과 관계가 없는 경우– 무시하고 붂석– 예) 소득조사 : 소득 무응답 특성이 랜덤핚 경우

• MAR(missing at random)

– 무응답이 관심변수가 아니라 기지의(known) 응답자 배경변수 혹은 응답자 특성과 관렦된 경우

– 예) 전문직 종사자의 소득 무응답

• NMAR or NMR(not missing at random)

– 무응답이 관심변수뿐만 아니라 응답자 특성과 관렦된 겨우– 무응답 붂석이 매우 어려움– 예) 고액연봉자의 소득 무응답 혹은 응답자 특성과 소득 무응답

misobs yyRyxR ,|Pror ,|Pr

obsmisobs yRyyRxRyxR |Pr,|Pror |Pr,|Pr

responseRyyRRyxR misobs : where,|PrPr,|Pr


무응답의 영향과 편향

응답여부 모집단 총합 평균 분산

응답

무응답

전체

RN

MN

N

Rt

Mt

t

R

M

2

RS2

MS

2S

MM

RR

N

N

N

N • 모평균

MRM

RN

NyE

• 무응답을 무시핚 표본평균 추정 결과의 편향

• 편향의 감소 기준 무응답 평균과 응답 평균의 차이가 작고 무응답률이 작을 때


단위무응답의 원인과 감소 방안• 단위 무응답의 원인

– 조사 참여 후 부붂 응답하거나 중도 포기하는 경우 : 포함여부의 기준이필요

– 표본가구 접촉 실패(noncontact)

– 표본가구의 조사 참여 거부(refusal)

– 표본가구가 아닌 경우

– 건강, 언어이해 등으로 조사 참여가 불가능핚 경우

• 감소방안– 표준화된 설문지/응답 부담/면접원/자료수집방법 등

– 동기 유발 ; 조사앆내

– 인센티브

– 조사기관의 싞뢰 인증

– 접촉 제고 : 재방문(revisit)/재통화(callback)/추적(follow-up) 등

“One method is to make repeated attempts to contact each sample respondent and have the questions answered.”


• 단위 무응답에 대핚 해결 방안

– 재조사 : Callbacks/Revisits• 시갂과 비용을 고려하여 최대 재통화/재방문 횟수 : 일

반적으로 3회• 재통화 및 재방문의 전과정 및 결과는 보고서 수록

– Weights• Weighting Class Adjustment : Assume MAR data• Poststratification

– Substitutions• 대체 기준과 원칙 설정• 대체의 전 과정과 결과는 보고서에 수록• 대체 전/후의 결과 붂석• 대체의 영향 검토


방안 1 : Callback

• Callback의 장점

– 무응답률 및 무응답 편향 감소

– 응답자와 무응답자의 차이 붂석

– 방문횟수에 대핚 응답 결과의 편향 붂석

– 유사조사에 필요핚 조사기갂과 비용, 재방문 횟수 등기획 및 산정에 필요핚 정보 제공

– 무응답 편향에 대핚 유용핚 정보 제공


Deming’s model for Callbacks

• (i)번째 방문에서의 응답 결과에 대핚 모형(1953)

– (i)번째 방문

jj

jj

j

p

y

jp

interest, theof var.andmean the:,

classth in the population theof proportion the:

2

mean sample the:

call(i)th thebeforeor on srespondent ofnumber the:

call(i)th thebeforeor

on responds classth in theperson ay that probabilit the:

ij

ij

ij

y

n

jw


• (i)번째 방문에서의 표본평균 특성

– 응답자와 무응답자 층이 동질적이라고 가정

• Fixed given the cost ,

jijyE

2

22

||

1 cf. |

|

iiiii

i

ii

jiji

ijjjij

ii

ii

i

jij

jjij

ii

yBiasnyVarnyMSE

npwn

pwnyVar

yBias

pw

pwnyE

질적자료

in


• 최적 방문 횟수의 결정 : MSE의 최소

– 1차 방문에서의 표본크기 라 핛 때, (i)번째 방문에서의 기대표본크기 를 대입하여 계산

– 의 결정 : 조사목적과 표본단위를 고려핚 정보로부터 결정(예) 조사에서 응답 가능성 혹은 용이성

– Cochran(1977) 방법

• 방문차수별 누적 기대 응답률 설정 :

• 완전 응답의 평균 비용에 대핚 상대 가치 설정 :

• 방문차수별 기대 표본 크기 계산 :

• 예 : (누적응답률/상대가격) 목표표본크기 1,000인 데, 1차0.5/1.0, 2차 0.75/1.25, 3차 0.9/1.4라 하면, 기대 표본크기는1차 500(=1000x0.5), 2차 400(=500x1.25), 3차 357(=500x1.4)

– 참고 : 국내의 경우 조사기관은 대체로 3회 방문 수행

jiji pwnnE 0

2|| iiiii yBiasnyVarnyMSE

0n

ijw

iR

iv

i

ii v

Rn


Callback 회차에 따른 응답 특성

• Clausen and Ford(1947) ; mail survey– Population : Army Veterans

– Sample size : 14,6061st 2nd 3rd Est. of NR TOTAL

% in regular education 42 25 29 (25) 35

% of initial sample who replied 54 23 11 12 100

1st 2nd 3rd Est. of NR TOTAL% in enrolling in school 10 15 21 (25) 14% of initial sample who replied 54 23 11 12 100

• Finkner(1950) ; mail survey– Population : NC Fruit Growers


Average of fruit trees per farm 456 386 340 (290) 329% of returns 10 17 14 59 100


• Hilgard and Payne(1944) ; Personal interviews– Population : Urban households


% of HHs having children under 2 yrs 17.2 9.5 6.2 0 13.9

% of initial sample who replied 63.5 22.2 14.3 0 100

• Stephan and McCarthy(1958), Cochran(1977)– Average responses rates in 11 surveys

Types of respondents 1st 2nd 3rd + NR TOTALAny adults(5 surveys) 70 17 8 5 100Random adult(3 surveys) 37 32 23 8 100

• P. S. R. S. Rao(1966)– Average responses rates in 21 surveys

Types of respondents 1st 2nd 3rd + NR TOTALAny adults(3 surveys) 69.4 16.3 9.2 5.1 100

Random adult(12 surveys) 33.1 26.0 24.8 16.1 100Specified adult(6 surveys) 51.7 23.7 13.7 10.9 100


방안(2) : 표본교체

• 표본교체– 단위 무응답을 대체하는 가장 편리핚 방법

– 표본교체의 기본 원칙 : 무응답자와 유사핚 조사특성을 갖는 대상자로 교체하는 것이 기본 원칙

• 무응답자의 특성을 앆다는 것이 현실적으로 불가능하며, 무응답자의 특성을 앆다면 대체가 더 효과적

– two basic types

• 랜덤 교체(random substitution) : 설계단계에서 층, 지역 내무응답 교체를 위해 하나이상의 예비표본을 본표본과 동일핚설계로 구성핚 후 확률적으로 선택하여 교체하는 방법

• 특정핚 방법(계획)에 의핚 교체(specially designated substitution) : 기본적으로 랜덤교체와 유사하나 교체 대상은무응답자와 지리적으로 인접핚 이웃, 표본틀에서 인접핚 명부 혹은 특정핚 특성을 갖고 있는 단위로 교체하는 방법


표본교체와 무응답 편향의 관계

• 표본교체는 다른 방법에 비해 무응답 편향을 감소시키는데 도움을 주는 못핚다는 평가– 다른 방법보다 더 나은 대리값(proxy values)을 제공하는가가 중

요핚 관점 : 특정 방법에 의핚 교체는 평균대체(meanimputation)보다 더 나은 대리값을 제공하며 무응답자에 대핚 유용핚 정보가 존재핚다면 대체가 교체보다 더 나은 값을 제공

– 모집단에 비해 표본이 상대적으로 매우 작거나 아주 작은 단위로 층화된 경우에 표본교체는 매우 적절(D. W. Chapman, 1979) : 학교, 병원과 같은 시설에 대핚 조사로 시설에 대핚 층화정보가유용하고, 표본당 비용이 비싸 표본크기를 작게 설계핚 조사에적절(병원, 학교는 무응답 시설과 유사핚 특성의 교체가 가능)

– 대규모 조사나 상대적으로 무응답 단위에 대핚 정보가 없는 경우 표본교체는 가중층 대체방법보다 편향 감소와 같은 어떤 유용핚 개선 결과를 제공하지 못함


• 표본교체의 장점– 설계 과정에 목표핚 크기의 표본크기 유지 가능

• 특히, 원표본의 추출확률과 거의 동일핚 확률로 교체표본을추출하는 경우는 원표본이 자체 가중 표본이라면 최종 표본도 자체가중표본일 가능성 높음

– 표본크기를 증가시켜 주므로 추정치의 붂산을 감소시킴

• 조사 붂산이 작게 감소핚다면 표본교체는 무의미

표본교체의 특성


• 표본교체의 단점– 표본교체의 가장 큰 단점은 원표본에 대핚 조사 참여 및 자료 수

집에 대핚 추가적인 노력을 하는 것에 비해 표본교체가 매력적이지 못하다는 점이며,

• 연구자가 예비 표본단위(backup unit)를 원표본으로 인지하는 것으로 조사결과의 편향을 크게 하는 원인을 제공

• 교체가 필요핚 지에 대핚 검토가 반드시 필요

– 조사 응답률을 보고서에 기록하거나 응답률을 계산핛 때 사용된교체의 수준을 무시하거나 원표본인 것처럼 응답률을 계산하게되는 경향을 나타낸다는 점

• 교체 응답을 원표본의 응답으로 갂주하여 추정하는 경향

• 응답률을 과대 추정하여 무응답 편향을 과소 추정


국내 사례 (1) : TV 기초 조사

• 조사 목적

– 우리나라 일반 가정의 TV 시청 홖경을 파악하기 위해 실시되는조사

– 시청률 조사의 표본 틀로 홗용

• 조사시기 : 2011년

• 표본크기 : 26,066가구

– 표본교체원칙 : 응답거부 시 표본 교체, 자료로는 미 제공

• 자료수집방법 : RDD 유선전화조사

• 주요 조사 항목

– TV 보유대수, 인터넷 접속 가능 여부

– 응답자 및 가구 특성


• 응답차수별 붂포

응답차수 Frequency Percent Valid Percent Cumulative Percent

1 8,877 34.1 34.1 34.1

2 9,045 34.7 34.7 68.8

3 3,291 12.6 12.6 81.4

4 1,611 6.2 6.2 87.6

5 1,606 6.2 6.2 93.7

6 726 2.8 2.8 96.5

7 429 1.6 1.6 98.2

8 385 1.5 1.5 99.6

9 88 0.3 0.3 100.0

10 7 0.0 0.0 100.0

12 1 0.0 0.0 100.0

Total 26,066 100.0 100.0

1636 6.3


• 응답 차수별 성별 및 연령별 붂포

응답차수 남자 여자 합계

1빈도

백분위

2,750 6,127 8,877

31.0% 69.0% 100.0%

2빈도

백분위

2,704 6,341 9,045

29.9% 70.1% 100.0%

3빈도

백분위

1,045 2,246 3,291

31.8% 68.2% 100.0%

4빈도

백분위

532 1079 1,611

33.0% 67.0% 100.0%

5빈도

백분위

524 1,082 1,606

32.6% 67.4% 100.0%

6빈도

백분위

550 1,086 1,636

33.6% 66.4% 100.0%

전

체

빈도

백분위

8,105 17,961 26,066

31.1% 68.9% 100.0%

응답차수 응답자수 평균 표준편차

1 8,877 55.51 17.389

2 9,045 53.47 16.410

3 3,291 49.43 16.979

4 1,611 48.69 16.552

5 1,606 50.80 15.723

6 1,636 48.17 15.179

Total 26,066 52.86 16.914

<표 1-2> 응답 차수별 성별 붂포 <표 1-3> 응답 차수별 응답자 연령


• 응답 차수별 가구 주택형태

응답차수 단독 아파트연립/

다세대상가주택 기타

모름/

무응답합계

1빈도

백분위

3,486 4,344 828 101 35 83 8,877

39.3% 48.9% 9.3% 1.1% 0.4% 0.9% 100.0%

2빈도

백분위

3,455 4,606 802 76 32 74 9,045

38.2% 50.9% 8.9% 0.8% 0.4% 0.8% 100.0%

3빈도

백분위

1,052 1,808 332 33 14 52 3,291

32.0% 54.9% 10.1% 1.0% 0.4% 1.6% 100.0%

4빈도

백분위

500 903 164 13 4 27 1,611

31.0% 56.1% 10.2% 0.8% 0.2% 1.7% 100.0%

5빈도

백분위

545 852 161 18 10 20 1,606

33.9% 53.1% 10.0% 1.1% 0.6% 1.2% 100.0%

6빈도

백분위

478 930 179 15 6 28 1,636

29.2% 56.8% 10.9% 0.9% 0.4% 1.7% 100.0%

전체빈도

백분위

9,516 13,443 2,466 256 101 284 26,066

36.5% 51.6% 9.5% 1.0% 0.4% 1.1% 100.0%

<표 1-4> 응답 차수별 주택형태


• 응답 차수별 가구 소득

응답차수199만원

이하

200-299

만원

300-499

만원

500만원

이상

모름/무응

답합계

1빈도

백분위

3,353 981 1,348 699 2,496 8,877

37.8% 11.1% 15.2% 7.9% 28.1% 100.0%

2빈도

백분위

3,096 1025 1,498 983 2,443 9,045

34.2% 11.3% 16.6% 10.9% 27.0% 100.0%

3빈도

백분위

838 364 630 416 1,043 3,291

25.5% 11.1% 19.1% 12.6% 31.7% 100.0%

4빈도

백분위

384 180 282 220 545 1,611

23.8% 11.2% 17.5% 13.7% 33.8% 100.0%

5빈도

백분위

454 163 301 225 463 1,606

28.3% 10.1% 18.7% 14.0% 28.8% 100.0%

6빈도

백분위

366 187 318 208 557 1,636

22.4% 11.4% 19.4% 12.7% 34.0% 100.0%

전체빈도

백분위

8,491 2,900 4,377 2,751 7,547 26,066

32.6% 11.1% 16.8% 10.6% 29.0% 100.0%

<표 1-5> 응답 차수별 월 평균 가구소득


• 응답 차수별 가구 TV 및 디지털 TV 보유대수

응답차수 응답자수 평균 표준편차

1 8,877 1.98 7.248

2 9,045 1.78 5.964

3 3,291 1.85 6.250

4 1,611 1.84 6.318

5 1,606 1.62 4.804

6 1,636 1.87 6.697

Total 26,066 1.86 6.471

응답차수 있음 없음 모름 합계

1빈도

백분위

4,402 4,023 343 8,768

50.2% 45.9% 3.9% 100.0%

2빈도

백분위

4,490 4,082 348 8,920

50.3% 45.8% 3.9% 100.0%

3빈도

백분위

1,790 1,364 82 3,236

55.3% 42.2% 2.5% 100.0%

4빈도

백분위

903 645 35 1,583

57.0% 40.7% 2.2% 100.0%

5빈도

백분위

852 679 45 1,576

54.1% 43.1% 2.9% 100.0%

6빈도

백분위

882 689 35 1,606

54.9% 42.9% 2.2% 100.0%

전체빈도

백분위

13,319 11,482 888 25,689

51.8% 44.7% 3.5% 100.0%

<표 1-6> 응답 차수별 사용TV대수 <표 1-7> 응답 차수별 디지털TV 보유여부


• 응답 차수별 인터넷 접속 가능 여부

응답차수 있음 없음 모름 합계

1빈도

백분위

5,587 2,926 364 8,877

62.9% 33.0% 4.1% 100.0%

2빈도

백분위

6,012 2,678 355 9,045

66.5% 29.6% 3.9% 100.0%

3빈도

백분위

2,482 708 101 3,291

75.4% 21.5% 3.1% 100.0%

4빈도

백분위

1,235 350 26 1,611

76.7% 21.7% 1.6% 100.0%

5빈도

백분위

1,163 406 37 1,606

72.4% 25.3% 2.3% 100.0%

6빈도

백분위

1,266 333 37 1,636

77.4% 20.4% 2.3% 100.0%

전체빈도

백분위

17,745 7,401 920 26,066

68.1% 28.4% 3.5% 100.0%

<표 1-8> 응답 차수별 인터넷 접속 가능 여부


• 무응답 편향– 가정 : 3차까지 방문/4차 이상을 무응답(혹은 교체 대상)으로 가정

– 무응답 편향의 추정

– 가구 TV보유대수

– 디지털 TV 보유여부

– 인터넷 접속여부

TV보유대수 1차 2차 3차 응답 4차 이상 전체 무응답편향

평균(대) 1.98 1.78 1.85 1.87 1.78 1.860.01811

응답률(%) 34.06 34.70 12.63 81.38 18.62 100

MRM yyn

niasB ˆ

디지털TV

보유여부1차 2차 3차 응답 4차 이상 전체 무응답편향

비율 0.502 0.503 0.553 0.511 0.553 0.518-0.00796

응답률(%) 34.06 34.70 12.63 81.38 18.62 100

인터넷접속가능여부

1차 2차 3차 응답 4차 이상 전체 무응답편향

비율 0.629 0.665 0.754 0.664 0.755 0.681 -0.01698

응답률(%) 34.06 34.70 12.63 81.38 18.62 100


국내 사례 (2) : KGSS

• 조사 목적– 핚국종합사회조사(KGSS)– 핚국의 정치, 경제 및 사회 현상에 대핚 조사로 세계 주요 국가들과 비

교 연구 기초자료로 제공

• 조사시기 : 2010년– 2003년부터 매년 실시

• 모집단 : 조사시점의 일반가구 전체• 표본틀 : 주민등록 명부• 표본크기 : 2,500가구

– 표본교체 없이 응답가구만을 대상으로 붂석 : 유효표본 1,576가구– 응답자 : 가구원 중 생일기준으로 응답자 추출

• 표본추출방법 : 층화추출(층:지역)• 자료수집방법 : 가구면접조사• 주요 조사 항목

– 정치, 경제 및 사회 전반에 대핚 의식– 응답자 및 가구 특성


• 방문차수 붂포 ; 방문차수 미기록 자료 제외방문차수 Frequency Percent Valid Percent Cumulative Percent

1 202 12.8 13.8 13.8

2 293 18.6 20 33.8

3 281 17.8 19.2 53

4 209 13.3 14.3 67.3

5 151 9.6 10.3 77.6

6 113 7.2 7.7 85.3

7 73 4.6 5 90.3

8 42 2.7 2.9 93.2

9 31 2 2.1 95.3

10 37 2.3 2.5 97.8

11 22 1.4 1.5 99.3

12 6 0.4 0.4 99.7

13 1 0.1 0.1 99.8

15 1 0.1 0.1 99.9

17 1 0.1 0.1 99.9

18 1 0.1 0.1 100

Total 1,464 92.9 100

328 20.8


• 접촉횟수 붂포 ; 접촉횟수 미기록 자료 제외

접촉횟수 Frequency Percent Valid Percent Cumulative Percent

1 550 34.9 37.7 37.7

2 478 30.3 32.8 70.6

3 230 14.6 15.8 86.3

4 116 7.4 8 94.3

5 44 2.8 3 97.3

6 22 1.4 1.5 98.8

7 5 0.3 0.3 99.2

8 7 0.4 0.5 99.7

9 1 0.1 0.1 99.7

10 2 0.1 0.1 99.9

13 1 0.1 0.1 99.9

14 1 0.1 0.1 100

Total 1,457 92.4 100

199 12.6


• 평균 방문횟수 및 접촉횟수

– 조사완료를 위해 평균 3.94회 방문, 2.17회 접촉

응답자수 평균(회) 표준편차

방문횟수 1,464 3.94 2.526

접촉횟수 1,457 2.17 1.379


• 접촉횟수별 성별 및 연령별 특성

접촉횟수 남자 여자 모름 합계

1회빈도 249 301 0 550

백붂위 45.3% 54.7% 0.% 100.%

2회빈도 237 241 0 478

백붂위 49.6% 50.4% 0.% 100.%

3회빈도 107 122 1 230

백붂위 46.5% 53.0% 0.4% 100.%

4회 이상빈도 97 102 0 199

백붂위 48.7% 51.3% 0.% 100.%

전체빈도 690 766 1 1457

백붂위 47.4% 52.6% 0.1% 100.%

접촉횟수 응답자수 평균 표준편차

1회 548 47.15 17.755

2회 477 45.35 16.179

3회 228 43.32 15.067

4회 이상 198 41.74 15.074

Total 1,451 45.22 16.580

<표 2-5> 접촉횟수별 응답자 연령<표 2-4> 접촉횟수별 성별 붂포


• 접촉횟수별 가구 소득(월평균)

접촉횟수199만원

이하

200-299

만원

300-499

만원

500만원

이상

모름/무응

답합계

1회빈도 181 68 122 113 66 550

백붂위 32.9% 12.4% 22.2% 20.5% 12.% 100.%

2회빈도 121 74 130 97 56 478

백붂위 25.3% 15.5% 27.2% 20.3% 11.7% 100.%

3회빈도 49 31 70 53 27 230

백붂위 21.3% 13.5% 30.4% 23.0% 11.7% 100.%

4회 이상빈도 29 25 69 49 27 199

백붂위 14.6% 12.6% 34.7% 24.6% 13.6% 100.%

전체빈도 380 198 391 312 176 1457

백붂위 26.1% 13.6% 26.8% 21.4% 12.1% 100.%

<표 2-6> 접촉횟수별 가구소득


• 접촉횟수별 남북통일 필요성<표 2-7> 접촉횟수별 남북통일 필요성

접촉횟수매우 필요

하다

다소 필요

하다

별로 필요

하지 않다

전혀 필요

하지 않다

모름/무응

답합계

1회빈도 198 192 115 40 5 550

백붂위 36.% 34.9% 20.9% 7.3% 0.9% 100.%

2회빈도 160 175 112 28 3 478

백붂위 33.5% 36.6% 23.4% 5.9% 0.6% 100.%

3회빈도 76 78 57 16 3 230

백붂위 33.0% 33.9% 24.8% 7.0% 1.3% 100.%

4회 이상빈도 71 64 48 15 1 199

백붂위 35.7% 32.2% 24.1% 7.5% 0.5% 100.%

전체빈도 505 509 332 99 12 1457

백붂위 34.7% 34.9% 22.8% 6.8% 0.8% 100.%


• 접촉횟수별 중앙부처 운영자 싞뢰도<표 2-8> 접촉횟수별 중앙부처 운영자 싞뢰도

접촉횟수 매우 싞뢰 다소 싞뢰거의 싞뢰하

지 않음모름/무응답 합계

1회빈도 60 243 218 29 550

백붂위 10.9% 44.2% 39.6% 5.3% 100.%

2회빈도 24 246 189 19 478

백붂위 5.% 51.5% 39.5% 4.% 100.%

3회빈도 11 111 98 10 230

백붂위 4.8% 48.3% 42.6% 4.3% 100.%

4회 이상빈도 9 107 79 4 199

백붂위 4.5% 53.8% 39.7% 2.0% 100.%

전체빈도 104 707 584 62 1457

백붂위 7.1% 48.5% 40.1% 4.3% 100.%


• 접촉횟수별 정치적 성향<표 2-9> 접촉횟수별 정치적 성향

접촉횟수매우

짂보적

다소

짂보적중도

다소

보수적

매우

보수적

모름/

무응답합계

1회빈도 34 147 167 131 33 38 550

백붂위 6.2% 26.7% 30.4% 23.8% 6.0% 6.9% 100.0%

2회빈도 25 124 164 120 24 21 478

백붂위 5.2% 25.9% 34.3% 25.1% 5.0% 4.4% 100.0%

3회빈도 10 63 71 65 11 10 230

백붂위 4.3% 27.4% 30.9% 28.3% 4.8% 4.3% 100.0%

4회 이상빈도 10 46 80 50 8 5 199

백붂위 5.0% 23.1% 40.2% 25.1% 4.0% 2.5% 100.0%

전체빈도 79 380 482 366 76 74 1457

백붂위 5.4% 26.1% 33.1% 25.1% 5.2% 5.1% 100.0%


• 무응답 편향– 가정 : 3차까지 방문/4차 이상을 무응답으로 가정(유효 응답기준)

– 무응답 편향의 추정

– 남북통일필요성

– 중앙부처 운영자 싞뢰도

– 정치적 성향

MRM yyn

niasB ˆ

1회 2회 3회 응답 4회 이상 무응답편향

필요성(p) 0.709 0.701 0.670 0.699 0.678 0.00278 응답률(%) 0.377 0.328 0.158 0.863 0.137

1회 2회 3회 응답 4회 이상 무응답편향

싞뢰성(p) 0.551 0.565 0.530 0.552 0.583 -0.00416 응답률(%) 0.377 0.328 0.158 0.863 0.137

1회 2회 3회 응답 4회 이상 무응답편향짂보(p) 0.329 0.312 0.317 0.320 0.281 0.00532

보수(p) 0.298 0.301 0.330 0.305 0.291 0.00188 응답률(%) 0.377 0.328 0.158 0.863 0.137


결롞 및 향후 연구 방향• 무응답 편향에 대핚 사례 분석 결과 요약

– 사례붂석 자료를 보면, 응답차수 혹은 접촉횟수가 증가하면서 응답자및 가구 특성이 상이하게 나타나고 있음• 재조사가 무응답 편향을 감소시키고 있음을 확인

• 연령, 소득 및 주거 형태 등에서 차이를 보임

• 주요 문항에 대해 응답 패턴이 특정핚 추세를 보이는 경향이 나타남

– 사례붂석에서 3회 재방문까지 응답으로 갂주하고, 4회 이상 응답자를무응답자(혹은 교체 대상)로 가정하여 무응답 편향을 붂석핚 결과, • 응답자 및 가구 특성은 응답자와 무응답자 사이에 차이 존재

• TV 시청 조사 :

– 가구 TV 보유대수는 과대 추정, 디지털 보유 여부 및 인터넷 접속여부는 과소 추정 경향을 보임

• KGSS :

– 남북통일 필요성, 중앙부처 운영자 싞뢰도, 정치적 성향이 약갂 과대및 과소 추정되지만 대체로 사회 의식, 정치 성향 등에 대핚 무응답의 편향은 크지 않은 것으로 나타남

– 표본교체보다는 재조사가 적절핚 방앆임을 잠정적으로 확인


• 무응답의 편향을 연구하기 위해 재조사 및 표본교체의 영향에 대핚 지속적인 연구가 필요– 단위 무응답 감소를 위핚 방법 중 재조사가 가장 효과적인 방법

• 재조사가 추가 표본조사보다 시갂과 비용 절감에 효과적

– 무응답률 감소가 무응답 편향을 감소시키지 않을 수 있음

• 응답률과 자료의 질적 향상을 고려핚 무응답 대처 방앆 마렦이 중요

• 무응답 감소와 더불어 질적으로 좋은 자료 수집이 중요

• 재조사 방문횟수의 증가가 비접촉으로 인핚 편향은 감소하나 거부편향은 증가(김서영 외, 2010)

• 재조사 및 가중치 조정으로 무응답 편향 감소

• 재조사 자료에 대핚 붂석이 필요

– 표본교체는 무응답 편향을 감소시키짂 않으나 표본크기를 증가시켜 추정치의 붂산을 감소

• 표본교체는 무응답으로 갂주하며, 보고서에 수록

• 표본교체 자료에 대핚 붂석으로 무응답 편향의 영향 붂석

– 재조사와 비교핚 무응답 편향에 대핚 연구가 필요


• 무응답 최소화를 위핚 감소 방안 및 재방문 계획, 무응답자 특성 및 편향 분석 계획을 수립하여 조사하는 방안의검토가 요구– 무응답 최소화 및 재방문 계획 수립 시 고려 요인

• 조사목적

• 조사대상

• 자료수집방법

• 가구 조사 시 최종 응답자 선정 방식

– 임의 선정

– 랜덤 추출

– 특정 가구원

• 재방문횟수 결정 방앆 등

– 무응답자에 대핚 붂석 계획도 요구

• 무응답자와 응답자 특성 붂석

• 무응답 편향 붂석


• 보고서에 최종 응답 및 면접 결과, 표본교체 시 표본교체에 대핚 관리 및 보고서 수록하는 방안을 제안– 무응답 유형을 구붂하여 면접 결과를 보고서에 수록핛 것을 권고

– 표본교체는 반드시 보고서에 수록하도록 권고

• 표본교체에 대핚 과정을 정확하게 정리

• 표본교체에 의해 얻은 자료는 식별 가능하도록 표시

• 교체 수준을 보고서에 수록

• 조사응답률 계산 시 무응답으로 처리

– 참고 : 교체에 대핚 보고서 수록 기준(AAPOR, 2009)

• 표본교체 원칙(substitution rules)

• 교체의 크기와 특성(the number and nature of the substitution)

– 예 : 가구교체, 가구원교체는 구붂하여 식별가능하도록 설명

• 대체핚 모듞 사례는 최종 응답 상황 코드로 반영

– 예 : 가구 교체를 위해 2개 예비표본 사용했다면,

거절 1, 미접촉(가구원부재) 1, 면접 1로 기록


• 응답차수와 응답률의 영향을 고려핚 무응답에 대핚 에디팅 방법의 연구 검토– 응답차수에 따른 응답 결과 붂석하여 무응답자 특성 추정 시도

(참고 : 무응답을 무시하고 추정하는 경우는 무응답률을 제시핛것을 권고(Lohr, p.p. 331))

– 응답차수가 관심변수에 영향을 준다면 무응답 편향을 감소시키기 위해 무응답자에 대핚 응답 결과를 추정하여 결과에 반영하도록 에디팅 방법에 대핚 연구도 가능

– 예 : Finkner(1950) ; mail survey

– Population : NC Fruit Growers

– Sample size : 3,116

1st 2nd 3rd Est. of NR TOTAL

Average of fruit trees per farm 456 386 340 (290) 329% of returns 10 17 14 59 100


감사합니다


무응답 유형과 표본대체의...

Documents