도구변수 - sigmapress.co.kr · 린(lynn)에 있는 중학교이다. 이런 옛날 노래가...

12
제3장 도구변수 콰이 창 케인:한 번의 움직임으로 전 우주를 그리다니. 쿵푸, 시즌 1, 에피소드 1

Upload: others

Post on 15-Oct-2019

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제 3장

도구변수

콰이 창 케인:한 번의 움직임으로 전 우주를 그리다니.

-쿵푸, 시즌 1, 에피소드 1

Page 2: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

98 | 고수들의 계량경제학

우리의 길

귀분석을 통해 통계적으로 통제하는 방법으로는 설득력 있는 인과 효과 추

정치를 산출하지 못할 수 있다. 다행히 다른 길을 통해 다른 조건들을 모두

같도록 만들어 줄 수도 있다. 무작위 시행에서와 같이, 인간을 포함한 자연의 힘은

때로는 통제의 필요성을 제거해 버리는 방식으로 처치를 조작한다. 그러한 힘이

처치 변이의 유일한 원천인 경우는 거의 없지만, 이는 쉽게 극복할 수 있는 장애물

이다. 도구변수(instrumental variable, IV)법은 부분적인 또는 불완전한 무작위 배

정을 활용한다. 무작위 배정이 자연적으로 발생했든 혹은 연구자에 의해 생성되었

든 상관없다. 이 중요한 개념을 우리는 세 가지 방식으로 살펴보고자 한다. 첫 번

째로 우리는 무작위 입학 추첨을 활용한 기초적인 IV 분석을 이용해 미국의 교육개

혁-헌장학교(charter school, 역주:일종의 자율형 공립학교)-을 평가한다. 우

리가 살펴볼 두 번째 IV 적용 사례는 가정폭력에 대응하는 최선의 방법이라는 문제

이다. 처치집단에 무작위 배정된 피실험자들이 자유롭게 참여를 중단할 수도 있는

현장실험의 경우에 IV를 이용해 어떻게 분석하는지를 살펴본다. 세 번째 적용 사례

는 대규모 가정 혹은 소규모 가정에서 성장하는 것의 장기적인 효과를 조사하는

것이다. 이 적용 사례들을 통해 우리는 2단계 최소제곱법(two-stage least squares,

2SLS)을 살펴본다. 2SLS은 IV법을 정교하게 만든 추정방법으로서 우리의 가장 강

력한 도구들 중 하나다.

3.1 헌장학교 수수께끼

인터뷰어:부모님께서 추첨(lottery)에 대해 너에게 말씀해주셨니?

데이지:복권(lottery)요?... 사람들이 게임하고 돈 따는 그거 아니에요?

-슈퍼맨을 기다리며(Waiting for Superman, 2010)

뉴욕과 캘리포니아의 헌장학교에 지원한 학생들의 이야기를 담은 다큐멘터리 영화

‘슈퍼맨을 기다리며’(역주:2010년 미국에서 제작) 방영으로 미국의 교육 정책에

대한 열띤 논쟁이 한층 고조되었다. 영화에서 슈퍼맨은 헌장학교가 가난한 소수

Page 3: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제3장 도구변수 | 99

인종 학생들을 위한 최선의 희망을 제공한다고 주장한다. 이 학교마저 없다면 그들

은 우수한 학생이 거의 없고 자퇴가 비일비재한 도심의 공립학교에 계속 다닐 수밖

에 없기 때문이다.

헌장학교는 미국의 일반적인 공립학교보다 훨씬 자율적으로 운영되는 공립학교

다. 공립학교를 운영할 수 있는 권리를 의미하는 헌장(charter)은 보통 제한된 기간

동안 독립적인 운영자(대부분 민간 비영리 관리 단체들)에게만 부여되는데, 실적이

우수해야 그 권리가 갱신된다. 헌장학교는 커리큘럼과 학교 환경을 자유롭게 구성

할 수 있다. 다수의 헌장학교는 하루의 수업 시간을 길게 설정하고 주말과 여름에

도 학교를 계속 운영하는 방식으로 교육 시간을 연장한다. 헌장학교와 전통적인

공립학교의 가장 중요하고도 논란의 여지가 많은 차이는 아마도 헌장학교의 교사

와 교직원들이 거의 노동조합에 소속되어 있지 않다는 사실일 것이다. 이와는 대조

적으로 대부분의 대도시 공립학교 교사들은 보수와 근무 조건을 (종종 매우 상세하

게) 규제하는 교원 노조에 가입되어 있다. 이런 노조 계약들은 교사들의 근무 조건

을 개선시킬 수도 있지만, 반대로 훌륭한 교사들을 보상하고 자질 없는 교사를 해

임하는 것을 어렵게 만들 수도 있다.

‘슈퍼맨을 기다리며’에 등장하는 학교 중에 KIPP LA 대학 준비반 고등학교가 있

다. 이 학교는 ‘아는 것이 힘이다’ 프로그램(Knowledge Is Power Program, KIPP)에

가입되어 있는 140여 개 학교들 중 하나다. KIPP 학교들은 공교육에 대한 ‘무관용

(No Excuses)’ 접근법을 대표하는 학교들로서, 규율과 품행을 강조하고 하루의 수

업 시간과 수업일수가 길고 교원들을 선택적으로 채용하고 전통적인 읽기와 수학

능력을 강조하는 헌장학교의 모범을 보여 준다. 이 모범을 많은 학교들이 따르고

있다. KIPP은 1995년 휴스턴과 뉴욕 시에서 ‘미국을 위한 교육(Teach for America)’ 프로그램-미국에서 가장 들어가기 어려운 대학들을 최근에 나온 수천 명의 졸업

생들을 채용해 성적이 좋지 않은 지역의 학교들에서 아이들을 가르치도록 하는 프

로그램-의 지지자들에 의해 시작되었다. 현재 KIPP 네트워크에 속해 있는 학교

들에서 흑인과 히스패닉의 비중은 95% 정도이고, KIPP 학생의 80% 이상은 연방

정부의 급식 지원 대상에 속할 만큼 저소득층에 속한다.1)

1) 제이 매튜스(Jay Mathews)의 책(Work Hard. Be Nice, Algonquin Books, 2009)은 KIPP의 역사에 대해 상

세하게 설명하고 있다. 2012년에 Teach for America는 애리조나주립대학교에서 예일대학교에 이르기까

Page 4: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

100 | 고수들의 계량경제학

미국에서 교육 개혁에 대한 논쟁은 주로 학업 성취도의 차이에 초점이 맞추어져

있다. 이 성취도 차이는 인종과 민족에 따라 시험 점수가 부자연스러울 만큼 크게

차이가 나는 현실을 단적으로 드러낸다. 흑인과 히스패닉계 아이들은 대체로 표준

화된 시험에서 백인이나 아시아계 아이들보다 점수가 훨씬 낮다. 인종 간 성취도의

격차가 이처럼 크고 지속적인 데 대해 정책 입안자들이 어떻게 대응해야 할 것인가

하는 질문에 대한 대답은 크게 두 갈래로 나뉜다. 첫 번째 입장은 더 나은 결과를

생산하기 위해 학교에 주목한다. 두 번째 입장은 학교만을 통해서는 성취도의 격차

를 좁힐 가능성이 거의 없으므로 광범위한 사회적 변화가 필요하다고 주장한다.

소수 계열 학생들에 초점을 맞추고 있다는 사실 때문에 KIPP은 이러한 논쟁의 중

심에 서게 되는 경우가 많다. KIPP 지지자들은 KIPP의 유색 인종 학생들이 주변

학교들의 유색 인종 학생들에 비해 평균 시험 점수가 현저히 높다는 점을 강조한

다. 반면, KIPP에 대해 회의적인 입장을 가진 이들은 KIPP의 표면적인 성공이 애

초부터 성공할 가능성이 높은 자녀를 둔 가정들만을 KIPP이 끌어들인다는 사실을

반영할 뿐이라고 주장한다.

하나의 집단으로서 KIPP 학생들이 KIPP에 들어올 때의 성취도는 그들이 원래 속해 있던 학교의

평균 성적보다 상당히 높다. 교사들의 말에 따르면, 동료 학생들보다 능력이 뛰어난 아이들을

KIPP에 보냈고, 매우 의욕적이며 자녀 교육에 관심이 많은 부모들이 먼저 나서서 KIPP에 등록하

는 경우가 많았다고 한다.2)

이러한 주장은 KIPP 학생들을 다른 공립학교 아이들과 비교할 때 ‘다른 조건들’이

‘동일하게 유지되었는가’라는 중요한 질문을 제기한다.

제비뽑기

뉴잉글랜드에 설립된 최초의 KIPP 학교는 매사추세츠 보스턴 북쪽에 인접한 도시

린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈

때와 똑같은 모습으로는 절대 나올 수 없다네.” 애석하게도 오늘날의 린은 죄악이

지 미국 내 55개 대학의 졸업반 학생들을 가장 많이 고용하는 단일 고용주였다.

2) Martin Carnoy, Rebecca Jacobsen, Lawrence Mishel, and Richard Rothstein, The Charter School Dust-Up:

Examining Evidence on Student Achievement, Economic Policy Institute Press, 2005, p. 58.

Page 5: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제3장 도구변수 | 101

든 다른 무엇이든 내세울 만한 게 별로 없다. 린은 한때 제화업의 중심지였으나

근래에는 높은 실업률과 범죄율, 빈곤율로 두각을 나타내고 있을 뿐이다. 2009년

현재 린에서 공립학교를 다니는 학생들 대부분은 유색 인종이고 3/4이 급식 지원

을 받을 만큼 저소득층 출신이다. 린에 있는 KIPP 학교 5학년 코호트의 빈곤율은

유난히 높다. 도시 지역에 있는 헌장학교에는 일반적으로 다수의 가난한 흑인 학생

들이 등록하지만, KIPP 린은 영어를 자유롭게 구사하지 못하는 히스패닉계 아동들

이 높은 비율로 등록되어 있다는 점이 특징적이다.

KIPP 린은 2004년 가을에 문을 열었지만 정원 미달을 기록하며 느리게 출발했

다. 1년 뒤 정원보다 많은 지원자들이 있기는 했지만 정원보다 약간 많은 정도였

다. 그러나 2005년 이후 수요가 가속적으로 증가하여 매년 90명 정원의 5학년에

200명 이상의 학생들이 지원했다. 지원자가 많을 경우 헌장학교의 입학은 매사추

세츠 주법에 따라 추첨을 통해 배정된다. 상세한 제도적 세부 규정들이 있지만, 이

추첨은 헌장학교의 인과효과 수수께끼를 풀어갈 수 있게 해 준다. IV라는 우리의

연장은 이 입학 추첨을 이용해 자연발생적인 무작위 시행의 틀을 구축한다.

헌장학교에 다니겠다는 결정은 결코 전적으로 무작위일 수 없다. 지원자들 중에

는 학교에 합격했는데도 다른 곳을 선택하는 사람도 있고, 추첨에서 탈락했어도

다른 방법을 통해 기어이 들어오는 사람도 있다. 그러나 무작위 입학 추첨의 결과

에 따라 입학 자격을 부여받은 지원자들과 그 자격을 부여받지 못한 지원자들을

비교하는 것은 본질적으로 사과 대 사과의 비교를 충분히 만족한다. 추첨에 당첨됨

으로써 발생하는 유일한 차이가 헌장학교에 등록할 가능성뿐이라고 가정하면(이러

한 가정을 배제 제약(exclusion restriction)이라고 부른다), IV는 무작위적인 자격

부여의 효과를 헌장학교 재학의 효과의 인과적 추정치로 전환시킨다. 구체적으로

설명하면, IV 추정치는 추첨에서 입학 자격을 부여받으면 KIPP 학교에 등록하지

만 그렇지 않으면 KIPP 학교에 입학하지 않을 그런 유형의 아이들에게 미치는 인

과효과를 포착한다. 아래에서 설명하겠지만 이러한 집단을 KIPP 추첨의 순응자들

(compliers)의 집단이라고 부른다.

조시웨이 사부를 위시한 연구진은 2005년 가을부터 2008년 가을까지 KIPP 린에

지원한 학생들의 데이터를 수집했다.3) 일부 지원자들은 추첨을 하지 않았다. 그

이유는 형제자매가 이미 KIPP에 다니고 있는 아동들에게는 (대체로) 입학이 보장

Page 6: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

102 | 고수들의 계량경제학

주:괄호 안에는 KIPP(Knowledge Is Power Program)에 지원한 학생들의 숫자가 제시되어 있다.

그림 3.1 KIPP 린 추첨의 지원 및 등록 데이터

되기 때문이다. 몇몇 지원자들(예를 들어, 중학교에 다닐 연령을 초과한 지원자들)

은 애초부터 추첨에서 배제되었다. 2005년부터 2008년까지 진행된 4회의 KIPP 추

첨에서 무작위 배정의 대상이 된 5학년 입학 지원자 446명 중 303명(68%)에게 입

학 자격이 부여되었다. 하지만 놀랍게도 이 학생들 중 상당수가 오는 9월 학기에

등록하지 않았다. 일부는 이사를 나갔고, 일부는 근처의 동네 학교를 최종적으로

선택했다. 입학 자격을 부여받은 사람 중 221명(73%)이 이듬해에 KIPP에 모습을

드러냈다. 그와 동시에 입학 자격을 부여받지 못한 일부(약 3.5%)는 다른 수단을

동원해서 KIPP에 비집고 들어왔다. (추첨에서 탈락한 일부 지원자들에게 추후에

또는 추가적인 추첨을 통해 입학 자격이 제안되었다.) <그림 3.1>에 이와 같은 중

3) Joshua D. Angrist et al., “Inputs and Impacts in Charter Schools:KIPP Lynn,” American Economic

Review Papers and Proceedings, vol. 100, no. 2, May 2010, pages 239-243, and Joshua D. Angrist et

al., “Who Benefits from KIPP?” Journal of Policy Analysis and Management, vol. 31, no. 4, Fall 2012,

pages 837-860.

Page 7: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제3장 도구변수 | 103

요한 정보가 정리되어 있다.

KIPP 추첨은 헌장학교의 입학자격 제안 여부를 무작위로 배정한다. 제안의 무작

위 배정을 통해 입학 자격을 제안받은 지원자들과 그렇지 못한 지원자들의 인구학

적 특성은 균형을 이루어야 한다. <표 3.1>의 A에서 확인할 수 있는 바와 같이,

제안 여부별 균형 정도는 상당히 좋아 보인다. 하나의 기준으로서, (1)열에는 린에

있는 모든 공립학교 5학년 학생들의 인구학적 특성과 초등학교 시험 점수가 제시

되어 있다. (2)열과 (3)열에는 KIPP 추첨 당첨자들의 평균과, 당첨자와 탈락자 사이

의 평균 차이가 정리되어 있다. 이에 따르면, 당첨자와 탈락자들이 흑인이거나 히

스패닉계일 가능성이나 무료 급식 대상이 될 만큼 저소득층일 가능성은 거의 동일

하다.

<표 3.1>에서 특히 중요한 특징은 처치 전 결과, 즉 추첨 지원자들의 KIPP 등록

이전 4학년 시험 점수(이 표에는 ‘기준 점수(baseline scores)’로 표시되어 있음)가

균형이 잡혀 있는지를 점검하는 것이다. 학생의 성취도를 연구할 때의 관행에 따라

이 점수는 표준화 점수로서, 이것은 개인의 점수에서 대상 모집단(이 경우에는 매

사추세츠의 4학년 집단) 점수의 평균을 빼고 그 차이를 표준 편차로 나누어 구한

다. 표준화 점수를 사용하는 경우, 점수는 대상 모집단의 표준 편차로 정의되는 단

위에 의해 측정된다. 매사추세츠에 있는 여러 가난한 도시나 농촌의 경우와 마찬가

지로, 린의 평균 수학 점수는 주 평균에 비해 표준 편차의 약 3/10 정도 낮다. 이

수준의 점수는 −0.3라고 표현한다(제1장과 제2장의 부록에서와 같이 표준 편차

는 그리스 문자 ‘시그마’로 표시한다). <표 3.1>의 (3)열에 제시되어 있듯이, KIPP

추첨 당첨자와 탈락자들 사이에 존재하는 통계적으로 유의하지 않은 기준 점수의

작은 차이는 우연에 기인한 것일 가능성이 높다.

<표 3.1>의 마지막 2개 열에는 KIPP에 등록한 5학년생들의 평균과, KIPP에 등록

한 KIPP 지원자들과 미등록한 지원자들 간의 차이가 함께 제시되어 있다. 등록은

무작위로 배정하지 않았기 때문에, 등록 학생들과 미등록 학생들 간의 차이는 선택

편의를 반영할 가능성이 있다. 추첨에 당첨되었으나 다른 곳으로 가기로 결정한

학생들은 KIPP 등록 기회를 받아들인 학생들에 비해 학교에 대한 관심이 적을 수

있다. 이것이 바로 KIPP에 회의적인 사람들이 제시하는 선택 편의 시나리오다. 그

러나 결과적으로 (5)열에 나타나 있는 격차는 소폭이며 통계적 유의성에 접근하는

Page 8: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

104 | 고수들의 계량경제학

린 공립학교 5학년생

(1)

KIPP 지원자

KIPP 린 추첨 당첨자(2)

당첨자 vs.탈락자(3)

KIPP재학생(4)

KIPP 재학생 vs. 미재학생

(5)

A. 기준 특성

히스패닉계 .418 .501 -.058

(.058)

.539 .012

(.054)

흑인 .173 .257 .026

(.047)

.240 -.001

(.043)

여성 .480 .494 -.008

(.059)

.495 -.009

(.055)

무상/보조 급식 .770 .814 -.032

(.046)

.828 .011

(.042)

기준 점수(수학) -.307 -.290 .102

(.120)

-.289 .069

(.109)

기준 점수(언어) -.356 -.386 .063

(.125)

-.368 .088

(.114)

B. 성과변수

KIPP 재학 .000 .787 .741

(.037)

1.000 1.000

-

수학 점수 -.363 -.003 .355

(.115)

.095 .467

(.103)

언어 점수 -.417 -.262 .113

(.122)

-.211 .211

(.109)

표본 크기 3,964 253 371 204 371

주:이 표에는 린 5학년생들의 기준 특성들과 KIPP 린의 지원자들에 대한 입학 자격 제안 효과의 추정치들이 제시

되어 있다. 평균값들이 (1), (2), (4)열에 제시되어 있다. (3)열에는 추첨 당첨자와 탈락자들 간의 차이가 제시되어

있다. 이 수치는 동일 부류 집합을 통제한, 즉 지원한 연도와 학년 그리고 지원자의 형제자매가 이미 KIPP에 다니고

있는지 여부에 대한 더미변수들을 통제한 회귀모형으로부터 구한 계수들이다. (5)열에는 KIPP 재학생들과 KIPP에

다니지 않는 지원자들 간의 차이가 제시되어 있다. 괄호 안에는 표준 오차가 제시되어 있다.

표 3.1 KIPP 추첨들에 대한 분석

것은 하나도 없다. 따라서 이러한 점들을 고려할 때, 선택 편의가 크게 문제시되지

않는다는 것을 알 수 있다.

대부분의 KIPP 지원자들은 정규 중학교 과정이 시작되기 1년 전인 5학년에

KIPP에 들어가기 위해 지원했으나 일부는 6학년으로 들어가기 위해 지원하기도

Page 9: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제3장 도구변수 | 105

했다. 여기에서 우리는 지원한 학년의 다음 학년 말에 치른 시험의 점수에 대해

KIPP 재학이 미친 영향을 살펴본다. 이 점수는 4학년 때 KIPP에 지원한 학생의

5학년 말 점수이고, 5학년 때 KIPP에 지원한 학생의 6학년 말 점수다. 이에 따라

도출된 표본에는 371명의 지원자가 포함되어 있고, 3학년을 마치고 입학을 지원한

연령 미달 지원자들과 기준 점수나 성과 점수가 누락되어 있는 몇몇 지원자들은

제외되어 있다.4)

<표 3.1>의 B에 따르면, 입학 자격 제안을 받은 KIPP 지원자들의 표준화 수학

점수는 0에 근접해 주(state) 평균값에 가깝다. KIPP 지원자들의 4학년 점수의 평

균은 처음부터 주 평균보다 대략 0.3 정도 낮았기 때문에, 주 평균 수준의 성취도

는 높은 평가를 받을 만한 일이다. 이와는 달리, 입학 자격을 제안받지 못한 학생

들의 평균 성적은 약 -0.36로서 4학년 시작 시의 성적보다 약간 더 낮다.

추첨을 통한 입학 제안은 무작위로 배정되었기 때문에, (3)열에 제시되어 있는

0과 -0.36의 차이는 평균 인과효과다. 즉, KIPP 린에 입학할 자격을 제안하는 것

은 수학 점수를 0.36만큼 끌어올리는데 이는 큰 상승분이다. (KIPP 제안이 언어

점수에 미친 효과는 양이기는 하지만 크기가 작고 통계적으로도 유의하지 않다.)

기술 측면에서 덧붙여 말하면, 여기에서의 분석은 평균들의 단순 비교와 아이디어

는 동일하지만 그보다는 약간 더 복잡하다. (3)열의 결과는 점수를 KIPP 입학 제안

을 지시하는 더미, 지원한 연도 및 학년 더미, 그리고 지원자의 형제자매가 이미

KIPP에 다니고 있는지를 지시하는 더미에 회귀시키는 회귀모형으로부터 구한 값

이다. 이 통제변수들이 필요한 이유는 추첨에 당첨될 확률이 해마다 그리고 학년마

다 달라지고, KIPP 형제자매들의 경우에는 그 확률이 훨씬 높기 때문이다. 여기에

서 사용한 통제변수들은 추첨을 통한 제안 확률이 동일한 학생들의 집단(동일 부류

집합(risk sets)이라고 부르기도 한다)을 표현한다.5)

0.36라는 입학 자격 제안의 효과가 KIPP 린 재학의 효과에 대해 우리에게 말해

주는 것은 무엇일까? IV 추정치는 KIPP 제안의 효과를 KIPP 재학의 효과로 전환시

4) 제1장에서 살펴보았듯이, 표본 탈락(데이터 누락)은 무작위 시행에서도 걱정거리다. 데이터 누락이 있는

무작위 배정 디자인을 쓸모 있도록 만드는 열쇠는 처치집단과 통제집단에서 데이터가 누락될 확률을 동

일하게 만드는 것이다. <표 3.1>을 작성하는 데 사용한 KIPP 표본에서 당첨자와 탈락자는 실제로 온전한

데이터를 가질 확률이 거의 동일했다.

5) IV 추정에서 공변량의 역할에 대해서는 3.3절에 자세히 설명되어 있다.

Page 10: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

106 | 고수들의 계량경제학

킨다. 이 경우에서 도구변수(또는 줄여서 IV)는 입학 자격을 제안받은 KIPP 지원자

를 지시하는 더미변수다. 일반적으로 도구변수는 다음과 같은 세 가지 조건을 충족

한다.

(i) 도구변수는 그 영향을 파악하고자 하는 변수(이 경우에는 KIPP 등록)에 인

과적인 영향을 미친다. 잠시 후 그 이유를 분명하게 알 수 있겠지만, 이 인과

효과를 우리는 1단계(first-stage)라고 부른다.

(ii) 도구변수는 무작위적으로 또는 ‘무작위 배정과 거의 마찬가지로’ 배정된다.

이것은 우리가 통제하고자 하는 누락변수들(이 경우에는 가정 배경이나 동

기부여 수준 같은 변수들)과 도구변수가 상관관계를 갖지 않음을 의미한다.

우리는 이 조건을 독립성 가정(independence assumption)이라고 부른다.

(iii) 마지막으로, IV의 논리는 배제 제약(exclusion restriction)을 필요로 한다. 배

제 제약은 도구변수가 성과변수에 영향을 미치는 유일한 경로임을 표현한

다. 여기서 배제 제약은 추첨 당첨자와 탈락자 사이에 관측되는 0.36의 점

수 차이가 순전히 <표 3.1>의 (3)열(B의 상단)의 참여율에서 나타나는 0.74라

는 (당첨-탈락)의 차이 때문이라고 주장한다.

IV 방법에서는 이들 세 가정을 이용해 도구변수에서 학생의 성취도로 이어지는

연쇄 반응을 묘사한다. 이와 같은 인과관계의 사슬에서 첫 번째 고리-1단계-는

무작위 배정된 입학 제안을 KIPP 재학과 연결시킨다. 두 번째 고리-우리가 추정

하고자 하는 것-는 KIPP 재학과 성취도를 연결시킨다. 독립성 가정과 배제 제약

덕분에 이들 2개 연결고리의 곱은 입학 제안이 시험 점수에 미치는 효과를 도출한

다. 즉, 다음과 같다.

입학 제안이 점수에 미치는 효과

({ 입학 제안이 재학에 미치는 효과 }

× { 재학이 점수에 미치는 효과 })

이 식을 다시 배열하면 KIPP 재학의 인과효과는 다음과 같다.

Page 11: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

제3장 도구변수 | 107

재학이 점수에 미치는 효과

{ 입학 제안이 점수에 미치는 효과 }

{ 입학 제안이 재학에 미치는 효과 }(식 3.1)

<그림 3.2>의 좌변에서 볼 수 있는 바와 같이, 이 효과의 크기는 0.48이다.

식 (3.1)을 도출한 논리는 다음과 같이 쉽게 요약된다. KIPP 입학 제안은 KIPP

재학을 통해서만 시험 점수에 영향을 미친다고 가정한다. 입학 제안은 약 75퍼센

트 포인트(정확히는 0.74) 정도 재학률을 증가시키므로, 입학 제안이 점수에 미치

는 효과에 약 4/3(≈1/0.74)을 곱하면 재학의 효과가 도출된다. 이와 같은 조정에

의해, KIPP 입학 제안을 받았던 사람들 중 약 1/4이 다른 곳으로 가기로 선택했고,

제안을 받지 못한 소수의 사람이 제안을 받지 못했음에도 불구하고 KIPP에 들어왔

다는 사실이 보정된다.

KIPP 재학의 효과에 대한 또 다른 추정치가 <표 3.1>의 (4)열과 (5)열에 제시되어

있다. (4)열에는 KIPP 학생들의 평균이, 그리고 (5)열에는 KIPP 학생들과 그외 나

머지 지원자들 사이의 비교 결과가 제시되어 있다. (5)열의 차이는 무작위로 추첨

한 입학 제안을 무시한 것으로서, 학교 등록 이후의 수학 점수를 KIPP 재학 더미변

수에 회귀시키는 회귀모형으로부터 도출되었다. 이 회귀분석은 (3)열에서 당첨/탈

락의 차이를 계산할 때 사용한 것과 동일한 통제변수들을 사용한다. 이 회귀분석에

서 KIPP 재학의 변이는 (전부는 아니지만) 대부분 추첨으로부터 생성된다. KIPP

등록에는 무작위 배정뿐만 아니라 개인의 선택(예를 들어, 당첨자가 학교에 등록하

지 않기로 결정하는 선택)이 수반되기 때문에, 등록한 사람들과 미등록한 사람들을

비교하는 것은 선택 편의에 의해 오염될 수 있다. 그러나 (5)열에 제시되어 있는

수학 점수에 대한 추정치(약 0.47)는 <그림 3.2>의 IV 추정치에 가까워 선택 편의

가 위의 사례에서는 그다지 중요하지 않을 것이라고 우리가 이전에 추측한 바를

확증해 준다.

1년 학교생활 후 수학 점수가 표준 편차의 절반만큼 향상되는 놀라운 결과가 나

타났다. KIPP에 다니는 행운을 누릴 수 있었던 린 거주자들은 학교에 들어올 때와

나갈 때 전혀 다른 모습이 된다.

Page 12: 도구변수 - sigmapress.co.kr · 린(Lynn)에 있는 중학교이다. 이런 옛날 노래가 있다. “린, 린, 죄악의 도시, 들어갈 때와 똑같은 모습으로는 절대

108 | 고수들의 계량경제학

주:이 그림에 제시되어 있는 KIPP(Knowledge Is Power Program) 등록의 효과는

σ이다.

그림 3.2 학교 연구의 IV:KIPP 재학이 수학 점수에 미치는 효과

헌장학교의 LATE

KIPP 추첨은 IV 연쇄 반응의 실례를 제공한다. 이러한 반응의 구성 요소에는 이름

이 붙어 있기 때문에, 고수들은 이에 대해 효율적으로 논의할 수 있다. 원래의 무

작위 배정 장치(이 경우에는 KIPP 입학 제안)를 도구변수 또는 줄여서 IV라고 부른

다는 사실은 이미 언급했다. 앞서 살펴보았듯이, 도구변수로부터 관심 원인변수로

의 연결고리(이 경우에는 추첨에 의해 배정된 입학 제안이 KIPP 재학에 미치는 효

과)는 연쇄 반응의 첫 번째 연결고리이기 때문에 1단계(first-stage)라고 부른다. 연

쇄 반응의 처음과 끝을 전체적으로 연결하는 것으로서 도구변수가 성과에 미치는

직접적인 효과(이 경우에는 입학 제안이 점수에 미치는 효과)는 축약형(reduced-

form)이라고 부른다. 마지막으로, 관심대상 인과효과(즉, 연쇄 반응의 두 번째 연

결고리)는 축약형 나누기 1단계 추정치의 비율에 의해 결정된다. 이 인과효과는 국

지적 평균 처치효과(local average treatment effect, LATE)라고 부른다.

IV 사슬의 연결 고리들은 조건부 기댓값들 사이의 차이, 즉 상이한 집단들에 대

해 모집단 평균을 비교하는 것으로 구성된다. 실제 분석에서 모집단 평균들은 표본