for scienceshosting02.snu.ac.kr/~snucss/wp-content/uploads/2016/04/... · 2016-04-03 · the center...

서울대학교 사회과학연구원The Center for Social Sciences in Seoul National University

SEO

UL

NATIO

NAL

EOUL

NATIO

NAL

EOUL

UNIVERSITYNATIO

NAL

UNIVERSITYNATIO

NAL

EOUL

inEO

UL

S SS SUNIVERSITY

SUNIVERSITY

EOUL

NATIO

NAL

EOUL

NATIO

NAL

UNIVERSITY

EOUL

UNIVERSITYNATIO

NAL

UNIVERSITYNATIO

NAL

EOUL

NATIO

NAL

UNIVERSITYNATIO

NAL

NATIO

NAL

UNIVERSITYNATIO

NAL

UNIVERSITY

EOUL

NATIO

NAL

EOUL

UNIVERSITY

EOUL

UNIVERSITYNATIO

NAL

UNIVERSITY

EOUL

UNIVERSITY

UNIVERSITYNATIO

NAL

UNIVERSITYNATIO

NAL

UNIVERSITY

EOUL

UNIVERSITYin

UNIVERSITY

EOUL

UNIVERSITYNATIO

NAL

UNIVERSITYNATIO

NAL

EOUL

NATIO

NAL

UNIVERSITYNATIO

NAL

in NATIO

NAL

UNIVERSITYNATIO

NAL

EOUL

NATIO

NAL

UNIVERSITYNATIO

NAL

SCIENCESSOCIAL

CENTERCENTERCENTERSOCIAL

CENTERSOCIALSOCIAL

CENTERSOCIAL

for

TheThe

CENTERThe

CENTERCENTERThe

CENTERSCIENCESSOCIAL

CENTER CENTER CENTERSOCIAL

CENTERSOCIAL SOCIAL

CENTERSOCIAL

forThe

CENTERThe

CENTER

서울대학교 사회과학대학 설립 40주년 기념 심포지움

차세대 사회과학을 위한 연구방법론의 교육과 역량강화

일시: 2015년 3월 31일 (화) 오후 3시~5시 30분

장소: 서울대 아시아연구소 영원홀(101동 210호)

주최: 서울대학교 사회과학연구원(02-880-5477, [email protected])

후원: 조선일보 미디어연구소

좌장: 강남준(언론정보학과)프로그램

15:00~15:10 인사말(사회과학대학 학장, 사회과학연구원 원장)

15:10~15:30 사회과학연구방법론 교육의 현황과 개선방안(김청택, 강정원)

15:30~15:50 방법론 교육 사례 연구: 미시간 대학과 워싱턴 대학의 경우 (장원철, 박원호)

15:50~16:10 사회과학연구방법론의 동향(한신갑)

16:10~16:30 사회과학 자료분석방법의 현재와 미래( , )

16:30~17:30 토론지정토론자: 권숙인(사회대 교무부학장), 강상경(사회복지), 이건학(지리학),

이석배(경제학), 이준웅(언론정보)

박종희 김용대

사회과학연구방법론 교육의 현황과 개선방안 (김청택, 강정원) / 1

방법론 교육 사례 연구: 미시간 대학과 워싱턴 대학의 경우 (장원철, 박원호) / 9

사회과학연구방법론의 동향 (한신갑) / 23

사회과학 자료분석방법의 현재와 미래 (박종희, 김용대) / 47

목차


SCIENCES

for



일시: 2015년 3월 31일 (화) 오후 3시~5시 30분












박종희 김용대


SCIENCES

for



일시: 2015년 3월 31일 (화) 오후 3시~5시 30분












박종희 김용대


SCIENCES

forThe



일시: 2015년 3월 31일 (화) 오후 3시~5시 30분












박종희 김용대


SCIENCES

for



일시: 2015년 3월 31일 (화) 오후 3시~5시 30분












박종희 김용대

사회과학연구방법론 교육의 현황과 개선방안

(김청택, 강정원)

방법론 교육 사례 연구: 미시간 대학과 워싱턴 대학의 경우

(장원철, 박원호)

(2):University of Michigan

( )

2015 3 31

40 :

“ ?”“?”

-19-

Institute for Social Researches1949

CPS (Center for Political Studies)ICPSRPSC (Population Studies Center)RCGD (Research Center for Group Dynamics)SRC (Survey Research Center)

ISR

Program in Survey MethodologyICPSR Summer Program in Quantitative Methods of Social ResearchSurvey Research Center Summer Institute in Survey Research TechniquesPopulation Studies Center TrainingICPSR Summer Undergraduate Internship Program

-20-

( )( )

‘ ’:

‘ ’: substantive workshop

lecture series

ICPSR Summer School

( )

-21-

Survey Research Center

Faculty 87Program in Survey Methodology (PSM):

2001 ,

Survey Research Operations (SRO):, , ,

,

Joint Program in Survey Methodology (JPSM)

Michigan and Seoul National UniversityThink Big:

( , …)

-22-

사회과학연구방법론의 동향

(한신갑)

• Within• Across

• Soft• Hard

• Small-N• Large-N

• Qualitative• Quantitative

-28-

3 over-time indicators

• 1968 – Nie, Hull and Bent• 1969 – Stanford Chicago• 1970 – Manual (McGraw

-Hill)• 1975 – Incorporation

• 2009 – IBM• 2013/2014 – Version 22

Statistical Package for the Social Sciences

-29-

@SNU

FORTRAN IV

IBM XT

@SNU

FORTRAN IV

IBM XT

-30-

@SNU

FORTRAN IV

IBM XT

@SNU

FORTRAN IV

IBM XT

-31-

Period Topics Appearing

1976-1980Analysis of Variance; Factor Analysis; Log-Linear Models

1981-1985Microcomputer; Game Theory; Bayesian Inference; Event History Analysis; Content Analysis

1986-1990Meta-Analysis; Latent Class Analysis

1991-1995Computer-Assisted Interviewing; Bootstrapping; Maximum Likelihood Estimation

1996-2000Math and Calculus (3); Computational Modeling; Monte Carlo Simulations; Statistical Graphics (2)

2001-2005Missing Data; Internet Data Collection; Multilevel Modeling

2006-2010Fuzzy Set Theory; Agent-Based Models; Social Network Analysis; Boolean Algebra; Quantitative Narrative Analysis

2011-2015ERGM; Factorial Survey Experiments

-34-

Annual Operation

• Over 1,000 participants• Nearly 100 instructors

– 50 or so institutions– More than 10 academic disciplines

-35-

Curriculum Structure: Formats

• 4-week statistical workshops• 4-week lectures• H. M. Blalock lecture series (“Mini-courses”)• Statistical short courses• Substantive workshops (e.g., Race and

ethnicity)

Curriculum Structure: Contents

• Cores– Computing– Mathematics– Regression analysis

• Beyond regression: More advanced statistical methods

• Mathematical modeling

-36-

Year Topics Added

2011-2012Mathematics for Social Scientists III; Time Series Analysis: Advanced Topics; Longitudinal Data Analysis, including Categorical Outcomes

2012-2013

Longitudinal Analysis of Historical Demographic Data; Scaling and Dimensional Analysis*; Introduction to Calculus; Programming Estimation Commands in Stata and Mata; Mixed Methods; Applied Multilevel Models (Cross-Sectional/Longitudinal)Hierarchical Linear Models II: Special Topics; Dynamic Models; Spatial Regression

2013-2014

Empirical Modeling for Theory Evaluation; Network Analysis: Statistical Approach; The R Statistical Computing Environment; Analyzing Intensive Longitudinal Data; Bayesian Methods; Item Response Theory; Spatial Econometrics; Analyzing the Life Event Calendar; Latent Class Analysis

2014-2015R; Multiple Imputation; Exploratory Data Mining; Designing and Conducting Experiments in Laboratory; Modern Causal Inference; Qualitative Research Methods

• Computing/Internet– Software– Data sources

• Deeper and broader– More “basic” math– Various modeling

• Space and time– Spatial/Network– Longitudinal/Dynamic

• Bayesian• Graphics/Visualization• Qualitative data

– Mixed methods• Experiment

-37-

small-N large-N

BIGDATA

-40-

(1990)

Right now, the territory of the social sciences is under pressure to expand and reshape itself. We can simply ignore these trends and continue as usual at our own peril.

-41-

Bigger = Better

– Henri Poincaré

Science is built with facts as a house is with stones – but a collection of facts is no more a science than a heap of stones is a house.

-42-

ScaleBreadthDepthGranularity(Inter-)Linkedness

BIG could mean…

-43-

Digital Humanities

Computational Social SciencesDigital Social Sciences

-44-

Theory

DataMethod

The common core of social sciences lies in their attitudes toward evidence –a disciplined approach that attempts to use the standards of scientific inquiry.

-45-

사회과학 자료분석방법의 현재와 미래

(박종희, 김용대)

사회과학 자료분석방법의 현재와 미래1)

박종희

사회과학 자료분석방법의 과거

19세기 말은 사회과학 방법론의 중대한 전환점이었다. 이전까지 통제된 실험이나 자연과학에서만 유용할 것으로 여겨지던 확률론(the probability theory)과 그에 기반한 통계적 방법(statistical methods)이 인간행동과 사회현상을 설명하는 데에도 적용될 수 있다는 인식이 퍼져나가기 시작하면서 통계적 연구방법이 사회과학 전체로 급속히 퍼져나가기 시작했다. 갈통(Francis Galton), 에지워스(Francis Ysidro

1) 본 문서는 2015년 사회과학방법론 심포지움 발표문 초안으로 작성된 것입니다. 최종 원고 이전에는 인용을 삼가 주시면 감사하겠습니다.

그림 1 갈퉁의 신장유전에 대한 상관성 분석 다이어그램. 평균으로의 회귀(regression to the mean)라는 개념이 탄생한 연구. Francis Galton (1886) Anthropological Miscellanea: "Regression towards mediocrity in hereditary stature," The Journal of the Anthropological Institute of Great Britain and Ireland, 15: 246–263. (소스: 위키피디아 Francis Galton,http://en.wikipedia.org/wiki/Francis_Galton#/media/File:Galton%27s_correlation_diagram_1875.jpg)

-49-

Edgeworth), 피어슨(Karl Pearson), 그리고 율(George Udny Yule) 등으로부터 시작된 통계적 방법의 사회과학적 변용과 적용은 사회과학 연구의 질을 향상시켰을 뿐만 아니라 통계학의 발전에도 중요한 기여를 하였다.2)

20세기에 접어들면서 통계학적 방법은 더욱 성숙한 과학적 방법으로 성장하여 자연과학과 사회과학 전분야에 깊숙이 뿌리박게 되었다. 20세기 초 통계학적 방법론이 사회과학 방법론으로 자리잡는 데에 큰 기여를 한 학자들은 실험적 방법론을 정립하고 우도(likelihood)에 기반한 모수추정방법을 확립한 피셔(Ronald A. Fisher)와 무작위 추출에 기반한 실험적 방법, 신뢰구간, 그리고 가설검정 방법 등을 제시한 니만과 퍼슨(Jerzy Neyman and Egon Pearson) 등이 있다.3) 이들이 제시한 통계적 연구방법은 경험적 반증(falsification) 혹은 반증가능성(falsifiability)을 과학적 연구방법의 핵심원리로 제시한 포퍼-라카토스(Karl Popper and Imre Lakatos)류의 과학철학적 문제틀과 일치하는 것으로 간주되어 사회과학적 연구를 “과학”의 범주로 포함하는 중요한 기반이 되었다.

사회과학자들은 실험적 통제를 거치지 않은 관측자료들의 연구에도 통계적 방법을 적용할 수 있다고 확신하였고 이러한 믿음은 20세기 중후반부터 국가통계자료가 체계적으로 축적되고 서베이 자료조사 방법이 대중화되면서 관측자료를 통한 과학적 사회분석의 길이 열리게 되었다. 이로써 통계학적 연구방법은 20세기 전체에 걸쳐 경제학, 정치학, 심리학, 사회학, 인류학 등 사회과학 전분야에서 전성기를 맞게 되었

2) Stephen M. Stigler, The History of Statistics: The Measurement of Uncertainty before 1900 (Cambridge, MA: The Belknap Press of Harvard University Press, 1986), 8-10장 참조.

3) Ronald A. Fisher, The Design of Experiments (1935); Ronald A. Fisher, Statistical methods and scientific inference (1956); Neyman, Jerzy; Pearson, Egon S. (1933). "On the Problem of the Most Efficient Tests of Statistical Hypotheses". Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences 231 (694–706): 289–337.

그림 2 20세기 통계적 연구방법의 과학적 정초를 마련한 피어슨, 피셔, 그리고 니만 (사진은 Milovan Kranjajic의 슬라이드에서 발췌).

-50-

다. 본 발표문은 20세기에 진행된 사회과학 연구방법의 진화를 간략히 소개하고 21세

기 사회과학 연구방법의 미래를 진단하는 것을 목적으로 한다.

20세기 사회과학 연구방법 통계적 방법은 이와 같이 20세기 사회과학 연구방법의 지평을 넓히고 사회과학을

과학의 반열에 올려놓는 데에 중요한 기여를 했지만 동시에 통계적 사회과학 연구방법이 하나의 도그마로 귀착되고 천편일률적이고 기존 논의를 답습하는 연구를 지속적으로 재생산하는 퇴행적인 패러다임(regressive paradigm)의 한계를 보여온 것도 사실이다. 그리고 그 근원에는 연구방법의 개발자와 생산자, 고급사용자들 사이에서 합의된 점들이 통계연구집단 전체로 확산되지 못하고 소수의 비밀교도적(esoteric)인 담론으로 남아있다는 점이 문제로 지적될 수 있다.

그 예는 무수히 많지만 가장 대표적인 것이 p-값(p-value)에 대한 잘못된 해석이다. 흔히 p-값을 관측자료를 기반으로 한 영가설의 타당성, 즉 값 영가설자료 라고 잘못 해석하는 경우가 많다. 따라서 흔히 p-값이 적을수록 연구자의 가설(대항가설)이 더 맞는 것으로 받아들이는 경향이 있다. 그런데 통계학에 대한 지식이 있는 사람이라면 누구나 이러한 “통상적” 해석이 얼마나 잘못된 것인지 잘 알고 잇다. 정확히 말하면 p-값은 영가설을 참이라고 가정한 상태에서 반복된 샘플링을 무한수행할 때 연구자에 의해 관측된 자료가 관측될 가능성을 나타낸다. 따라서 엄밀한 의미에서 보면 p-값은 자료영가설 이라고 볼 수 있다. 이것이 얼마나 잘못된 해석인지는 다음과 같은 조건부확률(베이즈 정리라고 불리우는)의 정의에 위 논의를 집어넣어보면 금방 알 수 있다:

즉 자료 영가설 이 되지 않는 한, p값에 대한 “통상적” 해석은 근거가 없는 것이다.

혹자는 이쯤해서 전문연구자라면 위와 같은 통상적 해석의 함정에 누가 빠지겠는가라고 반문할 수 있다. 초보자나 기초사용자들의 실수라고 생각하기 쉬운 것이다. 그러나 기거렌저(Gigerenzer 2004)의 조사에 따르면 통계학적 방법을 전문적으로 사용하는 연구자들도 통상적 해석의 오류에 쉽게 빠지는 것으로 조사되었다.4)

이러한 논의는 결국 최근 한 심리학 저널(Basic and Applied Social

4) Gerd Gigerenzer, “Mindless Statistics” Journal of Socio-Economics. 2004, Vol.33. pp. 587-606. Emre Soyer, Robin M. Hogarth, “The illusion of predictability: How regression statistics mislead experts,” International Journal of Forecasting, Volume 28, Issue 3, 2012, pp. 695-711.

자료영가설 영가설 영가설 자료 자료

-51-

Psychology)이 가설검정방법의 사용을 금지하는 결정을 내리게 되는 결과를 낳았다. 편집장은 저널에서 최종 출판될 논문은 출판 전에 반드시 영가설검정과 관련된 모든 흔적을 지워야 한다고 결정했다.5) 이러한 결정은 그동안 0.05라는 비공식적 출판기준 p-값에 최적화된 연구를 수행해온 연구관행에 쐐기를 박고 p-값이라는 지극히 편협한 통계적 유의성에 초점을 두지 말고 과학적이고 실제적인 유의성을 더 고려하는 연구를 수행해야 한다는 자성의 결과라고 볼 수 있다. p-값이 이러한 해석상의 어려움과 저널 출판과 관련된 편향(publication bias)을 낳을 수 있다는 점은 그동안 많은 연구자들에 의해 인지된 바 있다. 그러나 그것이 연구자들의 관행과 인식을 근본적으로 바꾸는 데에는 많은 시간과 노력, 그리고 제도적 변화를 필요로 한다.

따라서 21세기 사회과학 연구방법의 미래를 이야기 함에 있어서 우리는 이러한 통계연구집단 내부의 역할분담과 노동분업구조를 분명히 인지하고 논의를 전개하는 것이 필요하다. 사용자와 소비자 그룹 역시 통계학적 지식이 매우 높은 고급사용자와

중급사용자, 그리고 매우 기초적인 통계지식에 기반하여 자료를 분석하는 기초사용자 그룹으로 더 나눌 수 있다.

21세기 사회과학 자료분석방법의 미래

그렇다면 사회과학 연구방법의 분업구조를 고려할 때 21세기 사회과학 연구방법

5) “prior to publication, authors will have to remove all vestiges of the NHSTP (p-values, t-values, F-values,statements about ‘‘significant’’ differences or lackthereof, and so on).” David Trafimow and Michael Marks, “Editorial” Basic and Applied Social Psychology, 37:1-2, 2015.

그림 3 p-값 해석의 자의성에 대한 풍자 (https://xkcd.com/1478/)

-52-

의 미래는 어떻게 진단할 수 있는가? 먼저 생산자와 소비자로 나누어서 얘기해 볼 것이다.

그림 4 데이터 사이언스 벤 다이어그램 (Drew Conway, https://s3.amazonaws.com/aws.drewconway.com/viz/venn_diagram/data_science.html)

l Hacking Skills: Data is a commodity traded electronically, therefore, in order to be in this market you need to speak hacker. Far from 'black hat' activities, data hackers must be able to manipulate text files at the command-line, thinking algorithmically, and be interested in learning new tools.

l Substantive Expertise: Science is about discovery and building knowledge, which requires some motivating questions about the world and hypotheses that can be brought to data and tested with statistical methods. Questions first, then data.

l Math & Statistics Knowledge: Once you have acquired and cleaned the data, the next step is to actually extract insight from it. You need to apply appropriate math and statistics methods, which requires at least a baseline familiarity with these tools.

l Machine Learning: Data plus math is machine learning, which is fantastic if that is what you if that is what you are interested in, but not if you are doing data science.

l Danger Zone!: This is where I place people who, 'know enough to be dangerous,' and is the most problematic area of the diagram. It is from this part of the diagram that the phrase 'lies, damned lies, and statistics' emanates, because either through ignorance or malice this overlap of skills gives people the ability to create what appears to be a legitimate analysis without any understanding of how they got there or what they have created.

l Traditional Research: Substantive expertise plus math and statistics knowledge is where most traditional researcher falls. Doctoral level researchers spend most of their time acquiring expertise in these areas, but very little time learning about technology.

-53-

1. 생산자 (개발자, methodologists)

첫째, 통계적 연구방법의 공학화가 빠르게 진행될 것이다. 자료의 양이 제한되고 자료의 형태가 비교적 예측가능했던 19-20세기에는 통계적 연구방법은 수학적 모형에 기반한 간단한 계산에 기반해 있었다. 그림 4에 “전통적 연구”라고 표현된 바와 같이 수학적, 통계적 지식과 응용분야에 대한 전문적 지식을 갖는 것이 이전까지의 사회과학 연구방법에서 강조되었다. 따라서 방법론의 생산자들에게는 수학적이고 통계학적 지식의 고도화가 곧 연구방법의 발전으로 인식되었고 소비자들에게는 복잡한 모형을 어떻게 해당 분야의 자료와 적절히 결합할 것인가가 분석의 관건으로 여겨졌다.

그러나 자료의 양과 형태의 복잡화가 급속하게 증가하는 21세기에는 통계적 연구방법에서는 자료처리능력(data preprocessing capacity)과 계산(computation)의 중요성이 보다 증가할 것으로 예상된다(그림 4에서 hacking skills이라고 표현된 부분). 따라서 통계적 연구방법의 중요한 개선과 발전이 공학적 아이디어(전산학, 물리학, 컴퓨터공학 등)와 분석방법에 의해 이루어질 것임을 의미한다. 이미 기계학습 (machine learning) 영역에서 시작된 텍스트분석에 대한 공학적 접근은 많은 성과를 낳은 바 있다. 특히 공학적 접근은 자료처리과정과 스케일가능성(scalability)이나 병행계산(parallel computing) 등 계산적 효율성의 증대에 중요한 기여를 하고 있다. 통계적 연구방법의 공학화는 사회과학 연구방법에도 중대한 변화를 가져올 것이다. 계산적 효율성과 자료처리방법의 쇄신은 사회과학이 그동안 엄두를 낼 수 없었던 대량자료나 비정형자료에 대한 접근가능성을 높일 것이다. 동시에 공학화의 성과를 제대로 받아안기 위한 노력으로 사회과학 방법론 교육에서 프로그래밍 교육의 중요성이 증가할 것이다.

둘째, 사회과학 연구방법론의 융합이 증가할 것이다. 여기서 융합이란 실험적 연구방법, 서베이 조사방법, 전통적 회귀분석, 베이지안 분석, 기계학습, 생물통계, 통계물리학, 질병학, 예측분석 등과 같이 그동안 사회과학 연구방법안에서 독자적인 발전의 길을 걸어온 연구방법들을 연구자들이 서로 효과적으로 결합하는 연구를 말한다. 그동안 이러한 융합이 지체된 이유는 연구자들이 지금까지 사회과학 방법론의 생산자들은 본인이 속한 작은 연구집단 내에서 교류하고 그들에게 인정받는 연구를 수행해서 해당저널에 출판하는 방식으로 경력을 쌓아왔다. 예를 들어 경제학 내에서 시계열 연구방법을 연구하는 학자들은 연구결과를 Econometrica, Journal of Econometrics, Econometrics Letters 등의 경제학 내 저널에 싣는 것에 집중해 왔다. 또한 정치학자들 역시 Political Analysis나 정치학 내의 주요저널 외에는 연구성과를 외부에 폭넓게 공유하지 못했다. 사회학(Sociological Methodology)과 심리학

-54-

(Psychometrika) 역시 마찬가지이다. 이런 이유로 Sience, Nature와 같이 사회과학 연구를 대표하는 대표저널이 존재하지 않는다.

셋째, 가상 실험실(virtual labs)이나 여론조사에서 비확률 표본(nonprobability survey sample)과 같이 웹테크놀로지를 이용한 새로운 형태의 사회과학 연구방법이 대두할 것이다. 이미 아마존은 미케니컬 터크(Mechanical Turk)는 성공적으로 운영되고 있으며 서베이 조사에서도 비확률 표본패널에 기반한 조사가 전통적인 확률론

적 샘플링 기법에 기반한 조사를 위협하고 있다.6) 만약 특정한 비확률 표본조사방법이 확률 표본조사보다 더 정확한 예측을 지속적으로 보여준다면 비확률 표본을 비과학적인 것으로 치부하는 것은 점점 더 어려워질 것이다. 비확률 패널에서 발견되는 불확실성(p-값, 신뢰구간 등)을 어떻게 해석해야 하는가 등의 질문은 전통적 통계방법론이 대답하기 어려운 문제로 대두될 것이다.7) 또 구글은 웹트래픽을 이용한 사회현상 예측의 가능성을 시사한 바 있으며 이에 대한 반론도 제기된 상태이다.8)

6) David S. Yeager et al., “Comparing the Accuracy of RDD Telephone Surveys and Internet Surveys Conducted with Probability and Non-Probability Samples” Public Opinion Quarterly, 2011, Vol.75, No.4, pp. 709-747; Douglas Rivers, “Second Thoughts About Internet Surveys” Pollster.com, September 6, 2009 (http://www.pollster.com/blogs/doug_rivers.php?nr=1); Reg Baker et al., “Report of the AAPOR Task Force on Non-probability Sampling“ (http://www.aapor.org/AM/Template.cfm?Section=Reports1&Template=/CM/ContentDisplay.cfm&ContentID=5963); Andrew Gelman, "Tracking public opinion with biased polls" 2014 (http://www.washingtonpost.com/blogs/monkey-cage/wp/2014/04/09/tracking-public-opinion-with-biased-polls/m, 2015년 3월 18일 최종접속)

7) 한신갑, "혼합식 조사와 웹패널의 (옅은) 빛과 (짙은) 그늘" 조사연구(2012. 11) 13권 3호: 1-31. 8) "Google Uses Searches to Track Flu’s Spread" New York Times, 2008년 11월 11일; David

Lazer, Ryan Kennedy, Gary King, and Alessandro Vespignani. 2014. “The Parable of Google Flu: Traps in Big Data Analysis” Science. Vol. 14. No. 6176. pp. 1203-1205.

그림 5 아마존 미케니컬 터크 (https://requester.mturk.com/tour/how_it_works)

-55-

넷째, 정보기술의 지속적 발전으로 시뮬레이션에 기반한 연구방법의 중요성이 더욱 증가할 것이다. Compuational games, Markov chain Monte Carlo methods, Bootstrapping and other resampling methods, variational methods, EM algorithm 등 컴퓨터 시뮬레이션에 기반한 연구방법은 그동안 사회과학 연구방법의 발전에 중요한 기여를 해왔다. 앞으로 이런 경향은 더욱 두드러질 것이며 연구방법의 발전에 정보기술의 기여는 더욱 직접적인 형태를 띨 것이다. 예를 들어 현재 사회과학의 난제로 여겨지는 문제들인 복잡계에서의 인과적 추론(causal inference in complex systems)의 문제는 이론개발과 함께 이를 뒷받침할 방법론적 쇄신을 필요로 한다. 예를 들어 정보기술의 발전은 가상 실험실을 통해 대규모의 참여자를 실제 사회관계와 유사한 다양한 상황 (예: 친교 네트워크) 속에서 다양한 실험적 통제를 가하는 것을 허용해 줄 것이며 이러한 실험결과를 매우 정교한 확률모형을 통해 추정하는 것을 가능케 할 수 있다.

2. 소비자 (사용자, applied statisticians)

첫째, 20세기 통계적 연구방법을 지배해온 영가설검정(null hypothesis significance testing procedure, NHSTP)의 영향력이 약화되면서 그 대안적 패러다임에 대한 논의가 본격화될 것이다. 새로운 대안적 틀이 자리잡기 전까지 연구자들은 가설의 타당성을 경험적 자료를 통해 보여줄 수 있는 창의적이고 효과적인 방법에 대해 고민해야 한다. 모형자체의 설명력을 비교하는 모형비교(model comparison)가 중요해질 것이고 통계모형의 추정효과의 실제적 크기(effect size)를 보고하는 것이 저널출판에서 필수적인 사항이 될 것으로 보인다. 또한 베이지안 통계에 기반한 확률론적 해석의 중요성이 증가할 것이고 부트스트랩과 같은 리샘플링 방법도 그 중요성이 증가할 것이다. 또한 라소(lasso)와 같은 변수축소의 방법이 영가설검정의 대안으로 부상할 수 있다.

둘째, 자료의 형태가 더 복잡해지고 다양해질 것이며 그 양이 대폭 늘어날 것이다. 자료의 홍수시대가 올 것이며 이는 곧 자료의 양이 증가한다는 의미만이 아니라 자료의 형태가 매우 다양해짐을 의미한다. 지금은 상상할 수 없는 자료들이 이제 자료분석의 대상이 될 가능성이 높다. 이미 텍스트자료나 다양한 비정형화된 양적 자료등이 사회과학 자료분석의 대상으로 편입되었다. 앞으로는 구글이미지와 같은 사진자료나 음성자료 등이 양적 분석의 대상으로 편입될 것이며 이러한 자료를 어떻게 전처리해서 표준화할 것인가가 중요한 자료분석작업이 될 것이다.

셋째, 포인트앤클릭(point&click)에 기반한 통계소프트웨어만으로는 이러한 자료의 변화와 분석방법의 변화를 따라가기 어려울 것이다. 연구자가 직접 자료를 다양하게

-56-

처리하고 분석방법의 변화를 가할 수 있는 통계소프트웨어의 사용이 더욱 필수적으로 요구될 것이다.

넷째, 엑셀 (Excel) 의존도가 약화되는 방향이 자료분석방법의 진화경로가 될 것이다. 조금 과장을 섞어서 말하면 엑셀에 묶여있는 연구자들은 도태될 것이고 엑셀에서 자유로운 연구자는 살아남을 것이다. 마찬가지로 파워포인트도 비슷한 운명을 겪을 것이다.

다섯째, 인과적 추론(causal inference)의 중요성이 더욱 강조될 것이다. 자료의 분석이 전부가 아니라 자료생성의 과정에도 연구자가 적극 개입하여 자료생성과정에서의 오류나 편향을 최소화하고 노이즈를 사전 제거하는 기획(design)의 중요성이 더욱 강조될 것이다.

여섯째, 연구자가 다루는 패널자료, 다층자료, 시계열자료의 폭과 범위가 더 넓어질 것이다. 소위 고급통계기법으로 간주되던 분석방법이 점차 표준화될 것이며 군집구조, 위계구조, 시계열 구조를 제대로 분석과정에서 반영하지 못하는 연구, 소위 모든 것을 한데 모아서 분석하는 통합분석(pooled analysis)하는 관행은 더욱 설자리가 없어질 것이다.

일곱째, 연구윤리가 더욱 중요한 이슈가 될 것이다. 연구의 재현가능성(replicability)은 이제 저널출판과정에서 통계적 연구방법을 포함한 사회과학 연구방법 전체의 규범으로 자리잡을 것이다. 예를 들어 실험적 연구방법의 경우에도 재현가능성을 최대한으로 구현할 수 있는 자료를 모두 공개하여 자료생성과정의 투명성을 높이도록 요구받고 있다. 통계적 연구는 논문의 모든 표와 그래프를 재생할 수 있는 코드와 자료의 공개가 필수적인 요구사항으로 간주될 것이다.

마지막으로 자료정리 및 관리(database management)의 중요성이 매우 강조될 것이다. 자료의 양과 복잡성이 증가한다는 것은 더 이상 엑셀 시트안에 모든 것을 담기 어려워짐을 의미한다. 자료고유의 특성을 반영한 효율적인 저장, 관리 방법을 배우고 익히는 것이 매우 중요해질 것이다.

결어“If the facts don’t fit the theory, change the facts” (아인슈타인)

정보기술혁명과 컴퓨터 프로그램의 진화는 21세기 사회과학 연구방법의 변화에 중요한 영향을 줄 것이 분명하다. 자료과학(data science)이라는 이름 아래 이제 통계학과 사회과학 방법론, 그리고 자연과학 및 공학이 서로에게서 배우고 교류하는 장이 열리게 될 것이다. 최근의 빅데이터 열풍은 이러한 새로운 시대의 시작을 알리는 서막이라고 볼 수 있다.

-57-

그러나 자료의 홍수와 자료처리기술의 눈부신 발전이 이론의 죽음을 선포할 것이라는 주장은 최소한 사회과학에서만큼은 섣부른 것으로 보인다.9) 자료와 자료처리기술의 발전은 오히려 이론적 빈곤에 대한 논의를 촉발할 가능성이 있다. 예를 들어 정치학 내에서 진행된 EITM(Empirical Implications of Theoretical Model)운동은 이론과 방법론의 발전이 상호 긴밀한 관계 속에서 진행되어야 한다는 자각의 결과이다. 그림 4에서는 자료처리기술과 연구분야에 대한 실제적 지식의 결합을 “위험지대”(danger zone)라고 불렀지만 사실 사회과학 연구에서 더 위험한 것은 연구분야에 대한 실제적 지식이 결여된 채 자료처리기술과 수학적, 통계학적 지식에 의해 주도되는 연구경향이다.

이러한 우려가 기우가 아닌 이유는 연구자들의 문제의식을 사실상 결정하는 박사과정 교육과정을 생각해 보면 쉽게 이해할 수 있다. 수학적, 통계학적 지식(보통 3과목 이상의 수강을 요구)에 더해 자료처리에 필요한 공학적 지식(3과목 이상의 수강을 요구)까지 가르치다 보면 자연스럽게 사회과학의 실제적 연구대상인 인간과 제도, 국가, 그리고 역사에 대한 교육시간이 점차 줄어들 가능성이 크다. 결국 균형잡힌 연구자를 길러내기 보다는 자료처리와 통계적 지식에 특화된 연구자들이 연구대상 분야의 전문가들과 협업하는 방향으로 연구풍토가 변화할 것이다. 유기적 협업이 르네상스맨을 대체할 수 있을 것인지, 학계에서 정말 중요한 연구주제가 협업의 대상이 되기 보다는 협업이 용이한 연구주제나 연구방법이 연구주제의 중요성보다 더 중요한 고려가 될지, 현재로서는 알 수 없다. 다만 개인 독자연구가 협업과 경쟁하기는 갈수록 더 어려워질 것이라는 점은 분명해 보인다. 이러한 변화가 사회과학에 미칠 장기적이고 총체적인 영향에 대한 질문은 지식사회학의 중요한 연구대상이 될 것이다.

9) Wired의 편집장 크리스 앤더슨(Chris Anderson)은 구글의 연구소장 피터 노빅(Peter Norvig)의 말을 인용하여 “상관성만으로 충분하다. 모형을 생각하는 것을 멈추자. 이제 가설 없이 자료를 분석할 수 있다 (Correlation is enough. We can stop looking for models. We can analyze the data without hypotheses about what it might show.)”라고 말했다. Chris Anderson, 2008. “The End of Theory: The Data Deluge Makes the Scientific Method Obsolete” Wired. June 23, 2008.

-58-

= 1, . . . ,

, = 1, . . . ,

= 1, . . . ,

= 1, . . . , .

( = ) = θ

( = | = ) = φ ,

( = ) =∑=1

θ φ

-64-

φ

θ

-65-

for scienceshosting02.snu.ac.kr/~snucss/wp-content/uploads/2016/04/... · 2016-04-03 · the center...

Documents