예측의 천재&<신호와 소음>저자 네이트 실버가 밝히는

빅데이터 트렌드 분석 및 미래예측 전략(1)

이 자료는 빅데이터 및 베어즈 이론에 대한 내용을 쉽게 정리한 예

측의 천재 네이트 실버의 <The Signal and Noise>(한국에서는 ‘신

호와 소음’이라는 제목으로 출간)을 바탕으로 작성한 자료입니다.

자료에 대한 문의 및 추가정보는 길벗출판사(www.gilbut.co.kr)

홈페이지를 참고하시기 바랍니다.

1

빅데이터란?

모래알 수보다 더 많은 데이터가 몰려온다

빅데이터(Big Data)란?

글로벌 금융위기로 인해 미국에서는 탈세와 사기 등 금융범죄도 늘어났고 이는 다시 국가의 재정에 위기를

안겼다. 미국의 탈세 금액은 2010년을 기준으로 저소득층의 의료보장 총액을 초과했을 정도다. 결국 미국

국세청은 탈세를 줄여보기 위해 사기 범죄 방지 솔루션, 소셜네트워크 분석, 데이터통합과 마이닝 등을 활

용해 세금 누락을 막고 불필요한 세금 환급을 줄이는 효과도 얻었다. 어떻게 이런 일이 가능했을까. 답은 대

용량 데이터의 활용과 빅데이터(Big Data) 분석에 있다.

현재 ‘빅데이터(big data)’라는 용어는 첨단 유행어다. 빅데이터란 과거 아날로그 환경에서 생성되던 데이터

에 비하면 그 규모가 방대하고 생성 주기도 짧고 형태도 수치 데이터 뿐 아니라 문자와 영상 데이터를 포

함하는 대규모 데이터를 말한다.

이 빅데이터를 바탕으로 다양한 분야에서 활용을 하는데 이에 따른 예측은 성공할 수도 있고 실패할 수도

있다. 데이터만 많다고 해결되는 것이 아니라 그 수많은 데이터 속에서 진정한 정보를 찾아서 올바른 예측

을 하는 것이 더욱 중요해졌다.

우리는 예측하기를 좋아한다

우리는 지금 날마다 2.5퀸틸리언quintillion(조의 1만 배. 250경)바이트나 되는 자료를 생산하고 있다고 IBM

은 추정한다. 그런데 이 중 90퍼센트는 최근 2년 동안 생산된 자료라고 한다.

앨빈 토플러Alvin Toffler는 1970년에 《미래의 충격Future Shock》을 쓰면서 ‘정보 과부하information overload’라

고 직접 이름 붙인 현상이 초래할 결과를 예언했다. 토플러는 세상은 점점 더 다양해지고 복잡해질 것이데, 인 간의

방어체계는 사람들이 갖는 편견들을 확인하고 굳히는 여러 방식으로 세상을 단순화해서 바라볼 것이라고 생각했다.

인간의 생물학적 본능은 정보가 홍수처럼 넘쳐나는 현대 세상에 언제나 멋들어지게 적응하지는 않는다. 여러 편견을

알아차리려고 적극적으로 나서지 않는한, 새로 보태지는 정보가 우리에게 가져다주는 편익은 지극히 최소한에 머물

것이다. 어쩌면 마이너스가 될지도 모른다.

인쇄술이 탄생한 이후의 정보 과부하는 과거보다 더 큰 분파주의를 낳았다. 서로 다른 종교적 신념들은 더 많은 정

보, 더 많은 신념, 더 많은 ‘증거’,그리고 반대의견에 대한 더 적은 관용속에서 검증의 시련을거쳤다. 이와 동일한 현상

이 오늘날에 전개되는 듯하다. 정치적 당파성은 토플러가 《미래의 충격》을 썼던 바로 그 무렵부터 빠르게 확대되기

시작했으며, 인터넷이 출현한 뒤로는 속도가 한층 빨라진 것 같다.

왜 예측의 대부분은 빗나가는가

예측은 인간의 삶에서 없어서는 안 되는 것이다. 우리는 출근 경로를 선택할 때마다, 이성과 둘째 번 데이

트를 할지 말지 결정할 때마다, 어려울 때를 대비해서 저축을 할 때마다 미래가 어떻게 펼쳐질지 예측한다.

즉, 자기가 내린 선택과 자기가 세운 계획이 더 유리한 결과를 가져다줄지 어떨지 예측을 한다.

일상의 문제들이 모두 다 치열한 생각을 요구하는 건 아니다. 각각의 판단과 결정에 우리는 약간의 시간만

배분할 뿐이다. 그럼에도 우리는 본인이 깨닫든 깨닫지 못하든 간에 날마다 수많은 예측을 하면서 살아간

다.

예측은 과학 분야에서 특히 중요한 역할을 한다. 그러나 여기서 주의해야 할 점은 예측이 언제나 주관적 관

점으로 오염된다는 사실이다. 우리가 잠시 걸음을 멈추고 생각해봐야 할 게 있다. 우리가 검증한 소수의 몇

몇 견해는 그다지 성공적이지 않고, 우리가 가진 많은 견해는 전혀 검증되지 않았거나 검증될 수 없는 것들

이라는 점이다.

2

신호 VS 소음

3

경제 붕괴, 왜 전문가들은예상하지 못했는가 : 경제

미국 금융위기와 동반한 네 가지 예측실패

1.주택 거품을 빈약한 지표라고 잘못 생각한 실패다. 주택 소유자와 투자 자들은 주택가격 상승이 주택의

자산 가치가 계속해서 오르리라는 뜻으로 생각했지만, 실제로 역사를 보면 주택 거품은 주택의 자산 가치

를 떨어뜨리는 경향을 보였다.

2. 리먼브라더스와 같은 은행들은 말할 것도 없고 신용평가사들이 MBS가 얼마나 위험한지 제대로 이해

하지 못한 실수다.

3. 주택 위기가 글로벌 금융위기를 촉발할 수 있다는데 대한 인식 부족이라 는 광범위한 실패다. 이 실패

는 1달러로 50달러를 빌리는 형태의 투자를 할 정도로 높은 레버리지 수준에서 비롯했는데, 그래서 미국

인은 기꺼이 새 집에 투자를 하려고 한 것이다.

4. 마지막으로, 금융위기의 즉각적 후폭풍 속에서 금융위기가 초래할 경제 적 여러 문제의 범위를 예측하

지 못한 실수다.

당시 이러한 금융위기를 신용평가사들은 한번도 경험해보지 못했드며 기묘하고도 복잡한 증권을 평가해본 적도 없었다.

과거의 정확한 평가에 대해 자신만만했던 것도 사실. 주택붕괴와 도미노처럼 벌어진 금융위기가 일어난 것은 위험과 불

확실성을 구분하지 못한, 즉 핵심맥락을 짚지 못했기 때문이다.

집이 한 채 팔릴 때마다 각기 어떤 식으로든 수익을 올릴 수 있는 은행과 증권사, 신용평가사들이 파티가 끝나지 않고 계

속 이어지도록 갖은 노력을 기울였다. 위 표를 보면 일본의 부동산 가격 폭락 그래프를 보면 미국의 주택가격 거품기간

및 궤적과 거의 일치한다는 것을 알 수 있다. 즉, 충분히 예상할 수 있었는데도 전문가들의 탐욕으로 인해 서민들은 무리

한 대출을 받아 계속 주택을 구입했다.

4

내가 선거결과를 맞힌 비법 : 정치

여우 VS 고슴도치

올바른 예측을 위한 여우식 사고방법

1. 다양한 스펙트럼으로 생각한다.

2. 새로운 가설을 세우거나, 동시에 여러개의 가설을 세워 접근한다.

3. 언제나 나의 예측이 틀릴수 있다는 것을 전제한다. 자기비판적이어야 한다.

4. 완벽한 예측은 불가능하다. 예측이란 복잡한 것임을 관대하게 받아들인다. 날마다 새로운 예측을 한다.

5. 나의 예측을 수학적으로 표현하며, 단서를 여럿 단다. 확률적으로 생각한다.

6. 이론에 따른 추론보다 관찰에 더 많이 의존한다.

7. 집단지성을 활용한다.

‘즐거운 지식놀이터 <더퀘스트>‘에는 정치 분야 및 금융분야(최근 미국의 주택거품에 관한 리얼한 상황, 그리고 신용평가사들의 탐욕 등에 관한 금융에 대한 진실을 다룬 내용이 있음)에 관한 전문가들과의 대화를 녹음해 올린 팟캐스트가 있으니 참고.

팟빵 링크 : http://www.podbbang.com/ch/7882

아이블러그 링크 : http://thequest.iblug.com/index.jsp?cn=FP13352A5N0119409

아이튠즈 링크 : https://itunes.apple.com/kr/podcast/deokweseuteu-jeulgeoun-jisig/id897316258?mt=2