예측의 천재&<신호와 소음>저자 네이트 실버가 밝히는

빅데이터 트렌드 분석 및 미래예측 전략(2)

14년 7월 29일 화

이 자료는 빅데이터 및 베어즈 이론에 대한 내용을 쉽게 정리한 예

측의 천재 네이트 실버의 <The Signal and Noise>(한국에서는 ‘신

호와 소음’이라는 제목으로 출간)을 바탕으로 작성한 자료입니다.

자료에 대한 문의 및 추가정보는 길벗출판사(www.gilbut.co.kr)

홈페이지를 참고하시기 바랍니다.

슬라이드 쉐어에 현재 업로드 돼 있는 빅데이터 트렌드 분석 및 미

래예측 전략(1)을 먼저 보시고 현재 자료를 참고하시면 좋습니다.

http://www.slideshare.net/shezcom/big-data-37266027

14년 7월 29일 화

5

그 선수는 홈런을 몇 개나 칠까 : 야구

14년 7월 29일 화

야구는 예측의 천국이다?

야구는 어쩌면 세계에서 가장 풍성한 자료를 쏟아내는 분야인지도 모른다. 지난 140년 동안 메이 저리그 경기장에서 펼쳐진 거의 모든 내용이 꼼꼼하고 정확하게 기록되 어왔다. 또한 수백 명이나 되는 메이저리거들이 해마다 경기를 펼친다. 한편, 야구는 팀 경기이긴 하지만 매우 질서정연한 방식으로 진행된다. 야구에서는 복잡성과 비선 형성非線形性,

nonlinearity이 관련되는 문제들이 상대적으로 적고, 우연적인 것들을 쉽게 걸러낼 수 있다.

14년 7월 29일 화

좋은 야구 예측 시스템은 다음 세 가지 기본 사항을 갖추어야 한다.

1 . 각 선수의 통계 자료가 갖는 맥락의 의미를 설명할 것.

2 . 실력과 운을 분리할 것.

3. 각 선수가 나이에 따라서 성적이 어떻게 진화하는지 이해할 것,

즉 이른바‘노화곡선aging curve’을이해할것.

14년 7월 29일 화

VS

제임스의 노화곡선, 허커비의 노화곡선은 각기 다른 해석을 하지만 어떤 선수인지에 따라 주 노

화곡선이 각기 다르게 적용될 수 있다.

특히 페코타가 이룬 혁신은, 통계 내용이 비슷한 선 수들 각자가 맞이할 다양한 스펙트럼의 결

과 범위들을 제시함으로써 다양한 결과가 있을 수 있음을 인정하는 데 있었다. 페코타는 선수를

하나의 특정한 성장곡선에 묶으려 하지 않고, 한 선수의 성적을 예측하려고 할 때 천차만별의

결과가 나올 수 있고 또 얼마든지 나온다는 사실을 인정했다.

14년 7월 29일 화

“누가 보더라도 평가의 도구는 명확하죠. 빨리 달리고, 세게 던지고, 이 게 전부입니

다. 스카우터들은 경기장에 가서 이런 것들을 즉각적으로 볼 수 있죠. 난 선수의 그런

기량이 효과적으로 사용되어 경기를 승리로 이 끌어낼 수 있는가, 이것이 문제의 핵

심이라고 생각합니다. 우리는 방망 이 돌아가는 속도도 금방 파악할 수 있습니다. 하

지만 방망이 속도가 아 무리 빠르다 해도 본인이 그걸 신뢰하지 않는다면, 그 선수가

공만 보면 무조건 휘둘러댄다면, 그 통계 내용은 전혀 쓸모가 없습니다.”

빨리 달리고 세게 던진다고 성공하는 건 아니다

*예측에 도움이 되는 선수의 지적,심리적 능력 다섯 가지

준비성과 노동 윤리, 집중과 초점, 경쟁심과 자신감, 스트레스 관리와 겸손, 적응력과 흑습 능력

14년 7월 29일 화

6

허리케인과 카오스의 원뿔 : 기상

14년 7월 29일 화

미국 카트리나 재난 현장

국립허리케인센터는 카트리나 예보를 했다. 뉴올리언스가 피해를 당할지도 모른다고 뉴올리언스의 제방

이 무너지기 거의 닷새 전에 예상했다. 그리고 최악의 시나리오가 일어날지도 모른다는 결론을 48시간 이

전에 내렸다. 뉴올리언스는 허리케인 앞에 죽음과 파괴의 도시가 될 수 있는 최적의 환경이었다. 상당 부분

이 낡은 제방 시스템 그리고 바다에 거의 쓸려가다시피 한 천연 방벽에 의존해 해수면보다 낮은곳에서 살

고 있었다. 또 다른 문제는 빠르게 움직이는 것과 당국의 방침을 그다지 신뢰하지 않는다는 것이다. 만일

이 도시 사람들이 빠르게 움직이고 또 당국을 신뢰한다면 카트리나 대비에도 한층 나았을 것이다.

14년 7월 29일 화

기상예측이 얼마든지 잘못될 수 있는 이유를 카오스 이론이 설명해준다.

‘브라질에 서 나비 한 마리가 날갯짓을 한 번 했는데 그 바람에 미국 텍사스에 토네

이도가 발생했다’는 얘기를 들어본 적이 있을 것이다. 이 표현은 기상학 자로 출발한

MIT의 에드워드 로렌츠Edward Lorenz가 1972년에 발표한 논문의 제목에서 나온

것이다. 카오스 이론은 다음 두 특성 가운데 하나에 해당하는 체계에 적용된다.

1. 체계에 동적이다. 즉 어떤 한 시점에서 발생한 이 체계의 행동이 미래에 이 체계가

하게 될 행동에 영향을 미친다.

2. 체계가 비선형적이다. 즉 덧셈이 아니라 기하급수적으로 증폭되는 관계 를 따른다.

토네이도와 농구선수의 공통점

14년 7월 29일 화

기상예측은 이차원이 아니라 삼차원으로 생각해야 한다. 각기

다른 양상이 대기권의 더 높은 곳이나 더 낮은 곳, 바다, 지표면

가까이에서 펼쳐지기 때문이다.

14년 7월 29일 화

“불확실성은 기상 예측의 근본 요소입니다. 이 불확실성에 대한 묘사나 언급이

없으면 그 어떤 예측도 완전할 수 없습니다.” by 미국 국립허리케인센터

14년 7월 29일 화

14년 7월 29일 화

‘즐거운 지식놀이터 <더퀘스트>‘에는 정치 분야 및 금융분야(최근 미국의 주택거품에 관한 리얼한 상황, 그리고 신용평가사들의 탐욕 등에 관한 금융에 대한 진실을 다룬 내용이 있음)에 관한 전문가들과의 대화를 녹음해 올린 팟캐스트가 있으니 참고.

팟빵 링크 : http://www.podbbang.com/ch/7882

아이블러그 링크 : http://thequest.iblug.com/index.jsp?cn=FP13352A5N0119409

아이튠즈 링크 : https://itunes.apple.com/kr/podcast/deokweseuteu-jeulgeoun-jisig/id897316258?mt=2

14년 7월 29일 화