빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 -...

61
Photo by PressReleaseFinder on flickr - http://flic.kr/p/ehC3p7 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - 한국데이터베이스진흥원 빅데이터 콘서트 - Gonnector 고영혁

Upload: dylan-ko

Post on 19-Jun-2015

3.911 views

Category:

Data & Analytics


2 download

DESCRIPTION

한국데이터베이스진흥원이 주관한 빅데이터 잡콘서트 2014 에서 수백명의 대학생들을 대상으로 강연을 할 때 이용한 자료입니다. 빅데이터 시대가 선택이 아닌 필수인 이유를 다양한 데이터와 트렌드 사례를 들어 설명하고, 그 데이터에서 결국 중요한 것은 무엇인지를 설명합니다. 그리고, 데이터 사이언티스트, 빅데이터 전문가들의 미국에서의 연봉 수준과 연봉 및 역량의 상관관계 등에 대해서 다양한 데이터와 연구 결과를 인용하여 시각적이고 직관적으로 바로 이해할 수 있도록 설명합니다. 그런 빅데이터 전문가, 데이터 사이언티스트가 되기 위해 필요한 역량은 무엇인지 하나씩 설명하고, 그 중의 한 사례로 강사 본인의 역량 패턴을 보여준 다음에, 그 역량을 갖추기 위하여 어떤 삶을 살고 커리어를 쌓아왔는지 구체적인 예를 들어 설명합니다. 마지막으로 커리어를 계발하는 데에 있어서 반드시 고려해야 할 하나의 원리에 대해 이야기하면서 그것 역시 결국 탐색적으로 데이터를 분석하고 고찰하여 통찰을 얻어내는 것과 다를 바가 없음을 제시합니다.

TRANSCRIPT

Page 1: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Photo by PressReleaseFinder on flickr - http://flic.kr/p/ehC3p7

빅데이터 전문가 / 데이터 사이언티스트커리어에 대한 고려 사항과 사례

- 한국데이터베이스진흥원 빅데이터 잡 콘서트 -

Gonnector고영혁

Page 2: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

이 저작물은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스에 따라 이용하실 수 있습니다.

즉, 비영리 목적에 한해 저작물의 원형을 유지한 상태로 다운로드, 복제, 인쇄,전시, 공중전송, 배포가 가능하며, 이 때 저작자(Gonnector 고영혁)를 적절한형태로 표시하셔야 합니다.

http://creativecommons.org/licenses/by-nc-nd/4.0/ 에서 본 라이선스의 내용을 확인하실 수 있으며, 위 사항 외 저작물 이용과 관련된 기타 상세한 문의는[email protected] 으로 연락 주십시오.

Page 3: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Gonnector 고영혁 (Dylan Ko)

[email protected]+82 10-9055-3197www.gonnector.com

linkedin.com/in/[email protected]/Gonnectorgoogle.com/+Gonnector

전문 분야

데이터 사이언스 서비스 디자인 사업 개발 UX (사용자 경험) 스타트업 커리어

기업가 / 컨설턴트 / 멘토 / 작가 / 연사

제공 서비스

컨설팅 자문 심사/평가 교육

이력 사항

Gonnector 대표 PAG&Partners 파트너 앱센터 자문위원 / 홍합밸리 공동창립자 前 에이엔티홀딩스 CSO(전략총괄이사) 前 Gmarket 금융사업파트장 前 NHN 콘텐츠전략팀장

Page 4: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

빅데이터 전문가? 진짜 좋은 거?

Page 5: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

지금 세상은…

Page 6: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘mobile phone’ by Irita Kirsbluma on flickr - http://flic.kr/p/ehC3p7

Page 7: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 8: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 9: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 10: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 11: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘YouTube and Joost’ by Thomas van de Weerd on flickr - https://flic.kr/p/Corac

Page 12: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 13: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘Social Media’ by Peter Kirkeskov Rasmussen on flickr - https://flic.kr/p/p5FUN7

Page 14: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Facebook passes 1.19 billion monthly active users, 874 million mobile users, and 728 million daily users”, THE NEXT WEB - http://fyi.so/10F90j5

Page 15: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 16: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Source : “Internet Trends 2014”, KPCB

Page 17: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 18: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

https://www.hapi.com/product/hapifork

http://www.sensoriafitness.com/

http://www.divus.eu/index.php/en/divus-mirror

http://www.budweiser.com/

Page 19: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

너무 너무 너무

많은 데이터

Page 20: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘구슬이 서 말이라도 꿰어야 보배’, 아하경제 - http://ahaeconomy.com/

Page 21: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

데이비드 맥캔들레스 - ‘시각적 이해의 위계구조’

Page 22: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 23: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

정말 인기 있나요?

Page 24: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Difference Between Data Scientist and Data Analyst - http://www.edureka.co/blog/difference-between-data-scientist-and-data-analyst/

Page 25: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 26: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

PayScale - http://www.payscale.com/research/US/Job=Data_Scientist,_IT/Salary

Page 27: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

PayScale - http://www.payscale.com/research/US/Job=Data_Scientist,_IT/Salary

Page 28: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

빅데이터 전문가에게 필요한 핵심 역량?

Page 29: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘math’ by Akash Kataruka on flickr - https://flic.kr/p/c6aLK

수학

숫자로 세상을 표현하는 능력 숫자로 표현된 세상을 읽는 능력

Page 30: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘Statistics’ by Simon Cunningham on flickr - https://flic.kr/p/ir7oZV

통계학

분포와 패턴을 찾아내기 확률적인 관계의 발견

Page 31: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘code’ by Michael Himbeault on flickr - https://flic.kr/p/7NFTF6

프로그래밍

엄청 큰 데이터를 잘 쌓기 데이터에서 쓰레기를 깨끗하게 없애기 분석을 제대로 할 수 있는 데이터로 정리를 잘 하기 Python, R, …

Page 32: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

머신 러닝

분류는 인간의 기본적인 판단 행동 머신러닝 : 분류를 자동화하는 기법 지도 학습 : 기준을 토대로 새로운 것이 A냐 B냐 판단 비지도 학습 : 기준 없이 일단 다르다고 보이는 것을 분류

Page 33: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

하둡 (hadoop)

분산 시스템 상에서 빅데이터의 저장과 처리를 다루는 자바기반의 오픈소스(무료) 소프트웨어 프레임워크

http://1004jonghee.tistory.com/entry/1004jonghee-하둡에코시스템Hadoop-Eco-System-Ver-10

Page 34: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

분야 전문성

결국 무엇(어떤 분야)에 쓸 것이냐의 문제 A도 잘 하고, B도 잘 하고, C도 잘 하고... 슈퍼맨?

Page 35: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

커뮤니케이션

혼자서 다 하기는 너무나도 빡센, 시간이 많이 걸리는 일 서로 다른 전문가들의 협업이 필수 서로 이해하고 문제 없이 소통하는 것이 정말 중요

‘Modern Communication 01’ by Chris Murphy on flickr - https://flic.kr/p/5WFxXZ

Page 36: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

R (43%)과 Python (40%)이 Excel (36%) 보다 많이 쓰임

사용할 수 있는 도구가 많을수록 연봉이상승

오픈소스 도구를 쓰는그룹이 상용 도구를쓰는 그룹보다 연봉이높음 ($130k vs. $90k)

Page 37: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

2013 Data Science Salary Summary – Strata, O’REILLY

Page 38: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

어떻게 살면 어떤 역량을 갖추나요?

Page 39: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

0

1

2

3

4

5

수학

통계학

분야전문성

커뮤니케이션프로그래밍

머신러닝

하둡

Page 40: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

http://nashorn.tistory.com/191

Page 41: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

전기공학부(Electrical Engineering)

학벌 ?

필요 없습니다 !

Page 42: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 43: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

‘Go ahead. Push it.’ by flattop341 on flickr - https://flic.kr/p/kNXAT

Page 44: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

경제학

응용통계학

경영학

Page 45: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

GNP+ TF ?!

‘Royal Flush’ by Minh Hoang on flickr - https://flic.kr/p/9GsFrF

Page 46: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 47: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

게임 판의 흐름을분석해보면 어떨까?

Page 48: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Archlord

R2

Page 49: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

가상현실이나 마찬가지인MMORPG를 분석해보면?

Page 50: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Cognos OLAP 커스터마이징

서버(DB/게임/로그)레벨 재설계 및 최적화

분석용 Data Mart 별도 구축

DB 운영 정책 최적화

일단위 게임 행동패턴 시계열 데이터 다차원 분석

준비하여 실행한 것

Page 51: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

게임 진행이 막히거나 더디는 구간은?

이용자의 게임 내 경제 활동 패턴은?

이용자의 게임 내 콘텐츠 소모 패턴은?

마케팅이 게임 활성화에 미치는 영향은?

유료화 모델의 적절한 방향은?

유료화 시 매출 예측 결과는?

답을 얻어낸 질문

Page 52: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 53: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
Page 54: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Life Event물건 사는 것과 금융의 관계

Page 55: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

금융권 제휴 플랫폼 설계 및 구축

G마켓 내 이용자 이동 경로 웹로그 분석

거래 데이터를 토대로 한 이용자 세그먼트 분석

노출 Slot 별 퍼포먼스 분석

타겟 마케팅을 위한 세그먼트 추출

제휴 금융 상품 설계를 위한 기반 데이터 분석

준비하여 실행한 것

Page 56: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

거래 데이터로부터 라이프 이벤트 추출 가능?

상품별 효과적인 라이프 이벤트는 무엇인가?

어떤 이동 경로에 노출하는 것이 효과적인가?

최종 구매에 도달시키기 위한 핵심 인자는?

마케팅 형태에 따른 구매 전환율은?

답을 얻어낸 질문

Page 57: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

정량적인 커리어 데이터에기반한 커리어 컨설팅과헤드헌팅

3년간 300 여명의 커리어컨설팅

개인 성향, 스트레스 패턴등 정량/정성 데이터에 기반한 팀빌딩 워크숍

사람에 대한 이해

Page 58: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

스타트업 서비스/마케팅/팀빌딩 컨설팅&멘토링

그로스 해킹(Growth Hacking)

다양한 주제의 데이터를수집/분석/인사이트 도출

IoT/라이프데이터 테마의자체 스타트업

끊임없는 실험, 분석, 실행

Page 59: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

이거 하나만은 꼭 기억하세요 !!

Page 60: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

NODE

LINK

EXPLORE

Page 61: 빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)

Gonnector 고영혁 (Dylan Ko)

Consultant, Mentor, Writer, LecturerData Science, Business Development, Service Design, UX, Startup, Career

[email protected]+82 10-9055-3197www.gonnector.com

linkedin.com/in/[email protected]/Gonnectorgoogle.com/+Gonnector

Thank YouQ & A

한국데이터베이스진흥원 – 빅데이터 잡 콘서트