soscon 2016 - oss "개발자"의 machine learning 분투기

50
머신러닝 시작부터 예측모델 배포까지 http://aka.ms/soscon2016-ml OSS "개발자"의 Machine Learning 분투기 한국마이크로소프트 | 김대우 2016-11-18

Upload: dae-kim

Post on 16-Apr-2017

105 views

Category:

Data & Analytics


0 download

TRANSCRIPT

Page 1: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

머신러닝시작부터예측모델배포까지http://aka.ms/soscon2016-ml

OSS "개발자"의Machine Learning 분투기

한국마이크로소프트 | 김대우

2016-11-18

Page 2: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

개발자와 머신러닝(?)

어디에 어떻게 사용해야 하나

머신러닝 데모

학습모델 / 예측모델

지도 학습 / 비지도 학습 / 분석 알고리즘

예측모델 생성 데모

예측 모델을 API로 노출 및 Python 등에서 사용

01

02

03

04

05

06

07

OSS "개발자"의 Machine Learning 분투기

Page 3: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

오늘 진행한 모든 발표자료+코드

http://aka.ms/soscon2016-ml

Redirect to

https://github.com/CloudBreadPaPa/soscon2016-ml

Page 4: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

개발자 & 머신러닝

Page 5: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

뭐… 뭔데 그게?

Page 6: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기
Page 7: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기
Page 8: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

여긴 어디?난 누구?

Page 9: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

OK. 잠시 방황한거 뿐이야.

Page 10: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

어느 고수님 말씀 :

단지, 우리와 단어가 다를 뿐이야

Page 11: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

R, SAS, Python?Tensorflow, CNTK, H2O, keras?Scikit, Caret, fastcluster, party?

Azure ML, Google ML, Amazon ML?

Page 12: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

출처 : 디에스이트레이드 이성희

Page 13: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Machine Learning & Cloud(?)

Page 14: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

ML로 태어나 Cloud에서 산다

Page 15: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

ML 알고리즘을 “개발”하는 개발자

ML 알고리즘을 “활용”하는 개발자

Page 16: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Machine Learning

어디에 어떻게 활용해야 하나?

Page 17: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

추천 엔진

광고 분석

비즈니스를 위한날씨/기후 분석

소셜 네트워크 분석

IT 인프라 및 웹어프리케이션 최적화 문서 탐색

가격 분석

Fraud detection

이탈 예측 분석

장비 모니터링

지역 기반 추적과서비스

개인화된 상품 예측 제공

예측 분석을 이용한기술은 향후 모든산업에 필요 충분 조건

Page 18: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기
Page 19: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Machine Learning

& Cognitive Service

살짝 - Kiosk 데모

Page 20: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

머신러닝 데모

- IRIS Data (뵨사마와 무관한 통계업계의 “Hello World”)

Page 21: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

출처 : 디에스이트레이드 이성희

Page 22: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기
Page 23: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

학습모델 / 예측모델

Page 24: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

바보(머신)에게 공부할 기회를= 학습모델

Page 25: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

바보(머신)에게 배운거 물어볼까= 예측모델

Page 26: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

모델 구축 데모 + 코드

Page 27: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

+ Bot Framework 데모 및 코드

https://aka.ms/dpartybot

Page 28: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

순식간에 완성한

IRIS 예측 모델!

(너무 쉬운데 뭔가 함정이?)

Page 29: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

예를 들면

이정도는 되어야

…?

더 많은 다양한 모델 : https://gallery.cortanaintelligence.com/

Page 30: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Data Munging(Wrangling)

ETL

Set by task & Record oriented task

Page 31: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

우리 개발자들은!?

Page 32: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Python - NumPy, Pandas

R - array, Datafarme

또는, 완소 SQL + ETL 도구들!

Page 33: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

지도 학습

(Supervised Learning)

Page 34: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

비지도 학습

(Unsupervised Learning)

Page 35: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

출처 : 디에스이트레이드 이성희

Page 36: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기
Page 37: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

다양한 분석 알고리즘

Clustering

Page 38: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

출처 : 디에스이트레이드 이성희

Page 39: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

출처 : 디에스이트레이드 이성희

Page 40: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

R을 이용한 Clustering 알고리즘 분석DEMO

repo의 r-code/r-script.r 파일 참조

Page 41: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

산업 시나리오

Page 42: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

게임 User가 게임을 이탈{할지 | 안할지} : 예측

게임 User를 위한 아이템 추천{ i1 | i2 | i3 …} : 예측

Page 44: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

예측모델 생성 데모

Page 45: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

API로 노출

Page 46: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Python 등에서 API 사용 DEMO

Page 47: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Restful Front-End를 이용한

Machine Learning API 호출

+ 대량 Batch 분석

DEMO

Page 48: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

오늘 진행한 모든 발표자료+코드

http://aka.ms/soscon2016-ml

Redirect to

https://github.com/CloudBreadPaPa/soscon2016-ml

Page 49: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

Q & A

Page 50: SOSCON 2016 - OSS "개발자"의 Machine Learning 분투기

머신러닝시작부터예측모델배포까지

OSS "개발자"의Machine Learning 분투기

한국마이크로소프트 | 김대우

2016-11-18