빅데이터를 이용한 예측분석의 이슈와 트렌드

1. 빅데이터 분석의 유형

2. Predictive analysis

3. Predictive analysis의 이슈 사항

4. Predictive analysis의 새로운 트렌드

2017년 11월 7일

2 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

1. 빅데이터 분석의 유형

1. Descriptive analysis

2. Exploratory analysis

3. Inferential analysis

4. Predictive analysis

5. Causal analysis

6. Mechanistic analysis

3 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

1. 빅데이터 분석의 유형

Descriptive analysis

대만 노선 탑승률 추이 (‘12.01~’14.12)

대만 노선 성별 탑승 추이 (‘12.01~’14.12)

대만 연령별 탑승 추이 (‘12.01~’14.12)

- SNS의 ‘대만’ 키워드 월별 건수-

시작일 종료일

‘꽃보다 할배’ 방송(취향지 방송)에 따른 탑승율 영향 분석

대만 연령별 탑승 추이 (‘12.01~’14.12)

4 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

1. 빅데이터 분석의 유형

Predictive analysis

DTG 정보에 의한 운전자 운행 패턴 및 사고 위험 예측

C. 2016년 11월 16일 14시무사고운행

A. 2016년 11월 16일 15시사고운행

속도

RPM

방위각

브레이크

가속도

RPM 차이

B. 2016년 11월 16일 16시무사고운행

속도

RPM

방위각

브레이크

가속도

RPM 차이

속도

RPM

방위각

브레이크

가속도

RPM 차이

사고지점

5 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

1. 빅데이터 분석의 유형

Predictive analysis

DTG 정보에 의한 운전자 운행 패턴 및 사고 위험 예측

i) Classification Modeling

- Random forest vs. SVM vs. Decision Tree vs. Neural Network

ii) Confusion Matrix(Sampling data)

iii) Confusion Matrix(real data)

6 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

Predictive analysis 의 활용 영역

7 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

Predictive analysis

Mechanistic analysis

Descriptive analysis

Exploratory analysis

Inferential analysis

Causal analysis

Predictive analysis

2. Predictive analysis

8 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

9 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

Predictive analysis 주요 활용 기술

<회귀분석> <기계학습>

10 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

회귀분석 적용 사례

미국의 Telecom 회사, 고객 이탈의 이슈 직면, 신규 고객 유치를 위한 비용 증가

11 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

기계학습 적용 사례

12 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

13 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

14 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

기계학습 적용 사례

15 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

16 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

2. Predictive analysis

17 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

3. Predictive analysis의 이슈 사항

18 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

3. Predictive analysis의 이슈 사항

19 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

3. Predictive analysis의 이슈 사항

(1) lack of generalization capability to new goals

(2) data inefficiency

기계학습의 어려움

20 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

3. Predictive analysis의 이슈 사항

STT를 위한 음성 학습

21 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

(1) lack of generalization capability to new goals

(2) data inefficiency

기계학습의 어려움

Reinforcement Learning

22 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

Reinforcement Learning

23 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

Reinforcement Learning

<Deep Reinforcement Learning>

24 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

25 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

강화학습

26 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

Reinforcement Learning

27 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

28 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

4. Predictive analysis의 새로운 트렌드

Unsupervised Learning

29 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

보통 사고 고객완전 안전 고객

대형 사고 고객보통 사고 고객완전 안전 고객

Classification

학습 Sample에 대해 건별 Class labelingSample의 수가 10만건?

Unsupervised Learning

4. Predictive analysis의 새로운 트렌드

30 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

100개의 그룹

대형 사고 고객 : 8 / 94 / 27 / 80 / 26 번 그룹 8,400건보통 사고 고객 : 10 / 77 / 40/ 28/ 19 / 32 / 54 / 66 번 그룹 24,500건완전 안전 고객 : 나머지 그룹 67,100건

Unsupervised Learning

4. Predictive analysis의 새로운 트렌드

31 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

비지도학습을 통해 Labeling된 Sample

3개 Output의 지도학습Unsupervised Learning

4. Predictive analysis의 새로운 트렌드

32 Making U-Life Smart 아시아나 IDT가 만들어가는 아름다운 세상

Q&A