big data architecture analytics - oracle-mkt.co.kr ·...

29
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. Big Data Architecture를 활용한 Advanced Analytics Big Data Architecture를 활용한 Advanced Analytics [email protected] 강철 Data Analyst Big Data Team, Data Base Unit Nov 25, 2015

Upload: dangmien

Post on 29-Aug-2019

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. 

Big Data Architecture를활용한Advanced AnalyticsBig Data Architecture를활용한Advanced [email protected] 강철Data AnalystBig Data Team, Data Base UnitNov 25, 2015

Page 2: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Agenda

비즈니스 환경의 변화

분석환경의 변화와 Advanced Analytics

분석 사례

Advanced Analytics 접근 방법

Q&A

1

2

3

4

5

Oracle Confidential – 2

Page 3: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

비즈니스환경고객환경의변화

Digital DisruptionBusiness Disruption

Business ComputersBusinessMachines

Personal Computers

Mobile Devices  (phone, email, SMS)

Mobile Devices(browser)

Mobile Devices(mobile apps)

Smart Devices  (mediumvalue)

Smart Devices  (low value)

Microprocessor

Internet

Social Networking

Mobile Services

Business Efficiency

Advertizing Disruption

Sales Disruption Smart Devices  

(high value)Cloud ServicesMarketing

DisruptionComputing Disruption

Product Disruption

Service Disruption

Occupation / Workforce Disruption

BehaviorDisruption

PersonalDisruption

TechnologyAcceptance

Sense ofNormalcy

Page 4: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

비즈니스환경선제적대응/조치

전략분석허브

예측모델

개발 및 적용AlgorithmAssessment

머신러닝Time SeriesAnalytics

IoT/핀텍 적용

Global SensorFeeds

실시간개인화된패키지

사전적 조치/대응

맞춤형 신약/치료

자동화된 알고리즘

매스 마케팅

마케팅

금융

의료

유통

제조/통신

1:1 마케팅

경험적 투자

대중적 치료

단일화 패키지

문제발생 후 조치

Page 5: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

비즈니스환경 Business Coverage 성숙고객의 개인화 서비스를 통해 비즈니스 영역 확장

Mega Trend

포괄성 성숙

접근성

고객경험

서비스

24/7, 365 매끄러운 프로세스 모든 곳에서 연결 고객 파워

정보력 있는 고객 주도적인 서비스 모든 곳에서의 거래 고객불평에 대한대책 요구

개인화된 제안 통합채널 프로세스 모든 곳에서의개인화된 경험 가치제안의 투명성

인구구조 디지털화 모바일 소셜미디어

1 2 3 4온라인 서비스

강화

낮은 진입장벽

다양한기술 전문지식

투자의 유연성

Internet ofThings

MobileComputing

SocialNetworking

Big Data &Analytics

CloudComputing

Page 6: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Agenda

비즈니스 환경의 변화

분석환경의 변화와 Advanced Analytics

분석 사례

Advanced Analytics 접근 방법

Q&A

1

2

3

4

5

Oracle Confidential – 6

Page 7: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석환경의변화와 Advanced Analytics

Knowledge discovery of hidden patterns at detailed 

level

Who will buy a mutual fund in the next 6 months and 

why?

Extraction of detailed and roll up data

Who purchasedmutual funds in the last 

3 years?

Summaries, trends and aggregate 

forecasts 

What is the average income of mutual fund buyers, by region, by year?

BI Query & Reporting OLAP Advanced Analytics

“Insight & Prediction”“Information” “Analysis”

Page 8: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

빅데이터시대의 Advanced Analytics

Real time contextual data

Historical data

Relevant external sourceseg Social Media

Target Audience

Advanced Analytics

σ

Personalized recommendations,

offers & actions

Business Analytics

매출 효과(Business

Optimization)

운영 효율화(Operational Efficiency)

“고객 로열티 제고” 및 “활동 고객 수” 증가

마케팅 “반응률 제고”를 통한 매출 향상

분석의 업무차별성을 반영한 저장 비용 최적화

가맹점/채널전략을 고도화 하여 고객 유입률 증가

빅데이터 분석 역량 내재화 및 신속한 Insight 도출

신상품 개발 등 비용 효율적 업무지원 기반 제공

Page 9: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

빅데이터분석의새로운접근직관적인인터페이스를통해비즈니스통찰력을도출

데이터 변환 및 정재 통찰력 도출 및 공유데이터를 이해 및 탐색

비즈니스분석빅 데이터 데이터

전처리데이터탐색

데이터시각화

오피스협업

모바일분석/협업 IoT/M2M

find explore transform discover share

Page 10: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

빅데이터분석의새로운접근분석의용이함을통해 “Fail Fast 및신속한 Insight” 도출

• 더 나은 의사결정을 위한 Insight와 예측정보 제공

– 고객 행동 이해와 예측을 통해 이탈방지, 사기방지,Cross/Up-Sell 등에 활용 가능

• 사용의 편리성

– Data Analyst : SQL Developer에 포함된 Oracle Data Miner를 통해GUI 환경의 Advanced Analytics 기능 제공

– Data Scientists : R and SQL Languages Support

– DBA : SQL Integration

• 단순 아케텍쳐를 통해 기업 분석환경 제공

– 오라클 데이터베이스의 성능 및 확장성

– 낮은 TCO(분석서버의 분리가 필요 없음)

Page 11: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

빅데이터분석의새로운접근Function Algorithms Applicability

Classification

Logistic Regression (GLM)Decision TreesNaïve Bayes Support Vector Machines (SVM)

Classical statistical techniquePopular / Rules / transparencyEmbedded appWide / narrow data / text

Regression Linear Regression (GLM)Support Vector Machine (SVM)

Classical statistical techniqueWide / narrow data / text

Anomaly Detection One Class SVM Unknown fraud cases or anomalies

Attribute Importance

Minimum Description Length (MDL)Principal Components Analysis (PCA) Attribute reduction, Reduce data noise

Association Rules Apriori Market basket analysis / Next Best Offer

ClusteringHierarchical k-MeansHierarchical O-ClusterExpectation-Maximization Clustering (EM)

Product grouping / Text miningGene and protein analysis

Feature Extraction

Nonnegative Matrix Factorization (NMF)Singular Value Decomposition (SVD) Text analysis / Feature reduction

A1 A2 A3 A4 A5 A6 A7A1 A2 A3 A4 A5 A6 A7A1 A2 A3 A4 A5 A6 A7

F1 F2 F3 F4F1 F2 F3 F4F1 F2 F3 F4

Page 12: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 – Classification전통적인 데이터마이닝 기법으로 Target변수가 있는 Supervised Learning, Target변수가 없는 Unsupervised Learning으로 구분합니다.

1. Hierarchical k-Means

2. Hierarchical O-Cluster

3. Expectation-Maximization

Clustering

4. Anomaly Detection

1. Logistic Regression(GLM)

2. Decision Trees

3. Naïve Bayes

4. Support Vector Machines(SVM)

Unsu

per

vise

dSu

per

vise

d

Page 13: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 – Social Network Analysis사람, 조직, 사물 등의 접촉형태를 분석하여 관계정도, 행동, 태도 등을 파악하기위한 기법을 제공합니다.Fast unfolding of community hierarchies in large networks

arXiv:0803.0476v1 [physics.soc‐ph] 4 Mar 2008

Centrality

Degree

양방향 링크수

단방향 링크수

인접 사용자수

Closeness 커뮤니티 내 전체 노드 와의 거리거리가 작을수록 영향력이 있음.

Influence노드 A가 직접 연결된 노드들에 대한 영향도

노드 A가 영향을 미치는 노드들의 영향도

리더• 1. 영향력 지수가 높음• 2. 양방향 의사 소통• 3. 직접 접촉수가 최대

서브리더• 리더와 비슷한 성향 (1,2,3이 동일 )• 리더 보다 영향력이 약함.

멤버• 리더 군에 속하지 않음.• 양방향 의사 소통이 존재함.

Outlier• 의사 소통이 단 방향으로만 이루어짐.

Page 14: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 – Text Analytics자연어 처리(NLP)나 여러 분석 방법론을 통해 분석에 활용될 수 있는 형태의데이터로 변환하고 이를 이용하여 고객의 성향, 반응, 이슈 등을 분석 할 수 있는기법을 제공합니다.

Crawler

Text Analytics

오피니언 리더 도출(Network 분석)

의사 소통 그룹 도출(Network 분석)

Text Mining SentimentAnalysis

TextCategorization

고객 성향/반응/이슈 분석

기업의텍스트데이터

Page 15: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 – Collaborative Filtering (1/2)

BABA

J(UserA,UserB)=

• Jaccard Similarity

Cos(UserA,UserB)= BABA

• Cosine Similarity

고객들의 선호도와 관심 표현을 바탕으로 선호도, 관심에서 비슷한 패턴을 가진고객들을 식별해 내는 기법

Page 16: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 – Collaborative Filtering (1/2)

BABA

J(UserA,UserB)=

• Jaccard Similarity

Cos(UserA,UserB)= BABA

• Cosine Similarity

포도 딸기 수박 오렌지A고객 1 1 1 1B고객 0 1 0 0C고객 0 1 1 0

A고객 B고객 C고객A고객 1 0.250 0.5B고객 0.250 1 0.5C고객 0.5 0.5 1

A고객 B고객 C고객A고객 1 =1/4 =2/4B고객 1 =1/2C고객 1

Page 17: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 –성능지원

IN‐Database 기술‐데이터베이스와분석소프트웨어의분리로인한데이터의처리및프로세스등의여러단계를거치지않고보다분석시점에데이터베이스의파워를이용하여신속하게데이터를분석

IN‐Memory 기술‐디스크대신메모리를이용하여색인을만들고데이터를처리‐데이터모형을만들고질의를분석하며, 다양한관점의분석을처리하는데소요되는시간을줄임‐그러나하드웨어에대한많은투자를필요로함

병렬/분석처리‐대용량데이터에대한연산을작은소규모연산들로나누어작은여러대의컴퓨터들로분산시켜수행

Page 18: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석기법 –분석프로세스CRISP‐DM

Cross Industry Standard Process for DMBiz 

UnderstandingBiz 

Understanding

Data Understanding

Data Understanding

Data Preparation

Data Preparation

ModelingModeling

EvaluationEvaluation

DeploymentDeployment

Determine Business Objectives

Collect Initial Data

Select Data

Select Modeling Technique

Evaluate Result

Plan Deployment

Assess Situation

Describe Data

Clean Data

Generate Test Design

Review Process

Plan Monitoring & Maintenance

Determine DataMining

Goals

Explore Data

Construct Data

Build Model

Determine Next Step

Produce Final Report

Produce Project Plan

Verify Data Quality

Integrate Data

Assess Model

Review Project

Format Data

Page 19: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Agenda

비즈니스 환경의 변화

분석환경의 변화와 Advanced Analytics

분석 사례

Advanced Analytics 접근 방법

Q&A

1

2

3

4

5

Oracle Confidential – 19

Page 20: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

적용아키텍처

Social

Expert SystemDecision Engine

Complex EventProcessing

위치기반 승인정보

Continuous

실시간 이벤트 엔진을 통해고객의 위치(GeoFence) 인지

Continuous

전문가 시스템을 통해고객의 행동 분석, 행동

모델 고도화 및 고객 정보고도화Modify Modify

모델기반 추천정보

Page 21: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

적용아키텍처

일대일맞춤형메시지전달반응율제고

저장/분

석영

영업점 고객센터 마케팅가맹점 콜센터 DM인터넷 모바일

정형 비정형

수행

영역 이벤트

수집이벤트전달

리포트모니터

고객특성모델

실시간추천엔진

통합 서비스 버스 웹 서버

채널/U

I

신용카드게이트웨이

모니터/대시보드POS 단말웹/모바일 단말

SMS게이트웨이

고객모바일 폰/App

Page 22: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석사례 –고객특성분석을통한구매예측고객의 각종 특성(급여, 나이, 결혼, 신용자산, 모기지 등)을 분석하여 구매여력에 대한 예측 및 상품 추천

Page 23: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석사례 –이탈분석고객의 영업점 방문, 콜센터, 인터넷 및 모바일 등 모든 고객 접점 채널 로그 데이터를 시계열로 탐색해서 고객 행동 이해 Call Center, 서비스 개선, 고객 만족도 제고

콜센터불만접수

홈페이지접속

계좌조회

납입/상환

자금이체

조기상환

상품비교

회원탈퇴

계좌잔고/이체조회

상품이자 조회

• 멀티채널 접촉 이력

콜센터 / 지점방문 / 인테넷 거래

• 마케팅 / 이벤트에 대한 고객의 반응률 점검

• 관리대상 이벤트 추적

(ex: 탈퇴/조기상환/불만접수)

Page 24: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

분석사례 –성과분석

Page 25: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Agenda

비즈니스 환경의 변화

분석환경의 변화와 Advanced Analytics

분석 사례

Advanced Analytics 접근 방법

Q&A

1

2

3

4

5

Oracle Confidential – 25

Page 26: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Advanced Analytics –접근방법데이터의 품질 및 수집 전략, 분석을 위한 Governance 체계 고도화, 분석 공유 및 활용 아키텍처수립, 비즈니스를 이해하는 전사 분석 전문가 CDO조직을 운영하여 지속적인 분석을 통해비즈니스에 활용합니다.

Page 27: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Advanced Analytics –접근방법Big Data를 사용하여 질문을 하고 기대하는 답을 신속하게 얻으며, 큰 영향을 주는 작은의사결정을 유도하고, 데이터에서 발견한 Insight를 활용하여 기업 전체의 큰 변화/경쟁우위를제공합니다.

빅데이터 거버넌스 관리를 위한통합 프레임워크 수립빅데이터 운영, 보완, 품질, 표준관리 방안과 개발에 필요한 개발방법론 수립내외부 데이터의 수집 / 가공 /적재와 생명주기 관리거 버 넌 스 체 계 를 기 반 으 로운 영 효 율 향 상 과 의 사 결 정프로세스 개선

비즈니스 중심의 데이터 통합및 분석역량이 있는 인적자원 확보기존의 접근방법과 다른 새로운마인드로 접근데이터 자체를 가장 높은 운선순위에 두고 접근 데이터의경쟁력(품질) 필요수행 가능한 접근방법 발굴

고객의 취향에 맞게 상품과서비스 개발고 객 을 이 해 하 여 서 비 스 를개선하고 노하우 축적분석을 통해 얻은 개선효과를주목하고, 신규 서비스를 통한수익 추구고객 만족도 향상과 고객 충성도제고

Page 28: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.

Page 29: Big Data Architecture Analytics - oracle-mkt.co.kr · 데이터의품질및수집전략,분석을위한Governance체계고도화,분석공유및활용아키텍처 수립,비즈니스를