[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의...

50
-0- MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD ® M MOARA ® 비정형데이터 중심의 Big Data 활용방안 고영률 2016년 11월 4일

Upload: k-data

Post on 23-Jan-2018

1.379 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 0 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

MMOARA ®

비정형데이터 중심의 Big Data 활용방안

고영률

2016년 11월 4일

Page 2: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 1 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

사업환경

빅데이터 활용

빅데이터 구축사례

01

02

03

M O A R A

무엇이든 모아서 알아본다.

Page 3: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 2 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 2015년 스마트폰 보급률 83%(세계 4위), 1인당 데이터 이용량 3GB/월 돌파

• 그림, 영상, 문서, 의료기록, 음성정보 처럼 형태가 구조화되지 않은 데이터를 말함

• 기업내 각종 문서, 홈페이지, 고객의 소리, 고객센터 상담메모, 사이버 상담 자료 등

• 이메일, 트위터, 블로그처럼 모바일 기기와 온라인에서 생성되는 데이터

• 일정한 규격이나 형태를 지닌 숫자데이터가 아님

Page 4: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 3 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

기계학습

사물인터넷 빅데이터분석

클라우드

O2O소셜미디어

각종 개념의 홍수

FinTech인공지능

Page 5: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 4 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

출처 : 노무라종합연구소

Volume대용량

Variety다양한 유형

Velocity빠른 증가 속도

테라바이트 TB ~ 페타바이트 PB

구조화 + 비구조화 데이터Text, 이미지, 동영상, GPS, 센서..

1초당 수십건 이상, 갱신빈도

Value새로운 가치

Page 6: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 5 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

1980년대 1990년대 2000년대 2010년대

낮음

높음

비지니스영향도

무슨일이 일어났는가?

왜 그런일이 일어났는가?

지금, 무슨일이 일어나는가?

이제부터, 무슨일이 일어날 것인가?

보고(정형 Report)

다차원분석(엑셀,OLAP,

쿼리)

모니터링(대시보드,

스코어카드 등)

예측,분석,최적화(데이터마이닝,

텍스트 마이닝 등)

현재 상황 분석에서미래 예측으로 진화

빅데이터활용영역

기업과 고객간의인터랙션데이터가미래 비즈니스에성패를 좌우한다.(Online & Offline)

Page 7: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 6 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

신상품/컨셉 개발

CS/고객관리

평판/기업이미지

마케팅/광고/영업

위험 관리

기획/대외홍보

Data 기반CV & MKT성과 창출

Page 8: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 7 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

Page 9: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 8 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 10: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 9 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 11: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 10 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

‘기관을 언급한 고객’의 특징적 키워드고객의 전체 키워드

요청(0.13)

확인(0.14)

지금확인

확인한번

취소요청

접수(0.11)

승인(0.11)

바로연락

가능

담당자(0.79)

죄송(0.98)

불편(0.57)

너무죄송

팀장

실장

접수

등록

민원

기관(0.17)

정말죄송

타겟 고객 전체를 대상으로 키워드 분석하는 경우특징적인 키워드 추출이 어려움

고객 특성에 따라 키워드 분석시“죄송”, “불편”, “담당자”, “금감원” 등의직접적이고 감정적인 키워드가 추출됨

Page 12: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 11 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

전화 음성, 이메일, 채팅, 문자 메시지,

설문조사문장블로그,

소셜미디어, 문서

CustomerSurveys

AgentDisposition

Quality Scores

Online Ratings3rd PartyMarket

Research

내부 외부

비정형 데이터

정형 데이터

디지털 데이터의 90%가 비정형데이터이다 – IDC90% of our digital information universe is now unstructured (IDC)

90%이상

Page 13: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 12 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

As-Is (Only 정형 모델) To-be 방식 (정형의 보완 및 커버리지 확대)

정형모델

정형 모델 vs 비정형 모델

•기존 정형 모델의 정확도 증대보다는 대상 고객 확대

• VOC 발생 고객 중 기존의 정형 모델에서 감지하지 못하는

고객군을 찾아내는데 집중

•비정형 스코어는 上, 정형 모델 스코어 下

•비정형 모델, 정형 모델 비교

•주요 Keyword 비교

•고객 기본 프로파일

•경험 고객 vs 신규 고객 비교

정형모델

스코어

비정형 모델스코어

확대되는마케팅 대상

현재 마케팅 대상

• 기존의 정형 데이터 기반의 모델

• 모델의 정확도 7-80%

• 현재의 정형 모델은 기존 고객에 대해

모델의 성능이 우수하지만, 신규 고객이나

정형 변수 데이터가 적은 고객은 찾아내기

어려움

O

O

O

OO

O

X

XXX

XX

O비정형모델

X

▲ ▲♬

♬♬

Page 14: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 13 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

(Wikibon, 2014) (KISTI, 2013, 단위:10억)

Big Data 전문 S/W, 플랫폼, 유지보수, 교육/훈련, 비즈니스 분석 컨설팅 등

Page 15: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 14 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 16: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 15 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 출처 : 2015년 IDC 보고서

Page 17: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 16 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

사업환경

빅데이터 활용

빅데이터 구축사례

01

02

03

M O A R A

무엇이든 모아서 알아본다.

Page 18: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 17 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 소셜미디어 확대에 따른 다양한 고객 반응정보 획득

• 내부 및 외부에 산재된 고객정보의 신속한 통합

• 고객정보 통합을 통한 360도의 다양한 분석 기반 구축

• 방대한 비정형 데이터를 손쉽게 분류 및 의미 파악

• 소셜미디어 데이터에서 기업 및 제품에 대한 감성정보추출

• 온톨로지 기법 활용을 통한 숨은 고객 요구사항 도출

• 조직 내 KPI별 기준설정에 따른 조기 경보 및 Alerting

• 기계학습을 통한 프로세스 개선 및 선제적 대응

• 패턴 분석을 통한 미래예측 및 대응 시나리오 도출

Decision

360˚ View

Insight

소셜미디어확대

모바일트래픽증가

IoT 기술발전

비정형

데이터의

부각

서비스강화

혁신강화

전략강화

Page 19: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 18 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

신제품개발

평판관리

위기관리브랜드인지도

경쟁사동향

신제품반응

캠페인반응

생황양식

시장감각

시장조사

대화형챗봇

광고효과내부 데이터

외부 데이터

빅데이터와인공지능기반

통합/분석/활용플랫폼

Page 20: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 19 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

빅데이터VO

C H

UB

(유형

화된

고객

정보

)

VOC Feedback

고객의상품/서비스에대한 다양한

Needs

Web/App

SNS

고객 로그

CRM Data / Transaction Data 등 기존 System과의 연계(성별, 연령, 구매금액, 빈도, 등)

관련 부서별 VOC 처리

Call

활용/자산화

R&D상품/서비스

개발영업/마케팅 유지 관리

사후서비스

경영의 Control Tower

신속한경영 의사결정 지원

새로운 비즈니스 및상품/서비스 개발

고객관리 및업무 효율화

고객중심경영혁신 활동 기반 조성

• 부서별 고객 정보의 Real time 활용

• 기존 각종 Data와의 연계

• 디지털 융합을 통한 최적화된 서비스

고객채널통합관리

정보 제공의 Hub 역할

VOC : Voice Of Customer

Page 21: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 20 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

MOA

외부 DATA

News

SNS

Customer Site

WWW

BBS

Blog

Forum

Government

Company

Research Center

내부 DATA

VOC

Sales Memo

Customer IF

RDBMS

HDFS

Sock

et

Agent

(Byte

worx

)

Collect

Robot

Agent

Robot Creater

Detail Search

Filtering

Text Parse

ICM/CDC

Result File

List Search

Meta File

수집서버 분석서버(4Node up)

Meta File

SA

ARA-INSPIRE

HBASE

Batch

ML Graph

SQLNoSQL

& Search

다차원 분석 서버

ARA-VisualPowered by MSTR

RDBMS

Visualizing 서버

ARA-Visual

Classifying

Document분해

관심주제Sensing

의미분석

RDBMS 서버

Customizing Module

Meta File

Data Integration

대시보드다양한 사용자

전문분석가

My Menu

전문분석 Tool

Email SMS

임원

관리자

담당자

sso

In-Memory CUBE

Visual Insight

AD-Hoc Query

Report & Chart

Drill & Pivot

UBO

NE

PRO

XY

Page 22: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 21 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

카드사 빅데이터 경쟁 치열

신한카드

업계 최초 빅데이터 솔루션 도입 : 빅데이터 트렌드 연구소 설립

- 2,200만 고객 데이터 기반 고객별 소비성향과 유형분석

코드나인 매칭 솔루션을 통한 코드나인 카드 300만장 발급

’15 빅데이터 경영성과 : 5,700억 카드이용액 창출, 250억 손익개선

음성데이터 등 비정형 데이터 분석을 통한 민원저감, 마케팅 성과 향상

삼성카드 해외 빅데이터 전문가 초빙, BDA(Biz Data Analytics)센터 운영 빅데이터 분석체계 ‘스마트 알고리즘’ 활용 7개의 숫자카드 상품 출시 상담메모 데이터 등 비정형 데이터 분석 사업 추진 중

KB국민카드

빅데이터전략센터 확대 개편 스마트 오퍼링 시스템 및 음성 상담 문자 전환 서비스 실시 20~30대 대상 KB국민 청춘대로카드 출시 빅데이터 분석역량 기반 ‘상품전략컨설팅, 업권분석컨설팅’ 서비스

상용화 준비 중

우리카드 우량고객군 대상 ‘그랑블루체크’출시 20대 대학생 대상 ‘썸(SUM)타는 우리 체크카드’출시

하나카드 빅데이터 분석을 활용한 O2O 연계서비스로 수익창출 모색 스타트업 기업에 빅데이터 분석 서비스 제공 계획 날씨 정보 제공 ‘하나하나호우’ 서비스

롯데카드

빅데이터 기반 맞춤형 쿠폰 실시간 전송 서비스 ‘노크’론칭 고객맞춤형 카드 추천 서비스 ‘토핑’출시 다음과 ‘롯데카드 스마트 클러치’개발 카드사 최초 원클릭 간편결제 시행

Page 23: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 22 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

신한은행위치 정보 기반 타킷 마케팅거래 내역 기반 금리 우대 상품 개발빅데이터 기반 신한 중고차 서비스 오픈

KEB하나은행고객관리지원부 신설, CRM 빅데이터 방식 개선대량의 로그 데이터 분석 미지의 악성코드 보안 강화

NH농협은행경기도와 빅데이터 활성화 협약빅데이터 분석 기반 차세대 통합보안 관제시스템 구축 추진

IBK기업은행빅데이터 분석 시스템 구축을 위한 시범 사업신용평가 모바일 자산관리 핀테크 기업과 협력

한국SC은행 빅데이터 기반 삼성카드와 맞춤형 카드 상품 개발

부산은행 빅데이터 기반 VOC(Voice of Customer)시스템 구축 추진

현대해상 보험사기방지시스템 FDS(Fraud Detection System) 도입

KB손해보험 설계사 대상 빅데이터 시스템 구축 및 상담 업무 활용

출처 : 이투데이, 2016. 2. 29

Page 24: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 23 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

관련

기술

패턴인식

자연어

처리

시멘틱

텍스트

마이닝

인지

컴퓨팅

• 상품 안내 및 상담, 고객 지원 응대 등금융

• 쇼핑, 비행기 예약, 숙소 예약, 식당 예

약 및 주문, 택시 호출 등전자상거래

• 헬스케어, 뉴스 피드, 날씨정보, 금융

상담, 일정관리, 길찾기 등개인 비서

• 법률 상담, 세금납부, 부동산정보, 구

인구직공공 서비스

• 정보검색, 파일공유, 데이터 보관, 협

업, 고객 관리 등기업용 메신저

Page 25: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 24 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

질의 요약 분석

링크DB

어휘사전

CHATAPI

파일DB

답변 매칭

질의분석 학습모듈

채팅 로그 분석

답변 결과 매칭

답변분석 학습 모듈

도메인질의

탐색형질의

대화형질의

강화학습(작업자)

한글인식모델

채팅APP

챗봇

TA

1세대 Chatbot 2세대 Chatbot 3세대 Chatbot

단순 Keyword 기반의Rule Based Q&A

질문&답변 기계학습기반의 최적의 RuleMatching 기반

상황인지 및지능형 대화생성

• 지도학습 기반의 Topic 모델링• 인간 경험치에 의한 Rule Based• 의미추론 기반의 신경망

• 지도학습 기반의 Topic 모델링• 인간경험치에 의한 Rule Based

• 지도학습 기반의 Topic 모델링 (SVM)• 인간 경험치에 의한 Rule Based• 의미추론 기반의 신경망 (NN)• 지도학습 기반의 LSTM(RNN) 언어모델링

Page 26: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 25 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

모호한 질문인 경우

답변이 없는 질문인 경우

여러 질문이 중복된 경우

일반 적인 질문인 경우

고객 질의문

질문 유도

단순 질의

질문의 모호화

추가 질문으로질문의 명확화

대안 질문유도

핵심 질문파악

인공지능 자동상담 서비스

유도 RULE

유사 답변제공

질의 구체화

유사 질문리스트 제공

전문 상담원

전문 상담원연결후피드백

사용자

상담원

긍정피드백을강화학습에

활용

질의 자동분류

질의 자동요약

다중 답변추출

유비은행

유비은행

유비은행

Page 27: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 26 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 2016년 3월 마이크로소프트 인공지능 채팅봇 “테이“, 비상식적인 채팅으로 16시간만에 중단

• 잘못된 사실 그대로 인용하기도 하고, 인종차별적인 혐오스러운 표현을 사용하기도 함.

트위터 사용자: “유대인 학살이 일어났어?”

채팅봇 테이: “그것은 지어낸 말이야.”

사례

Page 28: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 27 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 2016년 3월 구글 자율 주행 자동차, 한쪽 모래 주머니 피하려다, 다른편에서 주행중인 버스와

추돌.

• 버스와 추돌하는 것이 모래 주머니와 추돌하는 것보다 피해가 크다는 학습이 되어 있지 않아

일어난 결과. 자율 학습 기술이 개발되지 않으면, 인간이 모든 경우에 대해 인공지능을 대

상으로 학습시켜야 한다.

사례

Page 29: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 28 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

사업환경

빅데이터 활용

빅데이터 구축사례

01

02

03

M O A R A

무엇이든 모아서 알아본다.

Page 30: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 29 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

Big Data (Text 중심) 기반의 내부 및 외부 VOC 수집, 분석, 활용 체계를 통해조직의 근본적인 변화 관점의 사업 추진 플랫폼 확보

내외부 VOC 수집 확대 비정형 VOC 분석력 강화 전행 관점 활용 체계 개발

SNS

블로그

커뮤니티

기타…

주요매체

공중파방송

기타 …

소셜미디어

매스미디어

250여 개 채널 대상(구축형 포함)

소비자보호센터

스마트고객센터

스마트금융센터

영업점(CRM)

인터넷/모바일

기타

Text Code

-

불만정보

고객니즈

상담정보

통합분류체계 수립

다양한 관점의 고객 VOC 분석

소비자보호

마케팅스마트고객센터

스마트금융센터

….

전행 통합관점 분류체계 수립

주요 키워드 분석

긍부정 패턴 분석

Text 분류 및 연관어 분석

상품/채널별 VOC 분석

고객유형별 VOC 분석

당행관점

경쟁사관점

금융관점

고객평판리스크 관리체계 수립

마케팅 Insight 도출 Pilot

향후 과제 도출

리스크 요인분류 정의

모니터링 및 감지조건 정의

리스크 대응체계 수립

1개 주체 대상마케팅 Insight 도출 Pilot

고객평판리스크 고도화 방안

마케팅 추가과제 발굴

VOC 기반 Big Data 발전방향

외부채널

내부채널

Page 31: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 30 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

1 녹취 데이터 요약(주요문장 제시) 및 Rule 기반 자동분류

2 VOC 잠재민원 감지 및 조기대응 프로세스 수립/반영

3 콜 상담 생산성/원스톱 상담 개선을 위한 텍스트 분석 강화

4 주요 주제어/키워드에 대한 Trend 분석결과 제공

5 마케팅 주제 발굴 및 TA 모델 개발/테스트 마케팅 수행

6 시스템간 연계(Email, 톡상담, DW, CRM 등)

Page 32: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 31 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 녹취 데이터 요약/Rule 기반 자동분류

상담유형

분류체계

온톨로지 규칙

(의미분류)

TA 스코어

(점수화)

키워드 규칙

(단순분류)

12

25

4

3

1

2

135

97

65

32

Score

분류

분류

의미기반 자동분류 및 점수화

사전

기계학습알고리즘

/NLP 엔진

STT Data

NLP

문서 요약

(주요문장 제시)

문장별

Score

수행 세부 사항

• 상담유형 분류 세분화

(SA 분류 중 필요 분류 Breakdown)

• 학습데이터 준비 및 기계학습

• 자동분류 Rule 생성

• 자동분류 Rule 검증

• 분류 자동화 구축

• 문서요약 기능 개선

• 문서요약 결과 검증

수행 시 주안점

• 문서 분류율 증가 (미분류율감소)

• 문서 분류 정확도 증가

• 문서 요약 정확도 증가

분류체계를 세분화하고, 키워드/온톨로지/TA 스코어 기반 자동분류 규칙을 적용하여

보다 정확한 자동분류 체계를 구축합니다.

Page 33: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 32 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 잠재민원 감지/조기대응 프로세스

STT Data

기계학습

잠재민원 감지

민원감지TA 모델

잠재민원 감지

블랙컨슈머 감지

칭찬 콜 감지

TA 모델을 통한유형별 자동 분류

리스크 자동 등록

감지정보 통보

띵동

Email

통보내역 확인

리스크 현황조회

리스크 조치(O/B Call 등)

리스크 조치사항등록

리스크 현황확인

리스크 현황분석

수행 시 주안점

• TA 모델 정교화를 통한 잠재민원 감지 정확성 증가

• 신속한 통보 및 대응을 위해 시간 단축

• 유형별 원인 분석 기능 강화

녹취데이터에 대한 TA 모델링을 통해 잠재민원을 조기에 감지하고, 스마트 고객센터에서 즉시적인 대응 및 관리를 할 수 있는시스템을 구축합니다.

잠재민원 확인

(주관부서)

잠재민원

대응/처리

현황/조치내용

확인

Page 34: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 33 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 콜 생산성/원스톱 상담 분석 강화

STT Data

+

STT 결과정보

- 통화시간

- 묵음비율

- 상담원 정보

- 고객 정보

NCS Data

- 재인입

- 호전환

텍스트 분석 시스템

STT 분석결과 정보

•문장/단어분리결과•토픽학습결과•연관분석결과•랭킹/순위/스코어

상담 정보

•통화시간/통화유형•묵음시간/비율•재인입 Flag(최초 Call/재인입 Call)

•호전환 Flag/유형

고객/상담사 정보

•고객 정보-. 성별,연령,Tops등급

•상담사 정보-. 조직(도급사), 직무, 직급, 근속개월수

TA 기반 분석 Points

• 장시간상담 콜 현황 및 상세분석• 묵음비율高 상담 콜 현황 및 분석• 재인입상담 콜 현황 및 분석• 호전환상담 콜 현황 및 분석

<대상 콜 조회> <대상콜추이>

<원인 분석> <연관 분석>

※ 분석결과 중 일부는 현황판 Contents 후보로 고려

콜 상담 생산성 및 원스톱 상담 개선을 위해 문제가 되는 상담건의 추출을 용이하게 하고, 원인분석을 제시하는(보여주는) 시스템을구축합니다.

자동수집

기계학습

Page 35: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 34 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 주제어/키워드에 대한 Trend 분석

분석 사전 작업

•관심 주제어/키워드 등록

•유관 사전분류/키워드 정비

• 분석 정보 설정

-. 분석 기간/주제어/키워드

• 분석 실행(Batch Job)

• 분석 상태 확인

• 분석 결과 조회

써니뱅크 관련해서

고객들은 얼마나,

어떤 내용으로

고객센터에 연락을

하는가?

상품/서비스Start 시점

관찰기간

Batch Job 수행

기간별콜 현황/추이

고객 속성별콜 현황/추이

상담유형별콜 현황/추이

태그 클라우드

연관 키워드 분석 등

분석 결과 제공 시 주안점

신규 상품/서비스, 신한은행 관련 주요 이슈에 대해 고객들이 어떤 반응을 보이는지 확인할 수 있도록 다양한 텍스트 분석 결과를제공하도록 시스템을 구축합니다.

분석 설정/실행 분석 결과 확인

Page 36: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 35 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 마케팅 주제 발굴 및 TA 모델 개발 1/2

환전송금, 예금신규, 대출신규, 펀드리밸런싱 가망이 높은 STT

금융마케팅

불만/민원제기 가능성이높은 STT

불만/민원

대상군 Unique Keyword 도출

대조군에서 일반적 키워드제거

대상군과 대조군 키워드 비교

키워드별 알고리즘 스코어 및랭킹 도출

대상군 및 대조군 학습문서분석

키워드 추출 및 분석 알고리즘적용

키워드 변수들을 통한스코어 점수 산출

모델 검증

모델 수정 및 보정

STT 자동분류

자동분류

모델 적용

녹취데이터의 활용성이 높은 마케팅 주제를 발굴하고, 하기의 TA 모델링 방법론에 따라 고객의 Needs를 감지할 수 있는 TA 모델을개발하고 테스트 마케팅을 통해 모델을 검증하고자 합니다

모델개발 범위 확정분석대상 선정 및

데이터 준비Unique 키워드 추출 TA 모델링

STT, 서비스 이력 데이터

모수

• 금융마케팅 대상 서비스이용 이력 + STT 데이터

• 불만/민원 고객 STT

분석 대상

Page 37: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 36 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 마케팅 주제 발굴 및 TA 모델 개발 2/2

STT 데이터

서비스 이력 데이터

상담 이후 서비스발생 관찰기간

대상군STT

대조군STT

모델 개발 모델 검증TA 모델 적용

모델 개발 모델 검증

• STT 원문

• 서비스 이용여부

• 키워드 스코어

• 온톨로지 스코어

• STT 원문

• 서비스 이용여부

• 모델 스코어

수행 시 주안점

• Base 서비스 이용률 대비 TA 스코어 보유 상담의

이용률 향상 정도를 감안하여 모델 개발/정교화

• 마케팅 물량을 고려한 TA 스코어 Cut-Off 설정

• 테스트 마케팅을 통한 모델 성과검증/개선 진행

Page 38: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 37 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M빅데이터 구축사례 시스템간 연계 구축

TA시스템은 당행기준에 따라 원본데이터 및 분석데이터를 내부 관련 서버와 연계될 예정입니다.

수집 및 분석 대상 데이터는 Call 상담 변환 텍스트(STT), Talk 상담, Email 상담 등입니다.

내부데이터

STT 정보

Talk 상담

Email 상담

NCS (상담이력)

하둡(MapR) 서버 (텍스트 분석 처리/STT 전용 스키마 구성)

기존 4대 구성 신규 2대 추가

DW

고객별 TA점수 결과(CRM 활용)

• 사전 데이터TA 시스템

관리서버

상담콜 현황/분석 민원 감지/대응 트랜드 분석

장시간상담 분석 묵음비율 분석 재인입상담 분석

호전환상담 분석 Talk 상담 분석 Email 상담 분석

분석담당자

Oracle

• 자동분류 규칙

• 분석마트

• 분류규칙 관리

• Call Text 분석

• 민원 조기 대응

Page 39: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 38 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

금융마케팅 트리거 및 민원예측을 위한 불만민원 감지 모형을 위주로 진행 되고 있습니다.

MOARA SOLUTIONVOC Channel

VOC 자동분류비즈니스 이벤트 징후

VOC 선별

I/B 상담(STT,

Memo)

인터넷상담

인터넷민원

EDW

Marketing Target이아니면서 현금서비스/카드론

이용 가능성이 높은 VOC

금감원 민원을 제기할가능성이 높은 VOC

한도초과승인거절, 고액이용, 한도상향 가능성이 높은 VOC

BL등급이 아니면서 재조정가능성이 높은 VOC

마이닝 Table

현업 활용 Table

TAXONOMY

MINING

현금서비스/카드론이용 예상 고객 예측

금감원 민원 제기 예상고객 예측

Taxonomy Score

이벤트징후예상 群

Taxonomy 기법 활용Ontology 기법 활용

대분류 중분류 소분류

73개 924개

Ontology Setting Taxonomy Rule Setting

Event Trigger 모형 개발Segment Setting

SOLUTION Interface Solution Setting & Customizing Interface

상품

서비스/포인트

금융서비스

할부금융

카드이용/한도

심사/발급

가맹점

채널

정보/BL

특수

이슈

오토금융

기타

Page 40: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 39 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 41: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 40 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 42: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 41 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

Page 43: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 42 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

• 접수된 고객의 불만을 적극적에서 처리하여 불만 고객에 대한 사후 서비스를 강화

• 비정형 분석체계를 통한 패턴 분석을 강화하여 사전 감지를 통한 불만 발생원인 분석

외부 VOC 수집을

통한 자동 수집 체계

구축

단순 상담/문의에

대한 분석 체계

강화

조기경보를 통한

사전 대응 체계

구축

외부에서 발생되는고객의 소리에 대한

수집 강화

패턴 분석 기반의조기경보를 통한

사전대응 강화

놓칠 수 있는 VOC를감지하여

대외비화 방지

비정형분석

소비자보호 체계 강화

Page 44: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 43 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

비용 최적화수요예측 주식시장예측

서비스개선이상검출 차량정체 예측

고객이탈분석부정검출 고장예측

차별화된 타게팅 광고상품추천서비스 위치정보를 이용한 마케팅

1. 고객관리

• BoA, 수익성 및 업무효율 제고를 위한 빅데이터

• 허츠, 실시간 VOC 분석으로 고객 만족도 향상

• GS홈쇼핑 , 고객 추천 서비스 정교화

• 롯데백화점, 고객 세분화를 통한 타겟 마케팅

• 유통 빅데이터를 통한 중소상인 지원

• 빅데이터 분석 기반 외국인 관광산업 지원

2. e-Business

• Ancestry.com, 온라인 가계도 서비스 제공

• 오비츠, 사용자 특성을 파악하여 맞춤 검색 결과 제공

• NCSOFT, 게임 내 사기 탐지 시스템 구현

• 멜론, 이용자 관심도에 따른 콘텐츠 추천

3. 의료

• UNC헬스케어, 환자의 재입원 비용 절감

• 서울아산병원, 의료연구 편의성 확대

• 맞춤형 유의질병 및 병원정보 제공

4. 제조

• GE, ‘지능형 항공 운영’ 서비스

• 볼보, 운행 정보 활용한 자동차 안전 실현

• 캐터필러, 직원 및 기기 데이터 분석을 통한 제조 생산

성 향상

• 한국남동발전, 발전설비 운영효율 극대화

• 자동차 부품기업 공동활용 빅데이터 플랫폼

5. 재난 및 공공

• 농림수산식품교육문화정보원, 스마트 농정 실현을 위

한 플랫폼 구축

• 조류 인플루엔자(AI) 확산 조기대응

• 국도 비탈면 붕괴사고 예측

2015년 빅데이터 글로벌사례집

http://www.kinfo.co.kr/report/v/1/2/12715

Page 45: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 44 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

기존 Approach (Only 시스템) To-be Approach (시스템과 오픈소스 복합 활용)

•시스템 도입 전 오픈소스를 활용하여 다양한 분석과제

실행 가능(비용 절감 효과)

•분석 과제 실행을 통한 내부 데이터 보유 현황과 품질의

시스템 도입 전 진단

•오픈소스를 활용한 분석의 자유도 증가와 시스템 도입시

활용도 증가

•기존 운영 시스템상에 신규 시스템만 추가 도입 형태

•시스템 자체는 매우 우수하나, 실제 데이터 분석 활용도의

유연성이 떨어짐(분석 방안의 한계 존재)

•시스템을 도입하지 않으면, 빅데이터 분석 진행이

불가능함

Page 46: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 45 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

데이터 전처리(구간화, 결측치, 변수선택)

학습(Training)

예측(Predict)

Open Source의 한계( 한글 전처리의 어려움 )

정형 Data NN, SVM으로 진행비정형 Data NN, RNN, SVM, Ranking

방식이 적절함 (Black Box의 한계)독자적인 Text Data의 처리 Knowhow가 반드시 필요함(한글(언어별) 의미파악을 위한 방법론 존재함)

Page 47: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 46 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

나의 고민… ??

• 시스템 구축 비용이 비싸다. - 시스템을 구축하는데 최소 10억원 이상이 소요 되며,

최적의 성능을 위한 Infra 까지 하면 20억원 이상이 필요 함

• 사업을 추진할 내부 조직이 없다.- 빅데이터 시스템과 업무에 대한 이해를 바탕으로 시스템 도입을

추진할 내부 조직의 구정이 힘듬

• 분석한 결과에 대한 품질을 신뢰할 수 없다.- 빅데이터 분석 결과가 우리에게 맞는 결과인지 신뢰하기 힘듬

• 투자효과에 대한 확신이 없다.- 고비용을 투입하여 도입한 시스템으로 효과를 얻을 수 있는지

확신하지 못함

Page 48: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 47 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M

한글분석을 위한 NLP( 분석 ≠ 검색 )

•최대 한글,변형,감성사전 보유•10년 이상의 Knowledge 사전•한글 최적화 온톨로지 구축•기계학습 기반 Taxonomy•RNN (딥러닝)기반의 AI 제공( 사전,Taxonomy 자체 진화 )

대용량 처리 안정성

•Hadoop, Appliances, RDB, File기반대용량 처리

• In-Memory 기반 NoSQL 실시간 지원

•지능형 수집 Robot

적정한 투자금액

• End-to-End 통합 플랫폼으로운영 용이•직접 고객 데이터 운영으로관리비용 절감•점진적 데이터 개선으로유지비용 절감

01 02 03 04

MOARA

경쟁사

사용이 쉬운 솔루션

•Web 기반 UI로 쉬운 사용법(전문가,일반사용자용 UI 제공)•시나리오 기반 분석 편리성•강력한 Discovery Tool 제공•다양한 시각화 기술

Page 49: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 48 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

경청해 주셔서

감사합니다.Thank you.

무엇이든 모아서 알아본다.

Page 50: [2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안

- 49 -MOARA Copyrightⓒ All rights Reserved UBONE.,CO LTD®

M텍스트분석솔루션모아라소개

®

M

질의응답Question & Answer