Big Data & Machine Learning MindsLab Co., Ltd.

Integrated -

VOC Management

2015. 10

www.mindslab.co.kr

2

i-VOC의 활용업무는 다음과 같습니다

1) 고객 불만의 근본원인 파악 2) 고객 행동 분석으로 마케팅 활용 3) 신규 상품에 대한 만족도 분석을 통해

서 캠페인 대상 및 내용 추출 4) 통화내용 파악을 통한 업무 프로세스

개선점 확인 상담시간 감축 5) 유형별 상담원의 상담편차 및 저성과

원인분석

1) 상품 불완전 판매 관리 (필수 고지사항, 본인 동의, 조건 등)

2) 상담원별 다양한 상담 패턴을 분석하여 TM업무에 활용

3) Sales 성공의 핵심요소 분석 4) 표현의 차이와 습관에서 발생하는 상담

원 성과 차이 분석

1) 상담 스크립트 준수 여부 검출 (금칙어/규칙어)

2) 통화내용에 의한 자동분류 3) 통화내용 전수 검사를 통한 QA업무 효

율성 향상 4) 실시간 모니터링을 통한 빠른 피드백 5) 실시간 콜내용 요약을 통한 업무감소

인바운드 상담업무 효율화

TM업무 활용

QA업무 효율화

상담업무 효율화

1) 상품 불만 징후 감지 및 분석 2) 영업/마케팅 불만요인 감지 및 분석 3) 고객/서비스 불만요인 감지 및 분석 4) 언론 적기 대응 체계 구축 5) Compliance Risk 징후 감지 6) 사회 공헌활동 효과 검증 7) Risk 통합관제센터 지원

1) 고객 니즈 기반 상품 기획 2) 고객 반응 기반 마케팅 캠페인 개선 3) 고객 서비스 운영 개선 4) 영업활동 운영 개선

1) 단순문의콜은 인공지능 가상상담원이 처리

2) 상담센터 전방시스템에서 상담센터로 유입되는 콜수 감축

Risk 관리

Operation 개선

Virtual Agent

VOC 빅데이터 분석

가상상담원

3

원천 데이터 수집 음성인식/ 텍스트 분석/ 소셜분석 모델링 / 활용 결과데이터 구조화 시각화

내부 VOC 분석 기업내부

기업외부

인터넷 상담

상담 메모

서신 민원

…

금감원/ 소비자원 민원

뉴스

블로그

트위터

페이스북

…

언어분석 텍스트마이닝

문장분리

형태소분석

개체명인식

구문분석

문서 자동요약

감성분석

문서 자동요약

키워드/연관어 분석

다중 탐지어 분석

고객이탈 방지

리스크 관리

고객 Segmentation

서비스 개선

신규고객 발굴

잠재VIP 고객 발굴

신상품 개발

…

Document

Sentiment

Keyword

Taxonomy

Analyzed VOC Data

관리도구

페이스북 리포팅

전화 상담

언어분석 텍스트마이닝

문장분리

형태소분석

개체명인식

구문분석

감성 분석

이슈 군집분석

어휘 중요도 분석

연관어 분석

외부 VOC 분석

Market Intelligence

활용 목적 정의

분석 관점/키워드 정의

데이터 수집/검증

사전 관리 Taxonomy 관리 운영 관리

Fan Post Interaction ER …

Power User

활용 목적 정의

End User

관점/키워드 검토

시각화 요소 검토

시각화 구현

대시보드 구성

모니터링

예측

경보

…

Document

Sentiment

Keyword

Taxonomy

Analysis Model

Internal Structured Data

활용목적 別 정제 VOC

Data Analyzed

Data Feeding

Raw Data Feeding

이벤트/리스크 분석

음성인식 학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

콜분석 / 트렌드탐지 통합 관리 솔루션 i-VOC

Module A 음성인식엔진

5

i-VOC 음성인식모듈은 심층신경망 (Deep Neural Network) 기반의 최신 기술로 만들어졌습니다

딥러닝은 최근 음성인식분야에서 획기적인 성과를 냈습니다

6

Deep Learning 기술은 Gartner 2014년 세계 IT 시장 10대 주요 예측 기술

• Google 안드로이드 OS 4.1인 Jelly Bean의 음성검색 서비스에 DNN을 적용

• Microsoft Bing 음성검색에 DNN 적용

• Naver는 네이버 Deep Learning 랩을 통해

음성 인식을 테스트하는 한편 뉴스 요약 서비스,

이미지 분석 등에 Deep Learning 알고리즘을 적용

• 국내 K카드사는 최근 ETRI 음성인식 엔진을

도입하여 콜센터 상담업무 관련 시스템 오픈

글로벌 선두주자들도 모두 딥러닝 기반의 음성인식을 채택했습니다

7

심층 신경망 (DNN: Deep Neural Network) 및 고속잡음처리 기술 등이 적용

콜센터 녹취 환경에 최적화된 음성인식 성능 제공…

미국 및 이스라엘의 외산 기술과의 비교 테스트에서 10% 이상 우수한 성능을 나타내…

확실한 기술 우위를 확보하기 위해 심층 신경망 및 고성능 잡음처리기술 등을 지속적..

정부출연기관 ETRI가 콜센터 녹취환경에 최적화하여 개발하였습니다

8

한국어 인식률은 국산 엔진이 약 8% 정도 높고 유지보수도 용이

구 분 국산 엔진

(ETRI) 외산 엔진

한국어 인식률

84.7% 76.8%

유지보수 비용

정기 엔진 업데이트

(국책사업 지원)

라이선스료 고가

(다국어 지원)

개인정보 보안

• 정보통신망법 준수

• 개인정보보호법 준수

• 정보암호화 별도 필요

• Upgrade시 정보 유출

기술 지원속도

• 기술진 국내 거주

• 빠른 지원과 협의 원활

• 기술진 해외본사 거주

• 문제 발생시 해결 지연

적용 사례

지니톡

(국산 자동통역 앱)

SIRI

(휴대폰 음성 개인 도우미)

(기준 : 2014.12, 음절 인식률 , 제3의 평가기관)

자연어 음성인식 성능평가 결과

한국어 음성인식에서 외산 대비 탁월한 성능을 가지고 있습니다

9

ETRI는 6개월에 한번씩 정기 Upgrade (年 2회)를 통해서 State of the Art를 지켜가고 있습니다.

ETRI 음성처리연구실의 음성인식엔진 개발 Roadmap에 따라 年 2회 정기적 업그레이드가 이루어짐

2015년 9월말에 추가적인 학습 및 인식 최적화,

잡음처리 개선 진행 예정

2014.06 2014.12 2015.06 2015.12

안정화/최적화 안정화/최적화 안정화/최적화

정기 업그레이드 (HMM)

정기 업그레이드 (DNN)

정기 업그레이드 정기 업그레이드

정기 업그레이드 (HMM) 버전 배포

정기 업그레이드 (DNN) 버전 배포

정기 업그레이드 버전 배포

정기 업그레이드 버전 배포

안정화/최적화

국내 기술진들이 근접해서 정기 업그레이드를 지원합니다

10

최신버전 엔진으로 테스트한 결과, Full Text Dictation STT 인식율은 키워드 기준 91.72%,

음절기준 83.59%를 기록

舊버전 100시간 학습

인식률

新버전 100시간 학습

STT 新버전(DNN)

STT 음절기준

STT 키워드기준

STT 舊버전

300시간 학습 최근

95%

80.81%

89.5%

77.3%

실제 테스트에서 음성인식율 신기록을 기록하고 있습니다

91.72%

85%

83.59%

11

선형적인 성능향상을 보장함과 동시에 H/W 자원 증설만으로 실시간 음성인식을 지원합니다.

Inbound

Outbound

STT Server

KWS Server

음성수집 Server

텍스트 결과 Server

H/W 증설

실시간

음성인식

지원

실시간 음성인식은 콜센터 효율화 등 다양한 목적으로 활용됩니다

12

음성학습 및 기계학습을 위한 도구가 내장되어 효율적인 저비용 학습구조 지원

증강학습 (Incremental Training)

Baseline + Domain Common + Domain

Specific의 Flexible 학습구조를 통한 최적 모델

구축

기본 모델에 세부 영역 모델을 추가함으로써

세부 영역별 최적의 인식성능 보장

효율적인 학습 체계

학습 데이터 구축방식 용이성 및 효율성 제공

음향모델 학습을 위한 텍스트(형태소)분석 및

발음변환(G2P:Grapheme to Phoneme) 자동화

학습작업을 고객사 내부에서 해결 (내부 데이터

외부 유출 필요 없음)

i-VOC 특징 도메인별 효율적이고 최적화된 학습을 통해 최고의 음성인식 품질 제공

학습 작업의 많은 부분을 자동화 제공하고, 데이터 유출 없는 학습작업 제공

i-VOC 음성인식 개념 증강학습 개념

Baseline Model

산업/기업 Model Domain Common Model …

계약 지급 대출 … BD1 BD2 BDn …

음성인식엔진을 학습시키는 비용이 저렴합니다

13

서버당 동시 60채널 지원

용량 산정 사례

IN – 35,400 상담 OUT – 65,000 상담

1일 처리 데이터 IN – 106,200 (분) OUT – 162,500 (분)

작업시간 8시간 30분 주기 처리

30분 주기 처리 데이터 IN – 6,637 (분) OUT – 10,156 (분)

산정 결과 사례

구분 일 평균 통화량 (Call)

평균 통화 (분)

1일 총 통화량

(시간)

서버당 처리용량(Call) (60CH X 8H)

필요 서버수 (식)

30% 여유율 (식)

최종 산정 서버 수

(식)

Inbound 35,400 3 1770.0 480 3.69 4.8 5

Outbound 65,000 2.5 2708.3 480 5.64 7.33 7

고처리 성능으로 대용량 처리를 효율적으로 지원합니다

Module B 텍스트분석 엔진

15

원천 데이터 텍스트 분석 데이터 모델링

기업내부

인터넷 상담

상담 메모

서신 민원

금감원/ 소비자원 민원

자연어처리 (Natural Language

Processing)

문장 분리

형태소 분석

개체명 인식 Named Entity

구문 분석

개체명 사전

사용자 형태소 사전

형태소 기본 사전

Taxonomy

L1 상품명

L2 불만내용

키워드

유사 키워드

문서#1

음성인식 학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

텍스트 전환

실시간 문서 요약 Summarization

요약 키워드 사전

고빈도 추출 (High frequency)

고빈도 단어

Risk Category

L1 리스크유형

L2 리스크명

시각화/활용

고객이탈 방지

리스크 관리

통합 모니터링

Sentiment

High Risk

Churn

데이터 마이닝 (Data Mining)

정형 데이터

딥러닝 학습 (Deep Learning)

비정형 데이터

데이터 결합 Data Association

키워드 빈도 (n-gram)

키워드 연관어 감성 및 지수

택소노미 리스크

고객 기준정보 계약 원장

거래 데이터

Output 자동분류, 감성

Feature Extractor

Classifier

Input Data, Label

Module B 텍스트분석엔진 (TA)

기본 텍스트마이닝 (Basic Text Mining)

고급 텍스트마이닝

(Advanced Text Mining)

빈도 분석 Frequency

연관어 분석 Related Words

Taxonomy 감성 분석 Sentiment

문서 요약 Summarization

문서 분류 Classification

감성사전

요약 키워드 사전

Hierarchical Multiple Dic.

16

기계학습 기반, 방대한 한국어 처리사전 내재화, 강력한 한국어 분석 엔진

분석모델

…

분석모델

Up/Cross Sell

Taxonomy

…

Taxonomy

불만유형

Taxonomy

해지원인

분석모델

고객 Seg.

분석모델ㅂ

민원 예측

TA (Text Analytics) 문서#1 (Call #1)

문서#1

NLP(자연어처리) 텍스트마이닝

문장분리

형태소분석

개체명인식

구문분석

문서 요약

문서 자동분류

감성 분석/피치 분석

빈도 / 연관어

택소노미/HMD 비정형

Data 분석

Taxonomy

상품분류

…

거래DB

상품DB

고객DB

분석모델

해지예측

활용 고객이탈 방지 대외민원 방지 고객 Segmentation 신규고객 발굴 …

분석결과

사용자사전

개체명사전

복합어사전

기본사전

감성사전

어휘통계모델

내부VOC

외부VOC

전화상담, 상담메모, 상담게시판, …

뉴스, 블로그, 트위터, 커뮤니티, …

자연어처리의 핵심인 형태소/개체명 인식에서 막강한 성능을 가지고 있습니다

17

VOC분석에 적합한 7단계 감성 분석 (고객 감성 중심) SNS분석에 적합한 21단계 세부감성분석

7단계~21단계 세부감성 분류엔진을 가지고 있습니다

Category Sentiment Index

긍정감정

감동 (Impression) 3

만족 (Satisfaction) 2

안심 (Relieved) 1

중립 중립 (Neutral) 0

부정감정

의심 (Doubt) -1

불만 (Complaint) -2

화남 (Anger) -3

18

문서별 문장별로 감성추이를 추적해서 고불만콜 특정콜을 탐지합니다

19

Raw Data (pcm)

Pitch 산정 위한 가공데이터

Spectrum Analyzer (저/중/고음)

Volume

최종판정

Pitch & Volume Data by Time

음성의 Volume / Pitch 분석을 추가해서 고정밀 감성분석이 가능합니다

20

A. 불만고객 유형

B. 불만원인

C. 불만영역

D. 불만행동 표출방법

E. 불만상품

F. 경제상황

극단형(N3) : 화남 적극형(N2) : 실망 소극형(N1) : 의심 중립형(N0) 불완전판매 : 사전

설명부실 FC에 대한 불만 상품 불만 서비스 불만

병원비 보장 지급 수술 시술 입원 진료 처방 초진 치료 통원 퇴원

항의전화 민원:금감원 보건복지부 소비자보호원 언론, 인터넷 고소고발

계약대출 대출횟수차감 대출가능여부 대출문의 대출원리금 대출이자 대출한도 중도인출 지연이자 추가대출

불만고객유형별 텍소노미 불만원인 불만영역 불만행동표출방법 상품 경제상황

병원비

극단형 (N3) :화남 불완전판매:사전설명부실 보장 항의전화 스마트변액CI통합보험 계약대출

적극형 (N2) :실망 FC에 대한 불만 지급 민원 :금감원 스마트변액통합보험 대추횟수차감

소극형(N1) :의심 상품 불만 수술 보건복지부 변액통합종신보험 대출가능여부

중립형(N0) 서비스 불만 시술 보험감독원 무배당마치라이프한안름종합보험 대출문의

입원 소비자보호원 한화손해 비갱신암보험 대출원리금

진료 언론, 인터넷 변액유니버셜CI통합보험 대출이자

처방 고소고발 어린이 변액연금보험 대출한도

초진 무배당 사랑&스마트변액통합보험 중도인출

치료 월지급변액CI통합보험 지연이자

통원 변액CI통합보험 추가대출

퇴원 플러스UP변액연금보험

Start변액연금보험

파워변액연금보험

V플러스변액연금보험

V-Dex변액연금보험

파워플랜변액적립보험

변액유니버셜적립보험

프리미엄변액유니버셜보험

체계적인 근본원인 분석트리가 제공됩니다

21

신용 카드 신청하시는 건으로 연락 주신 거죠 네 저희가 전화상으로 신용 카드 진행하는 거라 몇가지 소득 정보가 될 건데 통화 괜찮으시구요 네 말씀 하세요 본인 확인차 주민 번호 뒤의 일곱 자리로 확인 부탁 드리겠습니다 네 확인 감사합니다 신용 카드는 지금 현재 소득 정보 확인해봤는데요 네 근데 고객님 직장을 다니시거나 또는 개인 사업을 하시는 거 있으신가요 직장 다니고 있습니다 네 직장에서 직장 의료 보험 결제시구요 네 그렇습니다 아니 직장명은 어떻게 되십니까 마인즈 랩 아 그 카드 연회비가 국내용으로만 하면 팔천원 해외에서 만원 있는데 어떤 카드 어떤 걸로 해드릴까요 국내기 국내용으로 해주세요 네 국내용으로 해서 카드가 버스나 카드 기능 너 드릴까요 예 예 그럼요 화이트 러브 카드로 국내용으로 후불 교통 카드 기능 너 드릴 거 발급 받은 다음달에 카드 연회비 팔 천원 청구될 거구요 네 네 회사 주소랑 전화 번호 필요한데요 전화 번호 먼저 부탁드리겠습니다 전화 번호가요 공삼일 예 공삼일 육이오에 육백이십오에 사삼 사공 주소 부탁 드리겠습니다 카드는 고객님 본인 수령하세요 네 어디에서 수령하시겠습니까 직장이요 대왕 판교로 육백 육십 비동 십이 층으로요 예 이런 서비스내용과심 사항은 카드 나갈 때는 약관 안내장 설명서를 꼭 읽어 주시고 카드가 가게 되면 직장으로 발송되니까요 께서 수령하시고 서명 후 이용 부탁 드리구요 네

신용 카드 신청하시는 건으로 연락 주신 거죠 연회비가 국내용으로만 하면 팔천원 해외에서 만원 있는데 후불 교통 카드 기능 너 드릴 거 발급 받은 다음달에 카드 본인 수령하세요 약관 안내장 설명서를 꼭 읽어 주시고 카드가 가게 되면 서명 후 이용 부탁 드리구요

Summery목적 새로운 상품 구매시 상담원대응의 적절성 평가 신용카드 신청 시 상담원이 금감원 규정 고객고지 의무사항을 잘 지켰는지 점검가능

요약엔진은 목적별 카테고리별로 원문을 요약해줍니다

22

상품 증상 고객의견

테레비요, 테레비가 잘나오다가도 앞에 화면이 그냥 얼룩 덜룩 얼룩 덜룩

결과처리

화면이 안나오는 거는 아니고 화면이 뭐 얼룩 덜룩하게 그 모자이크, 화면이 안나오신다고 하셔서 기사 방문해서 수리를 받으신 적이

기사가 다시 한 번 고객님 방문해서 이 부분 확인을 도와드릴 , 기사가 방문을 해서요 다시 한 번 확인 하실 수 있도록 도와드릴게요

티비에 대한 설명이요, 울트라 에이치디 티비 대한 설명 잘 해 주셨는데

친절하게 설명 다 잘 해 주셨

티비수리비 때문에 전화했 , 삼십이인치 엘시디 티비 , 엑스캔버스요 그 액정이요

소리는 나오는데, 화면이 아예 안 나오죠

구매를 하지 않을까 싶어요

화면이 안 나와서 저희가 파워 보드라고 안내를 해 드렸고

돈이 많이 나오더라구요, 높으신 분 좀 전화 바꿔줘봐요, 높은 분 있으면 전화 좀 해주세요, 금액을 너무 많이 다 부담하라고 하면 안되죠

비용은 나오시는 게 맞거든요 , 책임자 연락 드리라고 하

요약엔진은 목적별 카테고리별로 원문을 요약해줍니다

23

a1

a2

a3

b3

b1

b2 c1

c3

c2

a b c

<발급> <이용> <해지>

a11 a12 …

MINDs Classifier

NLP 학습기 분류기

… … <법인> <개인>

기계학습 모델 적용

단일 분류 및 다중 분류

제공

STT 결과

자동분류 결과

자동분류엔진은 텍스트를 상담분류체계에 자동으로 매칭시켜줍니다

Module C 소셜 빅데이터

25 25

키워드 빈도, 채널, 위치 등 다양한 요소를 반영한 이슈 탐지

Ⅲ. 제안 내용

이슈탐지 기술 이슈탐지 시각화 예시

세부 모듈

NLP

중요도 분석

감성 분석

특장점

대상문서에 대한 고정밀 언어처리 문장분리, 형태소분석, 개체명 인식

키워드의 위치 정보와 채널간 전파 방향, 빈도의 변화 임계치, 키워드의 빈도 지속성 등을 이용하여 중요도 분석

키워드의 감성이 해당 기간 내에서 긍정적인지 부정적인지에 대한 분석

매일 주어진 데이터 소스에서 중요한 키워드를 자동으로 탐지

단순한 빈도 뿐만 아니라, 키워드가 유입된 채널, 키워드 위치 등을 파악하고 이를 통해 중요도

분석

탐지된 키워드에 대한 개체유형, 감성, 전일 대비 중요도 변화 정도 제공 가능

소셜빅데이터 분석 플랫폼이 제공됩니다

26 26

고객 관심사의 시각적 파악을 지원하는 연관어 분석

Ⅲ. 제안 내용

연관어 분석 기술 연관어 시각화 예시

특장점

동시에 한 문장 또는 한 문서에 출현한 키워드 집합을 추출하고, 이에 대한 개체 유형에 따라

연관어를 선택할 수 있음

2차 연관어 정보를 저장하며, 용언에 대한 연관 정보도 활용할 수 있도록 관리함

형태소 분석 개체명 인식

문장 단위 연관어 추출

문서 단위 연관어 추출

2차 연관어 추출

소셜빅데이터 분석 플랫폼의 다양한 기능이 제공됩니다

27

27

학습모델 및 패턴모델을 병용한 Risk 탐지 및 모니터링

Ⅲ. 제안 내용

Risk 탐지 모델

Risk 탐지

Risk 모니터링 및 활용

학습 대상문서 선정

학습대상 정보 생성

학습 검증

패턴 후보 선정 검증 패턴모델

원문 수집/전처리 언어분석 감성분석 Risk 자질 추출 Risk 탐지

Risk 자질 DB

Risk 유형 DB

Risk 히스토리 DB

이벤트 자질 빈도 자질 감성 자질 전파 자질 라이프사이클 자질

문장분리 형태소분석 개체명인식 복합명사인식 의존구문분석 관계분석

스팸 필터 성인물 필터 중복 필터

감성어휘 추출 감성강도 부여

상황요약 모니터링 히스토리 관리

활용 Risk대상 Risk이벤트/이유 감성 스펙트럼 빈도 추이

빈도 감성 스펙트럼 네트워크 분산 매체별 확산

자기학습 사례기반

검색 Alert

학습모델

27

고급 텍스트 마이닝 기법들이 제공됩니다

Module D 산업별 분석

29 29

Ⅲ. 제안 내용

C. Keyword 정제

E. Visualization 및 수정/보완 D. Data 수집 및 MI 작성

A. 활용목적 정의 B. 분석 View 및 Keyword 선정

P. 검증

경영이슈 해결을 위한 체계적인 소셜빅데이터 분석 방법론이 제공됩니다

30

Ⅲ. 제안 내용

M.I. (Market Intelligence): 경쟁 관계 분석

■해당 산업군/업종에 대한 시장 경쟁 구도 분석

■일자별, 시간별 경쟁 구도 현황 및 빈도별 추이 정보 제공

■뉴스, 블로그, 트위터 별 분류 분석 가능

■경쟁 기업/브랜드 별 소비자 인식 분석 통한 마케팅 전략 활

용

■해당 분석 정보 엑셀 다운로드 제공

사람들이 말하는 기업/브랜드 경쟁구도

경쟁 빈도

■기업/브랜드 간 경쟁빈도가 강할수록 붉은 색으로 표시되며,

사람들이 실제적으로 가장 활발하게 언급하는 경쟁 구도를 보여줌

30

산업별 분석 View와 탐지키워드가 내장되어 있습니다

31

Ⅲ. 제안 내용

M.I. (Market Intelligence): 산업 동향 분석

■가입 고객사 정보를 기반으로 해당 산업군/업종에서의

해당 기업/브랜드별 실질적 소비자 인식 위치 파악이 가능

■산업 연관어 분석, 구매 채널별 비중 분석, 구매 채널 언급량 추

이,

구매 채널 언급비중 추이 분석, 브랜드별 감성 분석,

산업 이슈 제품군 언급량&언급비중 변화 추이 분석 제공

■해당 산업군/업종에서의 핵심 키워드별 분류/선별 분석이

가능해, 자사 브랜드의 업종 특징별 동향을 쉽게 파악

■뉴스, 블로그, 트위터 별 분류 분석 가능

■일자별, 시간별 경쟁 구도 현황 및 빈도별 추이 정보 제공

■경쟁 기업/브랜드 별 소비자 인식 분석 통한 마케팅 전략 활용

■해당 기업/브랜드 언급 분석 매체별 원문 보기 제공

■해당 분석 정보 엑셀 다운로드 제공

<산업 이슈 변화 추이 – 제품군 언급량>

해당 산업군/업종에서 우리의 위치는?

31

산업별 분석 View와 탐지키워드가 내장되어 있습니다

32

Ⅲ. 제안 내용

<연관어> <소비 채널 언급비중 추이> <소비 채널 언급량 추이>

<소비 채널 비중> <브랜드별 감성> <제품군 언급비중>

32

산업별 분석 View와 탐지키워드가 내장되어 있습니다

33

Ⅲ. 제안 내용

M.I. (Market Intelligence): 업 관련 고객 행태 분석 자사/경쟁 브랜드별 고객군은 누구?

■고객사/브랜드 관련 고객군(성별) 분석과 군별 언급량 분석

으로

실제 소비자들의 성별 브랜드 인식 비중과 원문 통한 원인

파악

■뉴스, 블로그, 트위터 별 고객군 분류 분석 가능

■일자별, 시간별 관련 고객군 연급 변화 추이 정보 제공

■해당 분석 정보 엑셀 다운로드 제공

■자사 및 경쟁 기업/브랜드 제품별 고객군 언급 분포 비교

분석

33

산업별 분석 View와 탐지키워드가 내장되어 있습니다

34

Ⅲ. 제안 내용

M.I. (Market Intelligence): 자사 평판 분석 고객이 바라보는 장단점과 이미지는?

■고객사/브랜드 관련 산출된 효과성 연관 핵심 키워드별

자사제품과 경쟁사 제품의 비교 분석 지표를 파악, 약점 보완 및

강점 강화의 제품 경쟁력 및 효과적 마케팅 전략 구축 활용

■브랜드 효과성, 브랜드 신뢰성, 브랜드 세부 제품군 이미지의

다각적 평판 분석과 분석 방법별 관련 핵심 키워드별 추이 제공

■해당 분석 정보 엑셀 다운로드 제공

■뉴스/블로그/트위터별, 일자별 분류 분석 제공

<브랜드 신뢰성 분석> 신뢰성 연관 핵심 키워드별 자사/경쟁사 제품 소비자 인식 분석

<브랜드 세부 제품군 이미지 분석> 제품군 연관 핵심 키워드별

소비자 인식 분석

34

산업별 분석 View와 탐지키워드가 내장되어 있습니다

35

Ⅲ. 제안 내용

35

기간: 2014.01.01~2015.01.18

Facebook Fan 추이

현재 280,366(2015.1.18 기준)명의 팬이 있으며 2014.1.1부터 지금까지 신한카드 팬수는 75,213명(36.66%)이 증가

꾸준한 증가를 보이다 2014.12.25일부터 현재까지 증가 없이 지속적인 감소를 보임

페이스북 등 폐쇄형 SNS 분석도 지원합니다

Module E 결과 데이터 분석 / 시각화

37

RDB Hadoop

분석결과는 RDB나 Hadoop 등 원하는 형태로 저장됩니다

38

POS/Log/교통/위치/결제/통신 데이터 분석

소스 데이터 데이터 처리 활용

Beacong 등 로그데이터

위치 정보 (3G/4G/Wi-Fi)

교통/위치 분석

결제/통신 분석

유동인구 흐름

상범 및 상권 변동

교통 흐름

관광 인구 변동

가족소비정보 처리

기상정보 분석

카드결제 정보처리

통신사 이용

Brand & Competitive

Analysis

Market Research

Customer Segmentation

Marketing Measurement

Influencer Marketing

Customer Support

New Product Development

…

Analyzed Big Data

관리도구

페이스북/인스타그램 리포팅

POS

음성분석 텍스트분석

감성 분석

이슈 군집분석

어휘 중요도 분석

연관어 분석

Social Big Data Analysis

소셜분석

경쟁환경 / 브랜드 이미지

업의 이슈 흐름

마켓 /소비자 트렌드

기준정보 관리 원천데이터 관리 운영 관리

Fan Post Interaction ER …

결과 구조화

Power User

시각화

활용 목적 정의

End User

관점/키워드 검토

시각화 요소 검토

시각화 구현

대시보드 구성

모니터링

예측

경보

…

Analysis Model

Internal Structured Data

활용목적 別 정제 Data

이벤트/리스크 분석

POS/Log분석 웹 로그 분석

모바일 로그 분석

ERP 분석 BI 분석

비콘 로그 분석 결제 정보

(내국인/외국인)

상점 정보 (전화번호/위치)

이용정보 (TV/Navi)

기상 정보

교통 정보

관광 정보

가족소비 정보

고객 정보

상품/서비스 정보

거래 정보

…ㅋ

뉴스

블로그

트위터

…

이용행태 정보

상권분석 정보

유동인구 정보

내부

외부 통신사

외부 공공

외부 통신사

외부 소셜

학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

POS 데이터 분석

통합 Big Data Architecture를 지원합니다

39

BI Tool을 활용한 시각화

BI Tool / Web 개발 등 다양한 시각화를 지원합니다

40

‘R’ 등 각종 통계분석모듈을 활용한 분석모델과 통합됩니다

41

비용 효과성

도입 비용 (Acquisition Costs)

효율적인 학습체계를 통한 비용 절감

학습 데이터 구축방식 용이성 및 효율성

음향모델 학습을 위한 텍스트(형태소)분석 및 발음변환(G2P:Grapheme to Phoneme) 자동화

외산 엔진 대비 저렴한 도입 비용

유지관리 비용 (Maintenance Costs)

음성인식 성능 유지

새로운 상품/어휘 발생시 빠른 유지보수

신조어 학습 시 비용효과성

텍스트 분석 전문 도구 지원

새로운 언어현상 조기탐지 및 언어모델 구축 피드백

외산 엔진 대비 저렴한 유지보수 비용

다양한 도입 프로그램 제공

고객 상황 및 요구에 따라 구매, 리스, 임대 등 다양한 도입 프로그램 제공

다양한 검토를 통해 도입 필요성을 인지하고 및 명확한 목표(기대효과)를 설정한 후, 충분한 예산을 확보한 고객의 경우 구매를 통한 도입 추천

다양한 검토를 거쳐 필요성 및 목표를 명확히 했으나 충분한 예산을 확보하지 못한 고객의 경우 리스를 통한 도입 추천

충분한 검토가 미흡하거나 예산확보가 여의치 않은 고객의 경우 임대를 통한 도입 추천

i-VOC 특징

최고의 가격 대비 성능

고객 상황에 따른 다양한 도입 프로그램 제공

프로젝트 ROI를 최대화할 수 있습니다

Module X 관리도구 및 UX/UI

43

Main 화면

44 44

Ⅲ. 제안 내용

목적에 맞는 활용을 위한

정밀하고 편리한 관리기능 제공

사전 관리

형태소, 개체명, 구문분석, 감성, 이형태 사정 관리기능 제공

텍스트 분석 정확도 향상 및 특정 도메인에 사용되는 어휘가 분석에 반영되도록 지원

세종계획에 따라 개발된 20년 간의 ETRI 언어처리 지식 및 경험 반영

담당자별 역할 및 권한 제어를 통해 협업 지원

운영 관리

텍스트 분석 과정 모니터링 기능 제공

분석 배제를 위한 스팸 키워드 관리 기능 제공

개인정보보호를 위한 개인정보 패턴 관리기능 제공

Taxonomy 관리

VOC 분석 목적을 위한 키워드 및 키워드집합에 대한 분류 기준 역할

계층적 Taxonomy 관리, 데이터 일괄 생성 및 다운로드 기능 제공

사용자 추가/수정/삭제 기능 제공

사용자 중심의 사전 및 운영관리 도구가 제공됩니다

45

나. ETRI 언어처리 기술이 반영된 검증된 Taxonomy 적용

Ⅲ. 제안 내용

역할 및 주요기능 화면 예시

역할 및

특장점

주

요

기

능

텍스트 분석 정확도 향상 및 특정 도메인에 사용되는 어휘가 분석에 반영되도록 지원

세종계획에 따라 개발된 언어자원과 30년 간의 ETRI 언어처리 지식 및 경험 반영

담당자별 역할 및 권한 제어를 통해 협업 지원

형태소분석사전

분석 대상 문서를 의미를 가진 최소 단위인 형태소로 분할 및 품사 태깅 시 활용

개체명사전 인명, 기관명, 장소, 제품 등 다양한 분야에

속한 개체명을 인식 및 태깅 시 활용

구문분석 사전

의존관계, 꾸밈관계 등 문장 구성요소 간의 관계 인식 및 관계 정보 태깅 시 활용

감성사전 감동, 감사, 좋아함, 기쁨, 실망, 슬픔, 화남

등 20개 세부감성 인식 및 감성 태깅 시 활용

이형태사전 동의어 인식 및 원형 복원 시 활용

<전체적인 UI>

좌측 트리 구조의 메뉴를 통해 형태소분석, 구문분석, 개체명인식, 감성분석, 이형태 등 사전에 접근하거나 검색을 통해 사전에 접근하여 추가/수정/삭제 작업 수행

<형태소 사전>

형태소 분석 사전 항목 추가/수정/삭제

46

나. ETRI 언어처리 기술이 반영된 검증된 Taxonomy 적용

Ⅲ. 제안 내용

화면 예시 (계속)

<구문분석 사전>

구문분석 사전 항목 추가/수정/삭제

개체명 사전 항목 추가/수정/삭제 (기본사전 외에 전처리 및 후처리 사전 지원)

<개체명 사전>

<감성분석 사전>

감성분석 사전 항목 추가/수정/삭제 (세부 감성별 Weight값 설정 제공)

<이형태 사전>

이형태 사전 항목 추가/수정/삭제 (개체명, 형태소 사전 동시 추가 가능)

47

다. 다양한 분석목적을 지원하는 유연한 사전 및 Taxonomy 관리

Ⅲ. 제안 내용

화면 예시

- 분석관점에 따른 분류 및 분류별 키워드(Taxonomy) 정의

- 계층적 관리가 가능하고, 특정 분류에 대한 많은 키워드를 동시에 업로드 가능함

- 키워드 등록 시에, 분석 키워드와 연계를 통해 키워드 추천 및 의미 없는 키워드 등록 사전 차단 가능

- Taxonomy 데이터 일괄 생성 및 다운로드 기능

Taxonomy 관리 사용자 등록/수정/삭제

역할 및 주요기능

기본사전

형태소분석사전

개체명사전 구문분석

사전

감성사전 이형태사전

텍스트 분석 엔진

Taxonomy

a1 b2 b3

<예금> <대출>

a11 a12 … … … <단순문의> <정보변경> <이자불만>

분석 대상 VOC

a1

a2

a3

b3

b1 b2 c1

c3

c2

VOC 분석 목적을 위한 키워드 및 키워드집합에 대한

분류 기준 역할

(은행업 및 신한은행에 특화된 분석체계 지원)

<Taxonomy 관리>

<데이터 생성>

<사용자 관리>

48

라. 효율적인 관리·운영을 지원하는 분석 모니터링

Ⅲ. 제안 내용

역할 및 주요기능 화면 예시

역할 및

특장점

텍스트 분석 과정, 문서 필터링을 위한 키워드 관리, 개인정보 비식별화를 위한 지식 관리

주

요

기

능

텍스트 분석 모니터링

기간별 분석 대상 문서의 입력 건수, 최종 분석 건수 및 분석 성공 여부를 조회하거나, 재분석 실행을 요청함

문서 필터링 키워드 관리

분석 배제 문서를 필터링 하기 위한 스팸 키워드 추가/삭제/수정 관리

개인정보 필터링

키워드 관리

전화번호, 이메일, 주민번호 등 개인을 특정할 수 있는 내용에 대해서, 키워드 및 정규표현에 기반하여 마스킹할 수 있는 정보 추가/삭제/수정 관리

<분석 모니터링 관리>

<문서 필터링 키워드>

<개인정보 비식별화 키워드>

- 텍스트 분석 과정 모니터링

- 분석 배제 스팸 키워드(도박, 성인정보, 업무와 연관성 없는 키워드 등) 관리

- 개인정보 마스킹을 위한 패턴 관리

- 정규표현식 사용을 통한 다양한 패턴 커버

49

상담효율화 솔루션 화면 – 키워드 관리

Keyword Set을 구성하는 키워드관리

1. 키워드관리는 사용유무,유형,등록기간에 따른 대표 키워드를 조회한다.

2. 키워드는 대표키워드,유형,사용유무,등록일,등록자를 저장한다.

3. ‘엑셀업로드’기능으로 엑셀로 대표 키워드를 작성하여 일괄 저장한다.

4. 선택된 대표키워드에 대한 ‘유사어등록’ 버튼을 통해 팝업화면에서 유사어를 등록한다.

5. ‘신규’버튼으로 초기화하여 새로운 키워드를 저장한다.

6. 등록된 대표 키워드를 선택하여 유형,대표키워드,사용유무를 수정한다.

7. 등록된 대표 키워드를 선택하면 우측에 선택된 대표 키워드에 대한 등록된 유사 키워드가 조회된다.

50

상담효율화 솔루션 화면 – 유사 키워드 관리

대표 키워드에 대한 유사 키워드관리

1. 선택된 대표 키워드에 대한 유사키워드를 조회한다.

2. 기능으로 유사 키워드를 등록,삭제한다.

3. 엑셀로 유사키워드 작성 후 ‘엑셀업로드’기능으로 일괄 등록한다.

4. 추가된 그리드 내용을 확인 후 ‘저장＇한다.

* KWS(Keyword Spotting)

51

상담효율화 솔루션 화면 – 키워드 셋 관리

평가표,캠페인을 매칭한 키워드 셋 구성

1. 기간별로 등록된 키워드 셋 정보를 조회한다.

2. 하단 키워드 등록된 키워드 셋 목록을 선택하면 키워드 셋 구성 정보를 확인한다.

3. ‘신규’버튼으로 초기화하여 기 등록된 키워드 목록에서 ◀▶로 키워드를 이동하여 구성한다. 기 등록된 목록에 없을 경우 ‘키워드등록’버튼 클릭하여 키워드관리에서 등록한다. 키워드 구성 후 연결정보 ‘찾기’로 키워드 셋과 연결할 평가표 및 캠페인 정보를 선택한다.

4. ‘엑셀업로드’버튼으로 엑셀로 키워드 셋의 키워드를 작성하여 업로드 한다.

5. 신규 작성 후 ‘저장’버튼으로 유사어가 포함된 신규 키워드 셋 파일이 생성되며, 특정 디렉터리로 전송되어 적용된다.

6. 기 등록된 키워드 셋 정보는 수정하여 ‘저장＇하면 기존 키워드 셋 파일이 변경되어 전송된다.

* KWS(Keyword Spotting)

52

상담효율화 솔루션 화면 - 모니터링 - 규정준수

1. 평가표에 대해 KWS결과를 심각 정도에 따라 분류하여 점유율을 표기한다.

2. 소속,상담사 기준으로 평가분류에 대한 규정준수 율을 표기하고 준수 율 심각 정도에 따라 필터 링 하여 모니터링 한다.

3. 조회된 결과 내용을 ‘추출’버튼으로 엑셀로 다운로드 한다.

4. 평가 분류에 따라 규정준수의 심각 영역을 spiderweb chart로 표기한다.

5. 조회된 상담사 클릭 시 팝업 창에 상담사에 대한 KWS결과를 상세 조회한다.

(상담사-키워드 셋-키워드-준수 율)

6. 조회된 평가항목 클릭 시 팝업 창에 평가항목에 대한 KWS결과를 상세 조회한다.

(키워드 셋-키워드-준수 율)

규정준수에 대한 KWS결과 모니터링

53

상담효율화 솔루션 화면 - 캠페인

캠페인에 대한 KWS결과 모니터링

1. 캠페인, 소속에 대해 결과를 조회한다.

2. 상담사에 대해 준수 율을 조회하고, 심각 기준에 따라 색 표시 및 필터 링 기능이 제공된다.

3. 조회된 결과 내용을 ‘추출’버튼으로 엑셀로 다운로드 한다.

4. 정렬기준으로 캠페인 별, 소속 별로 조회한다.

5. 정렬기준으로 규정준수 율을 막대그래프로 표기한다.

6. 상담사별 총 통화건수에 대한 준수 율 확인이 가능하며, 클릭 시 팝업 창에 상담사 별 KWS결과를 상세 조회한다.

(상담사-키워드 셋-키워드-준수 율)

7. 캠페인 클릭 시 팝업 창에 캠페인에 대한 KWS결과를 상세 조회한다.

(캠페인-키워드 셋-키워드-준수 율)

54

상담효율화 솔루션 화면 – Taxonomy 관리

상세분석을 위한 Taxonomy 관리

1. Taxonomy항목은 Tree형태로 고정레벨 없이 자유롭게 등록한다.

2. 선택된 항목에 대한 동의어등록, 분기여부, 사용여부를 관리한다.

3. 동의어 등록 시 참고로 ‘키워드조회’을 통해 고 빈도 키워드를 검색 가능하다.

4. 하위레벨 추가 시 분기여부를 ‘예’로 변경하면 하위레벨 추가가 가능하다.

5. 시뮬레이션은 채널 및 적용기간을 선택하여 ‘실행’하면 등록된 Taxonomy를 기준으로 적용기간만큼 분석결과데이터가 생성된다.

6. 결과데이터는 버튼으로 엑셀형태로 다운받을 수 있다.

7. ‘엑셀업로드’를 통해 Taxonomy를 일괄 등록 가능하다.

8. Taxonomy별 버전관리 또는 권한관리는 추후 재 협의한다.

55

상담유형 보고서

상담유형을 분류하고 이에 대한 보고서와 모니터링 제공

유형별 빈도 및 추이 유형별 통게 보고서

56

표준 Script 등록/관리/검출 자동화

규정준수 Keyword등록 및 모니터링 자동화

규정 준수 관리 모니터링

• 평가표 항목에 따른 중요 키워드 등록

• 업무별 평가표의 유형에 따라 관리

• 평가표 별 등록된 키워드를 분석하여 상.중.하 로 표기

• 문제 콜(붉은색) 모니터링 가능

57

사용자 중심의 메뉴와 시각화차트가 제공됩니다

1. 리스크 감지

고객의 불만유형/경쟁사/상품별 집계, 키워드별 발현 건수와 추이를 확인해서 Issue rising 키워드를 도출하고 이시기에 많이 발생

한 다른 키워드를 통하여 이슈화 된 원인을 추정할 수 있습니다.

리스크 감지

[불만유형별]

[경쟁사별]

[상품별]

2. VOC분석 / 불만유형

2. VOC분석 / 경쟁사 대비

2. VOC분석 / 상품 유형별

3. VOC분석 / 감성분석

또한 상담내용에서 고객의 감성을 추출하여 보고되지 않은 민원이나 불만족 상황을 빠르고 보다 정확하게 감지하여 고객 서비스를

개선하고 고객 이탈 방지와 대응 프로세스 개선의 기준자료로 활용이 가능 합니다. 더 나아가 제품에 대한 고객의 직접적인 긍, 부

정 언급도 확인 할 수 있습니다.

감성 분석

3. VOC분석 / 리스크 감지

연관어 분석을 통해 특정상품과 같이 언급되는 내용을 매트릭스 형식으로 보여줌으로써 (Heat Map) 서로 상관도가 높은 키워드를

도출 할 수 있습니다.

상품 속성

3. VOC분석 / 리스크 감지

상품별 소득과 비용의 데이터를 집계하여 분기별 결과를 도출 할 수 있습니다. 이는 상품별 키워드 발현 빈도, 감성비율, 상품속성의

분석과 연계하여 잠재 리스크 파악의 목적을 가지며, 분기별 소득 정보를 가시적으로 제공합니다.

분기별 결과

3. VOC분석 / 리스크 감지

지역별 상품 구매 분포도와 불만 분포도를 지도 차트를 통하여 쉽게 분석 가능합니다.

리스크 감지

[불만유형별] [상품별]

4. 트렌드 / 키워드 분석

현재 빈도수가 높은 키워드를 추출해서 보여줍니다. 통화내용 중 고객이 어떤 말을 많이 남기는지 (상품, 문의, 불만 등) 를 확인 할

수 있으며, 이를 통해 상담이력에서 찾을 수 없는 핫이슈에 빠르게 접근하고 대처할 수 있습니다.

트렌드 분석

4. 트렌드 / 키워드 분석

트랜드에서 검출된 키워드 혹은 기획중인 상품에 대한 일자 별 발현 빈도를 확인 하실 수 있습니다. 급상승 키워드확인으로 고객의

관심사를 파악하여 보다 빠른 상품 기획으로 시장을 선점할 수 있으며, 경쟁사의 움직임을 파악하고 이에 대응 할 수 있습니다.

키워드 검색

4. 트렌드 / 키워드 분석

트랜드에서 검출된 키워드 혹은 기획중인 상품에 대한 키워드로 연관어 분석이 가능합니다. 키워드간의 연관성을 파악하여 새로운

분석 카테고리를 제공합니다.

키워드 검색

5. QA 효율성

조직 별 상담사의 스트레스 상태를 확인하고, 생산성/클레임/품질/자가진단 카테고리의 콜 분포도를 함께 분석함으로써 QA 업무

효율을 높여줍니다.

상담사 스트레스

5. QA 효율성

상담사 별 QA평가와 더불어 전체 상담사 대비 본인의 스트레스 지수 및 민원성 상담개수 등을 확인 할 수 있습니다. 보다 객관적이

고 빠르게 상담사 개별 코칭 시점을 파악하고 효과적으로 대응 할 수 있습니다.

상담사별 실적 및 스트레스 지수

5. QA 효율성

지금까지의 QA는 Sampling에 의한 검수가 이루어짐으로써 객관성이 떨어지고 중요 포인트의 누락을 피할 수 없습니다.

적은 Resource로 전체의 콜을 검수할 수 있어 시간 및 비용 절감은 물론 효율성까지 높일 수 있고, 상담 스크립트의 규정사항 준수

여부도 빠르고 정확하게 확인 할 수 있습니다.

규정 준수 여부 전수 검수

6. 감성 분석

전체 콜에 대한 감성(세부 감성) 비율, 일자 별 감성 추이의 정보를 제공합니다. 메시지의 콜 정보를 추출하고, 해당하는 녹취 리스

트(혹은 플레이어)와 연계되므로 쉽게 긍/부정으로 분석되는 콜에 접근, 활용할 수 있습니다.

감성 분석

6. 잠재유형 분석

IVR과 연동하여 상담사 직접연결 콜에 대한 정보를 제공합니다. 이는 잠재유형으로 파악되는 상담 분류 및 키워드를 도출하여 IVR

시나리오 개선에 이용될 수 있습니다.

IVR 상담사 직접 연결 분석

6. 잠재유형 분석

‘기타’로 분류되는 상담이력을 잠재적 유형으로 판단, 분석하여 프로세스 개선 및 오상담 코칭 대상으로 쉽게 도출합니다.

상담 유형 분석

7. 운영 관리

STT 엔진의 운영관리를 화면에서 손쉽게 수행하므로 인식률 및 데이터 분석의 적확성을 증대시킬 수 있습니다.

운영관리

[Taxonomy] [개체명인식]

[감성사전] [키워드통계]

Copyright © 2015 Minds Lab. All rights reserved

463-100, 12F, U-Space 1-B, 660, Daewangpangyo-ro, Bundang-gu, Seongnam-si, Gyeonggi-do, Korea T.031-625-4340 F.031-625-4119 | www.mindslab.co.kr www.mindsinsight.co.kr

No part of this publication may be circulated, quoted, or reproduced for distribution outside the client organization without prior written approval.

Big Data and Machine Learning

The next frontier for innovation, competition, and productivity