마인즈랩소개자료 20150616

81
Big Data & Machine Learning 기업 ㈜마인즈랩 소개서 2015. 06 www.mindsinsight.co.kr

Upload: taejoon-yoo

Post on 13-Aug-2015

387 views

Category:

Business


8 download

TRANSCRIPT

Page 1: 마인즈랩소개자료 20150616

Big Data & Machine Learning 기업

㈜마인즈랩 소개서

2015. 06

www.mindsinsight.co.kr

Page 2: 마인즈랩소개자료 20150616

CONTENT

1. Overview

2. Big Data Engine & Solutions

3. Services

Page 3: 마인즈랩소개자료 20150616

㈜마인즈랩 일반 현황

회사명 마인즈랩 대표자명 유태준

기술용역 등록분야 데이터베이스 및 온라인정보 제공업

주소 Head office: 대전광역시 유성구 가정북로 96, 307(장동, 대전경제통상진흥원) Office: 경기도 성남시 분당구 대왕판교로 660

연락처 전화번호 : 031-625-4340

회사 설립연도 2014. 1. 1 인원현황 15

주요사업분야 (주요사업순서대로)

빅데이터 분석 웹서비스, 빅데이터 분석 솔루션, 빅데이터 분석 리포트

본프로젝트 관련 부분 사업기간 1년 1개월

본프로젝트 관련 매출액 (단위:백만원)

116

당행 프로젝트 수행사례 N/A

구분 기술 분석/컨설팅 영업/관리 지원/기타 Total

특급기술자 1 1 1 1 4

고급기술자 1 1 2

중급기술자 2 - - 1 3

초급기술자 2 - - 1 3

합계 6 2 1 3 12

Page 4: 마인즈랩소개자료 20150616

4

㈜마인즈랩 주요 연혁

□ 2015. 6. 강원 창조경제 혁신센터 빅데이터 파트너기업 협약 체결

□ 2015. 5. 스타벅스 코리아 빅데이터 마스터플랜 프로젝트 수주

□ 2014. 12. 한화생명 빅데이터 Assessment 수행 POC수주

□ 2014. 12. MINDs Seminar II 성과창출의 New Agenda 빅데이터로 찾아내는 고객의 소리

□ 2014. 9. 한국환경정책평가연구원 보도자료를 활용한 우리나라 과거 기후변화 관측영향 자료구축 및 분석

□ 2014. 7. 미래창조과학부 국가연구개발 우수성과 100선 선정

□ 2014. 7. 덴츠코리아 소셜빅데이터를 통한 토요타 캠리 KBF 분석 수주

□ 2014. 7. HS애드 LG전자 페이스북 분석리포트 용역 수주

□ 2014. 7. 통합 VOC 분석 솔루션(i-VOC) 출시

□ 2014. 6. 식품의약품안전처(한국환경건강연구소) 소셜빅데이터를 통한 유해물질 분석 수주

□ 2014. 6. 신한카드 VOC 분석 POC 프로젝트

□ 2014. 6. 문화방송 소셜빅데이터를 통한 트렌드 분석 수주

□ 2014. 5. MINDs Seminar I 빅데이터로 풀어내는 리얼타임 마켓센싱

□ 2014. 5. 엑소브레인 2차 년도 과제 착수

□ 2014. 4. 한국환경정책평가연구원 빅데이터를 활용한 환경분야 정책수요 분석 용역 수주

□ 2014. 4. 산업별 마켓 인텔리전스 서비스(MINDS MI) 출시

□ 2014. 2. 한국전자통신연구원 1실 1기업 기술지원 기업 인정

□ 2014. 2. 미래창조과학부 지정 연구소기업 등록

□ 2014. 1. 소셜빅데이터 분석 플랫폼 서비스(MINDs Insight) 개시

□ 2014. 1. ㈜마인즈랩 설립

Page 5: 마인즈랩소개자료 20150616

5

㈜마인즈랩 주요 연혁

마인즈랩은 앞선 기술과 비즈니스 역량을 보유한 구성원이 참여하여 설립한 미래창조과학부 지정 연구소기업으로서 고객의 소리 분석을 통한 가치 제공을 위해 노력하고 있습니다.

ETRI와 지속적 연구 협력 개발 및 협업을 통한 기술 고도화와 전문적 insights 협력 강화 통한

차별화된 빅데이터 분석 정보 제공

Consulting Insight 협력 파트너

핵심 기술 협력 파트너

서비스 협력 파트너

Page 6: 마인즈랩소개자료 20150616

6

㈜마인즈랩 국가 중장기 연구과제 엑소브레인 참여기업

엑소브레인 연구 과제 참여기업

엑소브레인 과제는 ‘세계 최고인공지능 기술 선도’라는 비전을 달성하기 위하여 미래창조과학부 소프트웨어 분야의 국가 혁신기술 개발형 R&D 과제임. 과제의 목표는 ‘자연어를 이해하여 지식을 자가학습하며, 전문직종에 취업 가능 수준의 인간과 기계의 지식소통이 가능한 지식과 지능이 진화하는 SW’인 엑소브레인 SW를 개발하는 것으로 현재 엑소브레인 연구 과제 참여기업으로 연구중임.

< 단계별 연구목표와 연구결과 >

엑소브레인 SW개발 프로젝트 마인즈랩 공동 참여

< 세부과제별 역할 >

< 관련기사>

< 지능진화형 WiseQA 개념도>

Page 7: 마인즈랩소개자료 20150616

7

㈜마인즈랩 미래창조과학부 연구소기업

미래창조과학부 지정 연구소 기업으로서 국가연구개발 우수성과 100선 선정 되었습니다.

Page 8: 마인즈랩소개자료 20150616

8

㈜마인즈랩 한국전자통신연구원 기술이전 사업화 성공기업

미래창조과학부 지정 연구소 기업으로서 국책연구기관인 한국전자통신연구원(ETRI*)과의 협력관계 유지하

고 있습니다. (ETRI 출자)

*ETRI : Electronics and Telecommunications Research Institute

Page 9: 마인즈랩소개자료 20150616

9

마인즈랩 조직체계

총 : 15명 (2015년 1월 기준)

Insight컨설팅팀

대표

분석기술팀 영업팀

대표이사

Page 10: 마인즈랩소개자료 20150616

- 10 -

마인즈랩 핵심 보유 역량

음성인식

(Voice Recognition)

텍스트분석

(Text Analytics)

빅데이터 분석 및

컨설팅 서비스

(Analytics & Consulting Service)

마켓 인텔리전스

(Market Intelligence : Ready-made market sensing tool via Social Big Data)

기계학습 (Machine Learning)

Page 11: 마인즈랩소개자료 20150616

POS/Log/교통/위치/결제/통신 데이터 분석

소스 데이터 데이터 처리 활용

Beacong 등 로그데이터

위치 정보 (3G/4G/Wi-Fi)

교통/위치 분석

결제/통신 분석

유동인구 흐름

상범 및 상권 변동

교통 흐름

관광 인구 변동

가족소비정보 처리

기상정보 분석

카드결제 정보처리

통신사 이용

Brand & Competitive

Analysis

Market Research

Customer Segmentation

Marketing Measurement

Influencer Marketing

Customer Support

New Product Development

마인즈랩의 Big Data Architecture

Analyzed Big Data

관리도구

페이스북/인스타그램 리포팅

POS

음성분석 텍스트분석

감성 분석

이슈 군집분석

어휘 중요도 분석

연관어 분석

Social Big Data Analysis

소셜분석

경쟁환경 / 브랜드 이미지

업의 이슈 흐름

마켓 /소비자 트렌드

기준정보 관리 원천데이터 관리 운영 관리

Fan Post Interaction ER …

결과 구조화

Power User

시각화

활용 목적 정의

End User

관점/키워드 검토

시각화 요소 검토

시각화 구현

대시보드 구성

모니터링

예측

경보

Analysis Model

Internal Structured Data

활용목적 別 정제 Data

이벤트/리스크 분석

POS/Log분석 웹 로그 분석

모바일 로그 분석

ERP 분석 BI 분석

비콘 로그 분석 결제 정보

(내국인/외국인)

상점 정보 (전화번호/위치)

이용정보 (TV/Navi)

기상 정보

교통 정보

관광 정보

가족소비 정보

고객 정보

상품/서비스 정보

거래 정보

…ㅋ

뉴스

블로그

트위터

이용행태 정보

상권분석 정보

유동인구 정보

내부

외부 통신사

외부 공공

외부 통신사

외부 소셜

학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

POS 데이터 분석

Page 12: 마인즈랩소개자료 20150616

CONTENT

1. Overview

2. Big Data Engine & Solutions

3. Services

Page 13: 마인즈랩소개자료 20150616

Application Architecture & Key Features 기업내부 기업외부

내부 VOC 분석

소스 데이터 음성인식/텍스트 분석 활용

기업내부

기업외부

인터넷 상담

상담 메모

서신 민원

금감원/ 소비자원 민원

뉴스

블로그

트위터

페이스북

언어분석 텍스트마이닝 문장분리

형태소분석

개체명인식

구문분석

감성 분석

내용기반 자동분류

이슈 군집분석

어휘 중요도 분석

연관어 분석

고객이탈 방지

리스크 관리

고객 Segmentation

서비스 개선

신규고객 발굴

잠재VIP 고객 발굴

신상품 개발

Document

Sentiment

Keyword

Taxonomy

Analyzed VOC Data

관리도구

페이스북 리포팅

전화 상담

언어분석 텍스트마이닝 문장분리

형태소분석

개체명인식

구문분석

감성 분석

이슈 군집분석

어휘 중요도 분석

연관어 분석

외부 VOC 분석

Market Intelligence

활용 목적 정의

분석 관점/키워드 정의

데이터 수집/검증

사전 관리 Taxonomy 관리 운영 관리

Fan Post Interaction ER …

Analyzed VOC Data

Power User

시각화

활용 목적 정의

End User

관점/키워드 검토

시각화 요소 검토

시각화 구현

대시보드 구성

모니터링

예측

경보

Document

Sentiment

Keyword

Taxonomy

Analysis Model

Internal Structured Data

활용목적 別 정제 VOC

Data Analyzed

Data Feeding

Raw Data Feeding

이벤트/리스크 분석

음성인식 학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

7

3

1

4 2

6

9

14

12

5

8

10 11

15

13

16

17

Page 14: 마인즈랩소개자료 20150616

Module A 음성인식엔진

Page 15: 마인즈랩소개자료 20150616

15

1. 최고 수준의 한국어 음성인식율

최신버전 엔진으로 H생명에서 테스트한 결과, Full Text Dictation STT 인식율은 키워드 기준 89.5%, Key Word Spotting 인식율은 92.1%를 기록.

舊버전 100시간 학습

인식률

新버전 100시간 학습

70.9%

76.7%

STT 新버전(DNN)

STT 어휘기준

STT 음절기준

STT 키워드기준

STT 舊버전

300시간 학습 2채널 분리

Live System

95%

2015년 9월 또 다른 버전 업그레이드 예정

(매 6개월 주기)

80.81%

89.5%

77.3%

KWS 92.1%

Page 16: 마인즈랩소개자료 20150616

16

택소노미 작업 결과를 키워드 목록에 반영

분류체계 (Taxonomy)

키워드 목록

Call #0001

성별 남

연령 40대

직업 자영업

대분류 포인트

중분류 포인트미적립

소분류 …

대분류 포인트

중분류 포인트적립

소분류 포인트적립 불만

상품 마이신한카드

서비스 포인트적립

불만유형 포인트미적립

Taxonomy

상품명 대한변액종신

보종 건강, 교육, 실손

상품속성 갱신, 공제, 담보

불만원인 병원비, 보장

고불만감성 실망, 화남

감정표현 진짜, 시발

사고유형 교통사고, 재해

신체부위 경추, 심장, 혈관

질병증상 골절, 결석, 고열

치료법 고주파, 확장술

경제상황 대출, 이자율

대외기관 금융감독원

… a1

a2

a3

b3

b1

b2 c1

c3

c2

음성인식 엔진

키워드 인식률

89.5 %

1. 최고 수준의 한국어 음성인식율 _ 키워드 인식율

Page 17: 마인즈랩소개자료 20150616

17

1. 최고 수준의 한국어 음성인식율 - 오인식/미인식 유형분석

오인식/미인식 항목 분석 결과

동시 발화로 분별 불가능

너무 작게 중얼거리며 말하거나 심한 사투리

탄식, 감탄사, 추임새 등 한글 철자로 옮기기 어려운 잘 못된 발화 인식불가

인식가능

10~12%

전사한 사람의 오류 (기계가 맞는 경우)

인식 불가로 처리하기에 애매한 정도의 불분명한 음성

동시 발화의 경우 사람과 기계가 다르게 반응한 경우

기계성능으로 인한 미인식 / 오인식 (조사, 간투사 등이 많음)

12~14%

* 참고로 Closed Test (기학습 파일로 테스트)의 경우 88~90%의 인식율 보임

Page 18: 마인즈랩소개자료 20150616

18

2. 최신 딥러닝기술 엔진 적용 – ETRI 보도내용

심층 신경망 (DNN: Deep Neural Network) 및 고속잡음처리 기술 등이 적용된 Deep Learning 기반

한국전자통신연구원(ETRI) 음성인식 엔진

콜센터 녹취 환경에 최적화된 음성인식 성능 제공…

미국 및 이스라엘의 외산 기술과의 비교 테스트에서 10% 이상 우수한 성능을 나타내…

확실한 기술 우위를 확보하기 위해 심층 신경망 및 고성능 잡음처리기술 등을 지속적..

Page 19: 마인즈랩소개자료 20150616

19

2. 최신 딥러닝기술 엔진 적용 – 엔진 인식률 ( 국산 vs 외산 )

한국어 인식률은 국산 엔진이 약 8% 정도 높고 유지보수도 용이

구 분 국산 엔진

(ETRI) 외산 엔진

한국어 인식률

84.7% 76.8%

유지보수 비용

정기 엔진 업데이트

(국책사업 지원)

라이선스료 고가

(다국어 지원)

개인정보 보안

• 정보통신망법 준수

• 개인정보보호법 준수

• 정보암호화 별도 필요

• Upgrade시 정보 유출

기술 지원속도

• 기술진 국내 거주

• 빠른 지원과 협의 원활

• 기술진 해외본사 거주

• 문제 발생시 해결 지연

적용 사례

지니톡

(국산 자동통역 앱)

SIRI

(휴대폰 음성 개인 도우미)

(기준 : 2014.12, 음절 인식률 , 제3의 평가기관)

자연어 음성인식 성능평가 결과

Page 20: 마인즈랩소개자료 20150616

20

2. 최신 딥러닝기술 엔진 적용 – 구버전 대비 성능 향상

최근 신규 버전 Upgrade로 구 버전 대비 16~52% 성능 향상

40.0%

45.0%

50.0%

55.0%

60.0%

65.0%

70.0%

75.0%

80.0%

85.0%

90.0%

SponBroadCast SponPresentation SponDebate

HMM(14/02) HMM(14/06) DNN(14/12)

방송대담 학술발표 학술토론

ETRI 음성 인식엔진에 대한성능 개선 비교평가(음절인식률 기준)

63.3%에서 81.3%로 평균인식률 개선 (약 18% Point 향상)

Page 21: 마인즈랩소개자료 20150616

21

2. 최신 딥러닝기술 엔진 적용 – 참고

Deep Learning 기술은 인간의 뇌 구조와 유사한 형태의 학습을 통해 인공지능을 구축하는 기술

Deep Learning 기술은 Gartner 2014년 세계 IT 시장 10대 주요 예측 기술

국내외 주요 음성 인식 엔진에 Deep Learning 기반 엔진 채택

• Google 안드로이드 OS 4.1인 Jelly Bean의 음성검색 서비스에 DNN을 적용

• Microsoft Bing 음성검색에 DNN 적용

• Naver는 네이버 Deep Learning 랩을 통해 음성 인식을 테스트하는 한편 뉴스 요

약 서비스, 이미지 분석 등에 Deep Learning 알고리즘을 적용

• 국내 K카드사는 최근 ETRI 음성인식 엔진을 도입하여 콜센터 상담업무 관련 시스

템 오픈

Page 22: 마인즈랩소개자료 20150616

22

기술지원 내용

ETRI의 정기 Upgrade (年 2회)

ETRI 음성처리연구실의 음성인식엔진 개발 Roadmap에 따라 年 2회 정기적 업그레이드가 이루어짐

2015년에 추가적인 학습 및 인식 최적화,

잡음처리 개선 진행 예정

2014.06 2014.12 2015.06 2015.12

안정화/최적화 안정화/최적화 안정화/최적화

정기 업그레이드 (HMM)

정기 업그레이드 (DNN)

정기 업그레이드 정기 업그레이드

정기 업그레이드 (HMM) 버전 배포

정기 업그레이드 (DNN) 버전 배포

정기 업그레이드 버전 배포

정기 업그레이드 버전 배포

안정화/최적화

Page 23: 마인즈랩소개자료 20150616

23

3. 실시간 음성인식기능 제공

선형적인 성능향상을 보장함과 동시에 H/W 자원 증설만으로 실시간 음성인식 지원 가능

Inbound

Outbound

STT Server

KWS Server

음성수집 Server

텍스트 결과 Server

H/W 증설

실시간

음성인식

지원

Page 24: 마인즈랩소개자료 20150616

24

4. 저비용 학습구조

음성학습 및 기계학습을 위한 도구가 내장되어 효율적인 저비용 학습구조 지원

증강학습 (Incremental Training)

Baseline + Domain Common + Domain

Specific의 Flexible 학습구조를 통한 최적 모델

구축

기본 모델에 세부 영역 모델을 추가함으로써

세부 영역별 최적의 인식성능 보장

효율적인 학습 체계

학습 데이터 구축방식 용이성 및 효율성 제공

음향모델 학습을 위한 텍스트(형태소)분석 및

발음변환(G2P:Grapheme to Phoneme) 자동화

학습작업을 고객사 내부에서 해결 (내부 데이터

외부 유출 필요 없음)

i-VOC 특징 도메인별 효율적이고 최적화된 학습을 통해 최고의 음성인식 품질 제공

학습 작업의 많은 부분을 자동화 제공하고, 데이터 유출 없는 학습작업 제공

i-VOC 음성인식 개념 증강학습 개념

Baseline Model

산업/기업 Model Domain Common Model …

계약 지급 대출 … BD1 BD2 BDn …

Page 25: 마인즈랩소개자료 20150616

- 25 -

마인즈랩 음성인식 엔진의 특장점 요약

특장점

기업(제품)명

구분 MINDs Lab VOC Analysis (국산) A사 Phonetics Analysis (국산) B사 Speech Analysis (외산)

제품개요 VOC 통합분석 솔루션 상담품질관리 솔루션 Customer Interaction 분석 솔루션

기반기술 음성인식, 텍스트마이닝, Business Analytics 음성분석, 음성인식, Business Analytics 음성인식, Business Analytics

도입목적 고객 불만/성향, 상담사 역량 등을 분석하여 다양한 경영활동에서 발생하는 비즈니스 이슈 해결을 지원함

센터, 조직, 상담사별 문제콜을 분류하여 고객불만을 해소하고 QA 업무의 효율성을 향상 시킴

콜의 유형을 분류하여 상담업무 및 운영 프로세스를 개선하여 고객 중심의 서비스와 자동화된 QA업무로써 차세대 컨택센터 추구

산출 데이터

음성파일을 문자열로 변경하거나 키워드를 탐지하고 그 결과를 텍스트마이닝하여 운영 최적화 및 리스크 해소 등을 위한 빈도, 연관어, 감성 등 다양한 정보 추출 * 고객의 비정형 테이터를 자동으로 분석,

분류(기계학습 및 Rule 기반 Hybrid방식)

음성파일을 분석하여 고객불만과 미흡상담을 분류하며 (optional) 키워드 검색으로 콜 또는 문제 원인 규명 * 고객의 비정형 테이터를 자동으로 분석,

분류

음성파일을 문자열로 변경하고 분류하고자 하는 유형의 정책을 입력하여 Category 및 키워드를 분류하여 근본원인 분석 * 컨택센터에서 규정한 Rule에 따른 콜 분석,

분류

신뢰성 성능 문제콜 상위 검출율 : 80~90% 연속어음성인식, 키워드 검출 신뢰도 : 80 ~

90%

문제콜 상위 검출율 : 85~95% 문자열변경, 키워드 검출 신뢰도 : 60 ~ 80%

40~60% 신뢰도(STT 기반) 운영 정책 및 튜닝 신뢰도에 따라 가변

시스템 성능 음성분석 처리 성능 - 연속어 처리 : 30~40배속 - 키워드 추출 : 80~100배속

음성분석 처리 성능 : 24배속 이상 동시 50채널 이상 분석

키워드 검출 처리 성능 : 8~16배속 , 동시 20개 키워드 기준

8~16 배속 처리 능력 키워드 검출 기능 없음

장점

QA 샘플링 신뢰도: 문제콜 검출 80~90% 전사적인 경영활동을 지원하는 다양한 정보

제공 음성/언어학습, 선처리, 후처리 등을 통해

품질 향상 가능

QA 샘플링 신뢰도: 문제콜 검출 85~95% 현업에서 필요한 콜 분류에 집중 분석 데이터가 누적 될수록 콜 분류 신뢰도

자동 향상 알고리즘

인입콜의 유형과 비중을 한눈에 볼 수 있음 갑자기 증가되는 콜의 유형 확인 가능

단점 녹취를 텍스트로 변환하여 사후 분석 및 재활용 지원

녹취를 텍스트로 변환하지 않음 분류 신뢰도 향상을 위한 모델링과 튜닝

작업 필요 콜 분류 Rule 셋팅에 전문인력 필요

비용효율 초기 투자 비용 (상대적) 저렴 컨택센터 운영 성과 지표 제공 전사적인 경영활동 지원 가능

초기 투자 비용 (상대적) 저렴 컨택센터 운영 성과 지표 제공

시스템 성능에 따른 초기 투자 비용 (상대적) 부담

컨택센터 상담 유형 트렌드 추출

Page 26: 마인즈랩소개자료 20150616

Module B 텍스트분석 엔진

Page 27: 마인즈랩소개자료 20150616

원천 데이터 텍스트 분석

i-VOC Text Analytics Module

데이터 모델링

기업내부

인터넷 상담

상담 메모

서신 민원

금감원/ 소비자원 민원

기본 텍스트마이닝 (Basic Text Mining)

자연어처리 (Natural Language

Processing)

고급 텍스트마이닝

(Advanced Text Mining)

문장 분리

형태소 분석

개체명 인식 Named Entity

구문 분석

빈도 분석 Frequency

연관어 분석 Related Words

급상승 키워드

감성 분석 Sentiment

문서 요약 Summarization

문서 분류 Classification

군집 분석 Clustering

개체명 사전

사용자 형태소 사전

형태소 기본 사전

Taxonomy

L1 상품명

L2 불만내용

키워드

유사 키워드

감성사전 문서#1

음성인식 학습데이터 준비

음성/언어모델 학습

Full-text Dictation

Keyword Spotting

음성인식

Real-time Recognition

Batch Recognition

텍스트 전환

실시간 문서 요약 Summarization

요약 키워드 사전

고빈도 추출 (High frequency)

고빈도 단어

요약 키워드 사전

Risk Category

L1 리스크유형

L2 리스크명

시각화/활용

고객이탈 방지

리스크 관리

통합 모니터링

Sentiment

High Risk

Churn

데이터 마이닝 (Data Mining)

정형 데이터

기계 학습 (Machine Learning)

비정형 데이터

데이터 결합 Data Association

키워드 빈도 (n-gram)

키워드 연관어 감성 및 지수

택소노미 리스크

고객 기준정보 계약 원장

거래 데이터

신규 패턴 탐지 및 택소노미 추천

발생 데이터흫 학습에 활용

Page 28: 마인즈랩소개자료 20150616

28

5. 막강한 형태소/개체명 사전

기계학습 기반, 방대한 한국어 처리사전 내재화, 강력한 한국어 분석 엔진

분석모델

분석모델

Up/Cross Sell

Taxonomy

Taxonomy

불만유형

Taxonomy

해지원인

분석모델

고객 Seg.

분석모델ㅂ

민원 예측

TA (Text Analytics) 문서#1 (Call #1)

문서#1

NLP(자연어처리) 텍스트마이닝

문장분리

형태소분석

개체명인식

구문분석

감성 분석

내용기반 자동분류

이슈 군집분석

어휘 중요도 분석

연관어 분석 비정형

Data 분석

Taxonomy

상품분류

거래DB

상품DB

고객DB

분석모델

해지예측

활용 고객이탈 방지 대외민원 방지 고객 Segmentation 신규고객 발굴 …

분석결과

사용자사전

개체명사전

복합어사전

기본사전

감성사전

어휘통계모델

내부VOC

외부VOC

전화상담, 상담메모, 상담게시판, …

뉴스, 블로그, 트위터, 커뮤니티, …

Page 29: 마인즈랩소개자료 20150616

29

Ⅲ. 제안 내용

화면 예시 (계속)

<구문분석 사전>

구문분석 사전 항목 추가/수정/삭제

개체명 사전 항목 추가/수정/삭제 (기본사전 외에 전처리 및 후처리 사전 지원)

<개체명 사전>

<감성분석 사전>

감성분석 사전 항목 추가/수정/삭제 (세부 감성별 Weight값 설정 제공)

<이형태 사전>

이형태 사전 항목 추가/수정/삭제 (개체명, 형태소 사전 동시 추가 가능)

5. 막강한 형태소/개체명 사전

기계학습 기반, 방대한 한국어 처리사전 내재화, 강력한 한국어 분석 엔진

Page 30: 마인즈랩소개자료 20150616

5. 막강한 형태소/개체명 사전

형태소 분석 - 기술적 특징

기술적 특징

범용성

26개 태그셋에 기반한 법용성 새로운 분야에 대한 고른 성능 확보

이식성

기분석사전* 수정으로 직관적 튜닝 지원 미등록어에 대한 사용자 사전 지원

안정성

다양한 분야의 대규모 테스트를 통한 안정성 확보

빠른 속도

기분석사전 기반의 고속 형태소 분석

미등록어 추정

조사/어미 정보를 이용한 미등록어 추정

고성능 문장분리

Structureal SVM 모델 기반 고성능 문장분리

※ 기분석 사전에 기반한 형태소 분석 - 어절의 부분문자열을 미리 형태소 분석하여 기분석 사전으로 저장하고, 부분 분석정보들 간의 접속 및 품사 전이

조건을 사전으로 저장 - 원형 복원 규칙 적용, 사전 탐색 등 기존의 매 어절 반복되는 처리 생략을 통한 속도 향상 - 신조어와 같은 신규 어휘를 포함한 어절의 분석 가능성 및 확장성 제공

Page 31: 마인즈랩소개자료 20150616

31

VOC에 최적화된 20개 세부감성 및 감성지수 제공

Ⅲ. 제안 내용

세부감성 분석 기술 세부감성 시각화 예시

특장점

문장 단위로 감성을 인식하며, 9가지 긍정 감성(자신감/감동/감사/기대감/좋아함/기쁨/안

심/신뢰/선의)과 11가지 부정 감성(두려움/화남/싫어함/슬픔/실망/수치심/곤

란/미안함/부러움/반대/의심) 인식

대량의 감성 태깅된 문장에서 통계에 기반하여 다양한 감성 패턴 및 가중치를 자동으로 학습함

자동 추출된 감성 패턴 예시

6. 기계학습 기반 감성분석엔진

Page 32: 마인즈랩소개자료 20150616

32

7. VOC 주제 자동분류 엔진

기계학습 방식에 의한 자동분류 엔진 내장.

a1

a2

a3

b3

b1

b2 c1

c3

c2

a b c

<발급> <이용> <해지>

a11 a12 …

MINDs Classifier

NLP 학습기 분류기

… … <법인> <개인>

자체 한국어 NLP엔진 탑

최신 기계학습 모델인 CRF, SVM

적용

단일 분류 및 다중 분류 모

두 제공

STT 결과

자동분류 결과

Page 33: 마인즈랩소개자료 20150616

33

7. VOC 주제 자동분류 엔진

기계학습 방식에 의한 자동분류 엔진 내장.

중략... 그리고 펌업후에 베터리 소모가 너무 심해 열이 많이나고 동영상 1시간 짜리만 봐도 100%에서 60%로 되요... 아오... 게다가 요즘에 생긴 문젠데... 이거 뭐...... 홈딜도 진짜 밀리고, 화면도 버벅거리고, 어플 로딩시간들도 길어지고, 베터리도 동영상만 보면 갑자기 1%로 떨어지고... 왜이러죠?ㅠㅠ 심지어 램정리 다 하고도 터치믹스가 렉이걸려요!!!!! 나참...할말이 없군요

VOC 1

중략.. 이상하게 어플 설치하고 나서 벨소리 를 내가 원하는 데로 설정후 재부팅을 하고 전화가 왔는데 소리가 안나더라구요…도대체..왜 이러는지.. 갑갑합니다.

원인 품질 불량 결과

VOC 분석

VOC 2

펌웨어 업그레이드

어플 설치 •무음 수신

인과관계

• 배터리 소모 많음, • 홈 복귀시 딜레이 어플 로딩 딜레이 • 터치믹스 렉

Text 분석을 통해 사전에 정의된 원인과 결과로 유형을 자동 분류 ① VOC Taxonomy ② VoC 자동 분류

Page 34: 마인즈랩소개자료 20150616

34

Ⅲ. 제안 내용

목적에 맞는 활용을 위한

정밀하고 편리한 관리기능 제공

사전 관리

형태소, 개체명, 구문분석, 감성, 이형태 사정 관리기능 제공

텍스트 분석 정확도 향상 및 특정 도메인에 사용되는 어휘가 분석에 반영되도록 지원

세종계획에 따라 개발된 20년 간의 ETRI 언어처리 지식 및 경험 반영

담당자별 역할 및 권한 제어를 통해 협업 지원

운영 관리

텍스트 분석 과정 모니터링 기능 제공

분석 배제를 위한 스팸 키워드 관리 기능 제공

개인정보보호를 위한 개인정보 패턴 관리기능 제공

Taxonomy 관리

VOC 분석 목적을 위한 키워드 및 키워드집합에 대한 분류 기준 역할

계층적 Taxonomy 관리, 데이터 일괄 생성 및 다운로드 기능 제공

사용자 추가/수정/삭제 기능 제공

8. 사용자 중심의 관리도구

사용자 중심의 사전 및 운영관리 도구

Page 35: 마인즈랩소개자료 20150616

35

Ⅲ. 제안 내용

역할 및 주요기능 화면 예시

역할 및

특장점

텍스트 분석 정확도 향상 및 특정 도메인에 사용되는 어휘가 분석에 반영되도록 지원

세종계획에 따라 개발된 언어자원과 30년 간의 ETRI 언어처리 지식 및 경험 반영

담당자별 역할 및 권한 제어를 통해 협업 지원

형태소분석사전

분석 대상 문서를 의미를 가진 최소 단위인 형태소로 분할 및 품사 태깅 시 활용

개체명사전 인명, 기관명, 장소, 제품 등 다양한 분야에

속한 개체명을 인식 및 태깅 시 활용

구문분석 사전

의존관계, 꾸밈관계 등 문장 구성요소 간의 관계 인식 및 관계 정보 태깅 시 활용

감성사전 감동, 감사, 좋아함, 기쁨, 실망, 슬픔, 화남

등 20개 세부감성 인식 및 감성 태깅 시 활용

이형태사전 동의어 인식 및 원형 복원 시 활용

<전체적인 UI>

좌측 트리 구조의 메뉴를 통해 형태소분석, 구문분석, 개체명인식, 감성분석, 이형태 등 사전에 접근하거나 검색을 통해 사전에 접근하여 추가/수정/삭제 작업 수행

<형태소 사전>

형태소 분석 사전 항목 추가/수정/삭제

ETRI 언어처리 기술이 반영된 검증된 Taxonomy 적용

8. 사용자 중심의 관리도구

Page 36: 마인즈랩소개자료 20150616

36

Ⅲ. 제안 내용

역할 및 주요기능 화면 예시

역할 및

특장점

텍스트 분석 과정, 문서 필터링을 위한 키워드 관리, 개인정보 비식별화를 위한 지식 관리

텍스트 분석 모니터링

기간별 분석 대상 문서의 입력 건수, 최종 분석 건수 및 분석 성공 여부를 조회하거나, 재분석 실행을 요청함

문서 필터링 키워드 관리

분석 배제 문서를 필터링 하기 위한 스팸 키워드 추가/삭제/수정 관리

개인정보 필터링

키워드 관리

전화번호, 이메일, 주민번호 등 개인을 특정할 수 있는 내용에 대해서, 키워드 및 정규표현에 기반하여 마스킹할 수 있는 정보 추가/삭제/수정 관리

<분석 모니터링 관리>

<문서 필터링 키워드>

<개인정보 비식별화 키워드>

- 텍스트 분석 과정 모니터링

- 분석 배제 스팸 키워드(도박, 성인정보, 업무와 연관성 없는 키워드 등) 관리

- 개인정보 마스킹을 위한 패턴 관리

- 정규표현식 사용을 통한 다양한 패턴 커버

효율적인 관리·운영을 지원하는 분석 모니터링

8. 사용자 중심의 관리도구

Page 37: 마인즈랩소개자료 20150616

37

Ⅲ. 제안 내용

효율적인 관리·운영을 지원하는 분석 모니터링

8. 사용자 중심의 관리도구

고빈도 키워드 추출 Taxonomy 정의

키워드 빈도

확인 4753

보험 4752

번호 2914

말씀 2801

감사 2490

상담 2244

전화 2177

해약 2134

금액 1779

대출 1749

가능 1718

연락 1650

계약 1593

… …

분류 키워드

불만원인 지급, 입원, 치료, 약, 통원, 진료, …

사고유형 사망, 상해, 재해, 교통, 자살, …

상품명 변액CI보험, 트리플케어통합종신보험, …

상품유형 대출, 연금, CI, 변액, 종신, 저축, 실손, …

상품속성 납입, 보험료, 환급, 보장, 이자, 보험금, 증권, …

신체부위 위, 간, 뇌, 맹장, 머리, 피부, 눈, 대장, 심장, 혈관, …

질병/증상 암, 장애, 골절, 신경, 성인병, 정신질환, 맹장, …

치료기관 병원, 내과, 한방병원, 안과, 정신병원, 치과, 신경외과, …

치료법 수술, 시술, 처방, 삽입술, 절제술, 조형술,

해지 관련 VOC Sampling (1,200여 건)

VOC 데이터

음성 VOC 녹취

VOC 텍스트 언어분석

Page 38: 마인즈랩소개자료 20150616

38

Ⅲ. 제안 내용

효율적인 관리·운영을 지원하는 분석 모니터링

8. 사용자 중심의 관리도구

Page 39: 마인즈랩소개자료 20150616

39

9. 최고 수준의 성능과 확장성

서버당 동시 45채널 보장

제안 요청 내용

IN – 35,400 상담 OUT – 65,000 상담

1일 처리 데이터 IN – 106,200 (분) OUT – 162,500 (분)

작업시간 8시간 30분 주기 처리

30분 주기 처리 데이터 IN – 6,637 (분) OUT – 10,156 (분)

산정 결과

구분 일 평균 통화량 (Call)

평균 통화 (분)

1일 총 통화량

(시간)

서버당 처리용량(Call) (45CH X 8H)

필요 서버수 (식)

30% 여유율 (식)

최종 산정 서버 수

(식)

Inbound 35,400 3 1770.0 360 4.9 6.4 7

Outbound 65,000 2.5 2708.3 360 7.5 9.8 10

※ 2차 확대 시 – Inbound : 19 (14), Outbound : 26 (20)

Page 40: 마인즈랩소개자료 20150616

40

9. 최고 수준의 성능과 확장성 - In/Outbound 유연한 대응

STT모듈과 KWS모듈이 동일한 음성인식 Core 모듈을 공유하여 자유롭게 변경 가능

전처리

특징벡터

탐색 엔진

단어 모델 생성

발성모델 P

음향모델 C

발음사전 L

문법모델 G

음성 DB 텍스트 DB

언어 모델 생성

MINDsSTT

문법모델 G

언어 모델 생성

핵심어 키워드 List

MINDsKWS

Core Module KWS Sub Module STT Sub Module

인바운드 영역 아웃바운드 영역

음성 TEXT

Page 41: 마인즈랩소개자료 20150616

41

9. 최고 수준의 성능과 확장성 - 시스템 확장 시 모델

인/아웃바운드 비율 변경 시 설정 변경만으로 가능하며, H/W 자원 증설 만으로 선형적인 확장 및

온라인 방식 전환 가능

Inbound

Outbound

STT Server

KWS Server

상담 좌석 수 변동 時 상담 좌석 수 증가 時

STT Server

KWS Server

Inbound

Outbound

Page 42: 마인즈랩소개자료 20150616

42

9. 최고 수준의 성능과 확장성 - 선형적 시스템 확장

시스템 확장에 따른 선형적 성능(Through-put) 증가 보증

0

1

2

0 20 40 60 80 100

시간

1.78

0.81

0.6 Call count

Inbound 기준 20/40/60/80 콜을 서버 1/2/3대로 각각 실행 時, 실시간 대비 실행시간 측정 (측정환경 : HP워크스테이션, 3.7GHz, 4Core*1CPU, 64G Memory)

시간감소

1/2

시간감소 1/3

서버 1대

서버 2대

서버 3대

Page 43: 마인즈랩소개자료 20150616

- 43 -

텍스트분석 특장점 요약

마인즈랩의 텍스트분석 기술 성숙도 O

utp

uts

Text Cleaning/Filtering (문서 정제/필터링)

Part of Speech Tagging (품사 꼬리표 붙이기)

Tokenization (형태소 분석)

Sentence/Phrase Identification (문장/구 식별)

Attribute Extraction/ Assignment (속성 추출/할당)

Word Stemming (단어 분리)

Stop Word Removal (불용어 제거)

Partial Parsing/Chunking (구문 분석)

Word/Phrase Frequency (단어/구 빈도)

Named Entity Recognition (개체명 인식)

Document Classification/ Clustering (문서 분류 및 클러스터링)

Text Summarization (문서 요약)

Event Analysis (이벤트 분석)

Statistical Analysis (통계 분석)

Risk Detection (리스트 탐지)

Word/Phrase Linkage (단어/구 연관성)

Sentiment Analysis (감성 분석)

Analy

sis

Dom

ain

Phase

s

Natural Language Processing (자연어 처리)

Text Mining (텍스트 마이닝)

Text Pre-processing (문서 전처리)

Feature Generation /Selection (속성 생성 및 선택)

Mining and Analysis (정보 추출 및 분석)

기계 분석을 위한 문서 정제, 분리 및 분류 과정

주어, 목적어, 시제, 장소 식별 및 구조화

문서와 출처 간의 분석을 통한 데이터 체계화 및 패턴 발견

:상용화 영역

※범례: 세부 기술 한국어 달성 수준

:달성영역 :특화영역

Page 44: 마인즈랩소개자료 20150616

Module C 소셜 빅데이터

Page 45: 마인즈랩소개자료 20150616

45

키워드 빈도, 채널, 위치 등 다양한 요소를 반영한 이슈 탐지

Ⅲ. 제안 내용

이슈탐지 기술 이슈탐지 시각화 예시

세부 모듈

NLP

중요도 분석

감성 분석

특장점

대상문서에 대한 고정밀 언어처리 문장분리, 형태소분석, 개체명 인식

키워드의 위치 정보와 채널간 전파 방향, 빈도의 변화 임계치, 키워드의 빈도 지속성 등을 이용하여 중요도 분석

키워드의 감성이 해당 기간 내에서 긍정적인지 부정적인지에 대한 분석

매일 주어진 데이터 소스에서 중요한 키워드를 자동으로 탐지

단순한 빈도 뿐만 아니라, 키워드가 유입된 채널, 키워드 위치 등을 파악하고 이를 통해 중요도

분석

탐지된 키워드에 대한 개체유형, 감성, 전일 대비 중요도 변화 정도 제공 가능

10. 소셜빅데이터를 통한 외부 VOC 분석

Page 46: 마인즈랩소개자료 20150616

46

고객 관심사의 시각적 파악을 지원하는 연관어 분석

Ⅲ. 제안 내용

연관어 분석 기술 연관어 시각화 예시

특장점

동시에 한 문장 또는 한 문서에 출현한 키워드 집합을 추출하고, 이에 대한 개체 유형에 따라

연관어를 선택할 수 있음

2차 연관어 정보를 저장하며, 용언에 대한 연관 정보도 활용할 수 있도록 관리함

형태소 분석 개체명 인식

문장 단위 연관어 추출

문서 단위 연관어 추출

2차 연관어 추출

10. 소셜빅데이터를 통한 외부 VOC 분석

Page 47: 마인즈랩소개자료 20150616

47

학습모델 및 패턴모델을 병용한 Risk 탐지 및 모니터링

Ⅲ. 제안 내용

Risk 탐지 모델

Risk 탐지

Risk 모니터링 및 활용

학습 대상문서 선정

학습대상 정보 생성

학습 검증

패턴 후보 선정 검증 패턴모델

원문 수집/전처리 언어분석 감성분석 Risk 자질 추출 Risk 탐지

Risk 자질 DB

Risk 유형 DB

Risk 히스토리 DB

이벤트 자질 빈도 자질 감성 자질 전파 자질 라이프사이클 자질

문장분리 형태소분석 개체명인식 복합명사인식 의존구문분석 관계분석

스팸 필터 성인물 필터 중복 필터

감성어휘 추출 감성강도 부여

상황요약 모니터링 히스토리 관리

활용 Risk대상 Risk이벤트/이유 감성 스펙트럼 빈도 추이

빈도 감성 스펙트럼 네트워크 분산 매체별 확산

자기학습 사례기반

검색 Alert

학습모델

47

11. 고급 텍스트마이닝 기술 내장

Page 48: 마인즈랩소개자료 20150616

도메인별 Risk 탐지

공공기관 갈등, 경쟁, 법적조치, 법정판결, 부정여론, 소송, 시위, 위법행위, 정보유출, 제재, 조사 등

인물 갈등, 건강악화, 경쟁, 법적조치, 법정판결, 부정여론, 사퇴요구, 소송, 시위, 위법행위, 정보유출, 조사, 징계

스마트기기 가격하락, 결함, 경쟁, 부정여론, 위법행위, 정보유출, 제재, 판매감소 등

먹거리 가격상승, 가격하락, 리콜, 부정여론, 불매운동, 위법행위, 유해식품, 제재, 판매감소 등

자동차 가격하락, 결함, 경쟁, 리콜, 부정여론, 판매감소 등 IT기업 갈등, 경영위기, 경쟁, 법정판결, 부정여론, 불매운동, 사업종료, 소송, 위법행위, 정보유출, 조사, 제재 등

▶ Risk 도메인 및 Risk 예시

▶ Risk 탐지 예시

원문

삼성전자가 지난해 4분기 영업이익이 직전 분기보다 18.31%나 감소한 8조3000억원으로 `어닝쇼크`를 기록했다.

추출된 Risk 자질

[삼성전자]-[영업이익-감소]-[경영위기] [삼성전자]-[어닝쇼크]-[경영위기]

글로벌 신용평가사 무디스가 LG전자의 신용등급을 하향 조정했다.

[LG전자]-[신용등급-하락]-[경영위기]

지난달 현대차는 작년 1월보다 0.3% 감소한 411만508대를, 기아차는 1.3% 줄어든 25만7천331대를 해외 시장에서 판매했다.

[현대자동차]-[판매-감소]-[판매감소] [기아자동차]-[판매-감소]-[판매감소]

질병 사망, 질병발생 등 … …

48

11. 고급 텍스트마이닝 기술 내장

Page 49: 마인즈랩소개자료 20150616

49

자사 및 경쟁사 관련 다양한 이벤트(제품출시, 기업확장 등) 자동 추출

Ⅲ. 제안 내용

이벤트 추출 기술 이벤트 시각화 예시

특장점

이벤트를 주체(Subject), 이벤트 유형(Event-Property), 객체(Object)로 구성된

트리플(Triple)의 집합인 템플릿(Template)로 정의

인수합병, 투자, 실적, 법적 규제 등 31개의 이벤트 템플릿에 기반하여 이벤트와 이벤트와

연관된 주체/객체 인식 및 추출

11. 고급 텍스트마이닝 기술 내장

Page 50: 마인즈랩소개자료 20150616

50

강력한 자동탐지 및 풍부한 감성을 지원하는 텍스트분석 엔진 제공 – 기계학습 모델을 적용 및 분석목적을 반영한 내용 기반 자동분류

Ⅲ. 제안 내용

내용 기반 자동분류 기술 내용 기반 자동분류 예시

a1

a2

a3

b3

b1

b2 c1

c3

c2

a1 b2 b3

<예금> <대출> <외환>

a11 a12 …

MINDs Classifier

NLP 학습기 분류기

… … <단순문의> <정보변경> <이자불만>

분류 대상 문서

세부 모듈

NLP

분류 학습

분류

특장점

분류 대상문서에 대한 고정밀 언어처리 문장분리, 형태소분석, 개체명 인식, 구문 분석

최신 기계학습 모델 적용 CRF(Conditional Random Fields), SVM(Support Vector Machine)

평면적 계층 구조 분류 및 다중 범주 자동분류 수행

고성능 언어분석 기술을 통한 문맥 파악

VOC와 같이 특정 영역의 전문 컨텐츠에 대한 높은 수준의 분석 정확도 제공

다양한 영역(VOC, 뉴스, 블로그, 트위터 등)의 특징에 적합한 자질을 선정 및 활용하여 확장

가능

11. 고급 텍스트마이닝 기술 내장

Page 51: 마인즈랩소개자료 20150616

Module D 산업별 분석

Page 52: 마인즈랩소개자료 20150616

52

경영이슈 해결을 위한 체계적인 Insight 도출

Ⅲ. 제안 내용

C. Keyword 정제

E. Visualization 및 수정/보완 D. Data 수집 및 MI 작성

A. 활용목적 정의 B. 분석 View 및 Keyword 선정

P. 검증

12. 산업별 분석 View와 키워드 탐지 내장

Page 53: 마인즈랩소개자료 20150616

Ⅲ. 제안 내용

경영이슈 해결을 위한 체계적 Insight 도출 - 시각화 예시

M.I. (Market Intelligence): 경쟁 관계 분석

■해당 산업군/업종에 대한 시장 경쟁 구도 분석

■일자별, 시간별 경쟁 구도 현황 및 빈도별 추이 정보 제공

■뉴스, 블로그, 트위터 별 분류 분석 가능

■경쟁 기업/브랜드 별 소비자 인식 분석 통한 마케팅 전략 활

■해당 분석 정보 엑셀 다운로드 제공

사람들이 말하는 기업/브랜드 경쟁구도

경쟁 빈도

■기업/브랜드 간 경쟁빈도가 강할수록 붉은 색으로 표시되며,

사람들이 실제적으로 가장 활발하게 언급하는 경쟁 구도를 보여줌

53

12. 산업별 분석 View와 키워드 탐지 내장

Page 54: 마인즈랩소개자료 20150616

Ⅲ. 제안 내용

경영이슈 해결을 위한 체계적 Insight 도출 - 시각화 예시

M.I. (Market Intelligence): 산업 동향 분석

■가입 고객사 정보를 기반으로 해당 산업군/업종에서의

해당 기업/브랜드별 실질적 소비자 인식 위치 파악이 가능

■산업 연관어 분석, 구매 채널별 비중 분석, 구매 채널 언급량 추

이,

구매 채널 언급비중 추이 분석, 브랜드별 감성 분석,

산업 이슈 제품군 언급량&언급비중 변화 추이 분석 제공

■해당 산업군/업종에서의 핵심 키워드별 분류/선별 분석이

가능해, 자사 브랜드의 업종 특징별 동향을 쉽게 파악

■뉴스, 블로그, 트위터 별 분류 분석 가능

■일자별, 시간별 경쟁 구도 현황 및 빈도별 추이 정보 제공

■경쟁 기업/브랜드 별 소비자 인식 분석 통한 마케팅 전략 활용

■해당 기업/브랜드 언급 분석 매체별 원문 보기 제공

■해당 분석 정보 엑셀 다운로드 제공

<산업 이슈 변화 추이 – 제품군 언급량>

해당 산업군/업종에서 우리의 위치는?

54

12. 산업별 분석 View와 키워드 탐지 내장

Page 55: 마인즈랩소개자료 20150616

경영이슈 해결을 위한 체계적 Insight 도출 - 시각화 예시

Ⅲ. 제안 내용

<연관어> <소비 채널 언급비중 추이> <소비 채널 언급량 추이>

<소비 채널 비중> <브랜드별 감성> <제품군 언급비중>

55

12. 산업별 분석 View와 키워드 탐지 내장

Page 56: 마인즈랩소개자료 20150616

Ⅲ. 제안 내용

경영이슈 해결을 위한 체계적 Insight 도출 - 시각화 예시

M.I. (Market Intelligence): 업 관련 고객 행태 분석 자사/경쟁 브랜드별 고객군은 누구?

■고객사/브랜드 관련 고객군(성별) 분석과 군별 언급량 분석

으로

실제 소비자들의 성별 브랜드 인식 비중과 원문 통한 원인

파악

■뉴스, 블로그, 트위터 별 고객군 분류 분석 가능

■일자별, 시간별 관련 고객군 연급 변화 추이 정보 제공

■해당 분석 정보 엑셀 다운로드 제공

■자사 및 경쟁 기업/브랜드 제품별 고객군 언급 분포 비교

분석

56

12. 산업별 분석 View와 키워드 탐지 내장

Page 57: 마인즈랩소개자료 20150616

Ⅲ. 제안 내용

경영이슈 해결을 위한 체계적 Insight 도출 - 시각화 예시

M.I. (Market Intelligence): 자사 평판 분석 고객이 바라보는 장단점과 이미지는?

■고객사/브랜드 관련 산출된 효과성 연관 핵심 키워드별

자사제품과 경쟁사 제품의 비교 분석 지표를 파악, 약점 보완 및

강점 강화의 제품 경쟁력 및 효과적 마케팅 전략 구축 활용

■브랜드 효과성, 브랜드 신뢰성, 브랜드 세부 제품군 이미지의

다각적 평판 분석과 분석 방법별 관련 핵심 키워드별 추이 제공

■해당 분석 정보 엑셀 다운로드 제공

■뉴스/블로그/트위터별, 일자별 분류 분석 제공

<브랜드 신뢰성 분석> 신뢰성 연관 핵심 키워드별 자사/경쟁사 제품 소비자 인식 분석

<브랜드 세부 제품군 이미지 분석> 제품군 연관 핵심 키워드별

소비자 인식 분석

57

12. 산업별 분석 View와 키워드 탐지 내장

Page 58: 마인즈랩소개자료 20150616

Ⅲ. 제안 내용

58

기간: 2014.01.01~2015.01.18

Facebook Fan 추이

현재 280,366(2015.1.18 기준)명의 팬이 있으며 2014.1.1부터 지금까지 신한카드 팬수는 75,213명(36.66%)이 증가

꾸준한 증가를 보이다 2014.12.25일부터 현재까지 증가 없이 지속적인 감소를 보임

13. 페이스북 리포팅 지원

페이스북 Fan 추이

Page 59: 마인즈랩소개자료 20150616

Module E 머신러닝 기반 빅데이터분석

Page 60: 마인즈랩소개자료 20150616

60

14. 구조화된 결과 테이블

분석결과는 RDB와 Hadoop에 저장

RDB Hadoop

Page 61: 마인즈랩소개자료 20150616

61

15. 다양한 시각화 지원

BI Tool을 활용한 시각화

Page 62: 마인즈랩소개자료 20150616

62

15. 다양한 시각화 지원 _ 웹분석화면

Page 63: 마인즈랩소개자료 20150616

63

Pre-made 표준리포트 및 차트

유형별 빈도 및 추이 유형별 통게 보고서

15. 다양한 시각화 지원 _ 빅데이터 분석

Page 64: 마인즈랩소개자료 20150616

64

1. 평가표에 대해 KWS결과를 심각 정도에 따라 분류하여 점유율을 표기한다.

2. 소속,상담사 기준으로 평가분류에 대한 규정준수 율을 표기하고 준수 율 심각 정도에 따라 필터 링 하여 모니터링 한다.

3. 조회된 결과 내용을 ‘추출’버튼으로 엑셀로 다운로드 한다.

4. 평가 분류에 따라 규정준수의 심각 영역을 spiderweb chart로 표기한다.

5. 조회된 상담사 클릭 시 팝업 창에 상담사에 대한 KWS결과를 상세 조회한다.

(상담사-키워드 셋-키워드-준수 율)

6. 조회된 평가항목 클릭 시 팝업 창에 평가항목에 대한 KWS결과를 상세 조회한다.

(키워드 셋-키워드-준수 율)

* KWS(Keyword Spotting)

규정준수에 대한 KWS결과 모니터링

15. 다양한 시각화 지원 _ 규정준수

Page 65: 마인즈랩소개자료 20150616

65

15. 다양한 시각화 지원 _ 캠페인관리

캠페인에 대한 KWS결과 모니터링

1. 캠페인, 소속에 대해 결과를 조회한다.

2. 상담사에 대해 준수 율을 조회하고, 심각 기준에 따라 색 표시 및 필터 링 기능이 제공된다.

3. 조회된 결과 내용을 ‘추출’버튼으로 엑셀로 다운로드 한다.

4. 정렬기준으로 캠페인 별, 소속 별로 조회한다.

5. 정렬기준으로 규정준수 율을 막대그래프로 표기한다.

6. 상담사별 총 통화건수에 대한 준수 율 확인이 가능하며, 클릭 시 팝업 창에 상담사 별 KWS결과를 상세 조회한다.

(상담사-키워드 셋-키워드-준수 율)

7. 캠페인 클릭 시 팝업 창에 캠페인에 대한 KWS결과를 상세 조회한다.

(캠페인-키워드 셋-키워드-준수 율)

* KWS(Keyword Spotting)

Page 66: 마인즈랩소개자료 20150616

66

16. 빅데이터 통계분석

‘R’, ‘Machine Learning’ 등 각종 통계분석모듈을 활용한 분석모델 통합

Page 67: 마인즈랩소개자료 20150616

67

16. 빅데이터 통계분석

‘R’, ‘Machine Learning’ 등 각종 통계분석모듈을 활용한 분석모델 통합

Page 68: 마인즈랩소개자료 20150616

CONTENT

1. Overview

2. Big Data Engine & Solutions

3. Services

Page 69: 마인즈랩소개자료 20150616

- 69 -

사람과 시장을 알고 미래를 예측하는 힘 빅데이터 분석은 성공적 비즈니스의 핵심!

비정형 빅데이터, 이제 비즈니스에 활용할 때 빅데이터 분석 기술의 도움과 체계적인 방법을 통해 비즈니스 이슈 해소를 위한 의사결정 지원 필요

소셜과 빅데이터는 단순한 현상이 아닌 산업 트렌드와 소비자의 니즈 그 자체 빅데이터 분석이 곧 고객과의 소통이고 브랜드의 경쟁력

소비자 이해 및 자사와 경쟁사의 현상태 진단이 중요 기업 내부 및 외부에 존재하는 비정형 형태의 데이터에 표출된 소비자의 삶과 욕구를 이해하고 소비자의 언어로 표현된 자사 및 경쟁사 브랜드 인식, 평판을 정확히 파악하는 것이 중요

1) 개요

Page 70: 마인즈랩소개자료 20150616

- 70 -

Life Style & Trend

우리의 타겟 고객은 누구일까? 그들은 어떤 생각을 하며 무엇을 즐길까?

소셜 빅데이터에는 소비자들의 삶과 관심이 투영되어 있습니다. 상품/서비스 개발 및 개선을 위해 소비자에 대한 이해는 반드시 필요한 요소입니다. 마인즈랩은 소셜 빅데이터로부터 상품/서비스와 관련된 소비자의 생각, 행동, 욕구 등을 찾아냅니다.

Key Buying Factors

고객이 우리 또는 경쟁사의 상품/서비스 구매를 결정하는 요인은 무엇일까? 우리 상품/서비스 판매를 늘이기 위해 어떻게 접근해야 할까?

자사 및 경쟁사 상품/서비스의 강점과 약점은 무엇이고, 소비자들이 상품/서비스를 구매할 때 우선적으로 고려하는 요소는 무엇인지를 파악하는 것은 반드시 필요합니다. 마인즈랩은 소셜 빅데이터에 발현된 소비자의 언어로부터 핵심 구매 요인을 찾아냅니다.

Awareness & Reputation

우리 회사와 경쟁사에 대한 소비자 인식은 어떨까? 우리 상품/서비스 인지도 및 평가를 높이려면 어떻게 해야 할까?

상품개발 및 개선을 위해서는 자사 및 경쟁사 상품/서비스에 대해 소비자가 어떤 생각을 갖고 있는지 파악하는 것이 무엇보다 중요합니다. 마인즈랩은 비정형 빅데이터로부터 상품/서비스에 대한 소비자의 인식, 평판을 찾아냅니다.

Campaign Guide & Evaluation

지난 달의 광고 캠페인은 효과가 있었을까? 향후에 캠페인 성과를 높이기 위해서는 무엇을 바꿔야 할까?

광고/마케팅 캠페인을 계획하고 계십니까? 혹은, 수행한 광고/마케팅의 효과를 확인하고 싶으십니까? 마인즈랩은 소셜 빅데이터로부터 소비자에게 송신된 메시지가 어떻게 인지 및 확산되었는지 찾아내어 광고/마케팅 효과를 지속적으로 향상시킬 수 있도록 지원합니다.

Anything you want to know about customer and

market

기업 경영에 있어 순간순간 발생하는 이슈 해결에 필요한 정보는 어디에서 어떻게 획득/가공/처리해야 할까?

기업 경영 시 발생하는 경영이슈 해소를 제대로 지원하는 것은 단지 기술만으로는 불가능합니다. 마인즈랩은 활용목적 지향적인 이슈해결을 위한 고유의 인사이트 방법론을 통해 기업 내부 및 외부에 비정형적인 형태로 존재하는 고객의 소리를 분석하여 경영이슈 해소를 체계적으로 지원합니다.

1) 개요

Page 71: 마인즈랩소개자료 20150616

- 71 -

H 국책연구기관

H 국책연구기관 ‘14.04 ~ ‘14.07 환경분야 소셜빅데이터 분석 방법론 개발 및 적용 소셜빅데이터에 발현되는 기후, 대기, 소음, 수질, 쓰레기 등 환경 분야별 빈도, 감성, 연관어 등 상세 분석 결과 도출

고 객 기 간 내 용

M 지상파 방송사 ‘14.06 ~ ‘14.08 축제/페스티벌 트렌드 분석 소셜빅데이터에 나타나는 축제/페스티벌에 대한 소비자 인식과 활동을 주제별로 분석하여 트렌드 도출

S 정부부처 ‘14.06 ~ ‘14.07 대국민 커뮤니케이션 분석 소셜빅데이터 분석을 통해 E정부부처의 대국민 커뮤니케이션 활동이 어떤 반응을 나타내고, 커뮤니케이션 활동 중 개선할 점은 무엇인지 분석

S 신용카드사 ‘14.05 ~ ‘14.06 VOC 음성인식 및 텍스트분석 음성 및 게시판 상담 VOC를 TA엔진을 통해 분석하여 Customer Journey를 기준으로 해석 및 리포팅

L 전자회사 ‘14.06 ~ ‘15.02 페이스북 활동 분석 L전자 및 경쟁사의 16개국 51개 페이스북 페이지 분석하여 매월 정량(Fan, Interaction 등) 및 정성적(Summary, Moving Forward 등) 분석 리포트 제공

T 자동차 ‘14.07 ~ ‘14.08 Key Buying Factor 분석 소셜빅데이터에 발현되는 G 자동차 신형 모델과 경쟁모델에 대한 소비자 인식을 피처 별로 분석하여 G사 신형 모델의 Key Buying Factor 도출

‘14.09 ~ ‘14.12 우리나라 과거 기후변화 관측영향 자료구축 및 분석 과거 수십년 간의 언론기사를 TA엔진을 통해 분석하여 기후동인, 피해지역, 피해유형 등 상호 연관성을 정량적으로 분석

S 커피전문점 ‘14.02 ~ ‘14.03 RTD(Ready to Drink) 상품 소비자 인식 분석 캔커피, 병커피 등 커피 RTD시장에 대한 소비자 인식, 경쟁관계 등 분석 및 가이드

H 생명보험사 ‘14.12 ~ ‘15.02 해지 및 민원 VOC 분석 해지 또는 민원으로 이어진 고객의 과거 전화상담 내용을 STT 및 TA 엔진을 활용하여 분석함으로써 해지의 전조를 정량적으로 도출

2) 사례

Page 72: 마인즈랩소개자료 20150616

- 72 -

분석목적 및 특징

분석내용

예 시

S 커피전문점 RTD 상품 소비자 인식 분석

• S커피전문점 RTD의 Market Keyword Big data Analysis를 통해 브랜드와 제품의 실제적 소비자 마인드 현황을 분석하고 마케팅 커뮤니케이션 방향을 위한 인사이트 도출

• S커피전문점 RTD 브랜드와 제품과 해당 산업, 경쟁/비교 대상 브랜드/제품 및 관련 주요 특성별 분석 등 다층적 소비자 인식과 태도를 Big Data Analysis Platform을 활용하여 유의미한 결과 도출

• S커피전문점 RTD에 관한 소비자 마인드

- 맛, 가격, 패키지 디자인 관련 Consumer Awareness & Perception

• 브랜드/제품별 Market Influence & Correlation

- 제품 이미지, 맛, 가격, 패키지 디자인 연관 경쟁 및 영향 관계

• Comparison Analysis

- 맛, 가격, 프로모션/이벤트, 패키지 디자인 연관 경쟁 비교 등

텍스트마이닝 분석을 통해 캔커피에 대한 전반적인 소비자 마인드를 파악하고 S커피전문점 RTD에 대한 인식과 경쟁 구조 분석을 통해 S커피전문점 RTD의 실제적인 소비자 인식을 추출하여 마케팅 커뮤니케이션 방향 설정의 기초자료로 활용

3) Case Study

Page 73: 마인즈랩소개자료 20150616

- 73 -

분석목적 및 특징

분석내용

예 시

환경분야 소셜빅데이터 분석방법론 개발 및 적용

• 환경과 관련된 국민의식을 파악하여 환경정책수요 발굴 및 입안하는데 활용

• 소셜 빅데이터에 나타나는 국민의 인식 변화를 분석하여 국민 지향적 환경정책수요를 발굴

• 현재 정책 평가 및 향후 환경정책이 필요할 것으로 예측되는 미래 수요 발굴

• 소셜빅데이터 기반 정책수요 분석 방법론 개발

- 소셜빅데이터의 특징을 활용한 환경정책의 라이프사이클 분석 및 관리 방법 연구

• 환경분야 정책 수요 분석

- 주요 환경분야 정책 및 중심 주제 키워드 발굴

- 환경분야 소셜빅데이터 자료 정제 및 분석

- 소셜빅데이터 기반 정책 수요 분석

- 특정 환경주제에 대한 사례 분석

• 환경분야 빅데이터 분석 결과 활용 방안 마련

- 빅데이터 기반 환경정책 모니터링 방안 수립

- 새로운 환경 이슈 탐지, 정책 반영 프로세스 수립

- 미래 정책 수요 발굴을 위한 빅데이터 분석 활용 방안 마련 등

뉴스, 블로그, 트위터에 발현되는 환경 관련 국민의식과 정책에 대한 국민반응을 분야별로 체계적으로 분석하여 국민 지향적 정책 수립 및 개선 지원

3) Case Study

Page 74: 마인즈랩소개자료 20150616

- 74 -

분석목적 및 특징

분석내용

예 시

VOC 음성인식 및 텍스트분석 PoC

• 전화상담, 게시판상담 등 내부 VOC와 뉴스, 트위터, 블로그와 같은 외부 VOC를 입체적으로 분석

• 고객 경험 및 니즈를 Customer Journey 단계별로 구분하여 분석

• 내부 및 외부 VOC를 통해 고객의 니즈를 이해하고 자사 및 경쟁사의 포지셔닝 분석

• 이탈 고위험군 고객 예측 및 고객 이탈 원인 분석

• 신용카드와 관련된 고객 경험 및 니즈를 단계별로 구분하여 Customer Journey로 정의

• Customer Journey 단계별로 경영이슈와 소셜빅데이터와 연관성을 고려하여 분석 주제 선정

• 분석 주제별 분석 관점, 키워드를 선정하고 상세 분석 수행

- 결재수단 트렌드

- 소비자의 카드 선택 기준

- 사드사별 포지셔닝

- 이탈 고위험군 고객 도출/예측

- 고객 이탈 원인 분석 등

음성 및 텍스트 형태의 비정형 데이터를 음성인식 및 텍스트분석 기술을 활용하여 살아있는 고객의 소리를 분석하고 비즈니스 목적에 맞는 활용 가능성을 검증

3) Case Study

Page 75: 마인즈랩소개자료 20150616

- 75 -

분석목적 및 특징

분석내용

예 시

축제/페스티벌 트렌드 분석

• 축제/페스티벌 관련 소비자(시청자) 인식 및 추이 분석

• 매년 열리는 수많은 페스티벌 중 마라톤 축제와 뮤직 페스티벌과 관련된 소셜빅데이터를 통해 정량적/정성적 분석

• 해당 키워드의 발현 횟수 및 전반적인 추이파악, 연관 키워드의 발현 횟수를 통해 페스티벌에 대한 대중의 관심도 혹은 무의식 속에 담긴 통념과는 다른 대중의 실제 모습 유추 등

• 대중화 단계로 접어든 2049의 축제/페스티벌 문화를 분석하여 타겟의 특성을 파악하고 이들을 타겟으로 하는 다양한 컨텐츠 및 프로그램 발굴에 활용

• 특히 축제/페스티벌 참여자들이 축제/페스티벌 참여를 통해 어떤 것을 하고 싶어하고 무엇을 보여주고 싶어하는지를 소셜빅데이터 분석을 통해 발굴

트렌드에 민감하며, 화제를 일으키고 이슈의 흐름을 주도하는 2049의 축제/페스티벌 문화를 소셜 빅데이터를 통해 실제 모습을 유추하여 이를 바탕으로 2049의 특성을 잘 살린 컨텐츠 및 프로그램 발굴 및 기획에 활용

3) Case Study

Page 76: 마인즈랩소개자료 20150616

- 76 -

분석목적 및 특징

분석내용

예 시

대국민 커뮤니케이션 분석

• S 정부부처 업무 관련 이슈 및 S 정부부처 보도자료에 대한 SNS 빅데이터 분석

- 보도자료에 따른 반응과 파급효과를 소셜

빅데이터를 통해 빈도, 감성, 연관어 등 분석

• S 정부부처의 SNS활동을 분석하여 커뮤니케이션 활동 진단

- 페이스북, 트위터의 활동 분석을 통해 현황 및 개선점 도출

- 대국민 커뮤니케이션 활동 전략 제시 등

• 소셜빅데이터 분석을 통해 E정부부처의 대국민 커뮤니케이션 현황 및 성과 파악

• 과거 이슈 및 보도자료 사례에 대한 분석을 통해 리스크 커뮤니케이션 체계 개발에 활용

S 정부부처 업무 관련 이슈 및 보도자료에 대한 국민들의 반응을 소셕빅데이터를 통해 파악하여 대국민 커뮤니케이션의 현황을 파악하고 리스크 커뮤니케이션 체계 개발에 활용

3) Case Study

Page 77: 마인즈랩소개자료 20150616

- 77 -

분석목적 및 특징

분석내용

예 시

Facebook 활동 분석

• 다양한 언어 및 국가 포함

- L전자 및 경쟁사의 16개국, 51개 계정, 11개 언어에 대한 상세 분석

• L전자, 경쟁자, 소비자 활동 정량 및 정성 분석

- Post, Fans, Likes, Unlikes, Engagement rate, Reach, Comment, Share, Interaction 등 Engagement Overview

- Fan수, Fan수 증감, 성별/연령대별 Fan수 증감 등 Fan Growth

- 전체 Fan 및 18-44세 타겟 연령대 Fan 비율 등 Fan SOV

- Fan의 행동 종류, 행동 비율, Top 인입 사이트, Organic/Paid reach 등 Action

- Daily Post Feedback, User Activity Time, Conversation Cloud, Influencer, Top/Worst ER Post, Moving Forward 등

• 주요 지표에 대한 대시보드 개발 및 운영

• 글로벌 비즈니스를 수행하는 L전자의 SNS활동 모니터링 및 성과분석을 통해 월간 커뮤니케이션 활동을 정량적으로 측정, 분석

• 월간 커뮤니케이션 평가의 척도로 활용 및 방향

제시

매월 L전자의 16개국 23개 페이스북 활동을 정량/정성적으로 측정하고 분석하여 추후 나아가야 할 소셜 커뮤니케이션 방향을 제시하여 SNS마케팅 활동 성과 향상에 활용

3) Case Study

Page 78: 마인즈랩소개자료 20150616

- 78 -

분석목적 및 특징

분석내용

예 시

Key Buying Factor 분석

• 소셜빅데이터 기반으로 소비자 인식 및 태도 분석

- T자동차에 대한 소비자 인식 및 태도

- 신차 브랜드에 대한 소비자 인식 및 태도

- 신차 디자인에 대한 소비자 인식 및 태도

- 신차 성능에 대한 소비자 인식 및 태도

- 신차 연비에 대한 소비자 인식 및 태도

- 신차 가격에 대한 소비자 인식 및 태도

- 자동차, 중형세단, 연료형태(가솔린/디젤/ 하이브리드)에 대한 소비자 인식 및 태도

- 분석 결과를 토대로 럭셔리, Fun, 멋 등 경쟁요소 도출 및 비교 등

• 새롭게 출시되는 2015 T자동차 신차의 전략적 커뮤니케이션 방향과 소비자 기반의 효과적인 메시지 발굴 지원

• Social Big Data를 통해 도출 가능한 정량적/정성적 분석을 통해 Key Buying Factor 도출

T자동차 신차 및 경쟁차종, T자동차 및 경쟁브랜드, 국산 및 수입 자동차, 디자인 및 피처, 휘발유/디젤/ 하이브리드 등 다양한 관점에서 소셜빅데이터에 발현된 소비자의 자동차, 국산차, 수입차, T자동차 등에 대한 인식을 분석하여 Key Buying Factor 도출

3) Case Study

Page 79: 마인즈랩소개자료 20150616

- 79 -

분석목적 및 특징

분석내용

예 시

우리나라 과거 기후변화 관측영향 자료구축 및 분석

• 과거부터 현재까지 언론에 나타난 우리나라 기후변화 영향(피해) 사례를 텍스트마이닝 기술을 활용하여 분석하고, 이를 통해 제2차 국가기후변화적응대책 수립의 과학적 근거자료로 활용

• 비정형 빅데이터 분석 기술을 활용하여 기후변화의 동인과 피해를 체계적으로 분석하여 국가기후변화적응 정책 수립에 활용

국내 주요 일간지 및 지역 종합신문에 축적된 과거 24년간의 신문기사를 대상으로 5단계에 걸쳐 정제, 언어처리 및 텍스트마이닝 기술을 활용하여 기후변화 영향의 발생 빈도, 지역, 원인, 피해유형 등을 분석하여 국가기후변화적응 정책 수립에 활용

• 24년간의 언론사 기사 분석

- 중앙 일간지 및 지역 일간지(광역자치단체별) 언론기사 이관 및 텍스트마이닝 분석

• 기후변화 영향 관련 분석체계 구축

- 기후 변화 관련 주제 선정

- 분석 체계(원인/지역/시기/대상 등) 설계

- 분석 관련 중요 키워드 구축

• 기후변화 영향 관련 신문기사 분석

- 기후변화 관련 뉴스 기사 추출 및 분석 기후변화 영향 발생 빈도, 지역, 원인 등의 키워드 추출 및 유형 구분 등

• 후속 연구를 위한 다양한 데이터 제공

- 일자, 신문사, URL, 기후동인, 피해유형, 피해지역 등 다양한 분석이 가능한 Raw Data 정제 및 제공

3) Case Study

Page 80: 마인즈랩소개자료 20150616

- 80 -

분석목적 및 특징

분석내용

예 시

해지 및 민원 VOC 분석

• 인바운드 전화상담 내용을 음성인식(STT) 및 텍스트분석(TA) 기술을 이용하여 분석

• 해지로 이어진 고객 및 민원을 제기한 고객의 과거 6개원 동안의 전화상담을 추출하여 분석

• 계약해지 전조 탐지 및 고객이탈모형 활용 방법 검증

• 외부 VOC를 통한 생명보험 관련 산업동향 및 고객행태 분석

• 분석 대상

- 해지 및 민원 고객 6개월 동안의 전화상담

- 2014년 뉴스/블로그/트위터 데이터

• 분석 내용

- 계약해지 또는 민원의 전조 탐지 가능성 분석

- 가설적 추론 : 브레인스토밍을 통해 전조를 유추하고 대조군별 비교를 통해 검증

- 다빈도 키워드 : 대조군별 다빈도 키워드를

추출 및 비교하여 전조를 유추

- Taxonomy : 대조군별 Taxonomy 빈도를 추출 및 비교하여 전조를 유추 - 소셜빅데이터에 발현된 생명보험 관련 고객 라이프스타일 분석

그 동안 저장만 하고 실제적인 활용이 불가능했던 전화상담 내용을 분석하여 비즈니스 목적을 위한 분석모델에 적용할 수 있는 가능성을 검증하고 외부 VOC와의 연계 분석 가능성 검토

3) Case Study

Page 81: 마인즈랩소개자료 20150616

Copyright © 2015 Minds Lab. All rights reserved

463-100, 12F, U-Space 1-B, 660, Daewangpangyo-ro, Bundang-gu, Seongnam-si, Gyeonggi-do, Korea T.031-625-4340 F.031-625-4119 | www.mindslab.co.kr www.mindsinsight.co.kr

No part of this publication may be circulated, quoted, or reproduced for distribution outside the client organization without prior written approval.

Analyze Real Voice of Customers