ibm watson explorer 소개 및 활용사례

IBM Watson EXplorer비정형 텍스트 분석 솔루션 소개 및 활용 사례

1. Watson Explorer 소개

2. 활용사례

Agenda

1. Watson Explorer Overview

비정형/빅데이타 - 새로운 통찰의 필요성

Challenge: 정보의 80% 비정형데이터입니

다.

정형데이터는 “누가, 무엇을, 어디서, 언제”를 말해줍니다.

비정형데이터는 “왜,어떻게”를 말해줍니다.

비정형 데이타 분석은 “무엇” 뒤에 숨어있는 “왜”를 알 수 있도록 합니다


재고 부족에 따른 판매부진

울혈성 심부전 환자의 재 입원율 20%

증가

클레임 지급 8% 예산초과

범죄율이 서서히 증가한 지난 6개월 간체포건수감소

제품의 재고가 없는 상황에 대해 고객은 부정적인감정을표출함

의사가 직접 작성한 환자 노트에서 알 수 있는나이와 재 입원율의 상관관계 등 놓친의학정보

클레임 처리 완료된 건 중 의심스러운 정보

새로운패턴의 범죄에 대응할 수 있는 인력재배치 미흡

What is happening? Why is it happening?


Unstructured content (비정형 데이타)

Structured data (정형 데이타)

Web ServicesDatabases Data Warehouses

Content MgmtSystems

File systems, wikis, etc.

Web and Social Media

… …

기업 내/외부에 존재하는 다양한 형태의 데이터에 대한 접근성을 강화하여 사용자에게 필요한 정보를 쉽고 빠르게 확인 할 수 있는 역량이 필요

정형 + 비정형 분석을 통합한 360도 View

텍스트/자연어 분석 기술은 다양한 형태의 대내외 비정형 데이터를 수집, 분석하고, 그 분석 결과를 시각화하여 목적별 Insight를 얻을 수 있는 기술

주어진 문서내의 각 문자들을 문장의 형태소로 파악하고, 명사/고유명사 및 동사 등 다양한 형태소간의 순서와 관계로 정의한패턴과의 일치 여부를 판단함으로써, 주어진 문자열에서 기술하고 있는 다양한 “상황” 또는 “문맥”을 인지하는 기술

주어진 산업별, 주제별 필요한 “상황” 또는 “문맥＂인지를 위해 사전과 순서/조합 규칙 등을 정의함으로써, 다수의 데이타에 대한대량 분석을 수행하고, 대량 데이타에 대한 분석 정보를 기반으로 Visualization를 제공

규칙 기반의 분석 단위 구성, 개체명 인식(NER), 문서 군집화(Document Clustering)을 이용한 토픽 추출 (LDA, K-means과 같은알고리즘 지원) 등 다양한 인지 및 분석 기술 들을 포함

데이타 수집 및 자연어 분석텍스트 데이터에 대한 자연어 분석을 통해

각종 상황 인지 및 상황별 인지 정보 파악을 통해다양한 분석 및 지식을 자산화

대/내외 다양한 텍스트 데이터- 기업 내부

- 콜센터 상담메모 & 녹취, 고객 이메일- 사내 메일, 메신져- 사내 결함/정비 로그 등

- 기업 외부- 웹 포탈/블로그, SNS 등

1) 상황인지 분석 View 제공- 트렌드, 패턴, 시간, 빈도, 분포, 연관관계, - 비즈니스 컨텍스트 추출 및 감성 분석

Not only was the pick-up line at the

counter very long, but I waited 30

minutes just to talk to a rude

representative who gave me a car that

smelled like smoke, had stained floor

mats, a dented fender, and only half a

tank of gas

RDB

2) 인지 정보 정형화인지된 데이타를 정형화 분석이가능한 형태로 반출함으로써,

일반적인 BI 및 고급분석 도구에서활용하게 해줌


자연어 기반 상황/문맥 인지 – 텍스트 분석 및 가시화


텍스트 분석 후 결과를 시각적으로 제공하고, 분석된 결과 기반으로 문서를 자동 군집하거나 분류 하는 등의 정보를 재생산하여 패턴 및 경향을 분석함

비정형 컨텐츠로부터원하는 패턴 추출 및 정형화

NLP (자연어처리)언어식별

어휘 분석• 문단/문장 분할• 토큰화(자르기)• 기본형 찾기• 품사 태깅• …

구문 분석• 개체명 추출• …

…

+ 다양한 기법의 분석(해석) 및 가시화

빈도 분석

상관관계 분석

연결관계 분석

시계열(Time Series) 분석

트렌드 분석

…

* NLP (Natural Language Processing)

하단에 주어진 문장 원문의 문자열들은 형태소 분석을 통해 명사, 동사, 부사 등으로 구분되고, 사전과 규칙에 의해 개념화(포르쉐를 스포츠차로 인식, 전치사+명사을 도시/장소로 인식 등)를 하고, 이러한 개념화간의 관계(순서, 등장 등)를 인지 규칙으로정의(스포프카+동사 Steal = 범죄)할 수 있고, 이러한 인지 정보를 저장하여, 범죄 관련 문서로 인식이 가능하게 되며, 이러한분석 결과를 기반으로 다양한 다른 개념화 요소들과 함께 상관 분석이 가능하게 됩니다(Visualization).

“Porsche was stolen at 11:30 a.m. in Queens”

자연어분석

inPorsche be steal at 11:30 a.m. Queens

전치사명사 동사 동사 전치사 숫자 명사 명사

도시

cityName = Queens스포츠카

시간

timeOfDay = noon

범죄

Name = theft

형태소 분석

품사 정보 분석

개체명 분석

상황/문백 분석

UIM

A Fram

ewo

rk

반복

자연어 기반 상황/문맥 인지 - 개념


소스 데이타 예시:

자연어 기반 상황/문맥 인지 – Built-in 다차원 분석 / 시각화 엔진 제공


Documents - 원문 보기 Time Series - 시계열 Facets - 패싯

Deviations - 편차 분석

Facets Pairs - 패싯쌍

트렌드 - 경향 분석

Sentiment - 감정 분석 Connections - 연결 Dashboard - 대시보드 Reports – Cognos 보고서

WEX가 제공하는 기본 기능을 사용

하여 구성하고, 외부 연계 등의 필

요에 따라 API를 통한 화면 개발

사전 및 분석 규칙 작업 (Annotation)만 하면, 별도의 UI 개발없이 기본적 분석 결과 UI를 제공, 다양한 비정형 데이타 분석을 손쉽게 확인하고 새로운 분석을 위한 피드백 가능

자연어 기반 상황/문맥 인지 – 솔루션 아키텍처

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Exporter

Crawler Framework

ThumbnailIndex

Facet CountSub Index

TaxonomyIndex

SearchIndex

CustomCrawler

QuickPlaceCrawler

Domino Doc Crawler

NotesCrawler

SharePointCrawler

ExchangeCrawler

NNTPCrawler

DB2Crawler

ContentIntegratorCrawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Collection

Export

Plu

g-in

Contents Miner UI

Admin UI

EnterpriseSearch UI

RESTApplication

Real-time NLPApplication

Document Processor

Document Processor

Document Processor

ParserDocument Generator

Annota

tor

Annota

tor

Annota

tor

UIMA

Text Analytics& SearchRuntime

Inspector

CustomPoint

RDB

Cra

wle

r

Plu

g-in

JDBC DBCrawler

Win FSCrawler

Unix FSCrawler

Importer Framework

CSVImporter

Case MgrCrawler

DocumentCategorizer

DocumentCluster

Term ofInterest

SIAPIApplication

Studio

Cognos BIIntegration

XML CSV

CSV

Social MediaCrawler

RDF

Indexer

Indexer Service


자연어 기반 상황/문맥 인지 – 솔루션 아키텍처

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Exporter

Crawler Framework

ThumbnailIndex

Facet CountSub Index

TaxonomyIndex

SearchIndex

CustomCrawler

QuickPlaceCrawler

Domino Doc Crawler

NotesCrawler

SharePointCrawler

ExchangeCrawler

NNTPCrawler

DB2Crawler

ContentIntegratorCrawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Collection

Export

Plu

g-in

Contents Miner UI

Admin UI

EnterpriseSearch UI

RESTApplication

Real-time NLPApplication

Document Processor

Document Processor

Document Processor

ParserDocument Generator

Annota

tor

Annota

tor

Annota

tor

UIMA

Text Analytics& SearchRuntime

Inspector

CustomPoint

RDB

Cra

wle

r

Plu

g-in

JDBC DBCrawler

Win FSCrawler

Unix FSCrawler

Importer Framework

CSVImporter

Case MgrCrawler

DocumentCategorizer

DocumentCluster

Term ofInterest

SIAPIApplication

Studio

Cognos BIIntegration

XML CSV

CSV

Social MediaCrawler

RDF

Indexer

Indexer Service

다양한 데이타수집기

UIMA 자연어 분석 엔진

자연어 분석 결과저장 및 검색

분석모듈 개발 도구

분석 결과 View 및 API

시스템 설정/관리 UI


비정형 분석 내용은 물론 정형 정보, 외부 API 서비스까지 유연하게 통합하여사용자 역할별로 필요한 360도 View UI를 만들어 주는 통합 엔진 제공


사용자 역할별 최적화된, (정형 + 비정형 분석) 통합 360도 View 제공

자연어에 기반한 Q&A 서비스

Personality Insights service - 소셜 분석 등을 기반한

고객 프로파일 등 제공기존 정형데이타시스템 연계(CRM, DBMS, CMS and SCM 등)

문맥에 기반한 분석 결과

실시간 기록 내용 등정보 업데이트

데이터 중심의 Alert

비정형 데이터 분석 View

협업 및 정보 공유

주요 활용 분야


정비 결함 분석 및 제품 품질 통찰

• 분석 : 정비 노트, 콜 로그, 웹/소셜 미디어

• 목적 : 정비 결함 정보 자산화,

품질 보증 서비스

• 효과 : 신속한 정비 지식 확보(정비지연 최소화),

보증비용절감,

고객만족도 향상, 마케팅 캠페인

범죄 예방

• 분석 : 사건파일, 경찰기록, 911 콜…

• 목적 : 빠른 범죄 해결 및 범죄 유형 분석

• 효과 : 안전한 지역사회 만들기, 경찰 인력 배치최적화

헬스 케어

• 분석 : E-Medical 기록, 병원 보고서

• 목적 : Clinical analysis, Treatment protocoloptimization

• 효과 : 만성병환자의 사전 진료 관리, 처방전최적화, 향상된 치료 효과

보험 사기 방지

• 분석 : 보험 청구 내역

• 목적 : 부정 행위 및 패턴 감지

• 효과 : 손실 방지, 신속한 감지, 보다 효율적인청구 프로세스 정립

고객 관리

• 분석 : 콜 로그, e-메일, 웹/소셜 미디어

• 목적 : 구매자 행동패턴, 고객이탈 예측• 효과 : 고객만족도 향상, 새로운 수익 기회 발견,

마케팅 및 캠페인 고도화

마케팅을 위한 소셜 분석

• 분석 : 콜센타 노느, 소셜 미디어 및 멀티컨텐츠 저장소

• 목적 : 고객이탈 예측, 제품 및 브랜드품질 향상

• 효과 : 고객 만족도의 향상, 마케팅·캠페인,새로운 수익 기회 발견, 제품/브랜드의품질 문제의 발견

1. Watson Explorer Overview2. 활용사례

웹포탈컨텐츠분석및지식추출 - 통신사웹 블로그상의 뮤직, IPTV 프로그램/영화/VOD, 맛집 등의 지식 서비스를 위한 지식 자산 자동 취득

2. 활용사례 웹컨텐츠분석및지식자산화(통신사)

웹크롤러(Java)

IBM Watson Explorer

검색서버

텍스트마이너

텍스트분석

자연 언어 처리

사전 분석규칙음악, 영화 포탈뉴스 싸이트(인터넷)

분석 결과리퍼지토리

WEXCrawler

Knowledge Base

멜론, TMAP 등

QA 서비스

사용자

컨텐츠 분석가 &

지식 추출 관리자

WEX KB 마이닝 View

& Admin View

지식 Triple

반출(일 배치)

• 웹 컨텐츠 데이타

•유니크 ID 부여

자연어기반QA

서비스

(일 배치)

(5시간 배치)

분석개발자

KB반입기

NER 서버

REST API

웹포탈컨텐츠분석및지식추출 - 통신사

2. 활용사례 웹컨텐츠분석및지식자산화(통신사)

특정 음악에 대한 다양한 의미 부여 내용들을지식으로 추출

2. 활용사례

수기로 기술되는 수많은 정비 기록에 대한 텍스트 분석을 통한 결함 상세 내용 및 정비 상세 내용에 대한 분석 및 지식

검색 효율화를 통해 정비사의 정비시간 단축, 결과적으로 운항 지연 및 결항으로 인한 손실 비용 절감.

항공사 – 정비결함분석시스템개요

결함및 정비분석(항공사)

결함 발견 Defect code(운항 센서 데이타)

신뢰성 NR 분석

정비방식 검토

NR Job Card 생

성

Report

정비 작업

(결함 해소)

Transmit

1. NR History2. ACARS MSG

Non-Routine DB

QA팀

정비팀

MC

1

2

3

결함이력 Search

고장탐구활용

Data 처리시간단축 비정형분석용이 다차원분석 Visualization 강화

정비숙력자의조치검색활용 정비오류분석 각종장애추이분석을통한사전대응 개인별차이극복

360도뷰

2. 활용사례

항공사 – 정비결함분석및예지정비연계

결함및 정비분석(항공사)

정비 작업자를 위한360도 View

예지 정비

NR 작업자를 위한 특정 NR 수행에 필요한 모든 정보 통합 제공

NR 정비 분석을 통한 새로운 정비 예지 대상 항목 도출

결함 예지시, NR 결정을 위한해당 결함에 대한 수행 이력 및 트렌드 확인

정비 결함 분석

추가 Facet

결함장치별신고비율

차종별 신고된장치

선택된 Facet(비 고정식)

교통안전공단 – 자동차결함신고센터여러 측면(Facet)별 신고 빈도수와 시계열 분석, Facet간 연관관계 분석

2. 활용사례 제품결함분석(제조사, 정부)

2. 활용사례

결함신고DB (facet pairs view)

결함장치 별 연관관계 : 도어-창유리 / 웨더스트립, 전조등-실린더헤드, 조향장치-제동장치, 수동변속기-전기배선, 스프링-연료파이프, ECU-전기배선 등의 연관성이 보입니다.

제품결함분석(제조사, 정부)

교통안전공단 – 자동차결함신고센터

VoC (고객민원/클레임) 분석 - 택배사

2. 활용사례 VoC (민원/클레임) 분석(일반기업,정부)

콜센터 시스템(NPlus)

콜 상담 데이타

상담 E-Mail 시스템

접수 E-mail

실시간 VoC/클레임 현황 고객별클레임추적

이메일접수내용자동분석

유사처리사례검색 실시간 VoC 전수분석현황 제시

고객민원팀

콜센터상담원

상담 메모 자동 분류 제시

IBM Watson Explorer

콜랙션 저장소

데이타수집

자연어 처리-분석 사전-분석 규칙

마이닝View

설정 및 시스템 관리분석API

VoC (고객민원/클레임) 분석 - 택배사


VoC (고객민원/클레임) 분석 - 금융사


콜센터상담원

STT 기술을 통한녹취파일의 텍스트 문서화

통화 녹취 및실시간 요약 분석

목적별상황인지를 제공

하는

텍스트 분석기술

보고자하는 VoC 측면(facet)

별 추이분석/트렌드, 패턴,

시간, 빈도, 분포, 연관관계,

감성분석 등

VoC분석 전문가

콜상담 메모

민원 분석 사용자(다양한 관련 업무 사용자

에게새로운 민원 분석 정도를

통합 제공. 콜센터, FC 영업, CRM/마

케팅, etc.)

업무 담당자별 360도 View

VoC 분석 정보와 기

존 시스템 정보를 통

합한 사용자를 위한

360도 뷰

고객 정보상품 및 서비스 정보지점, FC 등 관리정보

VoC 분석 및 Insight 발굴

감정 “민원” 제기 가능성

질병 갑상샘암

currently 며칠 전에야

설명상이 설명을 전혀 듣지 못했다고

키워드 가입당시

FC 설계사

키워드 기납입 보험금

상황인지를 위한 분석 기본 데이타

怒り検出例（24H_07）「かしこまりました」

콜센터 (I/B)

고객전화

VoC (고객민원/클레임) 분석 - 금융사• 「신청 · 불만 등록 / 분류」, 「검증 / 분석 / 문서 작성」 세부화 및 자동화

• 고객 클레임 사전 예방 및 대응책 마련을 위한 분석

고객

지사/거점/창구 콜센터 Web 대리점

고객서비스센터 / 고객상담실 등

대면 전화 인터넷 대면 우편*

각종위원회 경영층 협회/FSA

불만판정・분류검증

원인분석대응방안검토

보고자료작성

데이터추출

・서비스향상위원회・불만대책위원회

・경영회의

（접수 XX 건, 불만 XX건）

접수, 불만의등록/분류

검증분석/

자료작성

전개확산

*정기적인 설문포함

접수경향분석

（접점채널）

（사무실행・기획）

（기획） -24-

다양한 VoC 마이닝

해지 방어

민원 예방

불완전판매 관리

크로스셀/업셀

고객만족도 향상

상담 효율성

신상품 개발


자연어 기반 상황/문맥 인지 – 언어적 분석 예시

특정 고유명사 군(상품명)이 주어로 나오고 ‘~으로 알다’(오해) 유형의 동사군, ‘지금보니‘,’설명 미비’ (설명 부족)등의 부사군을 포함하는 문장 또는 문서의 기록은 고객에게 설명을 충분하게 하지 않고 판매한 경우로 인지하고, 해당 레코드를 포함한 사건을 분류하고 대응 액션을 취할 수 있다.


VoC (고객민원/클레임) 분석 - 금융사불완전 판매 관련 조직 vs. 상품 vs. 민원 유형간 상관 분석을 통해, 각 조직 / 상품 별 문제 원인/현상 이해를 명확하게 하고, 실질적인 조치를 취할 수 있도록 문제점을 도출함

조직 vs. 상품

불완전 판매 vs. 상품

불완전 판매 vs. 조직


감사합니다.

이형기 상무([email protected])CTO, KLAB, 한국IBM(주)

mailto:[email protected]

ibm watson explorer 소개 및 활용사례

Technology