4차산업혁명의핵심—”코아데이터그랜드... · 소셜분석및 전략, 트렌드...

0

© 2015 EN-CORE. All rights reserved.

4차 산업혁명의 핵심데이터 경제 Data Scientist : ㈜엔코아 데이터 서비스 센터장 김옥기

Data Mining Consulting, Data Driven Strategy Consulting [email protected]

1

아는 것과 그것을 행동하는 것은 다르다

생각하는 하는 백성이야 산다

Contents1. 4차 산업 혁명의 본질은?

2. 데이터 유통과 중개의 역할?

3. 한국 기업과 정부 무엇을 해야 하나?

2

1. 4차 산업 혁명

2. 데이터 유통과 경제

3. 한국의 데이터 시장 현황

4차 산업혁명의 핵심데이터 경제

데이터 활용 성공사례

ㅋ


산업혁명4.0 : 데이터의 연결화

1차 산업혁명

기계화

2차 산업혁명

대량화

3차 산업혁명

자동화(S/W)

4차 산업혁명

데이터의 연결화

1.0

2.0

3.0

4.0

Ubiquitous sensors and big data analyticsconnected together into cyber-physical systems.

The invention of microprocessors broughtAutomaion into plants on a large scale.

Water and steam power ushered inthe era of mechanized production.

Era of division of labor and mass production,Epitomized most famously by Henry Ford.

What is industry 4.0

ㅋ


Internet : WEB 의 발전

발신자 수신자웹사이트

발신자 수신자웹사이트

WEB 3.0

WEB 1.0

WEB 2.0

WEB 3.0

I Do

You Do

We Do

게시

상호작용자동화

상호연동사물인터넷스마트 시티

ㅋ


가공한 Clean 데이터의 연결들

ㅋ


Internet of Everything

Internet of Everything is 사람, 프로세스, 사물을연결하는 라인으로

데이터와 정보가 서로교통하는 것이다.

ㅋ


데이터 활용 프로세스

기업, 기관의운영속도와효율성높여수익극대화및최적화제공이핵심

데이터 플랫폼 통합수행 내역(용역 측면)

전사운영데이터:고객,오라클,SAP 등

구매데이터: 실시간 구매, 배치 구매

웹 데이터: 정형, 비정형 데이터

기계, 위치 데이터: 정형, 비정형 데이터

데이터 수집(Extract) 웹 서비스. 소켓(Sockets), FTP, SQL., SAP

데이터 가공(Transform)

데이터 저장(data store)

SAS, Hadoop, 구매 ETL 툴, 자체 개발 툴

Hadoop, 인 메모리, RDBMS

데이터 신호, 패턴 구별

정제된 데이터베이스

데이터 신호, 패턴 선택

분석모형,기계학습 개발

모형(Model) 적용, 수행

분석 결과 데이터베이스

시계열, 통계, 이벤트, 지리 위치 등

NOSQL, 인 메모리, RDBMS

PCA, Decision tree, Chart, Clustering, 감성 분석, Regression, Outlier 등등

SVM, Neural Nets, Regression, K-NN, SVD, Matrix Factorization, GEO- Distance 등등

분석 모형 결합( Ensembles)

OLAP, RDBMS, Mem/Cashed

브라우저, 모바일 디바이스, 배치 작업 웹 서비스, FTP, Sockets

시각화, 대시보드, 시뮬레이션(Human Action) Score, Decision, Alerts, Curricula (Machine Action)

숙련된

경험이

있는

인력만이

수행가능

데이터 소스

ETL, 가공

신호 생성

분석

접근

조치(Action)

융통성 있는 데이터 수집 인터페이스

데이터에 맞는 툴 사용

현업에 맞는 환경 구축

신호 생성 알고리즘 들

데이터 접근의 최적화

의사결정을 위한 비즈니스 룰

대량 데이터의 최적화 접근

정제 → 가공 → 신호, 패턴(인사이트) → 분석 모형 개발 → 모형 적용 → 수행 프로세스 정립 → 평가

ㅋ


Data Science vs. Artificial Intelligence vs. Big Data(IOT) 관계

기계화

대량화

자동화

데이터연결화

ANALYTICSBUSINESS

INTELLIGENCESTATISTICS

DATAVIZ

머신러닝 데이터 마이닝

DNN(Deep Neural

Network )딥 러닝

인공지능 빅데이터• Computer vision• Natural language processing• General models

EMPLOYS

ENABLES

FACILITATES

PUSHES POST FUTHER

INSIGHTDATA

INSPIRES 데이터 과학

ㅋ


데이터 관련 산업의 본질 파악이 최우선

1. 우리가 보는 성공 사례들은 B2C 영역

2. 빅데이터 관련 산업은 B2B 영역(플랫폼, 데이터 유통)

3. 빅데이터 수요자(중간자 B)가 아직 준 내부활용 미진한 상태(기업이나 기관)1

ㅋ


데이터 산업 구분

D ataC ollection

D ataManagementP latform

S erviceManagementP latform

A nalyticsManagementP latform

IoT, Cloud, Big Data, Mobility...

AI, Web service, Smart factory, Mkt service, BI...

공장, 도시, 홈, 쇼핑, 건강, 병원, 엔터테인먼트, 운송 등 일상의 변화 주도

만물인터넷을 통한광범위 네트워킹

데이터 활용 서비스를 위한 데이터 분석 플랫폼 서비스

데이터 분석을 위한데이터 가공 서비스 플랫폼

Business analyst, Data Scientist,Analytic tool...

Data Scientist,Data engineer,Data Architecture...

기술 및 인력 활용 주요 벤더

활용

분석

가공

수집

ㅋ


기업의 데이터 활용 5단계

1단계 2단계 3단계 4단계 5단계

비전(Vision)

없음 생산 성과 비전 시도 각 영역별 채널의 효율성 전사 내부 통합 연결된 가치 부여 및 인식

전략(Strategy)

없음고립적 프로젝트,아래로부터시도

좀더 협력적 생각,여전히 사일로 존재

전사적 통합 CRM프로그램

서로의 이익을 위해협력하는 가치 인식

고객 경험(Customer

Experience)개념 없음 개념 없음

이해하는 사일로수준에서 집중

각 영역별 연결된 비즈니스로 이해하고 집중

좀더 넓은 영역 이해, 협력

협력(Collaboratio

n)

내부 영역별로 집중,사일로(Silo)구조

초기 편협적고객 위주,사일로적

문화나 동기의 변화, 여전히 사일로적

고객 중심,분야별,영역별,재 구조 조정

고객 중심 공유,목표 연합적 협력

프로세스(Process)

내부 영역별로 집중,사일로적

초기 자동화시기,사일로적

사일로 수준에서비용과 가치의 최적화

전사 수준에서 비용과가치의 최적화

초기부터 끝까지 실제적 최적화 프로세스

정보 공유(Information)

기본적 정보의 산재팀 기준, 산재, 최소의 인사이트

사일로 수준 정보 공유, 인사이트 발전 과정

전사 관여 정보 공유 및인사이트

기업을 넘어선 인사이트와정보 공유, 외부 데이터 활용

기술(Technology)

몹시 산재되고 미미한 기술산재 존재,한정된 역할과 집중

사일로 내에서높은 수준의 역할

전사 통합 수준의높은 수준의 역할

기업을 넘어선 높은 수준의역할

집중 영역(Metrics)

적은 내부적 집중 영역산재되고 한정된 집중 영역,운영 내부적 집중

사일로 내에서 효율적,고객 집중 부족

전사적 고객 집중/균형 있는 구조

목표 공유, 균형 있는 구조,잘 연결, 정리된

한국

미국

미국 2000년 초 빅데이터(IOT, 외부 데이터, 소셜)

기업 내 데이터 활용 프레임 워크와 발전 단계

ㅋ


데이터 생성 주체에 따른 종류

파트너: 소셜데이터

ㅋ


데이터 공장(Data Factory, Data Refinery): 데이터 정제, 가공 전문회사


ㅋ


데이터 생태계-개인 데이터 + 사물 데이터

ㅋ


데이터 생태계-개인 데이터 + 사물 데이터

정보 브로커

협력사

신용정보

리스트브로커

DATA BROKERS(Service Platform Area)

광고분석

의료분석

미디어자료집

카달로그

DATA COLLECTORS

ICBM

INDUSTRIAL 4.0

ㅋ


한국 데이터 가공시장 현황(2016년)

회사이름주 사업

형태보유 가공 데이터 근황

SK 텔레콤지오 비젼

영업 조직 위주통신 유동인구

상권 데이터모바일 검색어

공공 기관 POC와 사업 수행

30 여건 진행 중, 하도 업체 활용

(분석, 데이터 가공)

신한 카드빅데이터 센터

분석 조직위주

카드, 은행SK 지오비젼과

협력사

BC 카드데이터 사업부

데이터가공, 판매

업무만

카드 소비정보데이터

네이버 +

인터넷 포탈다음, 네이버

소셜 데이터분석위주

소셜 데이터소셜 분석 및전략, 트렌드컨설팅 위주

KCB영업, 분석,데이터 가공

부동산, 금융, 국가 통계 데이터 등기본 데이터 인프라

금융기관 위주 영업

나이스빅데이터 사업부

영업, 분석, 데이터 가공FA 데이터 수집,

상권 데이터, 시장 특성 데이터

공공기관, 유통업위주 영업 주력

LG CNS 데이터 와 마케팅 채널 소셜 판매 데이터, 공공데이터 마케팅 위주 성과

ㅋ


외부 , 구매 데이터의 기업 설립 역사

1969

액시엄마케팅 서비스 회사

1956

신용 평가 서비스 회사피코

1923

하트행크스마케팅 서비스 회사

마케팅 서비스 회사엡실론

1975

소비자 신용 보고,분석 회사에퀴팩스

1899

1902

메레디스마케팅 서비스 회사

1988

머클마케팅 서비스 회사

소비자 신용 보고,분석회사엑스페리안

1996

2003

인텔리우스정보 거래 회사

ㅋ


Acxiom(액시엄)

현재 Acxiom 최고상품 개발 담당(2012년 4월 입사)전 구글 최고 상품 개발 담당전 마이로 소프트 상품 개발 담당

Acxiom 은 세계 최대 개인 정보 (개인 1인당 1,500 가공정보 와 1,000개의 추정정보:

정형 빅 데이터 ) 보유 하고 다국적 글로벌 회사에 데이터 판매와 컨설팅

ㅋ


미국의 데이터 가공 및 브로커 산업 역할

ㅋ



공공 오픈데이터 보유 기관

고객 데이터보유 기업

검색/소셜데이터 보유 기업

모바일/위치보유 기업

빅데이터H/W, S/W 기업

기존 전통 기업IBM, 오라클, SAP HP, MS, 테

라 데이터, 델, SAS

최신 전문 기업팔렌티어, 스플렁크, 유시그마, 호튼웍스

마케팅서비스기업

데이터유통플랫폼기업

마케팅분석기업

데이터수집/가공/융합기업

글로벌데이터서비스업체현황(출처: LUMAScape)

미국 DMA에따르면전체: 156b, 675,000 고급전문일자리창출캘리포니아:21b, 90,000 일자리창출

산업구분 미국 한국 비교

GDP(경제규모) $18.1조 $1.4조 약13배

데이터가공및유통산업 $2,020억 - -

빅데이터산업 $380억 0.3억원 약150배

산업 분야별 한국과 미국 비교현황 (2015년 기준)

- 경제 규모 비교 : 미국은 한국의 약 13배 수준

(2015년 GDP – 미국 : 18.1조 $, 한국 1.4조$)

- 빅데이터 시장 : 380억(약46조원) 수준

한국(약 3천억원)의 약 150배 수준

- 데이터 가공 및 유통산업에서 2,020억불 경제적 효과와

약 97만개의 일자리를 창출

* 출처

GDP – 2015 GDP 현황 IMF(International Monetary Fund) 제공빅데이터 시장(미국) – Wikibon 2015데이터 가공 및 유통산업(미국) –The value of Data 2015, DMA, DDMI빅데이 시장(국내) – NIA, 2015

ㅋ



ㅋ


활용사례(수요측면)-IOT

ㅋ


미국의 데이터 가공 및 브로커 산업 역할(스마트 시티)

데이터 표준, 가공 필요

ㅋ


제조에서의 데이터 활용의 역사(GE 케이스)

Six SigmaLean

Deming

Quality Improvement Tools

Reduce Variation

TQM

Six SigmaLeanProduction

Just in Time

Toyota ProductionSystem

Toyota ProductionSystem

Ford

Lean Sigma

10’s

90’s

80’s

70’s

60’s

00’s

ㅋ


데이터 혁명

전통기업의

데이터혁명

스타트업기업의

데이터혁명

농업혁명

물류혁명

제조혁명

유통혁명

의료혁명

금융혁명

DNA 데이터분석

O2O

이상감지, 데이터분석

개인자산관리

데이터가공/유통

트위터뉴스

ㅋ


데이터 경제 시스템

데이터 사용자

Data compilersAggregate and publish data from multiple trading venues

Post-tradeData products

Data consumersConstructors of pre- and post-trade data

Accept, verify, aggregate and match ordersto construct market data

오픈 데이터 민간데이터

Data contributorsBy sending bids and offers to trading venues

Data consumersPurchase market directly or indirectly

Brokers

Purchase market data directly (solid arrows) or indirectly (dashed arrows)

Data vendors

ㅋ


단계별 데이터 활용 실제 로드맵 사례(제안요청서 정리)

빅데이터 서비스플랫폼 구축

소비자 빅데이터 분석기반 조

성, 시범서비스 구축

소비자피해유형별

정보 큐레이팅 체계 구축

피해유형별 DB구축 &데이터

품질체계 구축

데이터 분석 개방 시스템 구축

및 분석서비스 확대

소비자 피해정보

활용서비스 활성화

[식품분야]

예측분석 기반 구축/

빅데이터 플랫폼 구축

VOC 통합관리, 정보공유포탈

[의약품, 바이오 분야]

예측분석 서비스확대

분석기능,

데이터 통합 확대

[의료기기 화장품 분야]

위해평가 서비스, 예측분석

서비스 고도화 : 위해 노출 영향

평가 분석, 연관 분석, 대국민서비

스, 국민참여 소통강화

1단계 2016 2단계 2017 3단계 2018

소비자

XXX기관

ㅋ


2016년 데이터 활용현황 사례

소비자 식약처 – 식품유해

내부데이터

소비자민 원

상담(750만건) 성별, 연령, 지역, 품목,

신청이유, 처리결과 등

사건명,사건내용 통합 식품 안전 정보망

12개 대분류, 78개 중분류, 175종 정보

(부처활용 116종, 식약처·지자체 보유정보 59종)

* 별첨

- 식품행정통합 시스템

- 식품정보활용시스템

- 식품안전정보 포털

피해구제(37만건)

위해정보 (51만 여건)성별, 연령, 지역, 위해품목,

위해부위, 위해·위험원인 등

사건명,

위해경위

게시정보 - 기관 홈페이지, 스마트 컨슈머, CISS 홈페이지, 어린이안전넷홈페이지

외부데이터

소셜 DATA공공 DATA

SNS(해외직구),커뮤니티(직구 관련), 쇼핑몰(해외 식품),뉴스/미디어/시민단체 등(모니터링)국가기관 발표 정보 관련 정보 수집식품 유통정보, 판매실적 (농식품부, 업체) 메가 서비스 모니터링(네이버 트랜드 등)쇼핑몰의 제품 등록량 모니터링

수집기(솔루션)

국가기관발표정보(건보-진료내역,,의약품처방정보, 건보-검진정보, 심평원-의료정보현황)식품유통정보 (망 외 DB)

내부연계

식품생산지별 기후정보 (기후변화대응식품안전관리연구사업단)식품판매실적(농촌경제연구원)메가서비스 모니터링(네이버트랜드)

외부연계

비정형 데이터

“상담, 피해구제, 유해정보” - 사건내용, 각 부서 생산자료

위의 외부 데이터 중 수집데이터 (SNS 등)

ㅋ


빅데이터 활용 대부분의 문제 > 통합과 가공의 문제

DATA Value

1. 데이터 통합, 관계, 원인 또는 분산 등의 복잡성2. 빅데이터 기술 수행하기 위한 전문가의 부족3. 활용 과정의 고비용4. 빅데이터 기술의 디자인(기획)과 적용을 위한 긴 시간5. 분석 전문가의 부족6. 방대한 데이터에서 활용 가능한 데이터의 선택7. 낮은 데이터 품질8. 기존의 분석 시스템과의 통합의 어려움9. 충분하지 않은 컴퓨팅 자원(분석처리)

ㅋ


빅데이터와 IOT : 가치 창출 영역

오픈소스의 기술평준화 시대에 고급인력즉 사람이 답이다!

290

417

830

1192

1306

1691

3085

3647

6148

0 1000 2000 3000 4000 5000 6000 7000

NoSQL

Networking

Infrastructure Software

Cloud

SQL

Applications

Storage

compute

Professional Services

Big Data Revenue by Sub-Type,2013

(In $US millions)(n=$18,814) Figure3- Source : Wikibon 2014

ㅋ


빅데이터 플랫폼 생태계(고급 기술인력 mapping)

기간 계

Documents & Text

Hadoop Cluster

Casual User

Power User

In-memory BI Sandbox

Analytic platform or

Non-relational

database

Ad hoc query

비즈니스 분석가 영역

데이터 과학자 영역

SMP

AMP

OperationalSystem

OperationalSystem

MachineData

Web Data

Audio/VideoData

ExternalData

Virtual Sandboxes

DataWarehouse

Streaming/CEP Engine

Free-StandingSandbox

DeptDataMart

BIServer

Top down Architecture

Bottom-up Architecture

DBA데이터 모델러데이터 아키텍트

데이터 엔지니어빅데이터 엔지니어데이터 애널리스트

DBA데이터 모델러데이터 아키텍트

DMP

Extract, Transform, Load(batch, near real-time, or

real-time)

ㅋ


한국 데이터 시장 현황(2016년)

정부 민간

- 데이터 유통 가공 필요성 인식

- 데이터 유통 가공 시범 사업 시행 중(정보화진흥원)

- 각종 데이터 융합 사업 추진(인공지능 데이터 구축)

- 기초 융합 빅데이터 제작 및 활용지원(데이터진흥원)

- 내부데이터 통합 및 활용 모색

- 외부 데이터 시범 활용

- 대기업 중심 사업 모델 고민

ㅋ


비 식별화 데이터의 합법적 연결, 활용 사례

국가 의료 금융 마케팅

미국국립 의료기관(연결, 결합 식별)

CB 사: 신용관리, 마케팅 민간 브로커:개인식별

영국국립 개별 의료기관(연결식별)

CB 사: 신용관리, 마케팅민간 브로커: 개인 비식별지역단위, 건물단위

일본 익명가공정보사업자 CB 사: 신용관리 익명가공정보사업자

한국 CB 사: 개인이 허락

민간기업: 지역별 시장특성, 지역별 유동인구(통신, 카드사), 법인 단위 소득

Target 지역추천

ㅋ


성공적 데이터 경제 생태계를 위한 제언

1. 데이터 보안과 개인정보 활용의 분리(데이터 폐기 및 마케팅활용 규제관련 등)

2. 개인 식별과 비 식별 이전에 개인정보 활용을 위한 공감

(민감데이터 VS. 비 민감데이터, 불법 VS 합법이슈로)

3. 데이터 과학을 위한 민간데이터의 통합과 정제 문제 (데이터 유통산업의 활성화)

4. 공공 개방 데이터의 품질의 문제

5. 데이터 공유 및 거버넌스 관련 정책 프로세스 등 (조직과 문화의 Silo 극복)

데이터 유통 활성화를 위한 범 정부차원의종합적 전략 수립 필요

ㅋ


대한민국 21세기 생존전략 :데이터 경제

Thank you

본문서는㈜엔코아가기밀정보및영업비밀을포함하고있으므로, 제공된목적외에무단으로복제되거나배포될수없습니다.