- 현대상선 및 신세계 사례소개-...©2014 ibm corporation 빅데이터 심층 분석을...

© 2014 IBM Corporation

빅데이터 심층 분석을 위한 비즈니스 해법

- 현대상선 및 신세계 사례소개-

이덕수 실장

한국 IBM 소프트웨어그룹 정보관리사업부

IBM 빅데이터 분석 성공 사례 세미나


목차

� Big Data 시대, 왜 Netezza(PDA) 인가?

� IBM Big Data 국내 성공사례 소개: 현대상선, 신세계

� IBM POC 프로그램 소개


우리의 미래의 일상 모습은 어떠할까요?

1. 센서를 이용한

에너지 수집

2. 생체인증방식을

적용한보안

3. 두뇌 연상기술을

활용한 기술4. 일상화되는 모바일

5. 원하는 정보 제공을

위한 빅데이터 분석

IBM Research, 2012년 12월


우리의 미래의 일상 모습은 어떠할까요?

1. 맞춤형 학습

2. 오프라인 매장의 변신

3. 개인 맞춤형 암치료4. 필요를 이해하는 도시

5. 디지털 수호자

IBM Research, 2013년 12월


우리의 미래의 일상 모습 – “빅데이터 분석” 의 역할이 커질 것

3. 개인 맞춤형 암치료 4. 필요를 이해하는 도시

2012년 12월 보고서 2013년 12월 보고서

5. 원하는 정보 제공을

위한 빅데이터 분석


Big Data 란?


Big Data 시대에맞는분석환경구축이필요!


빅데이터시대의DW/분석 시스템 방향: 보고서, 분석에서 예측 및 실행계획까지

High

보고서

분 석

예 측

감 시

비즈니스 가치

복잡성

HighLow

Source: TDWI

무엇이 발생했는지?

왜 발생했는지?

무엇이 발생할 것인지?

지금 무엇이 발생하고 있는지?

• 보다 많은 데이터 소스• 보다 빈번한 데이터 갱신• 보다 많은 유저• 보다 다양한 데이터 처리


그러나, DW/분석 시스템의 현실

데이터신선도 유지서비스향상 비용절감 고객이탈방지

DW/분석 시스템 구축 목표 및 비전…

… 그러나, DW/분석 시스템의 현실은…

데이터 신선도 저하사용자 만족도 저하 비용증대느린응답시간


개인별맞춤형

마케팅엔…글쎄요…

샘플링이쉽고편리하나…


과연여러분은여러분고객을

제대로알고계신가요…???


2014년에 주목해야 할 Big Data 동향 – 이제는 why가 아니라 how!

11 화두가아닌현실 The Hype is Over화두가아닌현실 The Hype is Over

22 더욱큰규모로성장하고있는빅데이터 Big Data Grows Bigger더욱큰규모로성장하고있는빅데이터 Big Data Grows Bigger

33 새로등장하는분석앱 Support for New Analytic Apps새로등장하는분석앱 Support for New Analytic Apps

44 진화된하둡 Hadoop Matures진화된하둡 Hadoop Matures

55 보안/개인정보보호 Security/Privacy보안/개인정보보호 Security/Privacy

66 인지컴퓨팅으로의발전 Designing for Cognitive Computing인지컴퓨팅으로의발전 Designing for Cognitive Computing

77 마케팅에효과를드러내는 Big Data Big Data in Marketing마케팅에효과를드러내는 Big Data Big Data in Marketing

88 최고데이터경영자 Chief Data Officer최고데이터경영자 Chief Data Officer

99 데이터사이언티스트 Data Scientists데이터사이언티스트 Data Scientists

1010 데이터품질 Data Quality데이터품질 Data QualitySource : Horizon Watch 2014 / IBM Software Strategy and Directions

“빅데이터 기술 및 서비스 시장은 2017년

까지 27%의 연평균 성장률(CAGR)로 성

장하여 324억 달러의 규모에 이를 것이며,

이는 정보 통신 기술(ICT) 시장 전체 성장

률의 6배에 해당한다.” – IDC


Big Data 시대, 다양한대용량데이터의

실시간분석능력이기업의경쟁력!


빅데이터시대빅데이터시대빅데이터시대빅데이터시대, 왜왜왜왜 Netezza(PDA) 인가인가인가인가?


IBM Big Data Platform

Systems ManagementApplication DevelopmentVisualization

& Discovery

Accelerators

Information Integration & Governance

Hadoop

System

Stream Computing Data Warehouse

IBM Big Data 플랫폼


Content

Structured

Data

AnalyzeIntegrate

Govern

Master Data

Data

Transactional &

Collaborative

Applications

Manage

Streaming

Information

Business Analytic

Applications

Streams

Big Data

Data

Warehouses

External

Information

Sources

www

Quality

Lifecycle

Management

Security &Privacy

Netezza DW/분석 전용 어플라이언스의 역할


Netezza, DW/분석 어플라이언스의 원조!

2001년, 세계 최초로 DW/분석 어플라이언스 발명!


Netezza? =

분석분석분석분석 전용전용전용전용

분석분석분석분석 일반일반일반일반

분석 전용고급고급


기존 DW시스템보다 최소 10~100배 더 빠른성능

DW시스템 구축 비용절감 및 TCO 50%이하

감소효과

성능 튜닝이 필요 없는DW 어플라이언스

Netezza DW/분석 전용 어플라이언스의 3가지 차별성


High-performance advanced analytics!

지능성 (Smart): 고급분석의 핵심

몇분내에몇분내에몇분내에몇분내에 복잡복잡복잡복잡 다양한다양한다양한다양한 비정형분석비정형분석비정형분석비정형분석 실행실행실행실행

풍부한풍부한풍부한풍부한 In-Database 분석분석분석분석

함수함수함수함수 라이브러리라이브러리라이브러리라이브러리


� No data movement

� Analyze deep and wide data

� High performance, parallel computation

TransformationsTransformations

MathematicalMathematical

GeospatialGeospatial

PredictivePredictive

StatisticsStatistics

Time SeriesTime Series

Data MiningData Mining

0

50

100

150

200

250

IBM

Netezza

EMC

Greenplum

Oracle Teradata

The MOST In-Database

Analy c Func ons Netezza

In-Database

Analytics

Netezza IN-DB Analytics Version 2.0: 업계에서 가장 많은 분석 함수 라이브러리 제공

© 2014 IBM Corporation22

Netezza 아키텍처의 방향성- 단순성/간결성/차별성


Time to Value – 내.외부 업무변경 및 요구사항에 신속히 대응

Requires constant

tuning and

maintenance

Turn the

key and

go

Competitors Netezza


타 Appliance Netezza

운용 설계

성능 튜닝

물리 설계

논리 설계 논리 설계

논리 설계는 종래대로. 튜닝 불필요(최소화), 물리 설계는 물리 테이블 SQL만 !운영 및 관리 리소스 절감 극대화

시스템 구축기간 단축 – TCO 절감

운용 설계

TCO 절감 이유


IBM Big Data성공사례성공사례성공사례성공사례


금융금융금융금융

유통유통유통유통

BMT고객사 확인 고객사 확인

BMTBMT

BMT BMT BMT

Netezza 국내 주요 고객사

BMT BMTBMT

재구매

BMT

재구매

BMT

BMT

BMT BMTBMT

재구매

BMT

재구매

BMT

BMT BMT


Reference Visit

소비재소비재소비재소비재 & & & & 운송운송운송운송

BMTBMT

BMT

유통유통유통유통

Netezza 국내 주요 고객사

공공공공공공공공 및및및및 헬스헬스헬스헬스

케어케어케어케어

BMT 고객사 확인

BMT

Digital MediaDigital MediaDigital MediaDigital Media

BMT

항공사항공사항공사항공사

BMT


2014. 06

현대유엔아이 상선IT팀김덕기 과장

Netezza 사례 발표


Ⅰ. 현대상선 BI 시스템 개요2000년대 초반 각 해외지역의 인프라를 본사로 통합하여 관리하기 시작하면서 BI 시스템에 대한 필요성 대두

도입기 (2000년~2003년)도입기 (2000년~2003년) 확산기 (2004년~2007년)확산기 (2004년~2007년) 성숙기 (2008년~2012년)성숙기 (2008년~2012년)

초기 정형분석 시스템 도입

사용자 10명 이내

초기 정형분석 시스템 도입


OLAP 도입 및 분석시스템 분리


OLAP 도입 및 분석시스템 분리


EDW 구현 및 OLAP 확대

사용자 400명

EDW 구현 및 OLAP 확대

사용자 400명


Ⅱ. 개선 배경기존 BI 시스템에 산재되어 있는 과제들을 분석하여 해결 방안 도출

1. 증가하는 분석 대상 Data 및 사용자 2. 지연되는 배치 처리 시간

2008년 도입 시Data 4배 & 사용자 8배 증가2008년 도입 시Data 4배 & 사용자 8배 증가

증가되는 Data 처리에 따른 H/W 증설증가되는 Data 처리에 따른 H/W 증설

지속적인 H/W 증설 및 유지보수비용 증가지속적인 H/W 증설 및 유지보수비용 증가

증가하는 Data에 따른 Batch 작업 증가증가하는 Data에 따른 Batch 작업 증가

한정된 H/W 에서 저하되는 Batch 처리 속도한정된 H/W 에서 저하되는 Batch 처리 속도

분석 대기시간 증가에 따른 사용자 불만 증가분석 대기시간 증가에 따른 사용자 불만 증가

3. 열악해지는 응답 속도

Batch 처리속도 저하에 따른 조회속도 저하Batch 처리속도 저하에 따른 조회속도 저하

월 30회 이상 사용 정형보고서 평균 14.3분월 30회 이상 사용 정형보고서 평균 14.3분

비정형 분석 포화 상태비정형 분석 포화 상태

4. 증가하는 요약 테이블

열악해지는 응답 속도 개선을 위한 요약정보 생성열악해지는 응답 속도 개선을 위한 요약정보 생성

요약 정보 생성을 위한 Batch 작업 증가요약 정보 생성을 위한 Batch 작업 증가

악순환적인 문제 발생악순환적인 문제 발생

신 개념의 고속 Data 처리 하드웨어 및 프로세스 도입 필요


Ⅲ. POC 및 구현

DW Appliance 중 Netezza 와 타사의 제품을 비교 테스트 함

: 다량의 Data 처리 속도 및 복잡한 비즈니스 로직을 포함한 사용자 응답 속도를 중점적으로 비교

POC 구현POC 구현 POC 결과 산출POC 결과 산출POC 시나리오 작성& 준비작업

POC 시나리오 작성& 준비작업 담당자 및 사용자 공유담당자 및 사용자 공유

1. POC

2. 구현

구현 (Migration)구현 (Migration) 검증 및 테스트검증 및 테스트분석 & 설계분석 & 설계안정화안정화

기존 System Migration 위주의 프로젝트 진행

: DataBase의 경우 Netezza 성능 극대화를 위해 변경 설계 및 구현 진행

: 고속의 응답속도 및 처리를 통해 View 테이블 적극 활용 및 다량의 요약 테이블 삭제


Ⅳ. 개선 효과기존 BI 시스템에 산재되어 있는 과제들의 근본적인 문제 해결 효과

1. 사용자 응답 속도 개선 2. 분석 Data 생성 속도 향상

정형 보고서 평균 10배 이상의 응답 속도 개선정형 보고서 평균 10배 이상의 응답 속도 개선

분석 데이터 적시성 향상분석 데이터 적시성 향상

사용자 불만 감소사용자 불만 감소

영업실적 분석 Data 생성속도 5배 향상영업실적 분석 Data 생성속도 5배 향상

사용자 필요에 따른 준실시간 분석 Data 생성사용자 필요에 따른 준실시간 분석 Data 생성

분석 대기시간 감소에 따른 불만 감소분석 대기시간 감소에 따른 불만 감소

3. 분석 Data 정합성 향상

고속의 처리속도를 통한 기간계 Data 차이 감소고속의 처리속도를 통한 기간계 Data 차이 감소

분석 Data 정확도 향상 및 사용률 증가분석 Data 정확도 향상 및 사용률 증가

분석 Data 신뢰도 향상분석 Data 신뢰도 향상

4. 사용자 요구 사항 대응 용이

고속의 상세 분석 가능고속의 상세 분석 가능

상세 분석을 통한 정확한 원인분석상세 분석을 통한 정확한 원인분석

다양한 사용자 요구사항에 유연한 대응 가능다양한 사용자 요구사항에 유연한 대응 가능

비용절감 및 매출증대를 위한 대량 분석 IT Infra 구축


신세계 그룹

•신세계그룹: 국내대표적인유통그룹

•신세계백화점, 이마트, 스타벅스,

신세계푸드, 신세계몰, 신세계인터내셔널,

신세계조선호텔등

•‘최초, 최고의위상으로최대의신세계를

실현한다’는모토로 ‘고객제일’서비스를

실현

빅데이터 분석 성공 사례 –신세계몰, 신세계 인터내셔날


신세계 몰

차별화된 상품과고객 중심의 서비스

백화점 기반의 고품격종합쇼핑몰

�몰 오픈 : 1997년 서비스 개시

�회원 수 : 1,550만 명

�상품 수 : 730만 개

�일평균 방문 : 100만 명

�일평균 주문량 : 25,000 ~ 30,000건



신세계 몰

도입도입도입도입 배경배경배경배경 | 맞춤형고객서비스를위한고객및마케팅분석시스템필요

선정선정선정선정 이유이유이유이유 |실시간대용량데이터에대한빠른분석처리,

편리한확장성, 이중화에따른고가용성

도입도입도입도입 효과효과효과효과 | 기존에수행하기어려웠던다차원데이터분석가능,

평균 16초이내의분석처리

도입도입도입도입 제품제품제품제품 | IBM Puredata for Analytics



신세계 인터내셔날

가치있는 라이프 스타일을선도하는 패션 전문기업

해외 유명브랜드 직수입국내 브랜드 상품기획, 생산, 유통글로벌 생활문화 - 자연주의

�설립 : 1996년

�40여 개 브랜드

�200여 개 매장

�매출액 8천억 원 (2011)



신세계 인터내셔날

도입도입도입도입 배경배경배경배경 | ‘자주’브랜드에대한 DW 환경구축필요

선정선정선정선정 이유이유이유이유 |대용량의실시간데이터에대한빠른리포트추출,

시스템안정성, 관리편의성

도입도입도입도입 효과효과효과효과 | 평균 6초이내에분석리포트생성, 사용자가쉽게

이용할수있는 DW 환경구현

도입도입도입도입 제품제품제품제품 | IBM Puredata for Analytics



Financial Services

�Portfolio analytics

�Fraud detection

�Credit risk

�Regulatory reporting

Financial Services

�Portfolio analytics

�Fraud detection

�Credit risk

�Regulatory reporting

40

Communications

�Network analytics

�Least cost routing

�Quality of service

�Churn reduction

Communications

�Network analytics

�Least cost routing

�Quality of service

�Churn reduction

Retail

�Supply chain optimiz.

�Merchandizing

�Store op’ns analysis

�Promotion optimiz’n

Retail

�Supply chain optimiz.

�Merchandizing

�Store op’ns analysis

�Promotion optimiz’n

CPG

�Demand signal

repository

�Market basket anal.

�Sales reporting

CPG

�Demand signal

repository

�Market basket anal.

�Sales reporting

Healthcare Providers

�Health outcomes

analytics

�Clinical benchmarking

Healthcare Providers

�Health outcomes

analytics

�Clinical benchmarking

Health Plans & Payers

�Health outcomes

analytics

�Fraud detection

�Provider scoring

Health Plans & Payers

�Health outcomes

analytics

�Fraud detection

�Provider scoring

Energy & Utilities

�SmartGrid

�Consumption analysis

�Price fluctuation anal.

�Fault management

�Asset monitoring

Energy & Utilities

�SmartGrid

�Consumption analysis

�Price fluctuation anal.

�Fault management

�Asset monitoring

Digital Media

�Cross-channel marketing

optimization

�Website optimization

�Click fraud analysis

�Network usage analysis

Digital Media

�Cross-channel marketing

optimization

�Website optimization

�Click fraud analysis

�Network usage analysis

Wholesale & Distrib’n

�Fleet logistics

�CRM

Wholesale & Distrib’n

�Fleet logistics

�CRM

Hospitality

�Loyalty program anal.

�Customer

segmentation

�Cust. behavioral anal.

Hospitality

�Loyalty program anal.

�Customer

segmentation

�Cust. behavioral anal.

Pharmaceuticals

�Drug research

�Sales analytics

�Marketing analytics

Pharmaceuticals

�Drug research

�Sales analytics

�Marketing analytics

Government

�Smart Grid

�Cyber security

�Crime detection

Government

�Smart Grid

�Cyber security

�Crime detection

산업별 Netezza 활용 분야


IBM POC 프로그램프로그램프로그램프로그램 소개소개소개소개


IBM Netezza POC 프로그램 소개

• Netezza 어플라이언스를어플라이언스를어플라이언스를어플라이언스를사용하여사용하여사용하여사용하여, 평가평가평가평가검증검증검증검증환경을환경을환경을환경을제공하고제공하고제공하고제공하고있습니다있습니다있습니다있습니다.

1. 통상통상통상통상 1~2주간의주간의주간의주간의기간으로기간으로기간으로기간으로실시하고실시하고실시하고실시하고있으며있으며있으며있으며, 기존기존기존기존 DW제품과제품과제품과제품과 Netezza의의의의성능검증을성능검증을성능검증을성능검증을

위해위해위해위해무상무상무상무상서비스로서비스로서비스로서비스로제공하고제공하고제공하고제공하고있습니다있습니다있습니다있습니다.

2. 사전준비기간사전준비기간사전준비기간사전준비기간（（（（1~2일간일간일간일간））））

> 고객과고객과고객과고객과검증검증검증검증포인트의포인트의포인트의포인트의정의정의정의정의, 입증할입증할입증할입증할내용내용내용내용, 검증의검증의검증의검증의목표를목표를목표를목표를설정설정설정설정

> 비교비교비교비교/검증검증검증검증하기하기하기하기위한위한위한위한현행의현행의현행의현행의 SQL/DDL, 각각각각 SQL에에에에대한대한대한대한실행실행실행실행결과결과결과결과등의등의등의등의정보를정보를정보를정보를

고객으로부터고객으로부터고객으로부터고객으로부터제공받음제공받음제공받음제공받음

3. 테스트테스트테스트테스트및및및및검증검증검증검증（（（（수일간수일간수일간수일간 ~ 약약약약 2주간주간주간주간））））

> Netezza 시스템에시스템에시스템에시스템에데이터를데이터를데이터를데이터를로드하고로드하고로드하고로드하고, 제공된제공된제공된제공된 SQL 또는또는또는또는 BI어플리케이션으로어플리케이션으로어플리케이션으로어플리케이션으로

테스트테스트테스트테스트/검증을검증을검증을검증을실시실시실시실시

> 검증검증검증검증프로세스의프로세스의프로세스의프로세스의상세상세상세상세및및및및결과에결과에결과에결과에대한대한대한대한리포트를리포트를리포트를리포트를고객에게고객에게고객에게고객에게제출제출제출제출,

프레젠테이션을프레젠테이션을프레젠테이션을프레젠테이션을실시실시실시실시

- 현대상선 및 신세계 사례소개-...©2014 ibm corporation 빅데이터 심층 분석을...

Documents