ibm의 빅데이터 분석 솔루션

© 2016 IBM Corporation

IBM Analytics – Architecture and Technology

1

© 2016 IBM Corporation 2

Harness All Data

& All Paradigms

Real-time analytics zone Enterprise

warehouse data mart and analytic appliances zone

Information governance zone

Exploration, landing and archive zone

Information ingestion and operational information zone

All Data

Analytics를 위한 아키텍처 – Platform

모든 데이터를 분석 할 수 있도록 전사 정보 관리 아키텍처의 준비가 필요합니다.

Realize It. Prepare enterprise information architecture

to leverage All data .

Volume Variety Velocity Veracity

Data at Scale

Terabytes toPetabytes of data

Data in Many Forms

Structured, unstructured, text,

multimedia

Data in Motion

Analysis of streaming data to real time action

Data Uncertainty

Managing the reliability of data


Realize It. The spectrum of Analytics is expanding.

Be More Right, More Often

Applications

What could happen?

Predictive analytics and modeling

What action should I take?

Decision management

What is happening? Discovery and

exploration

Why did it happen?

Reporting, analysis, content analytics

Cognitive Fabric

Analytics를 위한 아키텍처 – Solution

더 정확하고 더 자주 분석할 수 있도록 분석 영역의 지속적인 확장이 필요합니다.

Descriptive

An

aly

tic C

ap

ab

ilit

y b

read

th

Degree of Data Integration

DepartmentalSilos

Enterprise data architecture & governance

EnterpriseContent

Internet & External Data

+

Increasing Business Impact

Leaders

Predictive

Cognitive

Prescriptive

Transformers

SignalData

+

Transactional &Application Data

+


Systems Security

On premise, Cloud, As a service

Storage

IBM Watson Foundations

IBM Big Data & Analytics Infrastructure

Applications All Data






What could happen?



Decision management


exploration

Why did it happen?


Cognitive Fabric

Analytics를 위한 아키텍처 의 진화

IBM Watson Foundation and analytic technology


Systems Security


Storage






What could happen?



Decision management


exploration

Why did it happen?


Cognitive Fabric

The new foundation for leveraging all analytics and harnessing all data



Enterprise warehouse data mart and analytic appliances zone


Why did it happen?


분석 아키텍처 활용

기간계 데이터를 EDW 로 축적하여 기업의 비즈니스 운영 상황을 분석및 리포팅


Systems Security


Storage






What could happen?



Decision management


exploration

Why did it happen?


Cognitive Fabric





exploration



SNS 등 비정형 소스의 데이터를 활용하여 고객 행동 이해를 위한 탐색 및 발견 수행


Systems Security


Storage






What could happen?



Decision management


exploration

Why did it happen?


Cognitive Fabric




Real-time analytics zone

What could happen?



실시간으로 발생하는 데이터를 기반으로 고객 경험 관리를 위한 실시간 예측을 수행


IBM Analytics – Technology map for complete portfolio



Landing, Exploration & Archive data zone

EDW & data mart

zone

Real-time Data Processing & Analytics

Deep

Analytics data zone

What could happen? Predictive analytics & modeling


Decision management

What is happening? Discovery & exploration

Why did it happen? Reporting & analysis

What did I learn, what’s best?

Cognitive

Industry Solution Public Safety Telco Big data

IBM Big Data & Analytics Infrastructure On premise, Cloud, As a service

Sensors

CDR

XDR

App usage

Social Media

Location

Subscriber profile

Information Integration & Governance

Operational

data zone

IBM IoT Foundations

Smarter City


IBM Analytics – Technology map for complete portfolio



Landing, Exploration & Archive

data zone

EDW & data mart

zone


Deep Analytics data zone

What could happen? Predictive analytics & modeling


Decision management

What is happening? Discovery & exploration

Why did it happen? Reporting & analysis


Cognitive

Industry solution Public Safety Telco Big data

IBM Big Data & Analytics Infrastructure On premise, Cloud, As a service

CDR

XDR

App usage

Social Media

Location

Subscriber profile

;

Information Integration & Governance

Operational

data zone

BigInsights PDA

DB2 w/ BLU

Streams Watson Explorer

COGNOS BI

Information Server

Data Replication (CDC)

SPSS

DB2

Cloudant

Optim

SPSS Watson Explorer-WCA

DashDB

Watson Analytics

PCI

BA SaaS offering

TM1

Content Mgmt ( ECM)

IBM IoT Foundations

PMQ

Counter Fraud Smarter City

MessageSight

Asset Mgmt: Maximo, Tririga

Informix

The Now Factory i2

IOC

Dataworks

Doors Rapsody

Predictive Analytics

IVA

I2 optimization


IBM Analytics – Solution portfolio (빨간 상자가 Analytics Platform입니다)


IBM Analytics Platform Portfolio

Information Integration

and Governance

Big Data

and Database

Analytic Tools

• Information Server

• Foundation Tools

• Optim

• IIDR

• DB2

• Informix/Solid

• PureData for

Analytics

• Big Insights

• InfoSphere Streams

• MDM

• Entity Analytics

• IDAA

• IBM Cognos

• IBM SPSS

Enterprise

Content Management

• Content Mgmt.

• Imaging

• Adv. Case Mgmt

Consultative Sales Direct/Tech/Channels Sales Partners


1

2

4

5

6

More than Hadoop •기업환경을 위한 보안, 안정성의 제공 •워크로드 관리 •Big SQL , 검색기능 을 통한 데이터 접근 용이성

Real time Analytics •기업환경을 위한 실시간 스트림 데이터 처리 및 분석

Analytics Everywhere •기업의 분석역량의 성숙도 향상을 위한 다양한 분석 기능

Governance Everywhere •분석 뿐 아니라 데이터 신뢰성을 위한 통합 거버넌스 역량

Industry Solution •Public safety •Smarter city •Telco big data

IBM Watson Foundations : 빅 데이터 핵심 기술


ApplicationsAll Data


EDW & data mart

zone



What could happen?Predictive analytics & modeling


Decisionmanagement

What is happening?Discovery & exploration

Why did it happen?Reporting& analysis


Cognitive

IBM Big Data & Analytics Services Data & Analytics

Modernization - AMSInformation Management

& Big DataTechnology Strategy

& governance


Pure Systems Security StorageSystem xPower Systems System z


Probe

CDR

XDR

App usage

Social Media

Location

Subscriber profile

Campaign Mgmt

Fraud Mgmt

Revenue Assurance

Credit & loans

Prepaid charging

Postpaid billing

Information Integration& Governance

Operational

data zone

IBM Watson FoundationsIBM Watson Foundations

ApplicationsApplicationsAll DataAll Data


EDW & data mart

zone






Decisionmanagement


Decisionmanagement






Cognitive

IBM Big Data & Analytics Services Data & Analytics

Modernization - AMSInformation Management

& Big DataTechnology Strategy

& governance


Pure Systems Security StorageSystem xPower Systems System z


Probe

CDR

XDR

App usage

Social Media

Location

Subscriber profile

Campaign Mgmt

Fraud Mgmt

Revenue Assurance

Credit & loans

Prepaid charging

Postpaid billing

Information Integration& Governance

Operational

data zone

BigInsightsPDA

DB2 w/ BLU

Streams Watson Explorer

COGNOS BI

Information Server

Data Replication (CDC)

GuardiumSPSS

DB2

Cloudant

Optim

SPSS Watson Explorer-WCA

DW as a service

Watson Analytics

PCI , PMQ

BA SaaS offering

TM1

1

2

4

5

6

3 Leading DW Technology •인 메모리기술 을 통한 성능 향상 •Appliance 기술을 기반으로 한 최적 구성

3


1) More than Hadoop : Big Insight

. . .

InfoSphere BigInsights

Big SQL

SQL MPP Runtime

Data Sources

Parquet CSV Seq RC

Avro ORC JSON Custom

SQL-based Application

IBM Data Server Client

SQL on Hadoop 기술 지원 - DB2 쿼리 엔진을 포팅 - Big SQL worker daemon이 각 cluster에서 기동됨

Low latency와 high throughput 제공

DB2와 동일한 client driver를 사용하여 ANSI 표준 SQL 지원

- db2jcc.jar

Analytic Capabilities - 다양한 aggregate 기능 제공

CORRELATIO

N

COVARIANC

E

STDDEV VARIANCE

REGR_AVGX REGR_AVGY REGR_COUNT REGR_INTER

CEPT

REGR_ICPT REGR_R2 REGR_SLOPE REGR_XXX

REGR_SXY REGR_XYY WIDTH_BUCKE

T

VAR_SAMP

VAR_POP STDDEV_PO

P

STDDEV_SAM

P

COVAR_SAM

P

COVAR_POP NTILE


2) Real-Time Analytics : InfoSphere Streams

지속적인 데이터 발생 움직이는 데이터에 대한 지속적인 쿼리 및 분석 작업

Data Tuple Operator

Streams Application

Data Sink

Data Sources


3) Leading DW Technology (DW appliance)

: Pure Data for Analytics

데이터 이동 최소화

대용량 데이터에 대한 고급 분석

고 성능, 병렬 수행

Transformations

Mathematical

Geospatial

Predictive

Statistics

Time Series

Data Mining

0

50

100

150

200

250

IBMNetezza

EMCGreenplum

Oracle Teradata

TheMOSTIn-DatabaseAnaly cFunc onsIn-Database

Analytics


고객사 성능

BNSF Up to 137x

Handelsbanken 7x – 100x

Triton Consulting 46x

Yonyou 40x

Coca-Cola Bottling 4x - 15x

10x-25x speedup

is common

3) Leading DW Technology( In Memory DB) : BLU


4) Analytic everywhere: SPSS Modeler

SPSS Modeler는 Advanced Analytics의 개념하에 미래를 예측(What will happen?)하고 어떤

의사결정을 해야할지(What should we do?)를 사용자 중심의 환경을 통하여 지원합니다.

구성요소 및 특장점 IBM SPSS Modeler (Gold)의 세가지 Component 구성

1. IBM SPSS Modeler

2. IBM SPSS ADM(Analytical Decision Management)

3. IBM SPSS CADS (Collaboration And Deployment Services)

대용량 데이터로부터 유용한 정보를 찾아내는 데이터마이닝 툴

세계 최초 Analytics 전 과정에 Visual programming 도입

분석자 편의를 극대화하여 업무 생산성 획기적 향상

예측분석 모델 결과와 업무 경험에서 도출된 Business Rule을 조합하여 최적의 의사결정 및 업무 실행 방안을 도출

User-friendly한 화면 기반의 업무 환경 제공으로 신속한 시뮬레이션 및 최적화와 의사 결정 가능

분석을 통한 Business insight를 실제 업무 환경에 원활히 반영하게 하는 전체 플랫폼 제공

분석 자산에 대한 사내 공유 및 배포, 보안 관리 등 협업 지원

개방형 구조 기반의 타시스템 연계 및 자동화 프로세스 지원


4) Analytic everywhere : Cognos BI

IBM Cognos BI 는 과거 데이터 다차원 분석 뿐 아니라 실시간/모바일/Advanced

Analytics/경영계획/성과관리로 확장 가능한 플랫폼으로 효율적인 사용자 환경 및 다양한

인터페이스 연계를 통해 더욱 강력한 분석 시스템을 제공합니다.

구성요소 및 특장점 IBM Cognos BI는 다음의 세가지 Component로 구성

1. 다양한 분석도구와 분석 성능

2. 시각화

3. 빅데이터 분석

전사 다양한 역활 및 분석 수준에 맞는 다양한 솔루션

Self Service 기반의 분석 환경

단일 메타데이터 기반으로 데이터 신뢰성 확보

분석 성능 향상을 위한 인메모리 솔루션 제공 (기본포함)

대용량 데이터에서 신속한 통찰력 확보

단일 스펙으로 멀티 플랫폼 사용 (재사용성)

미려하며 수정 용이한 시각화 엔진

전통적인 데이터소스, 클라우드 기반 어플리케이션 데이터소스, 빅데이터 지원 소스, 하둡기반 소스에 모두 접근 가능

전사 다양한 데이터소스 및 개인 PC 파일을 통한 분석 수행


5. Governance everywhere: InfoSphere DataStage

Simple Data Flow design Incorporate oozie workflows

Big SQL Integration

GPFS / HDFS Read-Write and Pushdown

Connectivity Drivers

Data Parsers

Operational Console Metadata Import &

Management


영업 및 기술 문의처 : 이승훈 실장, [email protected], 010-9338-6400

mailto:[email protected]