11

빅데이터 시대,

더욱 중요해진 DW를 위한

어플라이언스 전략

티맥스소프트

2

Agenda

2016DATAGRANDCONFERENCE

1. Database Appliance 등장 배경

3. 적용 업무

2. Tmax ZetaData

3

등장 배경 - 데이터 증가

• 대용량 데이터 분석이 필수가 된 기업 환경

• 기존 아키텍처로는 초대용량 데이터 처리 요구에 한계

대용량 데이터 분석은 필수

기 구축된 DW로는 분석 요구 불충족

데이터 증가에 따른 시스템 확장 부담

정형 데이터 증가율 연 49% 기업 내 DW 크기는 2년마다 3배씩 증가

증가하는 데이터 처리 성능 한계

처리시간

데이터 크기1TB 3TB 10TB

1 Hour

5 Hour

10 Hour

2016년

2010년

데이터 증가

대용량화에 따른 인프라 운영복잡도 증가

그러나,

등장 배경

4

기존 한계와 시장의 노력

• 기존 DBMS의 기술적 한계를 해결할 수 있는 새로운 솔루션 필요

기존의 기술적 한계 빅데이터 해결 노력

성능 한계

확장성 한계

• 전통적 DB 아키텍처의 Disk I/O 병목

으로 인한 성능 한계(Disk, Network)

• 빅데이터 수용을 위한 Scale-up 한계

• 분석을 위한 DB서버 처리량 확장 한계

소프트웨어 + 최신 하드웨어결합을 통한 성능 극복

아키텍처 개선을 통한 Scale-out 용이성 구현

기존 DBMS 아키텍처 진화

등장 배경

5

솔루션 구성

• 우수한 소프트웨어, 고성능 하드웨어의 최적 조합으로 기존 한계 극복

데이터베이스 어플라이언스

데이터베이스 전용전송 규약

고성능 병렬 데이터베이스관리 시스템

우수한 소프트웨어 고성능의 하드웨어

초고속 플래시 메모리(HDD 대비 20배 이상 성능)

초고속 네트워크(기존 대비 5배 이상)

지능형 스토리지소프트웨어

고성능 데이터베이스 서버

•초고속 성능•최고의 확장성

SW와 HW를 결합한 문제 해결

등장 배경

6

ZetaData 개요

• 고성능 DB 서버, 지능형 스토리지 서버, 초고속 네트워크 구성

• 대용량 데이터의 빠른 처리를 제공하는 DB 어플라이언스 솔루션

ZetaData

DB Server

Storage Server

High Speed Special Network

Disk Disk Disk

Tibero DBMS와 진화한 하드웨어를 조합한

일체형 DB 어플라이언스

스토리지 S/W와 고대역폭 N/W을 통한

대용량 데이터의 고성능 처리

TAC와 병렬 스토리지 아키텍처를 통한

DB, 스토리지 확장성

Resource Manager, Flash Cache를 통한

혼합 워크로드 및 DB 통합 지원

7

ZetaData 특장점

• 대용량 분석에 대한 고성능 제공 및 강화된 확장성 구조

• 기존 DBMS의 전환 용이성

ZetaData

데이터베이스요구 기술

대용량 고성능분석

Scale-out 확장

DB 통합

적용 용이성

• TAC로 DB서버 확장 용이

• 볼륨 매니저를 통한

디스크, 스토리지 수평

확장 용이

• 대량 데이터 분석과

고속 트랜잭션 처리를

동시에 수용

• 업무별 리소스 관리를 통한

OLAP, OLTP 동시 처리

• 표준 SQL, 함수, 표준 인터

페이스 AP 호환성

• 기존 Tibero 뿐만 아니라

O사, E제품 DB 전환 용이

(T-up)

• 고성능 Software

- Smart Storage 등

• 고성능 Hardware

- Flash Memory

- Infiniband N/W

혼합 부하 수용3

고성능 구조1

전환 & 호환성

강화된 확장성 2

4

TmaxDB Appliance

ZetaData

8

ZetaData 아키텍처

• 다수 DB 서버와 스토리지 서버, 그 사이를 고성능 네트워크로 구성

ZetaData

Tibero Active Cluster

DB Server

Volume Mgr.

Network

StorageServer

DB Server 1

TAS

• Tibero & TAC

• DB Resource Manager

• Tibero 전용 Volume Manager

• Software RAID

• 고성능, 저부하

네트워크 & 프로토콜

• 데이터 읽기/쓰기 속도

향상

• Disk 병렬처리

• Disk 확장성

Storage Server 1

disk diskdisk

Flash Cache

ZetaDataStorage

Storage Server 2

disk diskdisk

Flash Cache

ZetaDataStorage

Storage Server 3

disk diskdisk

Flash Cache

ZetaDataStorage

Tibero(TAC)

DB Server 2

TAS

Tibero(TAC)

IB Network

• Data Filtering• I/O 향상 기법• Columnar 압축• I/O Resource Mgr.

9

Function Offloading

• DB 서버로 전송되는 데이터 볼륨을 감소, 분석을 스토리지 서버로 분산

• 기존 DBMS의 가장 큰 성능 저하 요인인 I/O 병목을 획기적으로 제거

ZetaData

DB Server

StorageServer

초고속 N/W

ColumnFiltering

RowFiltering

• Storage 서버에서 Row, Column

필터링

DB서버로 데이터 이동 감소

• DB 대기 시간 제거로 대량

데이터 처리 시간 획기적 감소

- 분석 업무 5~10배 속도 향상

• 복잡한 통계 함수, 압축 해제,

암호화 등 계산량이 많은

업무를 스토리지 서버로 분산

• 고효율 컬럼 압축과 병행하여

대용량 처리 속도 극대화

Function Offloading

10

Storage Data Map

• 자주 사용되는 컬럼의 요약 정보를 스토리지 서버 메모리에 관리

• 불필요한 Disk I/O 방지, 디스크의 데이터 읽기 시간을 크게 줄임

ZetaData

• 컬럼에 저장된 데이터의 요약

정보를 실시간으로 메모리에

저장(Disk 각 구간별 Min/Max

관리)

• 조건에 맞는 범위의 데이터만

Access

불필요한 Disk I/O 제거 및

빠른 데이터 전송

• Function Offloading에 앞서

진행되어 Disk의 불필요한 Row

Scan을 사전 제거

Storage Data Map

C1 C2 C3

4

9

8

StorageServer

구간 1

Min : 4Max : 9

구간 2

Min : 1Max : 6

구간 3

Min : 3Max : 7

메모리에저장

C1 C2 C3

2

1

6

C1 C2 C3

3

7

5

[Table]

[Storage Data Map]

요약

disk diskdisk

11

고속의 Network

• H/W와 S/W 기술이 결합된 고속의 Infiniband를 통한 대역폭 확장

• 전용 프로토콜을 통한 고속, 저부하 전송으로 병목 없는 데이터 전송

ZetaData

고속의 Special Network기존 SAN

DBServer

Disk1 Disk2 Disk20…

SAN Switch

5~8 Gbps

속도 5배 이상

• 제한된 대역폭으로 데이터 증가할수록

네트워크 병목현상 심화

DW 성능 제한

• H/W와 S/W가 결합된 고속 네트워크

- InfiniBand(H/W) : 40Gbps 이상의 고대역폭

- RDS&RDMA(S/W) : 고성능, 저부하 네트워크 프로토콜

기존 대비 5배 이상 속도 향상

DBServer

Disk1 Disk2 Disk10 Disk1 Disk2 Disk10

40 Gbps

IB Network

… …

…

12

Flash Caching

• Flash Cache에 Hot Data를 자동 캐싱하여 Disk I/O 지연 제거

• 빠른 응답시간을 보장함으로써 향상된 OLTP 성능 제공

ZetaData

• Flash Cache를 이용하여 Random I/O

응답시간을 획기적으로 향상

- Flash Cache : ~1ms, Disk : 5~10ms

• 자주 사용되는 Hot Data를 자동으로 Flash

Caching

Index Scan을 유도하는 랜덤 액세스 성능

향상

• Write-back 알고리즘을 통한 데이터 쓰기

응답시간 향상

• 스토리지 서버 당 12TB Flash 제공

1/4 Rack 기준 약 36TB 캐싱 가능

Flash Cache를 통한 성능 향상

사용률이 높은데이터

사용률이 낮은데이터

Disk Disk

Disk

Cold Data Hot Data

Flash Cache

DB Buffer Cache

StorageServer

DBServer

13

아키텍처 확장성

• Disk와 스토리지 서버 확장이 용이한 아키텍처

• 무한대에 가까운 Disk 처리량과 데이터 저장 용량을 제공

ZetaData

무한대의 데이터 확장

• Disk, 스토리지 서버 확장을 통하여

무한대에 가까운 데이터 용량 지원

DBServer

StorageServer

High Speed Special Network

Disk 추가

disk diskdisk

disk diskdisk

disk diskdisk

노드 추가

NewDisk

Disk 1

8TB1 Disk

Disk 2 Disk 3 Disk 12…

스토리지 서버 당 Local Disk 96TB

…

Full Rack 14개 서버 1,344TB(Usable 440TB)

14

Tibero Active Storage(TAS)

• Tibero가 제공하는 스토리지 가상화 솔루션, 여러 Disk에 데이터 저장

• Disk 추가/제거로 인한 작업 자동화로 높은 확장성 제공

ZetaData

Online RebalancingVolume Manager

Disk 1

TAS

• TAS Clustering를 통한 CLVM(Clustered Logical

Volume Manager) 제공

- 한 개의 DBMS가 스토리지 서버 자원 공유

- 서버, Disk 추가/제거 용이 시스템 확장성 제공

확장…

Tibero #1 Tibero #2 Tibero #N

Disk 2 Disk 3 Disk 4

• Disk 간 데이터 분포를 고르게 하여 분산 처리를

통한 병렬 I/O 효과 극대화

- 서버, 디스크 추가/제거 시 자동 Rebalancing

- 일부 Disk에 집중된 데이터를 다른 Disk로 분산

Disk1 Disk2 Disk3 Disk4

Disk1 Disk2 Disk3 Disk4

디스크 간 데이터불균형 발견

Rebalancing 후균형 상태확장

…

15

Columnar Compression

• 데이터 압축을 최적화하는 컬럼 압축의 높은 압축 효율 제공

• 디스크 공간 절약으로 비용 절감 및 성능 향상

ZetaData

C1 C2 C3 C4

C1 C2 C3 C4

C1 C2 C3 C4

C1 C1 C1

C2 C2 C2

C3 C3 C3

C4 C4 C4

C1

C2

C3

C4

Column

Store

(압축 전)

Columnar

Compression

(압축 후)

• 보다 효율적인 컬럼 압축으로 기존

크기의 1/5로 압축(압축률 82%)

• 데이터 사용 빈도와 저장 공간 효율을

Trade-off하여 컬럼 압축 Level 조정

• 컬럼 압축 → 스토리지 절약

• I/O 감소 → 성능 향상

컬럼 압축

0

100

200

300

400

500

600

700

비압축 Basic Level 1 Level 2 Level 3

(GB)657

120

16

ZetaData 장애 진단 툴

• 구성 요소에 대한 장애 포인트 및 서버 상태에 대한 진단 도구

• 문제 발생 시 장애 포인트를 단시간 내 식별하고 해결

ZetaData

진단 툴 기능

• 시스템 자원 정보 모니터링- CPU, Disk I/O, Disk 사용량- Network I/O- Swap Memory, Virtual Memory- 설정 및 사용량 정보 제공

• 하드웨어 환경 정보- Fan 정보, 서버 온도, 전원 공급량 등

상태 모니터링 및 이력 관리

상태 분석 & 진단

DB Server

TAS

StorageServer

서버 상태 로그

이벤트 발생정보

설정 정보

ZD Monitoring

ZD Client

• 시스템 설정을 근거로 시스템 상태 분석하여 정상여부 진단- CPU, IB Mode, Disk, Fan, 온도, 전원 공급량

단일 툴로 H/W, S/W 모두 진단

어플라이언스 운영 효율성 극대화ZetaData 구성

17

유연한 구성과 확장성

• DB서버 처리 능력, 디스크 공간까지 확장성 보장

구 분 Flex 1/8 Rack 1/4 Rack 1/2 Rack Full Rack

DB서버 1 2 2 4 8

스토리지 서버 1 3 3 7 14

DB 코어22 Core16 Core

44 Core32 Core

88 Core64 Core

176 Core128 Core

352 Core256 Core

Disk(Usable) 15 TB 45 TB 90 TB 210 TB 420 TB

Flash 용량(Cache)

6 TB 18 TB 36 TB 84 TB 168 TB

Small Medium Large Large+ Large++

DB 서버

스토리지 서버

고성능 N/W

ZetaData

18

도입 예상 분야

• 대량 데이터 보관 및 분석(처리) 용도의 다양한 업무에 도입 가능

분석 업무 (DW) 분석 업무 외

사용중인 DB 어플라이언스

확장 / 재구축 고려

기존 DW 확장 필요

DW 신규 구축

운영 효율화를 위한

물리적인 DB 통합

법규, 서비스 요구에 의한

장기간 데이터 저장

사업 확장에 따른

시스템 증설 또는 확장

적용 가능 업무 : 기 운영 DW 전환, ILM(Information Lifecycle 관리), 과거내역 조회 (카드사, 은행 등), 개인정보 분리 보관, 혼합 워크로드가 포함된 온라인 배치 업무(감사 업무 등) 등

적용 업무

19

도입 사례

• 한국마사회(KRA), 빅데이터 기반 사업 도입

적용 업무

20

티맥스소프트 DBMS 진화

• Tibero DBMS와 공유디스크 기반 Active Cluster의 확산 성공

• 빅데이터 시대에 맞춘 데이터 관리 기술로 진화 중

Tibero TAC

Tibero Appliance

AnyMiner

ZetaData

~ 2012

2015

전통 DBMS 빅데이터 클라우드

• 1,600개 적용 사례• 미션 크리티컬 고가용성 사례• 공유디스크 기반 Active Cluster

• OLTP용 DB 어플라이언스• Flash Disk 기반

2014

2016

Appliance

클라우드 DB/스토리지

• Database in PaaS• Storage in IaaS• 클라우드 볼륨 관리자

• 정형, 비정형 빅데이터 처리• 빅데이터 DB 어플라이언스• 정형, 비정형 통합 분석

2121