Embedding(Repository) DBMS부터 대용량 데이터 검색 및 분석 처리까지 최선의 선택 PetaSQL Column-Stored DBMS R1 Http://www.warevalley.com

www.warevalley.com

PetaSQL

Row-Store DBMS (Disk, In-Memory) : Online Transaction

Column-Store DBMS (Disk, In-Memory) : Online Analytic

Hybrid(Row + Column)-Store DBMS (Disk, In-Memory)

Image Source : www.imagingnotes.com

OLTP vs. OLAP Old technology ? No

www.warevalley.com

PetaSQL

Image Source : Gartner

Gartner Hype Cycle for Big Data

Column-Store DBMS

NoSQL Database Management Systems

Louis Columbus at Forbes.com surveys key big data forecasts and market size estimates, including Gartner’s recent Hype Cycle for Big Data. The winning technologies in the immediate future? “Column-Store DBMS, Cloud Computing, In-Memory Database Management Systems will be the three most transformational technologies in the next five years.

빅데이터 마켓에서 Column-Store DBMS의 시장 주도

www.warevalley.com

PetaSQL

Big Data SQL Database Market

Big Data NoSQL Database Market

Big Data SQL Database Market

Big Data NoSQL Database Market

Database Security and Management Of WAREVALLEY

Image Source : Wikibon

NoSQL vs. SQL 시장 예측

www.warevalley.com

PetaSQL

Only 5%?

www.warevalley.com

PetaSQL

모니터링이나 보안 솔루션에 탑재되는 Embedding(Repository) DBMS에 대한 개발자 생각 1. Data Size: 작은 공간 차지 했으면..

2. Data 생성 및 검색 속도: 데이터 검색 속도가 더욱 빨라야.. 리포트가 빨리 나와야 하는데..

3. OLTP인가 OLAP 인가 : 빠른 데이터 처리 및 검색이 지원되면 아무거나..

4. 보안 무결성 : 정책이나 로그 데이터가 임의로 변조되거나 공격 당하면 곤란한데..

5. SQL 품질 : 튜닝이나 컨설팅 받지 않고 SQL 품질에 상관없이 데이터 검색이 빠르면..

6. 손쉬운 사용 : 쉽게 설치하고, 백업 받고, 복구할 수 있으면..

7. 비용 : 싸고 좋은 것..

www.warevalley.com

PetaSQL

Source : David Portnoy and Datalytx, Inc.

대표적인 글로벌 OLAP DBMS의 비교 (MPP Data Warehouse Platform 구조 부문 비교)

www.warevalley.com

PetaSQL

Source : David Portnoy and Datalytx, Inc.

대표적인 글로벌 OLAP DBMS의 비교 (MPP Data Warehouse Platform 비용 부문 비교)

www.warevalley.com

PetaSQL

Embedding(Repository) DBMS부터 대용량 데이터 검색 및 분석 처리까지 최선의 선택 (편의성, 보안성, TCO 절감)

PetaSQL Column-Stored DBMS R1 Http://www.warevalley.com

www.warevalley.com

PetaSQL

1. 제품 종류: RDBMS (Relational Database Management System) Software

2. 제품 사용 목적 : 소규모부터 대용량의 데이터가 저장 관리되는 소프트웨어

3. 제품 명칭의 의미 • Peta(Peta Byte, 페타바이트) + SQL (데이터 관리 및 검색 표준 언어) • 데이터 검색 속도가 빠르고, 데이터 분석 능력에 우수

4. 제품 사용 용도 : 범용적인 DBMS 혹은 특정 솔루션에 Embedding되는 형태

5. 참고 : 보안 솔루션, 모니터링 솔루션, 데이터 분석 솔루션의 경우, 자체 데이터 저장 및

관리를 위해 Oracle, Mysql, MariaDB 등 일반적인 Row 저장 기반인 OLTP RDBMS를 사용하는 경우, 데이터가 적재량이 많아지면서 데이터 파일 Size에 대한 관리 부담 및 검색속도의 지연 현상이 자주 발생하여 이를 해결하기 위한 최적의 RDBMS 솔루션임.

www.warevalley.com

PetaSQL

1. 표준 SQL 언어지원: SQL 2003 이상 지원 (DDL, DML, DCL, Query)

2. 프로그래밍 SQL 지원 : Procedure, Function, Trigger, Variables, Flow of Control

3. Application 인터페이스 : JDBC / ODBC / PHP / Perl / Phython / C / C++

4. 데이터 기본 구조 : Schema-Table-View-Column-Index

5. 지원 데이터 타입: CHAR, VARCHAR, TEXT, INT, BLOB, CLOB, URL 등 기본 데이터 타입부터 사용자 정의 데이터 타입까지 지원

6. 트랜잭션 관리 : Lock, Start Transaction, Commit, Rollback, Auto-Commit, Bulk In-Out

7. 런타임 처리 : Explain, Trace, Debug, Prepare

8. 설치 가능 플랫폼 • 64-bit (X86_64) Windows (Server 2003, 2008, Vista, Windows 7, 8) • FreeBSD Platform / Linux / UNIX

www.warevalley.com

PetaSQL

1. 병렬처리 : Multi-Processor, Multi-Core의 자원 활용을 극대화

2. 실시간 복제 지원 : Master 노드와 Slave 노드 간의 실시간 데이터 Replication

3. 백업 및 복구 : 임시 가용공간이 필요 없는 압축 및 암호화 백업 및 복구

4. 운영관리 : Text 기반의 PetaSQL Client Tool 및 Orange for PetaSQL(Q3Y14 예정)

5. 데이터 위.변조 방지 : 권한 없는 사용자에게 Read-Only Table 속성 부여 (진행 중)

6. PetaSQL 접근 인증 및 제어 : 기본적인 계정 관리를 포함하여 인증된 프로세스만 접근을 허용, 데이터 접근 및 입출력 행위 기록 및 통제 (진행 중)

7. 데이터 마스킹 및 암호화 기능 : 기밀정보 설정 및 비인가 사용자에게 특정 칼럼 데이터를 Masking(***) 혹은 암호화하여 전송 (진행 중)

보안 솔루션 혹은 모니터링 솔루션의 정책 및 로그 기록용 DB로서 최적의 기능 제공

www.warevalley.com

PetaSQL

Column Store 방식은 디스크에서 추출하는 데이터 양을 줄임으로써 디스크 입출력을 최소화하고 병목현상을 방지하여 검색 속도를 대폭 향상

방식

항목

Row Store 방식 Column Store 방식

장점 데이터 추가·변경 용이 데이터 검색 용이

단점 데이터 검색 시 불필요한

데이터 조회 데이터 추가·변경 느림

압축률 낮음 (60% 이하) 높음 (90% 이상)

검색

속도 느림 빠름

주요

사용처

OLTP(OnLine

Transaction Processing)

분야에 주로 사용하며, 트

랜잭션 지향의 업무처리

에 활용

OLAP(OnLine Analytical

Processing) 분야에 주로

사용하며, 데이터를 빠르

게 검색·분석하는 업무처

리에 활용

대표

DBMS

Oracle, MS SQL, Mysql,

Altibase, Tibero, Cubrid

Oracle Exadata, Netezza,

Sybase IQ, PetaSQL

www.warevalley.com

PetaSQL

OLTP (Row 저장 기반) vs. OLAP (Column 저장 기반) 실시간 데이터 저장,변경,삭제 vs. 실시간 데이터 저장, 검색, 분석 Oracle, MS SQL, Mysql vs. Oracle Exadata, Sybase IQ, Netezza, SAP HANA Altibase, Tibero, Cubrid, Cairos vs. PetaSQL In-Memory (혹은 Hybrid) vs. DISK 기반 NoSQL 기반 vs. SQL 기반 Appliance 방식 vs. Software 방식

www.warevalley.com

PetaSQL

Column 저장 방식을 통해, 효율적 압축을 제공, 스토리지 사용량 최소화 DB 보안 감사 로그 저장 시, Mysql 대비 약 1/10 수준의 저장 공간 사용

50만 건 1,00만 건 500만 건 1,000만 건 5,000만 건 비고

Chakra V3.1 (Mysql) 402 804 4,096 8,192 40,960 고객사 A 디스크 사용량

Max V2.0 (PetaSQL) 54 104 491 1,135 4,616

Chakra V3.1 (Mysql) 385 797 3,890 7,716 38,619 고객사 B 디스크 사용량

Max V2.0 (PetaSQL) 52 74 388 844 4,338

DB보안 솔루션의 DBMS 사용 예

Chakra V3.1(Mysql을 사용) Chakra MAX V2.0 (PetaSQL을 사용)

www.warevalley.com

PetaSQL

※ 180 byte 길이, 20만개 레코드 생성시 최저, 최고 값 제외 후 10회에 대한 평균 값 산출

16.9 16.1 16.1

15.5 15.6

12.4 13.2 13.5 13.9

12.1

4.8 4.6 4.7 3.9 4.0 4.1 4.1 4.2 4.5 4.9

MySQL

PetaSQL

단위 : 초

Column 저장 방식의 데이터 입출력 속도 단점을 극복 Mysql 대비 데이터 생성(Insert) 속도 평균 300% 우월

www.warevalley.com

PetaSQL

Column 저장 방식을 통해, 탁월한 데이터 검색 속도 실현 Mysql 대비 데이터 검색(Select) 속도 평균 15배~160배 우월

(단위-초)

500,000건 1,000,000건 5,000,000건 10,000,000건 50,000,000건

Chakra Max v1.3 (Mysql 사용) 19.2 47.2 379 1,758 N/A

약 20,880

Chakra Max v2.0 (PetaSQL 사용) 1.3 2.8 12.8 24.0 130

※ 20만~5천만 개 로그 검색 시 최저, 최고 값 제외 후 10회에 대한 평균 값 산출

www.warevalley.com

PetaSQL 적용 사례 : 게임사 A 온라인, 스마트 폰 용 게임 30여가지 게임을 서비스 하는 업체로 1일 SQL 전송 량이 20억 건에 육박 총 43개 DB 운영 중이며 PetaSQL이 탑재 된 Chakra Max를 이용해 모든 43개 DB 작업 내용 기록, 한달 평균 6TB 기록

2.3 2.3 2.2 2.2

2.1 2.1

2.5

16 16 16

15 15

18

17 억SQL/Day

억Session/Day

Day1 Day2 Day3 Day4 Day5 Day6 Day7

SQL 로그 량 16 억 16 억 15 억 15 억 15 억 18 억 17 억

Disk사용량 233 GB 240 GB 223 GB 223 GB 260 GB 266 GB 281 GB

Session SESS=2~3만 SESS=2~3만 SES<2만 SESS<2만 SESS<2만 SESS<2만 SESS<2만

packet(/분) 2억3천 2억3천 2.2 억 2.2 억 2.1 억 2.1 억 2.5 억

2.4 Quadcore, 8GM Linux 64bit 환경에서

평균 CPU Usage 5~10%에서 안정적으

로 운영중

www.warevalley.com

PetaSQL 적용 사례 : 화장품 기업 A 국내 최대 화장품, 뷰티 업계로 화장품, 뷰티, 생활용품, 건강보조식품 등 다양한 제품 라인업을 보유 10여 개 계열 브랜드 ERP, POS 등을 관리하는 50여 개 DBMS를 PetaSQL이 탑재 된 Chakra Max를 이용하여 1일 최대 3.2억 개 SQL 작업 로그 기록

2

3.2 2.9

3.6 3.5

2.9 3 억SQL/Day

Day1 Day2 Day3 Day4 Day5 Day6 Day7

SQL량 2 억 3.2 억 2.9 억 3.6 억 3.5 억 2.9 억 3 억

Disk사용량 Na na Na na Na Na Na

Session Na Na Na Na Na Na Na

packet(/분) na Na na Na na na na

2.4 Quadcore, 16GM Linux 64bit 환경에서

평균 CPU Usage 5~10%에서 안정적으

로 운영중

www.warevalley.com

PetaSQL 성능 검증 : TPC-H 벤치마크 ( OLAP용 Sybase IQ DBMS와 성능 비교 – 응답시간 )

테스트 환경

CPU Intel core i5-3570 @ 3.4GHz

RAM 8Gbyte

OS Windows 7 64bit

Database size 10Gbyte

측정 시간 단위 Second(초)

DB version Sybase IQ 15 PetaSQL R1

sybase IQ 15.2 11.17.17

성능 검증 : TPC-H 벤치마크 ( OLTP용 Oracle DBMS와 성능 비교 - 응답시간 )

테스트 환경

CPU Intel core i5-3570 @ 3.4GHz

RAM 8Gbyte

OS Windows 7 64bit

Database size 10Gbyte

측정 시간 단위 Second(초)

DB version Oracle PetaSQL R1

Oracle 12C 11.17.17

www.warevalley.com

PetaSQL 성능 검증 : TPC-H 벤치마크 ( PetaSQL, Sybase IQ, Oracle – 응답시간 )

www.warevalley.com

PetaSQL 성능 검증 (TPC-H) : 오픈 소스 DBMS와의 성능 비교 (1억 건의 데이터 검색에 대한 응답시간(sec))

쿼리 타입 Maria Infini Toku PetaSQL Monet GP(Qlz) GP(zlib) MySQL

S(01) 123.92 0.01 66.54 0.00 0.00 12.21 6.21 0.01

S(02) 109.28 134.33 58.76 0.66 3.65 55.13 46.42 159.04

S(03) 38.51 75.41 59.64 1.00 6.02 55.40 42.95 72.43

S(04) 69.03 91.40 58.33 2.70 7.75 17.00 14.07 111.79

S(05) 29.73 22.46 58.92 0.90 5.90 11.40 17.64 24.14

S(06) 99.62 39.91 57.90 1.20 6.22 54.93 43.37 42.32

S(07) 75.80 45.95 57.97 4.40 10.40 6484.42 1203.10 47.47

S(08) 71.98 42.84 59.19 8.50 13.58 18.24 14.27 163.05

S(09) 57.96 100.80 58.88 5.10 10.19 71.01 86.26 74.54

S(10) 88.53 26.36 59.42 0.17 3.16 13.39 10.46 28.13

S(11) 68.90 26.10 59.30 0.04 2.04 13.90 10.60 27.93

S(12) 34.24 23.68 57.70 0.09 1.99 10.45 12.45 48.11

S(13) 32.87 25.55 60.75 0.44 2.44 7.31 6.16 103.30

S(14) 32.12 25.12 59.94 6.60 11.62 12.79 10.47 26.90

S(15) 28.41 95.32 59.38 3.80 8.87 3.52 3.54 24.41

S(16) 51.97 39.11 59.74 4.00 9.02 34.82 37.90 24.09

CPU Intel Core i7-3820 3.5GH (4 core-> hyper threading 8 core)

Memory 16 Gb

Disk SATA2 1TB

OS CentOS 5.7

www.warevalley.com

PetaSQL 적용 사례 : DB 접근제어 솔루션 Chakra MAX 가트너 리포트에 등재된 전세계 7대 DB 보안 솔루션 중의 하나인 Chakra MAX에 탑재된 사례로, 정책 및 보안 규칙 저장, 대용량 로그 저장 및 검색, 다양한 통계 리포트 작성에 필요한 데이터를 PetaSQL으로 실시간으로 처리

www.warevalley.com

PetaSQL 적용 사례 : CCTV 영상보안 솔루션 Contents SafOO for CCTV 국내 최대 시장 점유율을 확보한 Content SAFOO for CCTV 솔루션은 CCTV 통합관제센터 영상정보의 외부반출 시 개인정보보호를 위한 최적의 CCTV 영상 보안 솔루션으로 콘텐츠를 암호화 하여 보관, 배포 함으로써 콘텐츠를 안전하게 보관 및 유출 방지를 구현. 각종 CCTV 영상 등록 및 반출 정보, 보안 규칙, 이력 등을 PetaSQL로 관리

WAREVALLEY PetaSQL

Http://www.petasql.com Http://www.warevalley.com

Contact us.

Seoul Office : 6F, Nuritkum Square R&D Tower, 1605 Sangam-dong, Mapo-gu, Seoul, Korea 121-795 Tel + 82.2.2132.5590

Online Contact : Sales@WareValley.com http://www.WareValley.com

Japan Office : Shinkasumigaseki Bldg 18F., 3-3-2, Kasumigaseki, Chiyoda-ku, Tokyo 100-0013 Tel +81.3.5532.8801