[db tech showcase sapporo 2015] b15:ビッグデータ/クラウドにデータ連携自由自在...

ビックデータ/クラウドデータ連携自由自在

～オンプレミスからクラウドへ！～～クラウドからクラウドへ！～

プロダクトコンサルティング事業部森田俊哉

データベースもクラウドへ…？

Private Cloud Public Cloud

Hybrid Cloud

クラウドファースト

Copyright @2015 Insight Technology, Inc. All Right Reserved

8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著にセキュリティに対する不安やクラウドの移行・運用コストが利用障壁に

出典：MM総研「国内クラウドサービス需要動向(2014年版) http://www.m2ri.jp/newsreleases/main.php?id=010120141104500

0

5,000

10,000

15,000

20,000

2013年度 2014年度 2015年度 2016年度 2017年度 2018年度

国内クラウドサービス市場規模実績・予測

プライベートクラウド(ホステッド/オンプレミス/コミュニティ)

パブリッククラウド(SaaS/IaaS/PaaS)16.0%

13.6%

10.9%37.6%

21.9%

新規システム構築方法

原則的にクラウド事業者のプライベートクラウド

原則的に自社資産のプライベートクラウド

原則的にパブリッククラウド

クラウドとオンプレミスのメリットを勘案し、最適な方法で

原則的にオンプレミス（非クラウド環境）

データベースもクラウドへ！

8割の企業が新規システムの構築時にクラウドを検討、クラウドファーストの浸透が顕著にセキュリティに対する不安やクラウドの移行・運用コストが利用障壁に

データベース基盤におけるクラウド活用

5

リモートバックアップの配置先に活用

基幹系・業務系システムとして活用

オンプレミス環境の災害環境として活用

開発環境検証環境テスト環境として活用情報系(BI/DWH)

として活用

Private Cloud Public Cloud Hybrid Cloud

データベースに対するクラウド活用についても、IBM/Amazon/MSによる積極的なデータベースサービス展開もあり下記のような用途でのクラウド活用事例が増加中

オンプレ・クラウド間のデータ連携がキーになる


34.3%

41.0%

47.5%

16.6%

21.4%

29.0%

複数データセンター間での柔軟なリソース増強

(スケールアウト)

複数データセンター間での

データ移行・バックアップ・VM移設

データセンター内での柔軟なリソース増強

(スケールアップ・スケールアウト)

データセンターに必要と考える機能クラウド非推進企業

クラウド推進企業

出典「ITR:クラウド/ICTアウトソーシング同行調査2012」

複数データセンター間でのデータ移行・バックアップ・VM移設

オンプレ←→クラウド←→クラウドデータ連携…?


1.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携（データブロック反映）

２.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携（SQL反映）

Oracle DataGuard

Dbvisit Standby

01. Description of the contents

データ連携方式

Oracle GoldenGate

Attunity Replicate


データベースデータ連携（データ同期）～１

Source DB Target DB

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

初期同期(COPY)


Source DB Target DB

Change Data

Capture

トランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Change DataApply

データベースデータ連携（データ同期）～２

INSERTUPDATEDELETE


1.スタンバイ方式(Physical Replication)

データベース単位でのデータ連携（データブロック反映）

２.レプリケーション方式(Logical Replication)

スキーマ/テーブル単位でのデータ連携（SQL反映）

Oracle DataGuard

Dbvisit Standby

01. Description of the contents

データ連携方式

Oracle GoldenGate

Attunity Replicate

データ連携方式比較

スタンバイ方式Physical Replication

ロジカルレプリケーション方式Logical Replication

プロダクトOracle DataGuardDbvisit Standby

Oracle GoldenGateAttunity Replicate

データ連携単位 DB Schema / TABLE

データ連携アーキテクチャ LOG Apply SQL Apply

転送タイミング即時～数秒*1 / LOG転送時

(自動）即時

(自動)

データ連携先利用検索不可（検索可*1）検索可更新可

データベース構成同一不問

異種・異バージョンデータベース連携

*1) Active Data Guardの場合


Source DB Target DB

Change Data

Capture


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

データベースデータ連携（Logical Replication）

Change DataApply

INSERTUPDATEDELETE

INSERT

UPD

ATE

DELETE

SQL

トランザクションログって何…？

9

Oracle Database の処理（更新）

Client Oracle Database

REDO LogsControlfileData File

Server

SGA

LGWRCKPTSMON PMON DBWn

REDO LOG BufferDatabase BufferShared Pool

SQL解析情報

SQL実行計画

A

SELECT COLA FROM TABA

データディクショナリ

更新履歴A→B

データベースで行われた変更履歴（DML,DDL処理）を格納

障害からの復旧に使用

UPDATE TABA SET COLA=‘B’

COMMIT

B A

A

AB

OracleのLOGMinerを使ってREDOログを覗いてみる

REDOログと関連するデータ・ディクショナリに直接アクセス

REDOログは、データベース上で実行されるすべてのアクティビティの完全な記録。

データ・ディクショナリは、内部オブジェクト識別子およびタイプを外部名とデータ形式へ変換する際に使用されます。

LogMinerはデータベースで実行される各論理操作を動的なビュー

V$LOGMNR_CONTENTSに提供

各行には、変更のロールバックに使用できるSQL UNDO文と、元の操作が詳細に記述されているSQL REDO文が含まれます。

LOGMinerとは？

データ・ディクショナリREDOログ

V$LOGMNR_CONTENTS


REDOログファイル分析のためのLogMinerを使用して情報を取得V$LOGMNR_CONTENTS（Oracleマニュアルから一部抜粋）

Oracleの場合：REDOログファイルの内容

列データ型説明

SCN NUMBER データベースに変更が加えられた時点のシステム変更番号(SCN)

START_SCN NUMBER この変更を含むトランザクションが開始されたときのシステム変更番号(SCN)。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザクションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになることもある。

COMMIT_SCN NUMBER トランザクションのコミット時のシステム変更番号(SCN)。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効。

TIMESTAMP DATE データベースに変更が加えられた時点のタイムスタンプ

START_TIMESTAMP DATE この変更を含むトランザクションが開始されたときのタイムスタンプ。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効、それ以外の場合はNULL。この列は、トランザクションの開始を含まない時間/SCN範囲に問合せが実行されると、NULLになることもある。

COMMIT_TIMESTAMP DATE トランザクションのコミット時のタイムスタンプ。COMMITTED_DATA_ONLYオプションがDBMS_LOGMNR.START_LOGMNR()の起動時に選択された場合のみ有効。

USERNAME VARCHAR2(30) トランザクションを実行したユーザーの名前

OS_USERNAME VARCHAR2(4000) オペレーティング・システムのユーザー名

SQL_REDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元のSQL文と同じ。

SQL_UNDO VARCHAR2(4000) 再構成されたSQL文で、変更を実行した元の文の結果を取り消すために使用できる。


SQL V$LOGMNR_CONTENTS / SQL_REDO

DELETE FROM EMP WHERE EMPNO=7844;

delete from "SCOTT"."EMP" where "EMPNO" = '7844' and "ENAME" = 'TURNER' and "JOB" = 'SALESMAN' and "MGR" = '7698' and "HIREDATE" = TO_DATE('81-09-08', 'RR-MM-DD') and "SAL" = '1500' and "COMM" = '0' and "DEPTNO" = '30' and ROWID = 'AAAD8yAAEAAA+k7AAN';

ROLLBACK;

insert into "SCOTT"."EMP“("EMPNO","ENAME","JOB","MGR","HIREDATE","SAL","COMM","DEPTNO") values ('7844','TURNER','SALESMAN','7698',TO_DATE('81-09-08', 'RR-MM-DD'),'1500','0','30');

UPDATE EMP SET SAL=SAL*1.1WHERE EMPNO=7844;

update "SCOTT"."EMP" set "SAL" = '1650' where "SAL" = '1500' and ROWID = 'AAD8yAAEAAA+k7AAN';

DELETE FROM SALGRADE WHERE GRADE=5;

delete from "SCOTT"."SALGRADE" where "GRADE" = '5' and "LOSAL" = '3001' and "HISAL" = '9999‘and ROWID = 'AAAD7dAAEAAAADMAAI';

ROLLBACK;insert into "SCOTT"."SALGRADE"("GRADE","LOSAL","HISAL") values ('5','3001','9999');

UPDATE SALGRADE SET HISAL=20000 WHERE GRADE=5;

update "SCOTT"."SALGRADE" set "HISAL" = '20000‘where "HISAL" = '9999‘and ROWID = 'AAAD7dAAEAAAADMAAI';

V$LOGMNR_CONTENTSの内容

計算式は、固定値に変換されて生成


SQL V$LOGMNR_CONTENTS / SQL_REDO

DELTE FROM EMP WHERE DEPTNO=20;

delete from "SCOTT"."EMP" where "EMPNO" = '7566' and “ENAME” = ‘JONES’ and "JOB" = 'MANAGER' and "MGR" = '7839' and "HIREDATE" = TO_DATE('81-04-02', 'RR-MM-DD')and "SAL" = '2975' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAD';delete from "SCOTT"."EMP" where "EMPNO" = '7788' and "ENAME" = 'SCOTT' and "JOB" = 'ANALYST' and "MGR" = '7566' and "HIREDATE" = TO_DATE('87-04-19', 'RR-MM-DD')and "SAL" = '3000' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAE';delete from "SCOTT"."EMP" where "EMPNO" = '7876' and "ENAME" = 'ADAMS' and "JOB" = 'CLERK' and "MGR" = '7788' and "HIREDATE" = TO_DATE('87-05-23', 'RR-MM-DD') and "SAL" = '1100' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAF';delete from "SCOTT"."EMP" where "EMPNO" = '7902' and "ENAME" = 'FORD' and "JOB“ = 'ANALYST' and "MGR" = '7566' and "HIREDATE" = TO_DATE('81-12-03', 'RR-MM-DD')and "SAL" = '3000' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAG';delete from "SCOTT"."EMP" where "EMPNO" = '7369' and "ENAME" = 'SMITH' and "JOB" = 'CLERK' and "MGR" = '7902' and "HIREDATE" = TO_DATE('80-12-17', 'RR-MM-DD') and "SAL" = '800' and "COMM" IS NULL and "DEPTNO" = '20' and ROWID = 'AAAD8yAAEAAA+k7AAH';

V$LOGMNR_CONTENTSの内容

SQL文が5レコード更新すると各レコード毎に更新するSQLが生成される


1.ソースデータベースのSQL文が2レコード更新した場合には、各レコード毎に更新するSQLが生成

2.プライマリーキーの条件が付加されて生成

3.計算式は、固定値に変換されて生成

Oracleの場合：Logical replication SQL Apply(Supplimental Logging)

Source DB Target DB

update PRICES set PRICE = PRICE - (PRICE * .10) where PRODUCT_CAT = ‘OLD_STOCK';

update PRICES set PRICE = 10where PROD_ID = 101;

update PRICES set PRICE = 23where PROD_ID = 102;


クラウド間データベース連携・移行

拠点-Ａ


③災害対策拠点-B

他社クラウド

②統合・複製①移行・複製

ロジカルレプリケーションでオンプレミス・マルチクラウドをシームレスに連携

オンプレミス

デモの準備


Source DB Target DB

Change Data

Capture


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

SQLApply

データベースデータ連携（Logical Replication）

INSERTUPDATEDELETE


Source DB Target DB


EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Attunity Replicateデータベースデータ連携

INSERTUPDATEDELETE

Attunity Replicateによるマルチデータベースのデータ連携と移行


Attunity Key Point！1)異種DB間の移行・統合2)N:Nの複雑な構成でも容易に統合3)フル同期から差分同期までシームレス4)DB側エージェントレス


Attunity Replicateサポートデータベース

LUW(Linux/Unix/Windows)As same as Replication sources

Large DW PlatformsActian Vector

Oracle ExadataMicrosoft PDW

HP VerticaPivottal Greenplum Database

TeradataIBM Netezza

Amazon Redshift

LUW(Linux/Unix/Windows)

SaleforceAny source with ODBC Client

MainframeDB2

IMS/DBVSAM

IBM iSeriesDB2/400

HP NonStopEnscribe ・SQL/MP

Replication Sources Replication Targets

On-Premises

Processor : 1 coreMemory : 1024MB

DEMO:


No TABLE NAME COUNT

1 CUSTOMER 30,000

2 DISTRICT 10

3 HISTORY 110,083

4 ITEM 100,000

5 NEW_ORDER 8,247

6 ORDER_LINE 1,095,136

7 ORDERS 109,427

8 STOCK 100,000

9 WAREHOUSE 1

182MB 1,552,904

db.t1.microLocation : Tokyo Region(ap-northeast-1a)Processor : 1vCPUMemory : 613MB

Virtual ServerLocation : Tokyo2Processor : 1 COREMemory : 1024MB

Service Plan : BasicLocation : Japan WestPerformance Level :

S0(10 DTU)

オンプレ/クラウド、クラウド/クラウドのデータ連携を自由に！