jboss enterprise data services platformjp-redhat.com/forum/2012/pdf/3-e.pdf · 2011. 6. 15. ·...

JBoss Enterprise Data Services Platform による仮想データ統合ソリューションと

事例のご紹介

レッドハット株式会社

JBossサービス事業部

シニアソリューションアーキテクト

河野恭之

市場のトレンド Information as a Serviceとは JBoss Enterprise Data Services 製品コンセプト製品機能導入イメージ

サーバ構成導入プロセス

適用システム例事例よくある質問

アジェンダ

Copyright © 2012 Red Hat, Inc. 1

企業が扱うデータが飛躍的に増加傾向にある調査会社によると2011年の世界のデータ量は1.8ZB。2年毎に

倍増

企業内SNSや、Twitter情報などを企業で活用する動きが加速

会社の統合、部門の統合、異業種との連携等で扱うデータは突発的に飛躍的に増加する

データ統合の必要性と期待重点投資の第一位は「データ量増大への対応」

データストアがシステム最適化されてサイロ状態である

関連会社や他部門システムのデータを柔軟に統合、共有できる基盤が必要

既存のRDBMSとHadoopやKVSなどのビッグデータ等と連携できる基盤も今後必要

Copyright © 2012 Red Hat, Inc.

市場のトレンド

今日のITが直面している大きなギャップの１つは、“Information on demand”である。サイロ化された基盤制約の中から、必要な情報を必要なフォーマットで要求される時間内に得ることができる環境、つまり、“Information as a Service” の導入戦略が重要である。

参考：March 10, 2008 http://www.infoworld.com/d/architecture/information-service-131

データ仮想化のIaaS (information-as-a-service) は，ETL と DBMS 統合に変わり、優れたデータ管理とデータ統合となる。従来のETL および DBMS アプローチに比べ、次のようなメリットがある。 – 仮想データが短周期で作成可能であるため柔軟性と俊敏性が向上 – 物理的コピーの削減によるデータ品質を改善できる – 目的指向のビジネス用オブジェクト生成による利用性の改善。

参考: Forrester June 15, 2011 Data Virtualization Reaches Critical Mass

世界で注目されはじめる Information as a Service


複数のデータソースへ参照／更新する標準ベースのインタフェースを提供データ仮想化によりデータの構造や項目を自由に変換データをコピーせずにデータの統合を実現監査証跡の取得や集中アクセスコントロールの基盤として利用可能

JBoss Enterprise Data Services

4

利用者データ

ソース仮想データベース

物理モデル論理モデル

Web サービス I/F

各種DB

各種File

Web

サービス

各種AP サービス

企業内・外のあらゆるデータを「モデリング」「仮想統合」「リアルタイム連携」する実行基盤

JBoss Enterprise Data Services Platformとは

メタデータリポジトリ

接続層一般アプリ

ケーション

レポートツール S

QL

(JD

BC

/O

DB

C)

SO

AP

/R

EST

JBoss EDS

JBoss EDS

Copyright © 2012 Red Hat, Inc.

JB

oss S

OA

-P

JB

oss E

DS

JBoss Enterprise Data Services Platform 全体アーキテクチャ

JDBC/ODBC/SOAP 接続

Function

Library

Cache Virtual Database (アーカイブファイル)

認証／

認可

ログ出力

監査証跡

Query Engine(optimization)

Connecter Framwork

JDBC LDAP File SOAP SFDC カスタム

リ

ポ

ジ

ト

リ

デザインツールランタイムエンジン監視ツール

JBoss Developer Studio

XML 定義ファイル

Admin Shell

管理コンソール

データ

ベース

LDAP File SOAP SFDC カスタム

JDBC ODBC SOAP JCR

仮想データベース

（アーカイブ）デプロイ



Data source Database Driver/Supported Interface/Notes

Oracle 10g R2/11g R2 Oracle JDBC Driver ※1

IBM DB2 9.1/9.7 IBM DB2 JDBC Universal Driver ※1

Microsoft SQL Server 2005, 2008 Microsoft SQL Server JDBC Driver 3.0

Sybase ASE 15 jConnect for JDBC3.0 v6.0.5

MySQL 5.0/5.1/5.5 mysql-connector-java ※1

PostgreSQL 8.3/8.4/9.1 JDBC4 PostgreSQL Driver, ※1

Teradata 12 Teradata JDBC driver, v13.00

Netezza 6.0.2 Netezza JDBC driver, v6.0.2

Greenplum Database 4.1 JDBC3 PostgreSQL Driver, Version 8.3-605

Ingres 10 Ingres JDBC driver, v3.0

Mondrian 3.0.x Jdbc4olap driver

LDAP 3

Salesforce.com API version 21

ModeShape Metadata Repository via bundled ModeShape JDBC driver

Files Delimited and Fixed-length

XML Files

XML over HTTP HTTP 1.1

SOAP Web Services SOAP 1.1, WSDL 1.2

Apache Hive (tech preview) v0.8.1 Hive JDBC driver

Microsoft Excel 2003 JDBC-ODBC bridge driver

Microsoft Access 2003 JDBC-ODBC bridge driver

JBoss Enterprise Data Services Platform 5.3 検証済みデータソース

物理モデル接続情報を含む物理データ

（DB、ファイル等）のメタモデル

関連情報（リレーション）

論理モデルデータの抽出や項目の変換で利

用する表示用のメタモデル論理的な階層関係

プロシージャデータ登録や引数を持たせて利

用したいビュー

セキュリティ操作可否ロールの登録操作（参照・更新）の設定

JBoss Enterprise Data Services Platform 5.3 仮想データベースの構成要素

JB

oss E

AP

JB

oss

SO

A-P

JB

os

s E

DS

V

DB

V

DB

JDBC Web

サービス JDBC

DB X DB Y DB Z ファイル SOAP SFDC

･･･論理モデル

･･･物理モデル

･･･プロシージャ

ODBC


物理モデルの作成既存のシステムから自動生成データベースの接続情報 Oracel, DB2, SQL Serverは勿論

MySQL, Postgres 等をサポート一般のJDBC接続をサポート

ファイルの定義情報 CSV DDL やXSDなどの定義ファイル

その他 Webサービス Sales Force カスタマイズ接続

新機能ガイドビューによる新しい支援ツール固定長ファイルのウィザード RESTサービス対応

JBoss Enterprise Data Services Platform 5.3 デザインツール（モデルジェネレーション）


論理モデルの作成 SQL言語により生成

ドラッグ＆ドロップによるテーブルの追加

マッピングツールによる項目の抽出やWhere句の選択

SQLの直接入力に対応コンパイルエンジンによるバリ

デーション機能簡易テストツール（データのプ

レビュー表示機能）更新処理に対応

Insert/Update/Delete処理の実装が可能

Procedureとして定義できるので特定のテーブルのみ更新や特定の項目のみ更新などの柔軟な処理の記述が可能

JBoss Enterprise Data Services Platform 5.3 デザインツール（グラフィカル変換ツール）


レポーティング機能物理モデルイメージのレポート出力モデルのリレーションをイメージ

で表示（外部キー関連）論理モデルやプロシージャが参照

しているモデル（物理･論理）を一覧で表示

物理的に異なるデータソースの依存関係を容易に確認可能

項目の依存関係も一目で確認可能

モデルの構成情報各モデルの情報（テーブル名、項

目名、プロパティ情報等）をCSV等のフォーマットで出力

別のツールとの連携が可能

JBoss Enterprise Data Services Platform 5.3 デザインツール（レポーティングツール）


インバウンドインタフェース JDBC/ODBC

PostgreSQLベースのドライバ提供ロードバランス／フェイルオーバ

SOAP I/F自動生成ツールの提供 HTTPロードバランサを用いたロー

ドバランス／フェイルオーバ

最適化クエリーエンジン標準SQLのサポートクエリープラン

Functionライブラリ文字列、数値、日付等の関数を用意独自の関数登録も可能

キャッシュ ResultSet Cache Materialized view サポート

新機能 EDSサーバサイドタイムアウトパフォーマンス（オフヒープバッファリング） SSO対応


JBoss Enterprise Data Services Platform 5.3 ランタイムエンジン

JB

oss S

OA

-P

JB

oss E

DS

JDBC/ODBC/SOAP 接続

Function

Library

Cache Virtual Database

認証／

認可

ログ出力

監査証跡

Query Engine(optimization)

Connecter Framwork

JDBC LDAP File SOAP SFDC カスタム

リ

ポ

ジ

ト

リ

データ

ベース

LDAP File SOAP SFDC カスタム

JDBC ODBC SOAP JCR

サーバ構成イメージ


JBoss Enterprise Application Platform

顧客DB

ローカルDB （リポジトリ/外部キャッシュ用）履歴DB


売上DB

APサーバ

（データ活用レイヤ）





EDSサーバ

（データ仮想統合レイヤ）

データベース

（データソースレイヤ）


導入プロセスイメージ

プロトタイプ検証により、活用イメージ、導入プロセスを把握

スモールスタートで成功確認後に順次対象範囲を拡大

実際にデータに接続する事によって、導入プロセスの把握開発容易性、変更柔軟性を確認活用イメージの把握

導入ゴールの設定要件定義の実施導入スケジュールの確定

EDS環境の構築（開発、品証、本番）アプリケーションの設計・開発仮想データベースの設計・開発シミュレーションとクレンジング・名寄せ

定期的な品質チェック定期的なクレンジング・名寄せ

プロトタイプ検証の実施

導入プロジェクト要件定義

導入プロジェクト実施

本番運用定着化

検証作業イメージ


フェーズ 1ｶ月 2ｶ月 3ｶ月

要件定義

設計

実装

テスト

評価検討

レッドハットサポート

（コンサルティング）

検証目的・

内容検討

仮想DB（物理・論理

モデル）

プロトAP

テストシナ

リオ作成

検証環

境構築

検証

作業

検証結果

報告書

作成

プロトAP作成

仮想DB作成

製品トレーニング

設計支援実装支援

環境構

築支援

検証結果

報告書

作成支援

製品サポート

テスト支援テスト設計

支援

データ連携基盤

リアルタイムBIデータ生成基盤

リアルタイムマスタデータマネージメント基盤

データアクセス一元化

共通データモデルの構築


適用システム例

ポイント・DB/ファイルはシステムや組織内で利用・他のシステムや組織から情報を取得するには

個別に調整が必要

課題・取得時にデータの場所やI/F等の調整が大変・データ利用の状況が不透明でデータの変更時

の影響が見えない・重複データが多数

ポイント・既存の仕組みはそのままで共有データをEDSに展開・個別システムからの導入（スモールスタート）も可能

効果・各システムからのデータ取得が容易・データの再利用性が格段に向上・データ変更時の影響を最小化・共通モデル利用することで再利用性や管理性の更なる向上が可能


仮想データ統合による「データ連携基盤」の導入

DB群 DB群 DB群

ファイル群

Xシステム

DB群 DB群 DB群

ファイル群

DB群 DB群 DB群

ファイル群

Y組織 Z支店

DB群 DB群 DB群

ファイル群

DB群 DB群 DB群

ファイル群

DB群 DB群 DB群

ファイル群

Xシステムデータ群

Y組織

DB

Xシステムデータ群

EDS

Xシステム Y組織 Z支店

ポイント・ ETLにより分散したデータをBI製品が指定す

るDWHに収集

課題・分析の為だけのデータレイヤの増加・DWH＋ETLライセンスで非常に高価・月次・日次のバッチデータ（鮮度劣化）・取得データの変更時の影響が大きい

仮想統合

DWH

ポイント・EDSを用いて仮想DWHを構築・DWHはデータソースの一つ（又は利用しない）

効果 - DB、ファイル等のデータソースの追加が容易 - DWHを使用しないパターンではEDSへの投資

のみでDWHを実現可能 - データが増加してもデータバックアップの手間

やストレージの追加が不要


仮想データ統合によるリアルタイムBIの実現 BIシステム

EDS

X‘

DB

Y‘

DB xx DB

yy DB

zz DB

BIシステム

DWH

ETL

DWH 売上げ/

注文情報

仮想データ統合複数のデータソースのデータを

物理ではなく仮想で統合

統合処理の開発を容易に実現

リアルタイム統合を実現

仮想データベースデータアクセスを集中管理

（アクセス制御、監査証跡）

標準データモデルの構築

エンタープライズデータ管理の実現


利用パターンの違い「仮想データ統合」と「仮想データベース」

検討ポイント仮想データ統合データベース仮想化

必要な機能・複数データソースの統合・複雑な統合処理の容易な開発・更新処理（主に参照）

・データモデルの自由な変更（名前、制約、インデックス）・更新処理

課題となる点・データソースの種類・複雑な統合処理の開発・分散トランザクション

・パフォーマンス（大量データ）・SQLの方言の対応・排他処理

JBoss EDS による解決

・カスタマイズを含む多種のデータソースをサポート

・プログラムレスの開発環境を提供・XAトランザクション対応

・オーバーヘッドを最小化・SQL最適化の実現・アクセス制御、監査証跡

検討外・大量データの扱い・排他処理

・複雑な統合処理（データベース側で実行）

ターゲットシステム

・リアルタイムBI ・MDM ・データ連携基盤

・共通モデル・アクセス一元化システム・エンタープライズデータ管理・データベース移行・データ連携基盤


利用パターンによる検討ポイントの違い


参考：エンタープライズデータ管理

実世界の業務

概念データモデル物理データ

モデル

DA : データ管理者

DBA : データベース管理者

構築

運用

保守

論理データ

モデル

論理データ

モデル

重要!!

業種適用システムカテゴリ

補足 MDM

BI View

共通ﾓﾃﾞﾙ

連携基盤

補足

１証券顧客情報統合ビュー ○ 支店間のDB仮想統合

2 金融取引ダッシュボード ○ 不正取引検知

3 金融コンプライアンス規制対応 ○ データファイアフォール VSISA PCI 対応

4 金融顧客／製品ビュー ○ 360°ビュー

5 保険共通サービス連携基盤 ○ ○ 共通モデル／SOA データモデル標準化

6 医薬顧客／従業員ビュー ○ レガシーDBの廃止 SalesForce との統合

7 医薬分析レポート ○ 8 医薬 DWHセキュリティ統合統合LDAP ポータル統合

9 公共反薬物ネットワーク ○ ○ 写真を含むデータ検索

10 公共統合データ検索システム ○ 11 公共通信情報アセスメント ○ 12 公共社会保障管理システム ○ ODS統合ルールエンジン統合

13 公共住民情報統合システム ○ ○ CRMデータ統合

14 政府機関データ統合基盤 ○ 共通モデル公共機関標準モデル

15 政府機関グローバル戦闘支援システム ○ 人員や装備の管理

16 政府機関指揮管理システム ○ データ統合

17 製造業サプライチェーンデータ統合 ○ 仮想統合

18 通信業共通サービス連携基盤 ○ SOA基盤

19 サービス共通データハブ基盤 ○ データ統合クラウドサービス

20 サービスデータ連携基盤 ○ クラウドデータ連携 AMAZON上で構築


事例一覧

課題

財務損失となるような問題となる取引を特定するためにデリバティブの取引データにアクセスする必要がある

取引データは多くのシステムにまたがっている

ソリューション

全ての取引データをリアルタイムに取得できるシングルビューに集約

データの違いを変換

ビジネス効果

リスク低下による投資家の投資額増

開発時間とコストの削減

将来のデータ変更に対する容易な管理の実現


米国大手金融会社:デリバティブ取引ダッシュボード

JBoss

ED

S

Data Model

Data Model

Data Model Data Model

変換

チャレンジ VISA PCI がカードホルダ情報保護を義務づけ

複数データストアにまたがる共通セキュリテリポリシーの実現が困難

ソリューション複数のデータストアにまたがる「データファイ

アウォール」を作成するために「EDS」を選択

データは複製ではなく連携

全てのソースをまたがる共通アクセスポリシー

共通データ定義

監査証跡

ビジネス効果データセキュリテリポリシーの定義は一つ

データを保護規制準拠の実現


大手金融会社：コンプライアンス強化

JBoss

ED

S

Data Model

Data Model

Data Model Data Model

Web Service

課題市民の申請プロセスを承認するために多岐の

部門の承認が必要で住民が不満

それぞれの部門には異なるデータ管理をしているCRMがあり、体系化されたインフラの構築が必要

システムの導入は他の公共機関と同様「低導入コスト」、「長期間利用」、「保守費用の抑制」、「低廃棄コスト」が重要な要件

ソリューション様々な方法やツールを評価しレッドハットの

支援で下記のPOCを実施

サイロ化された実データを統合

単一ユーザインタフェースを作成

拡張性や短期開発実現のデモを作成

POCが短期で成功したため採用を決定

新しいチームの立ち上げを含めて10週間でシステムが完成


Camden: 住民情報統合ビュー

効果仮想データベースにより、既存の仕組みは

そのままで、DBやファイルを容易に統合 APの作成も容易でWebサービスのアクセ

スも可能８０％のコスト削減申請に必要な時間が2/3に減少顧客満足度の向上既存システムに影響が無いので追加要件の

対応が容易

今後 Camdenの他の部門でも良く似た課題があ

あり、順次導入予定。まずは公共住宅修理

システムや金融サービスを想定

1. パフォーマンスの問題は本当に大丈夫？

2. 既にDWHやデータマートを導入している場合も追加する必要はある？

3. 既にEAIやESBを導入していても追加する必要はある？


よくある質問

Q. 中間層を設けることでオーバーヘッドやパフォーマンスの問題が出るのでは？

A. オーバヘッドは発生します。ただし単純な問い合せの場合はごくわずかです。また、複雑な問い合せでも下記のようにパフォーマンスを向上させることが可能です。

- マルチスレッド処理による同時実行

- SQL最適化処理による効率の向上

- キャッシュの利用によるレスポンスタイムの向上

御社の環境での性能を確認するためにPOCを実施しましょう。

よくある質問１


Q. 既にデータマートやデータウェアハウスを導入しているが、それでも必要？

A. EDSはデータウェアハウスのアプローチを補完します。EDSを用いることにより、現在のデータ分析戦略を拡大し、今のデータウェアハウスで取りきれていないデータをアプリケーションに提供することが可能となります。また、スモールスタートが可能となり、ユーザにより早くサービスを提供することが可能となります


よくある質問２

Q. 既にEAIやESBなどのアプリケーション統合のソリューションがあるのですが、何故必要なのでしょうか？

A. EDSは標準ベースでITインフラの広い範囲での相互接続性インタフェースを提供します。既存の基盤をリプレースする必要はありません。データサービスとデータ仮想化の価値はEAIやESBのソリューションと違います。EDSは補完する技術となります。

よくある質問３



まとめ

システム間や関連会社間の顧客、売上、分析データを統合する必要性が急激に高まっています

JBoss EDS による仮想データ統合基盤を活用することによりデータの容易な統合、早期構築を実現します

経験豊富なレッドハットのコンサルタントが御社のビジネスを強力に支援します

ご清聴ありがとうございました


jboss enterprise data services platformjp-redhat.com/forum/2012/pdf/3-e.pdf · 2011. 6. 15. ·...

Documents