oracledirect seminar · sap/r3 siebel log miner db2 journals sql server triggers oracle dblink db2...

44
<写真欄> 日本オラクル株式会社 Oracle Direct Seminar データ連携がこんなに簡単に!? Oracle Data Integratorのご紹介

Upload: others

Post on 18-Jul-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

<写真欄>

日本オラクル株式会社

Oracle Direct Seminar

データ連携がこんなに簡単に!?

Oracle Data Integratorのご紹介

Page 2: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

2Copyright© 2009, Oracle. All rights reserved.

Agenda

データ連携が求められる背景・課題

Oracle Data Integratorとは?

Oracle Data Integratorでの開発

Oracle Data Integratorでの運用・管理

Page 3: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

3Copyright© 2009, Oracle. All rights reserved.

Agenda

データ連携が求められる背景・課題

Oracle Data Integratorとは?

Oracle Data Integratorでの開発

Oracle Data Integratorでの運用・管理

Page 4: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

4Copyright© 2009, Oracle. All rights reserved.

データウェアハウス

マスターデータ管理

リアルタイムメッセージング

フェデレーション移行

様々な異なるシステムに分断されたソースデータ様々な異なるシステムに分断されたソースデータ

ERP

------------

------

CRM

- - -

レガシーシステム

------------

------ ------------

------

カスタムアプリケーション

データ活用データ活用

Business Intelligence

Corporate Performance Management

Business Activity

Monitoring

Business Process

Management

HAVE…

NEED…

- - -- - - - - -- - -

データ同期化

データ連携が求められる背景

データ統合/連携データ統合/連携

Page 5: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

5

ETLアーキテクチャの限界

ETL (Extract / Transform / Load)

各処理ステップの詳細

• E(抽出): 情報源となるシステムからデータを抽出

• T(変換): 抽出したデータに規則や関数を適用し、ターゲットにロード可能なデータに加工

• L(ロード): データを最終ターゲットにロード

企業に蓄積されたデータを抽出し、ターゲットの利用しやすい形に加工し、対象となるデータベースに書き出す一連の処理

E:抽出 T:変換 L:ロードソース ターゲット

RDBMS基幹

システム

フラットファイル

ボトルネックになりやすい!

Page 6: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

6Copyright© 2009, Oracle. All rights reserved.

開発、生産性における課題

多岐にわたる製品・機能ナレッジの必要性

人手に依存するコード品質

知識不足による開発、生産性の低下・統合には、それぞれの製品知識が必要だが、様々な製品やバージョンが混在する環境で、これらを網羅する人材を用意することは難しい。

・製品のバージョンアップにコードが追いつかない

複雑かつ人手に依存した生産性の上らない開発・人に依存したコード品質・再利用しにくいフロー定義・ソースシステムの追加、ターゲットシステムの要件拡大にスケールしないコード開発

Page 7: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

7Copyright© 2009, Oracle. All rights reserved.

Agenda

データ連携が求められる背景・課題

Oracle Data Integratorとは?

Oracle Data Integratorでの開発

Oracle Data Integratorでの運用・管理

Page 8: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

8Copyright© 2009, Oracle. All rights reserved.

Oracle Data Integratorとは

Oracle Data Integrator (ODI)の特徴

専用サーバー必要なし!専用サーバー必要なし! 専用の中間サーバーが必要なく、パフォーマンスのボトルネックが発生しにくい

簡単お手軽開発簡単お手軽開発 データフローの自動生成、ナレッジ・モジュール等により、開発工数削減

柔軟な連携タイミング柔軟な連携タイミング

Oracle Data Integratorはビジネス・インテリジェンスとデータ・ウェアハウス、マスターデータ管理、サービス指向アーキテクチャ (SOA)、アプリケーションの移行と統合など、

業務を遂行するために必要不可欠な機能を実現するデータ統合 (ETL)ツールです

スケジューリングによる連携だけでなく、リアルタイム連携、SOA連携に対応

Page 9: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

9Copyright© 2009, Oracle. All rights reserved.

中間サーバー

従来の「従来の「ETLETL」」

ODIODIでは「では「EE--LTLT」」

•中間サーバーが不要•ネットワーク負荷が軽い•DBの処理性能を最大限に活用

• 中間サーバーを経由• 毎回すべてのデータをロード

LoadExtract

Transform

 コスト削減

 リアルタイム

 コスト削減

 速い

LoadExtract

中間サーバーがボトルネックに

A

B

C

A

B

C

EExtract LLoad TTransform の処理ロジックにより、中間サーバーを必要としないアーキテクチャ

DBをデータ変換エンジンとする「E-LT」アーキテクチャ

Transform

ステージングテーブル

ターゲットテーブル

- 中間サーバーのH/Wを必要とせず、既存のRDBMSのリソースを統合エンジンとして活用

- 各RDBMSのネイティブのコードを発行し、バルクロード・ユーティリティをサポート

- ネットワーク転送処理がETLに比べ少ないため、データ連携鮮度が高い

Page 10: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

10Copyright© 2009, Oracle. All rights reserved.

高い開発生産性を実現する宣言型設計

連携方法を選択: ビルトインテンプレート

連携対象を指定

自動的に データフローを生成

11 33

22

11 連携先のデータソースを指定

22 連携方法を選択:ビルトインテンプレートを選択

33 データフローを自動生成

CSVファイルのデータを、Oracle Database に、

・SQL Loaderで取り込みたい・差分抽出して、格納したい etc.

・Oracle SQL*Loader Script を生成・PL/SQL Script を生成・Oracle 用SQLを生成 etc.

各種DBに最適な中間処理ステップが事前定義されており(ナレッジモジュール)、連携対象と方式を指定するだけで、各DBのネイティブな処理コードを自動生成

従来の「従来の「ETLETL」」設計設計

OracleOracleでは「では「宣言型設計宣言型設計」」

Page 11: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

11Copyright© 2009, Oracle. All rights reserved.

直感的なGUI

 ソース&ターゲットの一覧

開発画面開発画面

GUIツールの利用により直感的な開発が可能、高い開発生産性を実現

ターゲットの設定、各カラムのマッピングを設

ソースの設定、ソーステーブル内での結

合を設定

Page 12: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

12Copyright© 2009, Oracle. All rights reserved.

ナレッジモジュールの利用メリットとアーキテクチャ

・DBの種類によらない統一した設計開発手順  - 習得が容易  - 複数PG言語スキルの習得が不要  - 高い開発生産性

・各DBに最適なSQLを自動生成  - コード品質が一定以上担保できる  - パフォーマンスがよい  - ノンプログラミングのためバグ減少

ソースから差分データ読取

ソースから一時領域へロード

ロード前整合性チェック 変換の統合、最適化された手法によるターゲットへ

移動

データ処理/変換を

サービス化して公開メタデータのリバースエンジニアリング

リバース

ジャーナライズ

ロード

チェック

統合サービス

CDC

ソース

ステージング領域

エラー表

ターゲット表

WSWS

WS

IBM DB2

Oracle Database

IBM Journal OracleSQL*Loader

OraclePL/SQL

OracleMERGE文

Web Service

SAP/R3Siebel

Log MinerDB2 Journals

SQL Server Triggers

Oracle DBLinkDB2 Exp/Imp

JMS Queues

Check MS Excel

Check Sybase

Oracle SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

ナレッジモジュール

データ統合に必要な中間処理ステップを各種DBのネイティブコードで自動生成

IBM DB2メタデータ抽出

Page 13: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

13Copyright© 2009, Oracle. All rights reserved.

Knowledge Modulesの種類

ソース・ステージング領域に、チェンジ・データ・キャプチャに必要なオブジェクトを生成

ジャーナル(Journal)

JKM

制約と照合してデータの一貫性をチェックを行うチェック(Check)CKM

データ操作Web サービスを生成サービス(Service)SKM

作業リポジトリに格納するメタデータを取得リバースエンジニアリング(Reverse)

RKM

ステージング領域からターゲットにデータを統合統合(Integrate)IKM

詳細カテゴリKMロード(Loading) 異機種間データをステージング領域にロードLKM

サンプルKMs

JournalizeRead from CDC

Source

LoadFrom Sources to

Staging

CheckConstraints before

Load

IntegrateTransform and Move

to Targets

ServiceExpose Data and Transformation

Services

ReverseEngineer Metadata

リバース

ジャーナル

ロード

チェック

統合サービス

Pluggable Knowledge Modules Architecture

CDC

Sources

Staging Tables

Error Tables

Target Tables

WSWS

WS

Page 14: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

14Copyright© 2009, Oracle. All rights reserved.

Knowledge Modulesの拡張

KMを複製しカスタマイズする

ことも可能

「詳細」タブでKMの処理ステップを確認ステップの実行コマンド

が確認でき、修正・変更を行えKMの

拡張が可能

各ステップをダブルクリックすると処理の詳細を確認/修正可能

<%=snpRef … %>で囲まれた部分はODIの関数。Designer(GUI)で定義したソース/ターゲ

ット表等の名前を取得し実行コードを生成する

Page 15: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

15Copyright© 2009, Oracle. All rights reserved.

多種多様なデータ間の連携

データベース、ファイル、OSなどのテクノロジをソース/ターゲットとして利用可能

一般的にODIは下記の接続プロトコル使用し、ODIのソース/ターゲットとして使用可能

– JDBC, FTP, HTTPなど

以下のテクノロジをソース/ターゲットとして使用することが可能:

JDBC/ODBC経由や専用のローディング・ユーティリティー;Essbase、TeradataなどOLAP

JDBC経由LDAP

JCA準拠のアダプタにより接続可能なパッケージ・ソフトウェア

例)SAP、Oracle Applications、Siebel/BIなど

ERP, CRM, その他の

パッケージソフトウェア

JMS準拠例)Oracle ESB/BPEL、IBM Websphere MQ、SwiftMQ、Sonic MQなど

Message-Oriented Middleware

ReadおよびUpdateモード(DTDとXSDのサポート)XML

サードベンダーやJDBCドライバなど適切なアダプタを使用することで、ISAM、COBOL、DL/I、IDS/II、Datacom、Adabasなどへの接続が可能

メインフレーム

可変長、固定長、CSV、Microsoft Access、Excelなどファイル

JDBCドライバを所有しているデータベース

例)Oracle、Btrieve、DB2/UDB、DB2/MVS、DB2/400、dBase、Hypersonic SQL、Informix、Ingres、Interbase、Microsoft SQL Server、MySQL、Netezza、Paradox、Progress、Sybase ASE、Sybase IQ、Sybase ASA、Teradataなど

データベース

多様なデータソースへの接続により、拡張性の高いシステム連携を実現

Page 16: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

16Copyright© 2009, Oracle. All rights reserved.

SOASOA連携連携

リアルタイム連携リアルタイム連携

バッチ連携バッチ連携

多様な連携タイミングへの対応

バッチ、イベント駆動化、サービス指向といった幅広い統合要件に対応

バッチ

変更

リアル

SOA

Oracle Data Integrator

• バッチ処理の定時スケジューリング実行• Job管理ツールからバッチ処理の起動

• データ変更をトリガーに、リアルタイムにデータ統合を行うイベント駆動化

• データ変更差分のみを抽出

• SOAプロセスからのバッチ処理起動• データ統合フローへの外部SOAサービスの

組み込み

Page 17: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

17Copyright© 2009, Oracle. All rights reserved.

チェンジ・データ・キャプチャ(CDC)とは?

チェンジ・データ・キャプチャ(CDC)とは– ソース・テーブルの更新/追加/削除データのうち必要なデータだけを収集し、蓄積する機能

– 変更データのみを抽出することができ、データ転送のボリュームを削減

ETL処理でのCDCの利用– CDC実装による差分情報をETL処理に組み込む必要がある

差分のみをETL処理

データウェアハウスソース・データベース

CDCによる

差分情報の取得

Page 18: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

18Copyright© 2009, Oracle. All rights reserved.

ODIでのCDCの実装

ソースデータベース毎にCDCを実装するためのKM(ナレッジ・モジュール)を提供– CDCに必要なDBオブジェクトを自動生成

– 重複データのチェックやInsert/Update/Deleteの制御等

⇒ ツール上でソース・データベースに対してのCDCの設定とETL処理への組み込みが可能

開発ツールによるCDCの実装ETL処理の設計・実行

CDCの実装

ナレッジモジュール

差分のみをETL処理

データウェアハウスソース・データベース

ツール上で実装が可能なので、DB側での開発工数削減が可能

Page 19: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

19Copyright© 2009, Oracle. All rights reserved.

データの更新

ターゲット・スキーマターゲット・スキーマ

ステージング領域

ステージング領域

リポジトリスキーマ

リポジトリスキーマ

ジャーナル表

①Triggerが変更履歴をジャ

ーナル表に追加

②ステージング領域へデータをロード

③ターゲット表を更新

監視

アプリケーション

ODIで定義したバッチ処理(インタフェース)に、GUI上でノンプログラミングで追加設定をするだけで、差分更新(CDC)が実現可能

ODIのCDC処理の流れ(トリガー・ベースの場合)

ターゲット・データベース

ODI Agent

ソース・データベース

Page 20: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

20Copyright© 2009, Oracle. All rights reserved.

データの更新

ターゲット・スキーマターゲット・スキーマ

ステージング領域

ステージング領域

リポジトリスキーマ

リポジトリスキーマ

ジャーナル表

②ステージング領域へデータをロード

③ターゲット表を更新

監視

アプリケーション

ODIで定義したバッチ処理(インタフェース)に、GUI上でノンプログラミングで追加設定をするだけで、差分更新(CDC)が実現可能

ODIのCDC処理の流れ(ログベースの場合)

ターゲット・データベース

ODI Agent

ソース・データベース

REDOログ

ファイル

Streams+LogMiner

LGWR

①REDOログファイルに書き込まれると、Streams及び

LogMinerにより変更情報がジ

ャーナル表に書き込まれる

Page 21: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

21Copyright© 2009, Oracle. All rights reserved.

SOA連携

ODIのWebサービスを利用することで、外部システムと連携可能

Webサービス起動

- 外部のWebサービスを呼び出すツールを提供

公開Webサービス

- ODIのシナリオをWebサービスとして実行可能

ODIがシナリオ実行開始のWebサービスを公開することにより、BPEL連携を実現

ODI WebサービスのCALL

公開Webサービス例) Oracle BPEL Process ManagerよりODIのシナリオの実行

ODIシナリオ

BPELプロセス

Page 22: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

22Copyright© 2009, Oracle. All rights reserved.

④運用管理ツール

「E-LT」アーキテクチャ:ODIの全体構成

①ODI AgentFile Excel

ODIのコンポーネント

 ① ODI Agent (Java process)

 ② ODI リポジトリ用DBスキーマ

ソース1

ソース2

 ③ODI ステージング用DBスキーマ

 ④ODI クライアントツール(開発ツール、運用管理ツール)

※リポジトリやAgentのロケーションは任意

ソース・データベース

④ODI開発ツール

クライアントPCWebアプリケーション

SQL*Loader

: Data Flow

③ステージング領域

②ODIリポジトリ

スキーマ

ターゲット表

①ODI Agent

: リポジトリの参照/書込み

ターゲット・データベース

Page 23: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

23Copyright© 2009, Oracle. All rights reserved.

中間サーバーを経由してデータ連携をすることも可能

リポジトリ/ステージングエリア

SQL*Loader

クライアント PC

中間サーバー

ターゲット

データフロー (※データはAgentにより変換はされない)

SQL、OSコマンド、API等のトリガー

ODI リポジトリ へのアクセス

オラクルのファイルロード ユーティリティSQL*Loader

ODI Agent

ODI Agent

ソース1

ソース3

ソース3

Page 24: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

24Copyright© 2009, Oracle. All rights reserved.

Agenda

データ連携が求められる背景

Oracle Data Integratorとは?

Oracle Data Integratorでの開発

Oracle Data Integratorでの運用・管理

Page 25: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

25Copyright© 2009, Oracle. All rights reserved.

ERP/CRM DWH OLAP

フラット・ファイルXMLMOM

JCA JDBC JNDIJDBC JDBC/OSJMS JDBC/OS

LDAP Directory

ODIOPERATOR

ODITOPOLOGY

ODIDESIGNER

ODISECURITY

DBMS

リポジトリ

開発

ユーザー権限管理

インフォメーション・システムの設定

ジョブ実行のモニタリング

ODIMETADATANAVIGATORリモートで実行

メタデータ参照

Agent

Oracle Data Integratorのコンポーネント全体像

コードの実行命令を

ソースおよびターゲットに送信

連携データソース

Page 26: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

26Copyright© 2009, Oracle. All rights reserved.

ODIの開発手順

1. アーキテクチャの定義

–物理&論理アーキテクチャ

–コンテキスト

2. メタデータの抽出(Reverse-engineering)–テーブル定義

–制約

3. インタフェースの設計

–ソースとターゲットの選択

–変換ルール

–データ・コントロール(データ品質)

–ナレッジ・モジュールの選択

4. 単体テスト

–デバッグ

5. 実行フローの設計

–パッケージの設計

–統合テスト

–シナリオの生成

–バージョニング

–スケジューリング

Topology

モデル

インタフェース

Operator

パッケージ

シナリオ

Operator

Designer

Designer

Page 27: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

27Copyright© 2009, Oracle. All rights reserved.

ODIの開発ツール:Designer(用語説明)

①モデル データソースのメタデータ(表定義や制約等)をODIのツール(Designer)で扱えるように抽出した一覧

②プロジェクト  ODIの処理プログラムの一覧 。下記が代表的なコンポーネント。

  ・インタフェース ・・・ データフローの最小単位。ソース表とターゲット表のマッピング               や処理方法を指定する(単純挿入、差分同期、ローダーによる               バルクロード等処理に応じてKnowledge Moduleを選択)

  ・パッケージ ・・・ ODIで最大の実行単位。上記で定義したインタフェースや             ODIのAPI、OSコマンド、実行コマンドを直書きしたプロシージャ等             の要素を並べてジョブフローを作成することが可能

  ・シナリオ ・・・ パッケージやインタフェース、プロシージャ等をコンパイルしシナリオ           を作成。シナリオは、スケジュール可能な本番環境用の実行単位。           外部からの呼出も可能。

Page 28: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

28Copyright© 2009, Oracle. All rights reserved.

インタフェースの設計(データ変換、マッピング)

「ダイアグラム」タブでは、ソース表同士のJoinやフィルタ、

ターゲット表とのマッピング、データ変換等を設計

ソース ターゲット

ソース表のJOIN

フィルタ:SQLのWhere句に該当

ターゲット表のカラムを選択すると下段にマッピングの詳細が表示される。DBの関

数等を用いてデータ変換の定義を行う。

Page 29: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

29Copyright© 2009, Oracle. All rights reserved.

インタフェースの設計(ナレッジモジュールの選択)

ターゲット+ステージング

「フロー」タブでは、処理方法を指定する(単純挿入、差分同期、ローダーによるバルクロード等処理に応じてナレッジモジュールを選択)

②ターゲット側を選択し、ステージング表からターゲット表にデータを統合する統合ナレッジモジュール(IKM)を指定

ソース

①ステージング表までのロード処理を行う     ローディング・ナレッジモジュール(LKM)を指定

Page 30: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

30Copyright© 2009, Oracle. All rights reserved.

ODIのモニタリング・ツール:Operator

アイコン:– 実行中:– 警告:– 成功:– 失敗:– 待機中:

再実行

セッションのステータス

SQLを編集して再実行することでOperatorからデバッグが可能

正常に処理が完了

Page 31: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

31Copyright© 2009, Oracle. All rights reserved.

Agenda

データ連携が求められる背景・課題

Oracle Data Integratorとは?

Oracle Data Integratorでの開発

Oracle Data Integratorでの運用・管理

Page 32: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

32Copyright© 2009, Oracle. All rights reserved.

構成情報管理:メタデータ・ナビゲータ

リポジトリに格納されているメタデータの情報をグラフィカルに表示するコンソール

構成変更時の影響度の確認に使用

エージェントの実行状況を確認可能

シナリオの実行/再実行を行うことが可能シナリオの実行と実行結果の表示

エラーの詳細表示

データフローの理解

テーブルとインタフェースの依存関係を表示

Page 33: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

33Copyright© 2009, Oracle. All rights reserved.

バージョニング機能

オブジェクトのバージョニング(バージョン管理)

同一オブジェクトのバージョン比較(2つの間のみ)

変更のロールバック

変更履歴のPDFファイル出力 変更黄

追加/新規緑

削除赤

変更なし白

意味色

•変数

•ユーザー関数

•モデル・フォルダ

•モデル

•シナリオ

•ソリューション

•プロジェクト•フォルダ•パッケージ•インタフェース•プロシージャ•KM•シーケンス

Page 34: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

34Copyright© 2009, Oracle. All rights reserved.

ドキュメント作成機能

ODIの仕様書をPDF形式で出力

可能レポート生成コストを削減

出力できる単位は– モデル

– ナレッジ・モジュール

– パッケージ

– インタフェース

– プロシージャ

– フォルダ

Page 35: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

35Copyright© 2009, Oracle. All rights reserved.

PDF形式で出力されたドキュメントのサンプル

Page 36: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

36Copyright© 2009, Oracle. All rights reserved.

実行履歴などのログの管理

実行履歴などのログ情報は作業リポジトリで管理

ログの情報はOperatorやODIのAPIで操作可能

– ログのインポート/エクスポート

– ログのパージ(消去)

OdiPurgeLog を使用した

ログのパージ

Operatorを使用した

ログのエクスポート

Page 37: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

37Copyright© 2009, Oracle. All rights reserved.

まとめ: ODIを導入するメリット

– 中間サーバーを排除した高速データ連携

– GUIによる高い開発生産性– コード品質の標準化– 多様なソース間連携– 柔軟なタイミングによるデータ連携

– 処理を可視化 (表定義、データ、処理内容が図で把握できる)– 実行状況/結果のモニタリング– ツール上(リポジトリ)で一元管理

開発コスト/開発期間の削減

開発から管理の一元化によるメンテナンスコスト削減

ハイパフォーマンス

Page 38: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

38Copyright© 2009, Oracle. All rights reserved.

リファレンス

製品紹介- http://www.oracle.com/lang/jp/products/middleware/oracle-data-integrator.html

システム要件- http://www.oracle.com/technology/products/oracle-data-

integrator/10.1.3/htdocs/documentation/odi_certification.xls

OTN(Oracle Technology Network)– 技術資料、マニュアルの公開、トライアル版のダウンロード など

- http://www.oracle.com/technology/global/jp/products/oracle-data-integrator/index.html

Oracle Data Integrator オンライン・マニュアル- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/index.htm

Oracle Data Integrator – ETLプロジェクト・スタート・ガイド- http://otndnld.oracle.co.jp/document/products/odi/10135/doc_cd/oracledi/doc/webhelp/ja/p

rintable/gs_etl.pdf

Oracle University 研修コース– Oracle Data Integrator 開発・管理

- http://education.oracle.com/pls/web_prod-plq-dad/show_desc.redirect?dc=D48459JP30&p_org_id=70&lang=JA

Page 39: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

39Copyright© 2009, Oracle. All rights reserved.

【タイトル】年末カレンダー応募【必要情報】1、ご登録の氏名2、ご登録の貴社名、所属部署名3、受講された2009年11月・12月開催のセミナタイトル4、現在ご検討中のシステムについてなど、Oracle Directに相談されたい

  ことなどございましたら記載ください。

年末ダイセミ受講感謝キャンペーン    Oracle Direct Seminarを御愛護頂き、誠にありがとうございます。感謝の気持ちを込めまして、合計100名様にWendy2010年版カレンダーをプレゼントいたします。11月・12月に開催のダイセミを2つ以上受講頂いた方が対象です。是非皆様奮ってご応募下さい!!

応募方法応募方法 [email protected]

必要情報を明記のうえ、メールでご応募ください。当選者の発表は発送をもってかえさせて頂きます。

プレゼントの送付先は、セミナ登録時にご登録されている貴社住所宛てに送付させて頂きます。お客様の登録情報に、a.貴社名、b.部署名、c.役職名、d.住所が正しく登録されていることをご確認ください。a,b,c,dの情報が正しく登録されていない場合はご応募が無効となりますのでご注意下さい。

お客様情報の変更はこちらから実施頂けます。

http://www.oracle.com/technology/global/jp/membership/index.html

Page 40: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

40Copyright© 2009, Oracle. All rights reserved.

OTNOTN掲示版×ダイセミ でスキルアップ掲示版×ダイセミ でスキルアップ!!!!

※OTN掲示版は、基本的にOracleユーザー有志からの回答となるため100%回答があるとは限りません。   ただ、過去の履歴を見ると、質問の大多数に関してなんらかの回答が書き込まれております。

このようなお客様に、Oracle Technology Network(OTN)の掲示版の活用をお薦めします。

・セミナー中に解消できなかった疑問点を解消したい!・セミナー終了後に疑問点が出てきた!・一般的なその解決方法などを知りたい!

セミナーに関連する質問については、OTN掲示版の

「データベース一般」へ

http://otn.oracle.co.jp/forum/index.jspa?categoryID=2

Page 41: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

41Copyright© 2009, Oracle. All rights reserved.Copyright Oracle Corporation Japan, 2009. All rights reserved.

Oracle University Live Virtual ClassOracle University Live Virtual Class無料ミニセッション参加でOracle University LVCコースが15% OFF!

インターネットを通じてライブで研修に参加できるOracle University Live Virtual Class(Oracle University LVC)のスキルアップ応援キャンペーンです。

その①1時間のOracle University LVC無料ミニセッション開催!オラクルユニバーシティの人気講師が、定番&最新の研修コースから気になるトピックをピックアップしてお届けします。

その②参加者全員に、期間限定でOracle University LVCコース15%OFFをプレゼント!

無料ミニセッションお申し込み

スキルアップスキルアップ応援キャンペーン応援キャンペーン

データベースミドルウェア

ビジネス・アプリケーション

Oracle E-Business Suiteの新機能から、Siebel、PeopleSoft、JD Edwords、Agileの入門コースまで、気になるトピックが勢揃い!

『パフォーマンスチューニング』『Data Warehouse』などにピンと来た方、必見です!

http://education.oracle.co.jp/lvc_session_0911/

http://education.oracle.co.jp/lvc_session_0912/

無料セッション&割引詳細

無料セッション&割引詳細

(開催日:11/2、11/12、11/13)

(開催日:11/20、11/27、12/3、12/4)

Page 42: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

42Copyright© 2009, Oracle. All rights reserved.

運用

構築 設計

IT 企画

経営企画

業務改善計画の作成支援• 業務診断サービス• BIアセスメントサービス

システム企画の作成支援•業務診断サービス•BIアセスメントサービス

RFP/提案書の作成支援•BIアセスメントサービス

•メインフレーム資産活用相談サービス•仮想化アセスメントサービス•Oracle Database 構成相談サービス•Oracle Database 高可用性クリニック

システム構築時の道案内•Access / SQL Serverからの移行•MySQL / PostgreSQLからの移行•Oracle Database バージョンアップ支援•Oracle Developer Webアップグレード

•システム連携アセスメントサービス

システム運用状況の診断•パフォーマンス・クリニック・サービス•システム・セキュリティ診断サービス•データ管理最適化サービス

ITプロジェクト全般に渡る無償支援サービスOracle Direct Conciergeサービスメニュー

Page 43: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

43Copyright© 2009, Oracle. All rights reserved.

http://www.oracle.co.jp/inq_pl/INQUIRY/quest?rid=28

Oracle Direct 検索

あなたにいちばん近いオラクル

Oracle Directまずはお問合せくださいまずはお問合せください

Web問い合わせフォーム フリーダイヤル

専用お問い合わせフォームにてご相談内容を承ります。

※フォームの入力には、Oracle Direct Seminar申込時と同じ  ログインが必要となります。※こちらから詳細確認のお電話を差し上げる場合がありますので、ご登録さ  れている連絡先が最新のものになっているか、ご確認下さい。

0120-155-096 ※月曜~金曜 9:00~12:00、13:00~18:00

  (祝日および年末年始除く)

システムの検討・構築から運用まで、ITプロジェクト全般の相談窓口としてご支援いたします。

システム構成やライセンス/購入方法などお気軽にお問い合わせ下さい。

Page 44: OracleDirect Seminar · SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers Oracle DBLink DB2 Exp/Imp JMS Queues Check MS Excel Check Sybase Oracle SQL*Loader TPump/ Multiload

44Copyright© 2009, Oracle. All rights reserved.

以上の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

Oracle、PeopleSoft、JD Edwards、及びSiebelは、米国オラクル・コーポレーション及びその子会社、関連会社の登

録商標です。その他の名称はそれぞれの会社の商標の可能性があります。