pentaho pdi(ce版)の運用

12
PDI ( CE 版)の運用 ジョブの自動実行と世代管理 2014/09/02 kum_t

Upload: kumeee

Post on 27-Jun-2015

2.307 views

Category:

Data & Analytics


1 download

DESCRIPTION

pentaho Data Integration(CE版)を日常運用するための方法として、Hinemosのジョブ管理を使うことを提案します。

TRANSCRIPT

Page 1: pentaho PDI(CE版)の運用

PDI ( CE版)の運用

ジョブの自動実行と世代管理

2014/09/02kum_t

Page 2: pentaho PDI(CE版)の運用

CE版には無い機能

・ jobと transforomationの履歴管理

・スケジュール機能

実運用ではどちらもとても大事

Page 3: pentaho PDI(CE版)の運用

jobと Transformationの履歴

● リポジトリDBではなくて、ファイルで保存

● 作成したktrファイルは SVN等のバージョン管理システムで管理する。

● jobと Transformationを 1フォルダで管理がいいかな?

Page 4: pentaho PDI(CE版)の運用

jobや Transformationの自動実行

● Linuxサーバなら cronでも大丈夫

● Windowsならタスクスケジューラ

● 導入済みなら JP1や Systemwalker

● でも、せっかくCE使うならOSSな Hinemos で!

Page 5: pentaho PDI(CE版)の運用

Hinemosとは?

● システム監視ソフト

ping監視や SNMP監視とかエージェントを使った監視とかいろいろできるらしい・・・

● ジョブ管理ソフト

Hinemosの管理対象としてエージェントが導入されているサーバはジョブの制御が可能

● 詳細な情報は

http://www.hinemos.info/

http://sourceforge.jp/projects/hinemos/

Page 6: pentaho PDI(CE版)の運用

Hinemosでジョブ管理のメリット

● カレンダー指定が可能

休日の設定や営業時間の設定などに従ったジョブ実行● ジョブの連携が可能

サーバを跨いでの連携や Pentahoと関係のないジョブとも連動させることができる

● 実行履歴の管理が容易

ABENDした場合のメール通知や管理画面からの実行履歴閲覧等が可能なため、運用が容易

Page 7: pentaho PDI(CE版)の運用

PDIのCLI実行

● PDIではCLI実行用に pan ( transformation )と kitchen (job)が準備されている

#!/bin/sh

cd /root/

/opt/data-integration5/kitchen.sh -file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" -level:Basic -param:target_dir="/home/soumu"

Page 8: pentaho PDI(CE版)の運用

Hinemosでのジョブ管理画面

Page 9: pentaho PDI(CE版)の運用

Hinemos ジョブの内容

Page 10: pentaho PDI(CE版)の運用

構成図

Hinemosマネージャサーバ

HinemosAgent

PDI実行DB

管理者 ユーザー端末

指示

フィードバック

管理

参照更新

実行結果帳票等

Page 11: pentaho PDI(CE版)の運用

注意点

● HinemosはOpenJDKが必須

● Hinemosのmanagerと Agentは同一サーバではうまく動きませんでした(方法ご存知の方教えてください)

● PDIは sunJavaが必要

● PDIからメール送信する場合、 pentaho インストールディレクトリ配下にあったmail-1.4.1.jarを javax.mail.jarに置き換え

● PDIでファイルを扱う場合は変数を利用し、実行環境ではスクリプトの引数で値を渡してやれば、開発Windows実行 Linuxでも同一の jobで作りやすくなります!

Page 12: pentaho PDI(CE版)の運用

ありがとうございました!

● Hinemosは日本語で詳細な説明書が公開されていますので、参照すれば環境構築はできると思います。

● PDIの設定などで困った場合はフォーラムへ

http://forums.pentaho.com/

● わかる範囲はすくないですが・・・

twitter @kum_t