pentaho pdi(ce版)の運用
DESCRIPTION
pentaho Data Integration(CE版)を日常運用するための方法として、Hinemosのジョブ管理を使うことを提案します。TRANSCRIPT
PDI ( CE版)の運用
ジョブの自動実行と世代管理
2014/09/02kum_t
CE版には無い機能
・ jobと transforomationの履歴管理
・スケジュール機能
実運用ではどちらもとても大事
jobと Transformationの履歴
● リポジトリDBではなくて、ファイルで保存
● 作成したktrファイルは SVN等のバージョン管理システムで管理する。
● jobと Transformationを 1フォルダで管理がいいかな?
jobや Transformationの自動実行
● Linuxサーバなら cronでも大丈夫
● Windowsならタスクスケジューラ
● 導入済みなら JP1や Systemwalker
● でも、せっかくCE使うならOSSな Hinemos で!
Hinemosとは?
● システム監視ソフト
ping監視や SNMP監視とかエージェントを使った監視とかいろいろできるらしい・・・
● ジョブ管理ソフト
Hinemosの管理対象としてエージェントが導入されているサーバはジョブの制御が可能
● 詳細な情報は
http://www.hinemos.info/
http://sourceforge.jp/projects/hinemos/
Hinemosでジョブ管理のメリット
● カレンダー指定が可能
休日の設定や営業時間の設定などに従ったジョブ実行● ジョブの連携が可能
サーバを跨いでの連携や Pentahoと関係のないジョブとも連動させることができる
● 実行履歴の管理が容易
ABENDした場合のメール通知や管理画面からの実行履歴閲覧等が可能なため、運用が容易
PDIのCLI実行
● PDIではCLI実行用に pan ( transformation )と kitchen (job)が準備されている
#!/bin/sh
cd /root/
/opt/data-integration5/kitchen.sh -file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" -level:Basic -param:target_dir="/home/soumu"
Hinemosでのジョブ管理画面
Hinemos ジョブの内容
構成図
Hinemosマネージャサーバ
HinemosAgent
PDI実行DB
管理者 ユーザー端末
指示
フィードバック
管理
参照更新
実行結果帳票等
注意点
● HinemosはOpenJDKが必須
● Hinemosのmanagerと Agentは同一サーバではうまく動きませんでした(方法ご存知の方教えてください)
● PDIは sunJavaが必要
● PDIからメール送信する場合、 pentaho インストールディレクトリ配下にあったmail-1.4.1.jarを javax.mail.jarに置き換え
● PDIでファイルを扱う場合は変数を利用し、実行環境ではスクリプトの引数で値を渡してやれば、開発Windows実行 Linuxでも同一の jobで作りやすくなります!
ありがとうございました!
● Hinemosは日本語で詳細な説明書が公開されていますので、参照すれば環境構築はできると思います。
● PDIの設定などで困った場合はフォーラムへ
http://forums.pentaho.com/
● わかる範囲はすくないですが・・・
twitter @kum_t