kettle-cookbookについて2014/06/17 オープンソース勉強会#7

Saegusa Akiko (@nepoporon)

普段

ビッグデータ分析関連サービス/製品の提案

pentaho歴 ＝ETL歴

PDI 4.x系、5.0.1 ８ヶ月

レポーティングは少々

本日は

ではない方のcookbookのお話です

問題

１ファイルに全処理を詰め込むと可読性が低くなる

できるだけ汎用的な部品を作って再利用したい

↓

結果、ファイルが増えたループなどETLで実現しようとするとややこしくなる処理もある

（行取得→行送信＋変数設定→変数受信）

↓

• 呼出し関係がわかりにくい

• いちいちSpoonでプロパティを開かないと、

引数、変数の確認ができない …少々煩わしい

kettle-cookbookJavadoc風のドキュメントを自動生成するツール

Google codeからファイルをダウンロード→INとOUTを指定→mainから実行

→すぐにcookbookが作れます

document-all.kjbをSpoonで開く→「編集」→「設定」→「ジョブプロパティ」を開く

INPUT_DIRドキュメント化したい対象ファイルの格納元フォルダを指定

OUTPUT_DIRcookbookの格納先フォルダを指定

※「参照」ボタンがないので、パスの指定ミスに注意

process-files.ktrをSpoonで開く→「編集」→「設定」→「ジョブプロパティ」を開く

INPUT_DIRcookbook作成用の資材3ファイルを格納したフォルダを指定

OUTPUT_DIRcookbookの格納先フォルダを指定

※処理が終わったらindex.htmlをブラウザで開いて確認します

• 登場人物が見渡せる

• 特別な記述や設定をしなくても自動的に作られる

• 定期実行を仕込めば、ドキュメント生成漏れも防げる

• フォルダの階層形式ではなくて、呼出し関係を階層形式で表示してくれる方がよかった（”Hierarchical”がそうであってほしかった…）

• 地の文を日本語化できるとよい

良い点 惜しい点

詳細情報

■kettle-cookbook ダウンロード

https://code.google.com/p/kettle-cookbook/

■使い方（CUIでの実行方法も）

https://code.google.com/p/kettle-cookbook/wiki/CookBookInstructions

■cookbookの見本（ご参考）

http://www.it4biz.com.br/cursos/kettle-cookbook/Samples/