azarea-cluster (hadoop conference japan 2013 winter demo image)

1 Copyright © 2013 CAC Corporation. All rights reserved.

株式会社シーエーシー

生産技術部

AZAREA-Cluster

デモ画面イメージ

2013年1月31日


概要

本資料は、Hadoop Conference Japan 2013 Winterで行ったAZAREA-Clusterのデモ（の一部）の画面イメージをまとめたものです。 ◦ 若干追加しています。

講演資料本体はこちらです。 ◦ http://www.slideshare.net/AzareaCluster/hcj2013-

w

http://www.slideshare.net/AzareaCluster/hcj2013-w




デモアプリケーション仕様

デモで作成するHadoopアプリケーションの仕様 ◦ 売上と顧客を顧客IDで結合し、地域別に集計する

結合

売上・商品コード・顧客ID ・金額

顧客・顧客ID (PK) ・地域

地域別売上・地域 (PK) ・件数・金額

グループ化

顧客IDで結合

地域でグループ化


デモの流れ

エンティティクラスの作成

エンティティフローの作成

エンティティフローのテスト

その他の機能


エンティティクラスの生成

Excelファイルでエンティティクラスを定義する ◦ 売上、顧客、地域別売上の3エンティティ

1エンティティ1シートに対応

◦ エンティティ毎に項目を定義する



Eclipseプラグインでメニューを選択するだけで、Excelファイルからエンティティクラスが自動生成される



Eclipseプラグインの画面で編集・作成することも可能



Eclipseプラグインからエンティティフロー編集画面を開く



ドラッグ＆ドロップによりエンティティや処理を配置



矢印アイコンをドラッグしてエンティティと処理を接続



詳細画面を開いて結合条件や出力エンティティを設定



同様にしてフローを完成させる



エンティティフローからソースが自動生成される



必要に応じて処理の詳細をコーディングする



コーディング後も再びフロー図を開くことができる ◦ 修正し、再度ソースを生成することが可能

コーディング箇所も維持される



テストデータを用意する ◦ テキストファイル

◦ Excelファイル



ダイアログによりテストクラスを自動生成 ◦ テストクラス名とテストデータのパスを設定するだけ

後はデフォルトでよい



Eclipseのメニューから実行するだけ ◦ コンソールに結果が出力される

◦ ファイルにも結果が出力される



Eclipse上でデバッグも可能



結果の検証機能 ◦ 想定結果を用意しておく

テキストファイル

Excelファイル

◦ テスト終了後、実行結果と想定結果を比較することができる自動回帰テストが容易に作成できる


その他の機能

SVG出力機能 ◦ フロー図をSVGファイルとして出力できる

印刷

HTMLへの貼り付け


その他の機能

MapReduceジョブ表示機能 ◦ 実際にHadoop上で実行される際のジョブの単位を表示する

◦ デバッグやパフォーマンスの分析に利用できる

フロー上では3つの処理だが、Hadoop上では 2ジョブに最適化される


その他の機能

JAR作成機能 ◦ Hadoop上で実行可能なJARファイルを作成する

コピーしてhadoop jarコマンドを実行するだけ


AZAREA-Clusterに関する情報

ホームページ ◦ http://www.cac.co.jp/product/azarea-

cluster/index.html

評価版ダウンロード ◦ http://www.cac.co.jp/product/azarea-

cluster/download/index.html

お問合せ先 ◦ 株式会社シーエーシー AZAREA-Clusterサポートチーム

[email protected]

http://www.cac.co.jp/product/azarea-cluster/index.html



http://www.cac.co.jp/product/azarea-cluster/download/index.html



mailto:[email protected]



azarea-cluster (hadoop conference japan 2013 winter demo image)

Technology