hue勉強会 20131008
DESCRIPTION
http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。TRANSCRIPT
The Hadoop UI Sho / Romain - October 2013
Cloudera Meetup Tokyo
http://www.cloudera.co.jp/jpevents/cwt2013/
Welcome !
自己紹介
• 嶋内 翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員として入社
• テクニカルサポート業務をメインに、日本における技術に関係する業務全般を担当
• email: [email protected] • twitter: @shiumachi
Romain Rigaux
• Hueって何? • デモ: Hue で何ができるの? • Hue の将来
今日のアジェンダ
Hueって何? • Hadoopを使いやすくするためのWebUI • 色々なHadoopエコシステムの集合体 • (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
View from 30 000 feet
Ecosystem
Hueの目的
• Hadoop初心者が触るのに最適 • 色々な角度からプラットフォームを扱い、慣れ親しむ
• 誰もがビッグデータ処理をできるようにする
Hue is Open Source
Community
hue-user@
Hue and Django Apps = Django apps Core = Libs and main UI
Hue has a lot of Frontend
Drag
JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX
Hue アプリケーション(1) ファイルブラウザ
ファイルブラウザ
ファイルのアップロード
ファイルの閲覧
ファイルの編集も可能
Hue アプリケーション(2) Beeswax
Beeswaxとは
• HiveのWebインタフェース • 以下の操作を実行可能
o サンプルファイルからテーブルを作成(Metastore Manager に統合)
o クエリの保存・実行 o テーブル内のデータの閲覧
クエリの実行
クエリの保存・管理
Hue アプリケーション(3) Impala Query Editor
ImpalaもHive同様にクエリ実行可能
Hue アプリケーション(4) Pig Editor
Pig も Hue から実行可能
Hue アプリケーション(5) Metastore Manager
Hive/Pig/Impala共通のテーブル管理
ファイルから新しいテーブルを作成
ファイルから新しいテーブルを作成
ファイルから新しいテーブルを作成
Hue アプリケーション(6) Oozie Editor
Oozieとは
• MapReduceやHiveなどのジョブのワークフローを管理するツール
• HueのWebインタフェースから作成・管理可能
ワークフローの管理
ワークフローの作成
ドラッグ&ドロップが可能 マウス操作だけでワークフローが作成できる
コーディネータ管理
ワークフローを定期実行を設定するための機能 実行日ごとに出力先を変えたり、同時に実行可能な数を指定することができる
Hue アプリケーション(7) Sqoop
Sqoopのジョブを作成する
Sqoop ジョブの管理
Hue アプリケーション(8) Cloudera Search
Apache Solr
• オープンソースの検索システム • キーワード検索や属性検索により、Googleのような検索システムを構築可能
• ClouderaではSearchとして2013年6月から提供開始 o MapReduceによるインデックス作成 o Flumeによる高速インデックス更新 o HDFS上の非構造データをそのまま検索可能
42
Cloudera Search アーキテクチャ
43
Webサーバ等の ログを生成するサーバ
携帯端末の 通信ログ
Hadoop
ストリーミングで インデックスを更新
バッチ処理で インデックス更新
インデックスを分散保持
Webインタフェース
検索結果
コレクションエディタ (1) スニペットビジュアルエディタ
コレクションエディタ (2) ファセット設定
コレクションエディタ(3) ソート
コレクションエディタ(4) ハイライト
インデックス設定
Hue アプリケーション(9) HBase App
HBase も Hue から操作可能
Hueで何ができる?
Demo !
More!
gethue.tumblr.com/tagged/tutorial
What's next in Hue?
Roadmap
• 3.0 : October o UI の再設計 o Google docs っぽいインタフェースに o YARN o ZooKeeper app o ? (コミュニティ次第)
• 3.5 : February 2014 o アプリケーション間連携 o グラフ o ? (コミュニティ次第)
Hue 1 - CDH3
Hue 2 - CDH
Hue 2.5 - CDH4.4
Hue 3 - CDH5 New design New top navigation bar
Hue 3 - New document model
● Home (like Google Drive) ● Unified sharing permissions ● Tags
Links
• gethue.com o Videos, Hadoop Tutorials o Demo VM o CDH package
• @gethue
• hue-user@ o Help o Contributors