hue勉強会 20131008

The Hadoop UI Sho / Romain - October 2013

Cloudera Meetup Tokyo

http://www.cloudera.co.jp/jpevents/cwt2013/

Welcome !

自己紹介

• 嶋内　翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員として入社

• テクニカルサポート業務をメインに、日本における技術に関係する業務全般を担当

• email: sho@cloudera.com •  twitter: @shiumachi

Romain Rigaux

•  Hueって何？ •  デモ: Hue で何ができるの？ •  Hue の将来

今日のアジェンダ

Hueって何？ •  Hadoopを使いやすくするためのWebUI •  色々なHadoopエコシステムの集合体 •  (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)

View from 30 000 feet

Ecosystem

Hueの目的

•  Hadoop初心者が触るのに最適 • 色々な角度からプラットフォームを扱い、慣れ親しむ

• 誰もがビッグデータ処理をできるようにする

Hue is Open Source

Community

hue-user@

Hue and Django Apps = Django apps Core = Libs and main UI

Hue has a lot of Frontend

Drag

JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX

Hue アプリケーション(1) ファイルブラウザ

ファイルブラウザ

ファイルのアップロード

ファイルの閲覧

ファイルの編集も可能

Hue アプリケーション(2) Beeswax

Beeswaxとは

• HiveのWebインタフェース • 以下の操作を実行可能

o サンプルファイルからテーブルを作成(Metastore Manager に統合)

o クエリの保存・実行 o テーブル内のデータの閲覧

クエリの実行

クエリの保存・管理

Hue アプリケーション(3) Impala Query Editor

ImpalaもHive同様にクエリ実行可能

Hue アプリケーション(4) Pig Editor

Pig も Hue から実行可能

Hue アプリケーション(5) Metastore Manager

Hive/Pig/Impala共通のテーブル管理

ファイルから新しいテーブルを作成

ファイルから新しいテーブルを作成

ファイルから新しいテーブルを作成

Hue アプリケーション(6) Oozie Editor

Oozieとは

• MapReduceやHiveなどのジョブのワークフローを管理するツール

• HueのWebインタフェースから作成・管理可能

ワークフローの管理

ワークフローの作成

ドラッグ&ドロップが可能  マウス操作だけでワークフローが作成できる  

コーディネータ管理

ワークフローを定期実行を設定するための機能  実行日ごとに出力先を変えたり、同時に実行可能な数を指定することができる  

Hue アプリケーション(7) Sqoop

Sqoopのジョブを作成する

Sqoop ジョブの管理

Hue アプリケーション(8) Cloudera Search

Apache Solr

• オープンソースの検索システム • キーワード検索や属性検索により、Googleのような検索システムを構築可能

• ClouderaではSearchとして2013年6月から提供開始 o MapReduceによるインデックス作成 o  Flumeによる高速インデックス更新 o HDFS上の非構造データをそのまま検索可能

42

Cloudera Search アーキテクチャ

43

Webサーバ等の  ログを生成するサーバ  

携帯端末の  通信ログ  

Hadoop  

ストリーミングで  インデックスを更新  

バッチ処理で  インデックス更新  

インデックスを分散保持  

Webインタフェース  

検索結果

コレクションエディタ (1) スニペットビジュアルエディタ

コレクションエディタ (2) ファセット設定

コレクションエディタ(3) ソート

コレクションエディタ(4) ハイライト

インデックス設定

Hue アプリケーション(9) HBase App

HBase も Hue から操作可能

Hueで何ができる？

Demo !

More!

gethue.tumblr.com/tagged/tutorial

What's next in Hue?

Roadmap

•  3.0 : October o  UI の再設計 o  Google docs っぽいインタフェースに o  YARN o  ZooKeeper app o  ? (コミュニティ次第)

•  3.5 : February 2014 o  アプリケーション間連携 o  グラフ o  ? (コミュニティ次第)

Hue 1 - CDH3

Hue 2 - CDH

Hue 2.5 - CDH4.4

Hue 3 - CDH5 New design New top navigation bar

Hue 3 - New document model

●  Home (like Google Drive) ●  Unified sharing permissions ●  Tags

Links

•  gethue.com o  Videos, Hadoop Tutorials o  Demo VM o  CDH package

• @gethue

•  hue-user@ o  Help o  Contributors