1

エキスパートセッションElastic MapReduce

2012/03/03 @JAWS SUMMIT 2012発表資料

http://www.velc.co.jp

ヴェルク株式会社津久井浩太郎(@quarterkota)

2

自己紹介

■所属• ヴェルク株式会社 取締役/アーキテクト• JAWS-UG東京⽀部 コアメンバー• ⼀般社団法⼈クラウド利⽤促進機構 技術アドバイザー

■好きなAWSサービスEMR：何よりも⼿軽さがスゴイRDS：イケてるバックアップに命を救われたことがある

■経歴ITコンサル(フューチャーアーキテクト)

→ インターネット広告系ITベンチャー(サイテック)→ 独⽴して現在2期目

津久井浩太郎 @quarterkota

3

はじめる前に質問があります。

4

Question

Hadoopをオンプレミス環境でセットアップして使った経験のある方、挙手をお願いします。

5

Question

EMRを触ったことのある方、挙手をお願いします。

6

EMRを触ったことは無いが興味はあるという方、挙手をお願いします。

Question

7

本日のAgenda

1.EMRとは？

2.EMRのメリット

3.EMRを触ってみる

4.EMR使用上のご注意

5.最後に

8

1.EMRとは？

9

EC2とS3のIaaSレイヤを基盤としてHadoopエンジンを取り入れて拡張させたPaaSレイヤの分散処理基盤

AmazonS3

AmazonEC2

Apache Hadoop

Streaming / Hive / Pig /Custom JAR / Cascading

IaaS

PaaS

10

言い換えると・・・好きな時に好きなだけ使える

クラウド型Hadoop基盤

＋＋＋＋

11

本日のAgenda

2.EMRのメリット

12

Hadoop自体はOSSで自由に使える優れた分散処理技術

13

しかし、Hadoopが有効に稼働するオンプレ環境を作るには・・・

少なくとも数十台規模のサーバが必要

イニシャルコスト・メンテナンスコスト大

バッチ用途が中心になるため、「リソースの空き時間」が発生しがち

14

実際に導入できるのはリソースが潤沢な一部の企業のみ

15

しかし、AWSのIaaSであるEC2・S3を処理基盤にする事で手軽にHadoopが利用可能に！

例えば・・・

m1.largeを20ノードで3時間の処理

$0.46 x 20 x 3 = $27.6≒ 2346円(85円/$)

17

3.EMRを触ってみる

18

EMRはユーザからの指示に基づいてジョブフローを生成

ジョブフロー

Hadoopクラスタ(EC2インスタンス群)

処理内容Hadoopクラスタのサイズなど

19

今回はSQLライクに分散処理を制御できるHiveベースのジョブフローをご紹介します。

20

それでは実際にジョブフローを作成してみます。

21

1.GUI(マネジメントコンソール)からの作成

2.CLIからの作成

ジョブフローの作り方は2パターン

22

1.GUI(マネジメントコンソール)からの作成

23

2.CLIからの作成

24

それでは実際にHiveでジョブフローを操作してみましょう

Amazon S3

25

マスタノード上で直接SELECTを実行し

結果を標準出力させます

入力データ

HDFS

Hadoopクラスタ

中間データ出力データ

Amazon S3

26

Hiveでのデータのやり取りはS3を入出力の口として

行うのが一般的です

入力データ

出力データ

HDFS

Hadoopクラスタ

中間データ

EMR+Hiveの組み合わせによりHadoopの敷居がグッと下がる

4.EMR使用上のご注意

EMRには向き不向きがある！低レイテンシを求められるシステムに単独で用いるのは厳しい

SPOFを考慮すべし！万が一マスタノードに障害が発生した場合

全ての処理結果が失われる

データ設計に細心の注意を！例えばHiveの場合JOINを連発するとパフォーマンスが急激にダウン

遊びの時間を極力減らす！ジョブフローが「Wait」状態は課金だけ発生するのでもったいない

5.最後に

EMRは大量分散処理を一気に身近なものにする画期的なサービスです

とにかくガンガン使って情報共有を進めましょう

EMRを1から始めるにはこの本がオススメです

JAWS-UGの分科会としてEMR勉強会もやっています

37

enjoy life and creation

http://www.velc.co.jp