Hadoop Conference Japan

2014

ご挨拶・Hadoopを取り巻く環境

日本Hadoopユーザー会

濱野 賢一朗／Kenichiro Hamano （NTTデータ）

Twitterハッシュタグ

#hcj2014 Twitter公式アカウント

@hadoopconf

第5回の今回は・・・

参加登録者数

1296名 約65%がはじめて参加される方！

Hadoopのこれまで

「はじめて」 普及した並列分散処理

データ読み込みのスループットの最大化 → 全件データ （ビッグデータ） 処理の実現

シンプルなモデル （MapReduce）

Map Shuffle Reduce

Hadoopは 絶賛 進化中

2014 2010 2011 2013 2012 2009

branch-2

2.2.0

2.3.0

2.4.0 2.0.0-alpha

2.1.0-beta

branch-1 (branch-0.20)

1.0.0 1.1.0 1.2.1(stable) 0.20.1 0.20.205

0.22.0

0.21.0 New append

Security

0.23.0

0.23.11(final) NameNode Federation, YARN

NameNode HA

HDFS Snapshots NFSv3 support Windows

Heterogeneous storage HDFS in-memory caching

HDFS ACLs HDFS Rolling Upgrades Application History Server RM Automatic Failover

これからの Hadoop がリードする世界

YARNの登場により 複数の並列分散処理エンジンを併用できる環境

メモリの大容量化、10Gbpsネットワークの普及で インメモリ処理の実現性の向上

これまで培った MapReduce ベースの経験を元に 複数の並列分散処理システムを使い分ける時代に

Hadoopの利用経験

40.7% 15.8% 8.0% 9.3% 21.2% 5.1%

48.0% 19.2% 9.9% 8.8% 12.3% 前々回

前回

なし 3ヶ月未満 6ヶ月未満 1年未満

3年未満 3年以上

1.8%

44%以上の方が 6ヶ月以上の経験を持つはじめる方も、安定して増えている

33.0% 16.4% 6.1% 8.9% 22.4% 13.2% 今回

利用しているエコシステム

271

Hive 570

289

194

191

163

143

Zookeeper

HBase

Fluentd

Pig

Mahout

Sqoop

※ 重複選択可能 ※ 総回答数 1183

今回も圧倒的にHiveの利用率の高さが目立つ。 前回との大きな違いは、

FluentdとImpala、Sparkの ランクイン！

141

108

104

Impala

Spark

Hue

Hadoop開発コミュニティへの参画

日本からのフィードバックも見受けられる状況

積極的に開発コミュニティに参画しましょう！

出典: http://ajisakaa.blogspot.com/2014/02/the-activities-of-apache-hadoop.html http://hortonworks.com/blog/innovations-contributions-apache-hadoop/

2013年 Hadoop 貢献ソースコード行数 （所属企業別）

世界第9位

ご案内とお願い

会場内での撮影や取材は自由です カメラのシャッター音など 他の参加者に迷惑に ならないようご注意ください

発表資料のほとんどはWebで公開されてます

Ustreamで各講演の様子を中継しています

無線LANの提供はありません

イベント終了後に1F会場にて懇親会を行います（参加費 2000円）。当日参加も歓迎です！

展示ブース

A会場に、展示ブースが設置されています

ランチタイムや休憩中などに、ぜひお立ち寄りください

出展社 Cloudera

SAS Institute Japan

Treasure Data

日本アイ・ビー・エム

MapR Technologies

メッセージボード

Hadoopや周辺OSSのロゴ、所属企業のロゴを 描いてください → プレゼントもあります！

Keynote Speakers

Doug Cutting

Hadoop生みの親 Apache Software

Foundation Cloudera

Patrick Wendell

Apache Spark 主要開発者 Databricks

太田 一樹

Treasure Data CTO