利用者アンケートから見えたビッグデータ...

日本OSS推進フォーラム ビッグデータ部会 技術調査チーム

利用者アンケートから見えたビッグデータの現状と期待

2016年2月3日

WANdisco plc 小川 研之Kenji.ogawa@wandisco.comhttp://blogs.wandisco.com/author/kenji/

Copyright 2016 Japan OSS Promotion Forum

2015年12月14日開催の

『ビッグデータ＆オープンソース最新情報セミナー』において

ビッグデータ関連OSSに求められるニーズ・課題を分析するため、

アンケートを実施しました。

回答頂いたアンケートを集計・分析した結果を報告します。

Copyright 2016 Japan OSS Promotion Forum

はじめに

1

回答者の立場 業種、従業員数、役職、ビッグデータ導入時の立場

セミナーについて 内容の分かり易さ、役に立つか？

特にご興味のあった講演

Big Dataの取り組みについて Big Dataの期待領域

どのようなデータの分析が必要

Big Dataシステムの状況について（顧客への適用・提案を含む） Big Dataシステムの使用状況・計画

Big Dataシステム導入・構築の課題

使用されている（予定も含め）Hadoop、エコシステム

使用されているHadoop Distribution

Data Node総数、Hadoopクラスタ数、データセンタ数

Hadoopでの高可用性/バックアップ

Copyright 2016 Japan OSS Promotion Forum

アンケートの質問事項

Big Dataの活用のための

代表的なインフラとしての

Hadoopの現状にフォーカス

2

事前登録者数（関係者含む）：69名

当日参加人数（関係者除く）：43名アンケート回収数：39名

Copyright 2016 Japan OSS Promotion Forum 3

回答者の内訳

5%

0%

18%

41%

34%

2% 0%

利用者 教育・研究機関 情報サービス業

SIer ハード・ソフトベンダ コンサル

その他

Sier,HW/SWが70％、従業員数1000人以上が半数

情報サービス会社（Web企業）は2割以下

Big DataおよびHadoopの一般企業での実情を反映

今後、Big DataおよびHadoopの本格的な拡がりを占うもの

Copyright 2016 Japan OSS Promotion Forum 4

セミナーの評価

26%

68%

6% 0%

大変よく理解 理解できた

理解できないところもあり 理解できない

24%

64%

12%

0%

大いに役立つ 役立つ

現時点では不明 役に立たない

ポジティブな感想が9割近く、参加者満足度の高いセミナーとなり、 一定の成果

02468

10121416

興味のあった講演

全般的・広範な話題をカバーする講演への興味大

Big Dataの取り組み

Copyright 2016 Japan OSS Promotion Forum

Copyright 2016 Japan OSS Promotion Forum 6

ビッグデータにおける期待領域は何か？

0

5

10

15

20

25

30

a b c d a b c d a b c d a b c d

業務の卓越性 顧客親密 新事業 リスク管理

Big Dataへの期待

業務の卓越性

例：生産性向上、品質向上(歩留り改善)等ものづくり革新

顧客親密

例：ソーシャルメディア等による精緻なパーソナライズ

新事業

例：交通渋滞サブスクリプションサービス

リスク管理

例：刻々変化するパターンに基づく不正・異常検知

a. 実現済 b 期待大. c 期待 d 不明

ビッグデータにおける期待領域は何か？

Copyright 2016 Japan OSS Promotion Forum 7

新事業に対する期待は大きいが。。。 分析したいデータのトップは顧客データの35％

欧米では顧客親密、リスク管理対応が先行

“まだ顧客の多くにソーシャルと業務のつながりが認知されていないと感じる”とのコメントもあり

狙う領域が絞られていないのが実情か？

35%

24%

17%

21%

3%

顧客情報

（行動パターン

など含め）

生産関連情報

(センサデータ含む)

販売・売上情報 社会現状

(SNS、気象、交通、エネルギー等々)

その他

どのようなデータ分析が必要と考えるか？

Big Dataシステムの状況

Copyright 2016 Japan OSS Promotion Forum

HDFSは50%が使用中（含む予定）、MongoDBが健闘

商用の分析・意思決定製品との連携は進んでおらず、Rが健闘

Kerberos, Knoxは使われていない。セキュリティ対策は？

Copyright 2016 Japan OSS Promotion Forum 9

Hadoopエコシステムの利用状況

0

2

4

6

8

10

12

14

16

18

20

Nutc

h

Sqoop

Tale

nd

Flu

entd

Flu

me

Sto

rm

Spark

Str

eam

ing

Hadoop H

DFS

Ceph

Glu

ste

rFS

Sw

ift

MongoD

B

MR

MR2/Y

AR

N

Spark

Hiv

e

Tez

Impala

HBase

Drill

Pig

Solr

Cassandra

Mahout R

Penta

ho

JasperR

eport

MLlib

QlickVie

w

Table

au

Spark

SAS

IBM

SPSS

Tera

data

Am

bari

Zookeeper

Clo

udera

Manager

Kerb

ero

s

Knox

Oozie

収集・検知・ETL 蓄積・クエリ・その他 分析・意思決定 運用・監視

Hadoop Ecosystemの利用状況

Copyright 2016 Japan OSS Promotion Forum

ビッグデータシステムの使用状況・計画

10

14%

19%

11%

5%

0%

32%

19%

拡大を検討中・実施中 実システム運用中 POC実施中 1年以内に導入予定

2年以内に導入予定 時期未定検討中 予定なし

拡大を検討・実施中、実システム運用中は3割程度、時期未定・予定なしが半数以上

一方PoC実施中、1年以内も16％ →導入のスピードは期待程、高くない?

Copyright 2016 Japan OSS Promotion Forum 11

Hadoopシステムの現状

37%

30%

9%

18%

0%3% 3%0%

Hadoop Distribution

Apache Cloudera Hortonworks MapR

Oracle BDA Pivotal HD IBM その他

31%

0%

23%

46%

クラウド上でのHadoop利用について

クラウドのみ オンプレとのハイブリッド 今後予定 なし

37％がApacheを使用、ディストリビュータの無償版も含めるとサポートなしで使用しているユーザが相当数と思われる

クラウド上での拡張、展開を考えているユーザが半分以上 クラウドとオンプレミスのハイブリッドでの利用はゼロ

Hadoopのノード数は最大で30ノード、５ノード以下が半数

Copyright 2016 Japan OSS Promotion Forum

ビッグデータシステム構築の課題

12

24%

32%

13%

7%

14%

10%

0%

スキルの習得 導入効果の明確化 既存システムとの親和性・連携

対応製品の成熟度

(企業システム使用への不安)

必要性の認識なし

（経営陣）

データがない

収集が困難

その他

導入効果の明確化と必要性の認識なしを合わせると半数近い

→どのように使えば効果があるのかが明確になっていない状況

現状の考察および今後の期待

Copyright 2016 Japan OSS Promotion Forum

Big Dataの目的・投資効果が明確になっていない

この為、コストをかけないで何ができるのかを模索中のユーザが多いことが推察される サポートなし、クラウド志向

溜まったデータ量も小

既存システムとの連携なし

Copyright 2016 Japan OSS Promotion Forum

考察

14

Copyright 2016 Japan OSS Promotion Forum 15

今後への期待 (私見。。。）

the first Hadoop cluster went into production at Yahoo 10 years ago （January 28 2011)

Copyright 2016 Japan OSS Promotion Forum 16

Work？

Big DataとXXXX

Copyright 2016 Japan OSS Promotion Forum 17

アプリからスタート

結果としてデータが溜まる

Copyright 2016 Japan OSS Promotion Forum

ご清聴ありがとうございました