利用者アンケートから見えたビッグデータ...

日本OSS推進フォーラムビッグデータ部会技術調査チーム

利用者アンケートから見えたビッグデータの現状と期待

2016年2月3日

WANdisco plc 小川研之[email protected]://blogs.wandisco.com/author/kenji/

Copyright 2016 Japan OSS Promotion Forum

mailto:[email protected]

http://blogs.wandisco.com/author/kenji/

2015年12月14日開催の

『ビッグデータ＆オープンソース最新情報セミナー』において

ビッグデータ関連OSSに求められるニーズ・課題を分析するため、

アンケートを実施しました。

回答頂いたアンケートを集計・分析した結果を報告します。


はじめに

1

回答者の立場業種、従業員数、役職、ビッグデータ導入時の立場

セミナーについて内容の分かり易さ、役に立つか？

特にご興味のあった講演

Big Dataの取り組みについて Big Dataの期待領域

どのようなデータの分析が必要

Big Dataシステムの状況について（顧客への適用・提案を含む） Big Dataシステムの使用状況・計画

Big Dataシステム導入・構築の課題

使用されている（予定も含め）Hadoop、エコシステム

使用されているHadoop Distribution

Data Node総数、Hadoopクラスタ数、データセンタ数

Hadoopでの高可用性/バックアップ


アンケートの質問事項

Big Dataの活用のための

代表的なインフラとしての

Hadoopの現状にフォーカス

2

事前登録者数（関係者含む）：69名

当日参加人数（関係者除く）：43名アンケート回収数：39名

Copyright 2016 Japan OSS Promotion Forum 3

回答者の内訳

5%

0%

18%

41%

34%

2% 0%

利用者教育・研究機関情報サービス業

SIer ハード・ソフトベンダコンサル

その他

Sier,HW/SWが70％、従業員数1000人以上が半数

情報サービス会社（Web企業）は2割以下

Big DataおよびHadoopの一般企業での実情を反映

今後、Big DataおよびHadoopの本格的な拡がりを占うもの


セミナーの評価

26%

68%

6% 0%

大変よく理解理解できた

理解できないところもあり理解できない

24%

64%

12%

0%

大いに役立つ役立つ

現時点では不明役に立たない

ポジティブな感想が9割近く、参加者満足度の高いセミナーとなり、一定の成果

02468

10121416

興味のあった講演

全般的・広範な話題をカバーする講演への興味大

Big Dataの取り組み



ビッグデータにおける期待領域は何か？

0

5

10

15

20

25

30

a b c d a b c d a b c d a b c d

業務の卓越性顧客親密新事業リスク管理

Big Dataへの期待

業務の卓越性

例：生産性向上、品質向上(歩留り改善)等ものづくり革新

顧客親密

例：ソーシャルメディア等による精緻なパーソナライズ

新事業

例：交通渋滞サブスクリプションサービス

リスク管理

例：刻々変化するパターンに基づく不正・異常検知

a. 実現済 b 期待大. c 期待 d 不明

ビッグデータにおける期待領域は何か？


新事業に対する期待は大きいが。。。分析したいデータのトップは顧客データの35％

欧米では顧客親密、リスク管理対応が先行

“まだ顧客の多くにソーシャルと業務のつながりが認知されていないと感じる”とのコメントもあり

狙う領域が絞られていないのが実情か？

35%

24%

17%

21%

3%

顧客情報

（行動パターン

など含め）

生産関連情報

(センサデータ含む)

販売・売上情報社会現状

(SNS、気象、交通、エネルギー等々)

その他

どのようなデータ分析が必要と考えるか？

Big Dataシステムの状況


HDFSは50%が使用中（含む予定）、MongoDBが健闘

商用の分析・意思決定製品との連携は進んでおらず、Rが健闘

Kerberos, Knoxは使われていない。セキュリティ対策は？


Hadoopエコシステムの利用状況

0

2

4

6

8

10

12

14

16

18

20

Nutc

h

Sqoop

Tale

nd

Flu

entd

Flu

me

Sto

rm

Spark

Str

eam

ing

Hadoop H

DFS

Ceph

Glu

ste

rFS

Sw

ift

MongoD

B

MR

MR2/Y

AR

N

Spark

Hiv

e

Tez

Impala

HBase

Drill

Pig

Solr

Cassandra

Mahout R

Penta

ho

JasperR

eport

MLlib

QlickVie

w

Table

au

Spark

SAS

IBM

SPSS

Tera

data

Am

bari

Zookeeper

Clo

udera

Manager

Kerb

ero

s

Knox

Oozie

収集・検知・ETL 蓄積・クエリ・その他分析・意思決定運用・監視

Hadoop Ecosystemの利用状況


ビッグデータシステムの使用状況・計画

10

14%

19%

11%

5%

0%

32%

19%

拡大を検討中・実施中実システム運用中 POC実施中 1年以内に導入予定

2年以内に導入予定時期未定検討中予定なし

拡大を検討・実施中、実システム運用中は3割程度、時期未定・予定なしが半数以上

一方PoC実施中、1年以内も16％ →導入のスピードは期待程、高くない?


Hadoopシステムの現状

37%

30%

9%

18%

0%3% 3%0%

Hadoop Distribution

Apache Cloudera Hortonworks MapR

Oracle BDA Pivotal HD IBM その他

31%

0%

23%

46%

クラウド上でのHadoop利用について

クラウドのみオンプレとのハイブリッド今後予定なし

37％がApacheを使用、ディストリビュータの無償版も含めるとサポートなしで使用しているユーザが相当数と思われる

クラウド上での拡張、展開を考えているユーザが半分以上クラウドとオンプレミスのハイブリッドでの利用はゼロ

Hadoopのノード数は最大で30ノード、５ノード以下が半数


ビッグデータシステム構築の課題

12

24%

32%

13%

7%

14%

10%

0%

スキルの習得導入効果の明確化既存システムとの親和性・連携

対応製品の成熟度

(企業システム使用への不安)

必要性の認識なし

（経営陣）

データがない

収集が困難

その他

導入効果の明確化と必要性の認識なしを合わせると半数近い

→どのように使えば効果があるのかが明確になっていない状況

現状の考察および今後の期待


Big Dataの目的・投資効果が明確になっていない

この為、コストをかけないで何ができるのかを模索中のユーザが多いことが推察されるサポートなし、クラウド志向

溜まったデータ量も小

既存システムとの連携なし


考察

14


今後への期待 (私見。。。）

the first Hadoop cluster went into production at Yahoo 10 years ago （January 28 2011)


Work？

Big DataとXXXX


アプリからスタート

結果としてデータが溜まる


ご清聴ありがとうございました

利用者アンケートから見えたビッグデータ...

Documents