dell emcが実現する <日本初>のbigdata課題解決 シス...

66
Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム - BDaaS(BigData as a Service) 2017年10月10日 Dell EMC (デル株式会社) インフラストラクチャ・ソリューションズ事業統括 ソリューション本部 BigDataビジネス開発 マネージャー 堀田 鋭二郎 プリンシパルエンジニア 菅谷篤志 Intel Inside ® 新たな可能性 を切り拓く

Upload: dangngoc

Post on 06-Feb-2018

228 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

Dell EMCが実現する<日本初>のBigData課題解決システム・プラットフォーム

- BDaaS(BigData as a Service)

2017年10月10日

Dell EMC (デル株式会社)インフラストラクチャ・ソリューションズ事業統括 ソリューション本部

BigDataビジネス開発 マネージャー堀田 鋭二郎

プリンシパルエンジニア菅谷篤志

Intel Inside®

新たな可能性を切り拓く

Page 2: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

2

本日セッションの目的

1) 最新ビッグデータ・マーケット状況の概要をご理解いただく

他ユーザ企業 様の動向。国内ビッグデータのマーケット認識

2) Dell EMCの新たなアプローチをご理解いただく:

データ分析における課題解決への新システム・アプローチ

3) 興味をもっていただきたい

Dell EMC って、なんか<おもろい>って思っていただきたい

Page 3: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

3

Agenda

1) 個人の話2) ビッグデータ・マーケットレポート3) 課題解決システムプラットフォームとは?4) デモ5) まとめ6) コンタクト先

Page 4: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

1) 個人の話

-自己紹介

Page 5: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

5

自己紹介

堀田 鋭二郎 Eijiro Hotta

- [email protected]

- @hotty_2015

日本名称:ISGソリューション本部 英語名称:エンタープライズ・ソリューション&アライアンス部 (ES&A)

ビッグデータビジネス開発 マネージャー

・一応、関西人

・義理人情の世界が好き

・仕事は楽しみながらやっています

・(ちょこちょこ)評議会、コミュニティー等々メンバーとして、顔出しています

Page 6: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

6 of 38

クラウドに依存しない1つのプラットフォームのデータを活用してビッグデータ、PaaSおよび俊敏な開発の融合をリード

ダイナミックな状況においてセキュリティを強化し、リスクを軽減する最高レベルの信頼できるインテリジェンス

最も複雑な課題を解決するセキュリティ、リスクおよびコンプライアンスソリューションの主要プロバイダー

業界をリードするサーバ、ストレージ、およびコンバージド インフラストラクチャによりデータセンターを変換する基盤

最も信頼性の高いデスクトップ、データセンターおよびアプリケーションの仮想化

最先端のエンタープライズ クラスクラウド ソフトウェアとソリューション プロバイダー

人々の働き方に合わせて設計された革新的なデバイスとサービスを提供する、受賞歴を誇るカスタマイズ ソリューション

おさらい - Dell TechnologiesIntel Inside®

新たな可能性を切り拓く

Page 7: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

7

デルとEMCの日本法人が合同で立ち上げた“ビッグデータ日本代表チーム”https://japan.zdnet.com/extra/dellemc_bigdata_201707/35103316/ - Dell EMC Japanでのビッグデータビジネスの加速を推進

Page 8: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

8

Intel Inside®

新たな可能性を切り拓く

Enterprise Hybrid Cloud

Native Hybrid Cloud & Analytics Insight

Module

Buyシンプルに購入 俊敏性

Buildシンブルに構築 柔軟性

エンジニアードシステム ハイブリッドクラウド

• ターンキー

• 事前導入済み

• ライフサイクル管理最適化

• 完全なターンキー

• 事前導入済みハイブリッドクラウド

• ライフサイクル管理最適化

シンプルに Build & Buy を提供するDell EMC ソリューション

Ready Nodes

完全検証済みReadyソリューション

• 完全検証済み

• ワークロードに最適化

Ready Bundles

Ready Systems

Page 9: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

9

Intel Inside®

新たな可能性を切り拓く

Ready Nodes

完全検証済み Dell EMC Ready ソリューション

Ready Bundles Ready Systems

認定・最適化されたノード単体構成 Ready Nodesをベスに認定・最適化されたリファレンスシステム構成

ターンキーのエンジニアードシステムをベースに最適化されシステム

vSAN

Microsoft S2D

ScaleIO

SAP HANA

SAP HANA Edge

HPC

Hadoop

OpenStack

SAP HANA

Virtualization

Exchange, SQL, Oracle*

SAP HANA

Splunk

Microsoft SQL

完全検証済みReadyソリューション

Page 10: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

2) ビッグデータ・マーケットレポート

- - 最新国内ビッグデータ・マーケットレポート- 概要-

Page 11: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

11

国内企業のビッグデータ/アナリティクス成熟度調査結果

参考:2017年8月30日発表、IDC Japan、国内企業のビッグデータ/分析に関する取り組み状況の調査結果http://www.idcjapan.co.jp/Press/Current/201708302Apr.html

- IDC MaturiyScape : IT環境の導入状況を客観的に評価するためにIDCが開発した手法

特定のIT環境についてまったく導入していない場合をステージ0(未導入)、導入後のユーザー企業の成熟度を、ステージ1(個人依存)、レベル2(限定的導入)、

ステージ3(標準基盤化)、ステージ4(定量的管理)、ステージ5(継続的革新)までの5段階で評価

- ステージ4以上に達する企業が少ない要因に、①人材不足 ②組織間の壁 ③予算不足 ④システムやデータの断絶、が原因と考えられている

- テキストや画像といったさまざまな非構造化データの処理では、クラウドとHadoopなどのソフトウェアを利用する仕組みが1つのモデルとして定着

- ビッグデータ分析を目的にHadoopを導入している企業は8.9%だったが、21.6%が2017年中に導入するとし、2018年以降の具体的な導入計画を持つ企業は21.1%、

時期未定の導入検討も16.4%に上る。2010年頃にいったんにぎわったHadoopに再ブームが到来し、今後数年でHadoopの企業採用が一気に増えると見込む

Page 12: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

3) 課題解決システム・プラットフォームとは?

- BDaaS (BigData as a Service) ご紹介

Page 13: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

13

BigDataとは?

総務省 情報通信白書 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc121410.html

量的側面:どの程度のデータ規模なのか?質的側面:どのようなデータから構成されるか?あるいは、そのデータがどのように利用されるか?

Page 14: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

14

分析に向けて、どのようにデータを準備・収集・統合・蓄積・処理するか?

データ収集・統合・蓄積・処理

どこでデータが生み出されるのか?

データベース

ソーシャルメディア

センサーデータ

各種デバイス

アプリケーション

クラウド

外部ソース

どこでデータが分析されるべきか?

BigData/IoT&アナリティクスの本質

分析エンジン

*BI/BA システム

ディープラーニング

インメモリーコンピュー

ティング

エンタープライスDWH

Hadoop/Spark

データを活用(分析)して結果を出すこと

*BI: Business Intelligence*BA: Business Analytics

Page 15: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

15

BigDataを活用する手段は無数で複雑

活用方法の最適解は、本来ユーザー自身の<トライ&エラー>で導くものです

Page 16: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

16

実際の分析プロジェクトで活用したツール

- データサイエンスで最も有名なポータルサイト KDnuggetsによる17年前から実施の調査http://www.kdnuggets.com/

Hadoop :大規模データの蓄積・分析を実現するために複数のサーバにデータを分散し、並列処理技術によって実現するオープンソースのミドルウェア

Spark:オープンソースのインメモリ高速分散処理プラットフォーム。「Hadoop」の不得意な部分に改善を加え、ビッグデータに対するバッチ処理/リアルタイム処理/インタラクティブ分析などを高速に実行

資料作成協力: 株式会社KSKアナリティクス http://www.ksk-anl.com/

Page 17: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

17

各種コンポーネント、エコシステムの発展があり、それらを組み合わせて利用することでデータ基盤としての利便性が増大

ビッグデータ/IoT活用における様々な要求に応えるHadoop

データ収集・蓄積、SQLクエリ処理、検索、列試行分散DB(NoSQL)、ストリーム処理、

機械学習、アクセス制御も可能な唯一無比のデータ プラットフォーム

Tez, HAWQ

, Embulk

変換・加工

Nifi

Page 18: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

18

Hadoop/Spark Cluster基盤(基本的な)利用構成例

Hadoop/Spark

Cluster基盤

検索エンジン

RDB

DWH

ユーザアプリ

BIBA

可視化ソフトウェ

データソース

RDB

複数のシステムと組み合わせて利用 DWH処理(SQL処理等)をHadoop/Spark基盤上で実施するケースも増加

e.g.)・生データ格納・データクレンジング処理・データ突き合せ・事前のデータ処理

e.g.)・事前計算済みデータの格納・オフロードした処理結果の書き戻し

Intel Inside®

新たな可能性を切り拓く

Page 19: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

19

Hadoop/Spark Cluster基盤(基本的な)利用構成例

Hadoop/Spark

Cluster基盤

検索エンジン

RDB

DWH

ユーザアプリ

BIBA

可視化ソフトウェ

データソース

RDB

複数のシステムと組み合わせて利用 DWH処理(SQL処理等)をHadoop/Spark基盤上で実施するケースも増加

e.g.)・生データ格納・データクレンジング処理・データ突き合せ・事前のデータ処理

e.g.)・事前計算済みデータの格納・オフロードした処理結果の書き戻し

Intel Inside®

新たな可能性を切り拓く

Dell EMC

Apache Hadoop

リファレンスアーキテクチャー

*HDP 2.6版も業界最速で公開

Page 20: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

20

親和性の高いコンポーネントのエコシステムで収集から分析まで対応可能

参考:Nathan Marz, ラダムアーキテクチャ

クエリ機構:バッチレイヤー :全量データに対するバッチ処理。精度の高い集計や、ロングテールをつかむ細かな集計サービスレイヤー:バッチレイヤーの集計結果を提供。HbaseやHiveをインターフェースとして利用する例もありスピードレイヤー:リアルタイム処理の結果を提供する層。直近数秒、数分、数十分のイベントの集計結果を提供

Page 21: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

21

Hadoop/Spark おさらい

活用タイプ 利用例 主に使用される分散アプリケーション

バッチ処理基盤 ・ETL処理(データの前処理・加工・整形化, etc)・日時データの集計レポート・機会学習のモデリング

MapReduceSparkHive

業務システムのバックエンドDB

(NoSQL, 検索エンジン, ストリーム処理)

・IoTシステムでのリアルタイム異状検知・ECサイトでのリアルタイムリコメンド・大規模検索システム

Spark StreamingHBaseSolr

データ分析基盤 ・大規模データ向けBI/BAETL + DWH (+分析用RDBMS)

ImpalaTezHAWQ

データ サイエンティスト活用向け基盤 ・データ組み合わせにより試行錯誤するための基盤元にあるデータを操作して様々な角度から集計・分析

全てのアプリケーション特にPythonを活用

データレイク・データハブ

上記すべての組み合わせ複数の用途を1つの基盤で行う。マルチテナント環境

上記すべての組み合わせ

Googleの公開論文をもとに参考開発されたオープンソースのミドルウェア

データストレージと分散処理のためのプラットフォーム(拡張性・耐障害性・分散処理)

既存テクノロジーでは対応が困難なビッグデータ(膨大、生成頻度高、多種多様)への解決策としての唯一無比なテクノロジー

昨今は、この活用タイプが多い

Page 22: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

22

(再掲)国内企業のビッグデータ/アナリティクス成熟度調査結果

参考:2017年8月30日発表、IDC Japan、国内企業のビッグデータ/分析に関する取り組み状況の調査結果http://www.idcjapan.co.jp/Press/Current/201708302Apr.html

- IDC MaturiyScape : IT環境の導入状況を客観的に評価するためにIDCが開発した手法

特定のIT環境についてまったく導入していない場合をステージ0(未導入)、導入後のユーザー企業の成熟度を、ステージ1(個人依存)、レベル2(限定的導入)、

ステージ3(標準基盤化)、ステージ4(定量的管理)、ステージ5(継続的革新)までの5段階で評価

- ステージ4以上に達する企業が少ない要因に、①人材不足 ②組織間の壁 ③予算不足 ④システムやデータの断絶、が原因と考えられている

- テキストや画像といったさまざまな非構造化データの処理では、クラウドとHadoopなどのソフトウェアを利用する仕組みが1つのモデルとして定着

- ビッグデータ分析を目的にHadoopを導入している企業は8.9%だったが、21.6%が2017年中に導入するとし、2018年以降の具体的な導入計画を持つ企業は21.1%、

時期未定の導入検討も16.4%に上る。2010年頃にいったんにぎわったHadoopに再ブームが到来し、今後数年でHadoopの企業採用が一気に増えると見込む

Page 23: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

23

BigData 活用における課題(1/3)

1) 分析データの陳腐化 → 利用者は、ニア リアルタイムでの分析を実現することを要望

2) 環境構築・整備コストと時間 → データ分析ごとにデータマート、もしくは部署/部門/人が必要とする環境構築をする必要

3) 情報資源の無駄が発生 → データ管理が煩雑化。また、データの転送・複写の繰り返しによりデータロスが発生

Q: BigData活用に向けて、どのようにデータを準備・収集・統合・蓄積・処理・分析を実施するか?

課題 要因

Page 24: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

24

ITシステム上の課題

• 自社に最適なシステム投資へ

の判断費用対効果

• システム連携の必要性

システム・

データ・組織

断絶

• ITテクノロジー進化への対応

と理解

スキル・能力の

獲得

• データから価値を得る方法費用対効果

• IT部門とユーザ部門の連携

システム・

データ・組織

断絶

• 自社独自の活用アイデア創出スキル・能力

獲得

BigData 活用における課題 (2/3)

ビジネス上の課題

BigData活用における阻害要因は、ビジネス上(業務)だけでなく、ITシステム上の課題とも関係する

Page 25: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

25

BigData活用における課題

•データ・システムの集約。一元化が可能

•システムの構築、リリース、破棄が簡単迅速に可能コスト削減

•コンテナ上にて、セルフサービス、マルチテナント

環境を提供

•Versionが異なるソフトウェア類を同一環境で稼働

可能

運用・システム

効率化

•クラウドネイティブな環境をWebインターフェース

の同一管理画面にて提供

•オンプレ、クラウド、ハイブリッド環境上に提供

負荷軽減

• データから価値を得る方法

•自社に最適なシステム投資への判断費用対効果

• IT部門とユーザ部門の連携

• テクノロジー進化への対応と理解

システム・

データ・組織

断絶

•自社独自の活用アイデア創出

• システム連携の必要性

スキル・能力

獲得

Dell EMC のアプローチ

BigData 活用における課題 (3/3)

Dell EMC は、BDaaS(BigData as a Service)による<先進的な>アプローチで課題解決のご支援が可能

Page 26: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

26

Dell EMC が実現するBDaaS (BigData as a Service)は、

データを活用する際の阻害要因となる

ITシステム上の課題 ビジネス上の課題 を

データを活用するためのシステム環境を、コンテナ技術の理解なくても

簡単 迅速 コスト効果的に

オンプレミス パブリッククラウド ハイブリッドクラウド へ

排除できる先進的なアプローチをご提供

配置展開し利用するシステム環境をご提供

Page 27: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

27

Azure Stackと、アプローチは同じ感。*オンプレ環境でもパブリッククラウドのAzureと同一管理画面でシステム運用が可能。Dell EMCが世界初で提供開始

Page 28: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

28

BDaaS (BigData as a Service)市場動向

BDaaS (BigData as a Service) は、ビジネス組織にエンド・ツー・エンドの大規模データソリューションを提供するクラウドベースのフレームワークを提供します。

これは、サービスとしての Hadoop(HDaaS:Hadoop as a Service)、サービスとしてのデータ(DaaS:Data as a Service)、及びサービスとしてのデータ分析(DAaaS:Data Analytics as a Service)の統合構造 です。

データ量の増加と同じくビッグデータ・マーケットの大規模な成長は、この市場空間でBDaaS(BigData as a Service) が成長する主要な要因の1つです。世界の BDaaS(BigData as a Service) 市場は、2015年には18億ドルから2020年には70億ドルに成長すると予測され、予測期間中に31.5%のCAGRとなります。

BDaaS市場のステークホルダーには、クラウドベンダー、SaaS(Software-as-a-Service)ソリューションベンダー、HDaaS(Hadoop-as-a-Service)ベンダー、DaaS(Data-as-a-Service) 、Data Analytics-as-a-Service(DAaaS)ベンダー、独立系ソフトウェアベースのBDaaSソリューションベンダー、付加価値再販業者および投資家などが含まれます。

* CAGR (年平均成長率) Compound Average Growth Rate

http://www.marketsandmarkets.com/Market-Reports/big-data-as-a-service-market-4129107.html

XaaS として、新たなサービスモデルの市場が欧米主体で発展

Page 29: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

29

アプリケーション

ミドルウェア

OS

ハードウェア

ネットワーク

OSレイヤーから下を対象に提供するサービス

ミドルウェア層までを提供するサース

アプリケーションまで完全にサービス化して提供するサービス

BigDataに関係する多様なミドルウェア, アプリケーション, それらを載せるOSもユーザが自由に選択できるシステムサービス

IaaS PaaS SaaSDell EMC が提供する

BDaaS

e.g.)- AWS- GCP- Azure

e.g.)- Pivotal Cloud Foundry- AWS- Azure

e.g.)- Facebook- Salesforce- Office 365

* DevOps: 開発(Development)と運用(Operation)の合成語開発担当者と運用担当者が連携することで、迅速で継続的なITシステムの開発と運用を実現する

BigDataを活用するためのHadoop, Spark, NoSQLの並列処理系システム活用を特に得意とし、 DevOpsの要素を含め、様々な柔軟性を付与したマルチテナント, セルフサービス, ハイブリッドクラウド環境でも利用できるモデル

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 30: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

30

システム観点

1) クラウドライクなインターフェースでシステム運用管理を実施したいユーザ2) Hadoop/Spark Clusterを簡易にDeployし、活用したいユーザ3) BigDataに関係するソフトウェア類をシステム利用ユーザ内で共有し、利用したいユーザ4) BigDataに関係するシステムを一元管理し、ユーザには利用柔軟性を付与したいユーザ5) <開発・テスト・本番>のシステム活用サイクルを頻繁に実施したいユーザ6) 仮想化されたシステムでも、物理マシンと同様のパフォーマンスを期待するユーザ

(ビジネス)コンサルティング観点

1) BigDataに取り組むべき目的が策定できていないユーザ2) 分析チーム、人を教育したいをユーザ3) 自社に合致するBigDataへのデータ分析検証をしたいユーザ4) データ分析・活用基盤へアセスメントが必要なユーザ

Dell EMC が実現するBDaaS (BigData as a Service)とは?

- BDaaSソリューションが適合するユーザ像

Page 31: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

31

コンテナ上にデータ活用・分析をするためのマルチテナント、セルフサービス式の独自システム環境を提供

パブリッククラウド・オンプレミス・ハイブリッド環境でのマルチ利用が共通管理画面上から可能

コスト削減運用·システム

効率化

DevOpes促進

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 32: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

32

コンテナ上にデータ活用・分析をするためのマルチテナント、セルフサービス式の独自システム環境を提供

パブリッククラウド・オンプレミス・ハイブリッド環境でのマルチ利用が共通管理画面上から可能

コスト削減運用·システム

効率化

DevOpes促進

Eye Catching な キーワード1) Dockerコンテナ

2) セルフサービス

3) マルチテナント

4) ハイブリッドクラウド

5) (データレイク化するための)

リモートNAS, リモートHDFS 連携

6) システム課題とビジネス課題の解決

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 33: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

33

(1分で説明、理解したつもりになる…)

Dockerコンテナとは? 仮想マシンはマシンレベルの仮想化を行いその上でゲストOSを動かす

コンテナはOSレベルの仮想化を行いその上でプロセスを動かす

仮想マシン Dockerコンテナ

起動 遅い 早い

リソース消費 多い 少ない

参考:http://paiza.hatenablog.com/entry/docker_intro

物理マシン 仮想マシン コンテナ

Page 34: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

34

運用管理:ビッグデータに関係するミドル・アプリの導入展開が簡単・迅速・コスト効率的な環境を実現

システム:構築、テスト、リリースを迅速、頻繁、確実に実行可能なビッグデータ環境を実現

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 35: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

35

3つのユーザ階層で利用権限を規定、それぞれの管理画面を準備

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 36: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

36

Dell EMC Isilon Storage/Data Nodes

DataTap(遠隔データへ連携する機能)

・Kerberised HDFS・NFS

<DataTap>の機能を利用することで遠隔ストレージへのアクセスも可能

AWS-S3 にも対応

利用用途に基づいて、事前検証済み4つの構成モデルを準備

→ Dell EMC PowerEdge Server + Networking

コンピューティング・リソースとストレージ・リソースを分離し、マルチプロトコル、スケールアウト対応も可能

→ Dell EMC Isilon Storage

Data

Nodes

Dell EMC が実現するBDaaS(BigData as a Service)とは?

Intel Inside®

新たな可能性を切り拓く

Page 37: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

37

Nodes数毎の比較においても、物理サーバでの処理とほぼ同等のパフォーマンス結果

参考:BDaaS上でのDocker コンテナを利用して、BigDataワークロード処理パフォーマンスを物理サーバ同数と比較したホワイトペーパーhttps://software.intel.com/en-us/articles/bare-metal-performance-for-big-data-workloads-on-docker-containers

Dell EMC が実現するBDaaS (BigData as a Service)とは?

Page 38: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

38

ご参考:検証環境プラットフォーム上での公開ベンチマーク情報

HiBenchでのベンチマークテスト結果:https://www.bluedata.com/blog/2015/12/separating-hadoop-compute-and-storage/

→ 物理サーバよりも、TeragenおよびDFSIO書き込みテストは高速。50〜60%高速実行。

BigBenchによるベンチマークテスト結果https://www.bluedata.com/blog/2017/03/big-data-performance-benchmarking/

→ ベアメタル(平均50個のHadoop計算ノードと10テラバイトのデータ構成)に対して、平均2.33%のパフォーマンス向上

Page 39: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

39

Intel Inside®

新たな可能性を切り拓く

Dell EMC - BDaaSストレージ・アーキテクチャー(Hadoop/Spark例)

Page 40: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

40

Intel Inside®

新たな可能性を切り拓く

Dell EMC - BDaaSセキュアなアクセスコントロールが可能

Page 41: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

41

Intel Inside®

新たな可能性を切り拓く

Dell EMC – BDaaS アーキテクチャー

Page 42: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

42

TCOの削減 スピードと俊敏性

運用の効率化容易にスケールアップ/ダウン

データ連携

利用アプリ・ミドル選択の柔軟性

Dell EMC が実現するBDaaS (BigData as a Service)とは?

クラウドとオンプレミスの双方利点を取り入れた提供モデルを実現

Page 43: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

43

Dell EMC

優位性

グローバル契約に

基づく

日本初のソリュー

ション展開

あらゆるマルチプロ

トコル対応に可能な

唯一のストレージ

製品を保有

Dell EMC 都内セン

ターでのデモ、検証

が実機でも可能

ビジネス課題への

コンサルティング

事前検証済み

構成モデルを保有

Dell EMC が実現するBDaaS の優位性

欧米でマーケット拡大中の<BDaaS> 利用モデルを日本においても実現

IT課題の解決だけでなく、ビジネス上の課題の解決も実現可能なソリューション体制

実機を利用した検証が日本国内でも利用可能

Intel Inside®

新たな可能性を切り拓く

Page 44: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

44

Intel Inside®

新たな可能性を切り拓く

Dell EMC BDaaS - システム構成案

Dell Networking S3048-ON

Dell Networking S4048-ONデータ ネットワーク

ユーザー ネットワーク

管理用ネットワーク

Dell EMC PowerEdge R730XD (マネージメントノード) x1台

Dell EMC PowerEdge R730XD (コンピュート/データノード) x4台

以下は、「Dell Reference Configuration for BlueData on PowerEdge servers」に基づく構成

http://en.community.dell.com/techcenter/blueprints/m/resources/20442061

Page 45: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

45

Dell EMC BDaaS – システム構成 サーバー機器スペック

マネージメント・ノード データ・ノード

機種 PowerEdge R730xd PowerEdge R730xd

台数 1 4

CPUE5-2680v4 2.4GHz 14Core x2

(28Core)E5-2680v4 2.4GHz 14Core x2

(28Core)

Memory 256GB(16GB x16) 256GB(16GB x16)

HDD1.2TB 10K RPM SAS 12Gbps x24600GB 10K RPM SAS 12Gbps x2

1.2TB 10K RPM SAS 12Gbps x24600GB 10K RPM SAS 12Gbps x2

NICNDC: Intel X520DP(SFP+) + Intel

i350DP NDC: Intel X520DP(SFP+) + Intel

i350DP

OS Redhat Enterprise Linux Redhat Enterprise Linux

iDRAC Enterprise Enterprise

Support 5year ProSupport Plus 5year ProSupport Plus

Intel Inside®

新たな可能性を切り拓く

以下は、「Dell Reference Configuration for BlueData on PowerEdge servers」に基づく参考構成

http://en.community.dell.com/techcenter/blueprints/m/resources/20442061

Page 46: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

46

データネットワークスイッチ 管理ネットワークスイッチ

機種 Dell Networking S4048-ON Dell Networking S3048-ON

台数 2 2

ポート数 48x 10GbE (SFP+) 48x 1000 Base-T

アップリンクポート 6x 40GbE(QSFP+) 4x 10GbE (SFP+)

スイッチング容量 1.44Tbps 260Gbps

Size 1U 1U

Support 5year ProSupport Plus 5year ProSupport Plus

Dell EMC BDaaS - システム構成 ネットワーク機器スペック

以下は、「Dell Reference Configuration for BlueData on PowerEdge servers」に基づく参考構成

http://en.community.dell.com/techcenter/blueprints/m/resources/20442061

Page 47: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

47

Dell EMC BDaaS – リファレンスHW構成に基づく概算・定価サマリ

※ 機器には、5年間の保守(24時間365日、4時間オンサイト対応)が含まれています。価格には配送料が含まれております。※ Red Hat及びBlueData サブスクリプションは1年間としています。

BlueData 1年 BD-EPIC2-ENT-STD-1YR-COR (平日9:00 - 17:00サポート保守)

製品名 数量 標準単価 定価計

サーバ PowerEdge R730xd (マネージメント Node) 1 ¥5,440,062 ¥5,440,062

PowerEdge R730xd (データ Node) 4 ¥5,440,062 ¥21,760,248

ネットワーク機器 デル ネットワーク S4048-ON(サーバ収容ToRスイッチ) 2 ¥1,807,200 ¥3,614,400

デルネットワーク S3048-ON(管理セグメント用スイッチ) 2 ¥3,843,600 ¥7,687,200

ケーブル類

Aim Electronics 10G用 光パッチケーブル 両端DLC Duplex マ

ルチ(50/125) 5m 10 ¥9,740 ¥97,400

ELECOM EU RoHS指令準拠 ツメ折れ防止LANケーブル

(Cat6A)/5.0m/ブルー 20 ¥660 ¥13,200

ソフトウェア Red Hat Enterprise Linux 2SKT 1ゲスト 1年間サブスクリプション

メディアなし 5 ¥169,619 ¥848,095

BD-EPIC2-ENT-STD-1YR-COR (サーバ-Core単位) 140 ¥60,000 ¥8,400,000

¥47,860,605定価 概算合計

- オンプレ環境の場合の推奨最低構成。サーバ x 5台、ネットワーク機器 x 4台

Intel Inside®

新たな可能性を切り拓く

Page 48: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

48

BDaaS 活用事例

Mike Viola(ナスダックのグローバルテクノロジーCIOオフィスの主任技術者)とのインタビューhttps://itpeernetwork.intel.com/nasdaq-overcoming-big-data-challenges-bluedata/

ユーザー名:NASDAQ(ナスダック、National Association of Securities Dealers Automated Quotations)

現状:- ナスダックは1秒ごとに何百万件もの取引を処理- 様々なリスクを軽減するため、日々のデータ分析はビジネスにとって必須

課題:1) Apache Hadoop や大規模なデータ分析に必要なインフラストラクチャは、管理と拡張が困難であった2) 規正配下にある会社であり、セキュリティ要件は非常に高く、高レベルの安全なシステムが必要

効果:1) セキュリティを適切に設定2) ベアメタル上で実行しているかのように、必要なパフォーマンスを維持3) 大規模なデータ分析のためのインフラストラクチャコストの削減4) ビジネスイノベーションを実現するために、時間をかけて分析する時間を短縮

Page 49: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

4) デモ

- BDaaS (BigData as a Service) ご紹介- HDP新規Clusterの立ち上げ

Page 50: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

50

Login後のメイン画面参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 51: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

51

物理ホストの一覧

*当社検証センターで稼動する物理システムから図柄抜粋

参考)画面キャプチャー

Page 52: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

52

テナント毎のユーザー管理参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 53: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

53

テナントにユーザーをアサイン参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 54: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

54

テナントの一覧参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 55: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

55

App Store参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 56: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

56

App Store 画面を下にスクロールしたもの参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 57: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

57

Cluster Management参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 58: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

58

Cluster 作成参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 59: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

59

Cluster 詳細参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 60: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

60

テナント内ノード一覧参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 61: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

61

参考)画面キャプチャー

*当社検証センターで稼動する物理システムから図柄抜粋

Page 62: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

5) まとめ

Page 63: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

63

まとめ

1. Dell EMC は、データ活用における先進的なアプローチを実現できる<おもろい>会社

2. 検証済みシステム構成も(実績も)多分にあり、時間と労力の負荷削減に貢献

3. BDaaS(BigData as a Service)は、データ分析に伴う課題解決のための1つのアプローチとして有効

Intel Inside®

新たな可能性を切り拓く

Page 64: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

6) コンタクト先

Page 65: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

65

BigData and Analytics 関連のコンタクト先

Contacts:

[email protected]

Page 66: Dell EMCが実現する <日本初>のBigData課題解決 シス …dataplatform.jp/program/files/C-6.pdf · Dell EMCが実現する <日本初>のBigData課題解決 システム・プラットフォーム

Intel Inside®

新たな可能性を切り拓く