data platformdataplatform.jp/program/files/a-3-2.pdf · amazon dynamodb azurecosmosdb azure time...

Data PlatformConference Tokyo 2017

エキスパートに聞く！クラウドで実現するビッグデータ活⽤

⽇本マイクロソフト株式会社佐藤直⽣⽇本アイ・ビー・エム株式会社平⼭毅ホートンワークスジャパン株式会社北瀬公彦

22

免責事項

このプレゼンテーションは、情報提供のみを目的としています。 Hortonworksは、このプレゼンテーションでの内容に注意を払っておりますが、掲載された情報の内容の正確性については一切保証しません。


33

§ メジャーなクラウドにおけるビッグデータ・アナリティクス関連サービスについて確認

§ Azureのビッグデータ・アナリティクス関連サービスについて

§ IBMのビッグデータ・アナリティクス関連サービスについて

アジェンダ

⽇本マイクロソフト株式会社パートナー事業本部エバンジェリスト佐藤直⽣⽒

⽇本アイ・ビー・エム株式会社IBMクラウド事業本部

コンサルティング・アーキテクト平⼭毅⽒


55

Category OSS AWS Azure Google IBMETL NiFi,Sqoop,Flume,

etcAmazonDataPipeline Azure DataFactory

Azure DataCatalogCloudDataPrep DataConnect

メッセージングシステム

Kafka AmazonKinesis AzureEventHub CloudPub/Sub IBMMessageHub

ビッグデータ分散処理

HadoopSpark

AmazonEMR AzureHDInsight CloudDataProcCloudDataflow

BigInsightsforApacheHadoop

リアルタイムデータ処理

Storm AmazonKinesis Azure StreamAnalytics

StreamingAnalytics

NoSQL MongoDB,CouchDB,HBase,Cassandra,etc

AmazonDynamoDB Azure CosmosDBAzureTimeSeries

Insights

Cloud DatastoreCloudBigTable

IBMCloudant

データウェアハウス Hive /Druid AmazonRedshift AzureSQLDatawarehouse

BigQuery IBMDb2WarehouseonCloud

クエリエンジン Hive,Impala, Presto AmazonAthena Azure DataLakeAnalytics

BigQuery BigInsightsforApacheHadoop(Subscription)

BI Superset,etc AmazonQuickSight PowerBI GoogleDataStudio Cognossなど、UnmanagedなBI製品

を利用データサイエンス Zeppelin

Jupyter NotebookAmazonMachine

LearningAzure Machine

LearningCloudDataLab IBMDataScience

Experienceマシーンラーニング AmazonMachine

LearningAzureMachine

LearningCloudMachineLearningServices

IBMWatsonMachineLearning

クラウドサービスの紹介ビッグデータ・アナリティクス

参考: https://ilyas-it83.github.io/CloudComparer/ 注意: カバーできていない他のOSS、クラウドサービスもありますが、作成者の視点により主要サービスのみカバーしています。


66

ビッグデータ分析のためのデータパイプライン

ストリームデータ転送

分散ファイルシステム

データウェアハウス

BusinessIntelligence

分散処理データサイエンス

バルクデータ転送

アドホッククエリー

リアルタイム処理

マシンラーニング

DB

DB

NoSQL

Sensor

Sensor

収集蓄積処理分析⽤データ可視化・分析・機械学習ソース


77

クラウドサービスの紹介OSS ビッグデータ・アナリティクス

NiFi,Kafka

HDFS Hive/Druid

Superset

Hadoop/Spark ZeppelinSqoop

HiveQL/LLAP

Storm,SparkStreaming

SparkMLlibなどの機械学習ライブラリを使用して開発

DB

DB

MongoDB

Hbase,Cassandra

Sensor

Sensor




注意: カバーできていない他のOSSもありますが、作成者の視点により主要サービスのみカバーしています。


88

AmazonKinesis

AmazonS3

AmazonRedshift

AmazonQuickSight

AmazonEMR AmazonMLAmazon

DataPipeline

AmazonAthena

AmazonML

DB

DB

AmazonDynamoDB

クラウドサービスの紹介AWS ビッグデータ・アナリティクス

Sensor

Sensor




AmazonKinesisAnalytics

注意: カバーできていないサービスもありますが、作成者の視点により主要サービスのみカバーしています。


99

GoogleCloudPub/Sub

GoogleCloudStorage

GoogleDatastore

GoogleDataStudio

GoogleCloud

DataprocGoogle

CloudDatalab

GoogleCloud

DataPrep

GoogleBigQuery

GoogleCloud

Dataflow

GoogleCloudML

DB

DB

GoogleBigQuery

GoogleBigTable

クラウドサービスの紹介Google ビッグデータ・アナリティクス

Sensor

Sensor






1010

AzureEventHub

AzureBlob/ADLS

AzureSQLServer

Datawarehouse

AzurePowerBI

AzureMLAzure DataFactory

Azure DataLakeAnalytics

AzureML

DB

DB

AzureCosmoDB

AzureHDInsight

クラウドサービスの紹介Azure ビッグデータ・アナリティクス

Sensor

Sensor




AzureStreamingAnalytics



1111

クラウドサービスの紹介IBM ビッグデータ・アナリティクス


IBMMessageHub

IBMObjectStorage

IBMDb2WarehouseonCloud

Cognossなど、UnmanagedなBI製品を利用

IBMDataScience

Experience

IBMDataConnect

それぞれのサービスに付属

IBMWatsonMachineLearning

DB

DB

IBMCloudant

BigInsights forApacheHadoop

Sensor

Sensor



IBMStreamingAnalytics



エキスパートに聞く！クラウドで実現するビッグデータ活⽤

⽇本マイクロソフト株式会社佐藤直⽣⽇本アイ・ビー・エム株式会社平⼭毅ホートンワークスジャパン株式会社北瀬公彦

1 . .4 .

4 .. . E C

1 1/ . .44 .

お問い合わせ先

ホートンワークスジャパン株式会社

TEL：03-6205-3284住所: 東京都千代⽥区永⽥町2-11-1 ⼭王パークタワー[email protected]://jp.hortonworks.com

data platformdataplatform.jp/program/files/a-3-2.pdf · amazon dynamodb azurecosmosdb azure time...

Documents