1

1

Agenda 1. Microsoft Azure IoT Solution

2. Demon Stration

2

⾼度なビッグデータ分析 情報の活用

デバイス管理 イベント処理 ストレージ ビジネス上の洞察

ビッグデータの⾼度な分析 プロセス連携

センサー・機器・装置 多くの端末のサポートと各端末UIの最適化

ビッグデータストア

AzureStream AnalyticsAzure Storage

SQL DatabaseSQL Server

AzureMachine Learning

AzureEvent Hub

IoT Hub

Document DB

SQL DataWarehouse

Windows 10 IoT

デバイス接続/管理

AzureData Lake

AzureHDInsight (Hadoop)

Revolution REnterprise

ダッシュボード/可視化Power BI

パーソナルデジタルアシスタンスCortana

Machine Learning API

Azure 上のサービスを簡単につなぎ、IOT の成果を早く実現

3

4

受信 可視化・分析イベント生成（デバイス）

データ処理(Stream Processing)

格納

Protocol gateway

Field gateways

Applications

レガシー IOT (独自プロトコル)

各種デバイス

IP 通信デバイス(Windows/Linux)

低パワーデバイス(RTOS)

Stream Analytics

IoT Hub

Event Hub CustomApplication

3

Azure IoT Hub は、数百万の IoT デバイスとアプリケーションバックエンドの間に信頼性のある保護された双方向通信を確立できる、完全に管理されたサービスを提供

� エンドポイント

� デバイス ID レジストリ

� セキュリティ

� メッセージング

� クォータとスロットル

参照：https://azure.microsoft.com/ja-jp/documentation/articles/iot-hub-devguide/

� 数百万デバイスへの接続� 数百万イベント/秒、GB/秒 の受信能⼒� AMQP / HTTP(S) のサポート� デバイス単位にユニークなトークンベース セキュリティ モデル� GA 済み

Azure 上でのスケーラブルなイベントの受信･送信

6

4

Azure 上でのストリーム データ処理� デバイス、機械、アプリケーションと接続した Azure Event Hubs から 数百万のリアル タイム

イベントを取得・処理するサービス� ⼊⼒・出⼒形式

⼊⼒︓ Event Hubs、IOT Hub、Azure Blob Storage出⼒︓ SQL Database、Event Hubs、Azure Blob Storage、Power BIサービス .. etc

� 処理の中にAzure Machine Lerning の予測モデルを組み込むことも可能

Point of Service Devices

Self CheckoutStations

Kiosks

Smart Phones

Slates/Tablets

PCs/Laptops

Servers

Digital Signs

DiagnosticEquipmentRemote Medical

MonitorsLogic

Controllers

SpecializedDevicesThin

Clients

Handhelds

Security

POS Terminals

AutomationDevices

VendingMachines

Kinect

ATM

7

Stream Analytics ジョブ

⼊⼒ x N

• イベント ハブ• BLOB ストレージ

クエリ• SELECT• WHERE• JOIN / UNION• GROUP BY• Windowing,…

出⼒ x N

• SQL データベース• BLOB ストレージ• TABLE ストレージ• イベント ハブ• Power BI

8

8

5

Azure 上でのクラウドオーケストレーター� クラウドもしくはオンプレミスにあるリレーショナル・非リレーショナルデータへの接続� オーケストレート・コンピューティング (データ移動や変換、機械学習、Hadoop などの組み合わせ)� スケジューリング可能なデータビューとして Power BI ユーザーへパブリッシュ� スケジューリング・管理・デバッグを操作可能なワークフロー� ライフサイクルマネジメントとモニタリング� GA済み (2015年 8月)

9

Microsoft Azure Data Lake

YARN

U-SQL

Analytics Service

Store

HDFS

できること

• 巨大なスループット(単位時間あたりの処理能力)を必要とする大規模な分析システムを実現

• ファイルサイズの容量制限なし（ペタバイト級）• 様々な分析のワークロード向けに設計

• エンタープライズグレードのセキュティ、コンプライアンス、管理

• Active Directoryと連携したアクセス制御

• 監査／データ暗号化

お客様のメリット

10

6

DD D D D D D D D D

D D D D D D D D D D

D D D D D D D D D D

D D D D D D D D D D

D D D D D D D D D D

D D D D D D D D D D

凡例D

できること

Azureの各種サービス群との I/Fが用意されているので、可視化・分析作業も簡単です。

お客様のメリット

MPPスケールアウト型Relational Data Warehouse

6000 DWU

1000 DWU

エンジンノード

ワーカーノード

100 DWU

11

できること

• Hadoopクラスターを短時間で構築出来ます。

• ハードウェア、ソフトウェアの準備は不要です。

• Hadoop、HBase、Storm、Spark(プレビュー)クラスターが構築出来ます。

• データノードは、必要に応じ短時間で追加、削除可能です。

• Azure BLOBをファイルシステムとして選択出来ます。

• 左図のHadoopコンポーネントが使用可能です。

お客様のメリット

• Azure BLOBを使用する多くのアプリケーションとデータのやり取りが容易です。

• 構造化データに加え、ソーシャルメディア、センサー等から得られる半構造化、非構造化データも処理可能です。

Azure BLOB or HDFS or Azure Data Lake Store

Map Reduce

SqoopOozie

Zoo Keeper

Tez,Hive, HcatalogPig,Mahout,Ambari

HBase

Microsoft Azure HDInsight

YARN

StormSpark

12

7

13

14

※ Wikipedia より引用

定型レポート（SSRS）

セルフサービス BI（Power BI）

マシンラーニング（Azure ML）

機械学習とデータマイニングは交差する部分が大きく、技法も同じなので混同されることが多いが、次のように定義できる。• 機械学習の目的は、訓練データから学んだ「既知」の特徴に基づく予測である。• データマイニングの目的は、それまで「未知」だったデータの特徴を発見することである。

機械学習とは

• リコメンデーション� 同じ商品を買った人が買った別のアイテムをお勧め商品として提示

� 同じ属性を持った人が買った商品をお勧め商品として提示

• 分類� メール本文・タイトルの内容からスパムメールの分類

� Webサイトの行動履歴から不正ユーザの検出

• 異常検知� センサー情報に基づく機械故障予測

� NWアクセス情報から不正アクセスや攻撃を検知

• ユーザ属性の推定� 属性情報が完全に取れているお客様のデータから、属性情報に欠損のあるお客様の属性情報を推定

機械学習の利用例

8

15

PaaS型の機械学習プラットフォーム