センサーデバイスのデータを使った microsoft azure machine learning 実装入門
DESCRIPTION
db tech showcase 東京 2014 でのセッションコンテンツTRANSCRIPT
Microsoft Data Platform
2
3
4
5
1. まずは全体の流れを押さえる
2. Azure Machine Learning 概要
3. .NET Gadgeteer (センサーデバイス) 概要
4. その他の構成要素
5. まとめ
6
.NET Gadgeteer
Machine Learning
Stream Analytics
Event Hubs
Web API
7
1. まずは全体の流れを押さえる
2. Azure Machine Learning 概要
3. .NET Gadgeteer (センサーデバイス) 概要
4. その他の構成要素
5. まとめ
8
9
ブラウザ (ML Studio) だけで すぐに始められる• サーバー等の環境準備/設定不要
複雑なモデルを GUI 操作だけでも実装可能
作成したモデルをボタン 1つで Web サービス化
R での実装も可能
各種ストレージ、データベースを入力、出力に• Azure Blob/Table/Azure SQL Database/
HiveQL/Power Query/HTTP
1時間あたり ¥38.76 or ¥76.50 の従量課金• プレビュー期間価格• サブスクリプションなしで始められる Free Tier あり
(*) あくまで実現するための操作や準備が簡単という意味で、機械学習を実現するためのモデル選定や統計的な理解、R やその他の要素技術利用は (長い) 時間をかけて勉強する必要があり、簡単ではないです。
10
11
12
13
Multiclass Decision Forest/Multiclass Decision Jungle/Multiclass Logistic Regression/Multiclass Neural Network/One-vs-All Multiclass/Two-Class Averaged Perceptron/Two-Class Bayes Point Machine/Two-Class Boosted Decision Tree/Two-Class Decision Forest/Two-Class Decision Jungle/Two-Class Logistic Regression/Two-Class Neural Network/Two-Class Support Vector Machine
K-Means Clustering
Bayesian Linear Regression/Boosted Decision Tree Regression/Decision Forest Regression/Linear Regression/Neural Network Regression/Ordinal Regression/Poisson Regression
14
15
16
REST API. POST リクエスト
HTTP の Req/Res の body は JSON 形式
短い応答時間を期待する場合は RRS を選択する• ML の処理は早くても数秒～数十秒かかるため、
応答は非同期待機も考慮した方がよい
REST API. 入力として各種データソースが指定可能。Azure Blob/Azure Table/Azure SQL Database/HiveQL/HTTP
レスポンスとして “JOBID” が返ってくる。それを基にバッチジョブの状態を定期チェック
状態が Finished/Failed になったら処理結果を取得結果は Azure Blob に出力される
17
18
既定で 410 個のパッケージが利用可能 (2014/11/12 時点)
独自の R スクリプト、パッケージ、.RData ファイルを取込み可能• zip で圧縮して “Execute R Script” の入力に指定• 解凍して /src フォルダに展開される
標準出力、グラフィックス関数の出力も参照可能• BES を使って画像ファイルとして保存も可能
19
20
1. まずは全体の流れを押さえる
2. Azure Machine Learning 概要
3. .NET Gadgeteer (センサーデバイス) 概要
4. その他の構成要素
5. まとめ
21
22
物理デバイスの差し替え可能(*)
デバイス用に用意された API
Visual Studio で開発可能 .NET Micro Framework の API が利用可能
• .NET Framework と同様の API が利用可能※実際には同じものではないので、種々の制約はある
(*) .NET Gadgeteer のソフトウェアは 1 年に何回かのペースでアップデートされており、デバイス側が追随していないケースや互換性のないケースがあります。そのため、使用・購入する際には、メインボードとの互換性有無について事前の確認が必要です
23
24
25
26
11 月末に提供開始予定(URL は”リソース” スライド参照)
.NET Gadgeteer のメインボードと一部センサーを付属した入門者用セット12月中に販売開始予定※待ちきれない方は FEZ Spider を個別に購入ください
27
28
1. まずは全体の流れを押さえる
2. Azure Machine Learning 概要
3. .NET Gadgeteer (センサーデバイス) 概要
4. その他の構成要素
5. まとめ
29
30
31
リクエストメソッドと URL に従った実装
Restful なアプリケーションを構築するためのプラットフォーム
容易に HTTP サービスを実装可能にする
32
.NET Gadgeteer
クライアント アプリ
2014/11/13機器と時間の都合上、セッション内ではこのデモは割愛しました
33
Event Hubs Stream Analytics
34
データをストリーミング受信する「窓口」の役割
HTTPS, AMQP でイベントデータ授受
保有期間：最大 7日。東日本と西日本で地理的冗長
処理パターン(取込間隔など)、並列度によりパーティション
スループット ユニットでスケールを動的変更入力： 1 MB or 1000 イベント / 1 スループットユニットあたり出力： 2 MB / 1 スループットユニットあたり
2014/10 末に正式リリース
35
2014/10 末に Public Preview 開始
Event Hubs と連携してリアルタイムにデータ取込み
現時点で利用可能な形式入力： Event Hubs、Azure Blob Storage出力： SQL Database、Event Hubs、Azure Blob Storage
Streaming Unit Pool でスケールを動的変更約 1 MB/sec / 1 Streaming Unit Pool あたり
“Stream Analytics Query Language” で変換/集約処理を実装
36
例) デバイスごとの平均加速度値を5秒間隔で集約
⇒ SQL Database に 5 秒に 1 件レコード登録
37
38
1. まずは全体の流れを押さえる
2. Azure Machine Learning 概要
3. .NET Gadgeteer (センサーデバイス) 概要
4. その他の構成要素
5. まとめ
39
.NET Gadgeteer
Machine Learning
Stream Analytics
Event Hubs
Web API
40
41
https://studio.azureml.net/
http://azure.microsoft.com/ja-JP/services/machine-learning/
http://azure.microsoft.com/ja-JP/services/event-hubs/
http://azure.microsoft.com/ja-JP/services/stream-analytics/
http://ms-iotkithol-jp.github.io/
本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。
本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。
すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではありません。
Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。
© 2014 Microsoft Corporation. All rights reserved.
Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。
その他、記載されている会社名および製品名は、一般に各社の商標です。