第77回mbl研究会...

奈良先端科学技術大学院大学ユビキタスコンピューティングシステム研究室 http://ubi-lab.naist.jp/

多様な IoT データストリームをクラウドレスで分散処理するミドルウェアの設計

中村優吾✝ , 諏訪博彦✝ , 荒川豊✝ ,山口弘純☨ , 安本慶一✝✝奈良先端科学技術大学院大学情報科学研究科

☨ 大阪大学大学院情報科学研究科

モバイルコンピューティングとパーベイシブシステム (MBL) 研究会

第 77 回研究発表会 2015 年 12 月 4 日 ( 金 )

2

研究概要

IoT データストリーム

2015/12/04 第 77回MBL研究会

クラウド集中型課題：遅延時間，通信コストプライバシー，セキュリティ

従来の IoT プラットフォーム

Raspebrry Pi を用いてIFoT の試作を設計 , 実装

Sensing

SensingSensing

IFoT ミドルウェア

実機により動作検証した結果を報告

即時的な利活用

ローカルの IoT デバイスによる至近距離プロセッシング

次世代の IoT プラットフォーム

IoT データストリームをクラウドレスかつ実時間で分散処理する IoT データ流処理基盤IFoT ( Information Flow of Things )の実現に向けた研究開発

3

目次• 背景と目的• 関連研究• 提案システム

• IFoT の特徴とミドルウェアの要件• IFoT ミドルウェアの要件• IFoT ミドルウェアの設計

• 動作検証実験• まとめ

2015/12/04 第 77回MBL研究会

4


• IFoT の特徴とミドルウェアの要件• IFoT ミドルウェアの要件• IFoT ミドルウェアの設計


2015/12/04 第 77回MBL研究会

5

Internet of Things の発展• 実世界のあらゆる情報を収集可能に…

2015/12/04 第 77回MBL研究会

6

Internet of Things の発展• 実世界のあらゆる情報を収集可能に…

• 多地点で多様なストリームデータが流れ続ける時代

2015/12/04 第 77回MBL研究会

「逐次生成される雑多な IoT データストリーム」

⇒ いかに有効活用するか？

7

IoT データストリーム活用の流れ

2015/12/04 第 77回MBL研究会

既存 IoT システム＝クラウド一極集中

実社会

IoT データストリーム

クラウド① 収集

①IoT データ流の収集

② 蓄積　

IoT ビックデータ

② 大規模ストレージに蓄積④ 還元

④ 分析結果を実社会に還元

③ 時間とパワーをかけて分析

③ 分析

8

IoT データストリーム活用の流れ

2015/12/04 第 77回MBL研究会

③ 分析② 蓄積　

IoT ビックデータ

長距離

問題点②・プライバシー・セキュリティIoT データストリーム

クラウド問題点①・遅延時間・通信効率，コスト

実社会

① 収集 ④ 還元リアルタイム性のあるサービス

地域や個人に特化したサービス

既存 IoT システム＝クラウド一極集中 ⇒大きな弱点が存在

9

研究目的

2015/12/04 第 77回MBL研究会

• 問題点①：遅延時間、通信コスト• 問題点②：プライバシー、セキュリティ ⇒①② を解決する新たな IoT プラットフォームの実現

⇒ クラウドレスな　至近距離プロセッシング

IoT データ流処理基盤 IFoT( Information Flow of

Things )高度なデータ処理を発生源で行う“地産地処”技術IoT データストリームの“即時的な利活用”を実現

至近距離( IoT デバイス≒処理マシン )

IFoT

実社会

発生源での分散処理

即時的な利活用

10

IFoT の実現に向けて• ①IFoT ミドルウェアの開発　　データ流処理エンジン

　　⇒モジュール上での流通・分析処理

• ②IFoT ニューロンモジュールの試作　　データ流の違いを吸収する GW デバイス　

　　⇒異種データ流を統一化

2015/12/04 第 77回MBL研究会

IFoT

IFoT ニューロンモジュール



11


• IFoT の特徴とミドルウェアの要件• IFoT ミドルウェアの設計• IFoT によるアプリケーション構築


2015/12/04 第 77回MBL研究会

12

エッジ [1] ／フォグコンピューティング [2]

クラウドより近い場所に処理サーバを配置し従来よりも遅延の少ないデータ処理を実現

2015/12/04 第 77回MBL研究会

クラウドサーバ

世界、国長距離

　課題　・インフラ整備に時間とコストが掛かる　・エッジまでの通信コストも軽視できない　（例：高層ビルの構造ヘルスモニタリング）

エッジ／フォグサーバ都市，地域近距離

[1] A. Davis, J. Parikh, W. E. Weihl : Edgecomputing:extending enterprise applications to the edge of the internet, Proc. of the 13th international World Wide Web conference on Alternate track papers and posters, (2004).[2] Bonomi, Flavio, et al.: : Fog Computing and Its Role in the Internet of Things, Proc. of the First Edition of the MCC Workshop on Mobile Cloud Computing (MCC '12), pp. 13-16 (2012).

13

エッジ [1] ／フォグコンピューティング [2]

クラウドより近い場所に処理サーバを配置し従来よりも遅延の少ないデータ処理を実現

2015/12/04 第 77回MBL研究会

エッジ／フォグサーバ

クラウドサーバ

世界，国

都市，地域近距離

長距離

至近距離IFoT

地区，建物

⇒ より近い範囲で処理モジュールを展開

14

• インフラ整備が必須、設置に時間とコストが掛かる

⇒• エッジまでの通信コストも軽視できない ⇒

IFoT のアプローチ

2015/12/04 第 77回MBL研究会

発生源でのデータ処理⇒集約側 ( エッジ etc) の負担軽減

ローカル環境で動作⇒インフラ整備不要，設置が簡単

都市，地域近距離

至近距離IFoT

地区，建物

・発生源でのデータクレンジング，　コンテキスト認識，テータ抽象化を実現

・置くだけで動作する小型処理モジュール群

エッジ／フォグサーバ

15




2015/12/04 第 77回MBL研究会

16

IFoT の特徴と応用例• IFoT ミドルウェアを搭載した小型デバイス群で構成

• IoT データストリームを蓄積することなく，発生源に近い場所 ( ローカル空間 ) で分散処理する

2015/12/04 第 77回MBL研究会

IFoTIFoT ミドルウェア

センシングからアクチュエーションのサイクルが早く，リアルタイム性の求められるアプリケーションとの親和性が高い例）・リアルタイム知的見守り＠スマートハウス・リアルタイム知的観光ナビ＠スマートシティ

17

リアルタイム知的見守り＠スマートハウス

• クラウドレスかつオンラインな分析処理によりプライバシーを考慮しつつ、真に危険な状況を検知

2015/12/04 第 77回MBL研究会

s s

ss

s s

s

s

s

s

抽象化データ

クラウド

IFoT

リアルタイム行動認識による行動見守りIFoT ミドルウェア

18

リアルタイム知的見守り＠スマートハウス

• クラウドレスかつオンラインな分析処理によりプライバシーを考慮しつつ、真に危険な状況を検知

2015/12/04 第 77回MBL研究会


19

リアルタイム知的観光ナビ＠スマートシティ

2015/12/04 第 77回MBL研究会

• 地域における景観，混雑，渋滞，気候状況など異種データ流を編纂した知的ナビゲーション


20

リアルタイム知的観光ナビ＠スマートシティ

2015/12/04 第 77回MBL研究会

• 地域における景観，混雑，渋滞，気候状況など異種データ流を編纂した知的ナビゲーション


21

応用例を踏まえて…IFoT 上で求められる処理• 即時的な分析によるコンテキスト理解• 異なるデータ流の組み合わせによる活用

IFoT ミドルウェアの要件① 異なるデータ流の違いを吸収する機能② センサデータをデバイス間で自由に流通する機能③ 流れるセンサデータを即時的に分析する機能④ 以上の動作を複数のデバイスで分散処理する機能

2015/12/04 第 77回MBL研究会

22


• IFoT の特徴と IFoT ミドルウェアの要件• IFoT ミドルウェアの設計• IFoT によるアプリケーション構築


2015/12/04 第 77回MBL研究会

23

情報流通機構

タスク割り当て機構

情報分析機構

IoT デバイスインタフェース機構

IFoT ミドルウェアの設計

2015/12/04 第 77回MBL研究会


アプリケーションサービス

IoT デバイス

④以上の動作を複数のデバイスで　分散処理する機能③ 流れるセンサデータを　即時的に分析する機能② センサデータをデバイス間で　自由に流通する機能① 異なるデータ流の違いを吸収する機能　

IFoT ミドルウェアの要件


情報分析機構

情報流通機構


24

IFoT ミドルウェアの設計① 異なるデータ流の違いを吸収する機能② センサデータをデバイス間で自由に流通する機能

2015/12/04 第 77回MBL研究会

(a) 異なる通信規格からのデータを取得　　し上位層にデータを受け渡す

(b) MQTT プロトコル対応のパケットに変換し，他の IFoT ニューロンに流通

(b) 情報流通機構 ⇒(a) IoT デバイス I/F 機構 ⇒

25

IFoT ミドルウェアの設計③ 流れるセンサデータを即時的に分析する機能

2015/12/04 第 77回MBL研究会

(c-1) センサデータのオンライン学習(c-2) 学習モデルの逐次更新 (c-3) 学習モデルに基づく判定⇒オンライン機械学習フレームワーク　 Jubatus を基とした処理系を検討

(c) 情報分析機構 ⇒

26

IFoT ミドルウェアの設計④ タスクを複数のデバイスで分散処理する機能

2015/12/04 第 77回MBL研究会

(d) タスク割り当て機構⇒

アプリケーションサービス ⇒ アプリケーションの動作を　レシピ（設定ファイル）　として記述

レシピのイメージ

センサデータをどのように組み合わせ分析するかといった処理手順を示すタスクグラフ

27

IFoT ミドルウェアの設計④ タスクを複数のデバイスで分散処理する機能

2015/12/04 第 77回MBL研究会


アプリケーションサービス (d-1) レシピを分散実行可能　　　なタスクに分割

(d-2) タスクを他のデバイス　　に分配

28

情報流通機構


情報分析機構


IFoT ミドルウェアの設計

2015/12/04 第 77回MBL研究会


アプリケーションサービス

IoT デバイス

④以上の動作を複数のデバイスで　分散処理する機能③ 流れるセンサデータを　即時的に分析する機能② センサデータをデバイス間で　自由に流通する機能① 異なるデータ流の違いを吸収する機能　

IFoT ミドルウェアの要件


情報分析機構

情報流通機構


29




2015/12/04 第 77回MBL研究会

30

想定環境

2015/12/04 第 77回MBL研究会

・１台の IFoT ニューロンに複数台のセンサ / アクチュエータ・各 IFoT ニューロンは共通 LAN で相互に接続

31

アプリケーション構築の流れ• Step１　レシピの作成，送信

• Step２　レシピの分解　タスク割り当て

• Step３　アプリケーション実行

2015/12/04 第 77回MBL研究会

32

Step1 ：レシピの作成，送信

2015/12/04 第 77回MBL研究会

アプリケーション構築者は，

実行したいアプリケーションのレシピを記述し，

その設定ファイルを IFoT ニューロンに送信

レシピ A

アプリケーション A高齢者見守りアプリ

33

Step2 ：レシピの分解，タスク割り当て

2015/12/04 第 77回MBL研究会

レシピを受信した IFoT ニューロンは，

レシピを分散実行可能なタスク単位に分割し，

センサの接続状況やリソース状況に応じて，

各タスクを他の IFoT ニューロンに割り当てる


34

Step3 ：アプリケーション実行

2015/12/04 第 77回MBL研究会

タスクを割り当てられた各 IFoT ニューロンは，

その内容に応じた処理を行うミドルウェアを起動し，

相互に協調，連携しながらアプリケーションとしての動作

を振る舞う

(c) 情報分析機構　 ⇒(b) 情報流通機構　 ⇒(a) IoT デバイス I/F 機構⇒

35


2015/12/04 第 77回MBL研究会




を振る舞う

36


2015/12/04 第 77回MBL研究会




を振る舞う

アプリケーションA

アプリケーションB

アプリケーションC

37

応用イメージ @ スマートハウス

2015/12/04 第 77回MBL研究会

高齢者見守りアプリケーション快適空調制御アプリケーション

s

ss

s

ss

共通のモジュール群上で複数のアプリケーションを水平実行

38

応用イメージ with ドローン

2015/12/04 第 77回MBL研究会

ローカルでのストリームキュレーション

選手のパフォーマンス分析アプリケーション

39


• IFoT の特徴と応用例• IFoT ミドルウェアの要件• IFoT ミドルウェアの設計


2015/12/04 第 77回MBL研究会

40

実験の概要• 実験目的： IFoT ミドルウェアによる一連の動作検証• 実験方法：

• IFoT ミドルウェアのプロトタイプを 6台の RaspberryPi 上に導入• データの流通，分析という一連の処理にかかる動作時間を測定• センサデータ生成レートを変化させた場合の処理遅延を確認

2015/12/04 第 77回MBL研究会実験環境

41

検証する動作シナリオ

2015/12/04 第 77回MBL研究会

• 多値分類アプリケーション

開始

センサ A センサ B センサ C

多値分類 (Classifier)

分類結果出力

動作検証レシピ

実験では管理マネージャから手動でタスクを割り当て

42

測定する一連の処理

2015/12/04 第 77回MBL研究会モジュール A モジュール B モジュール C

モジュール D

Pub( センサ値 A) Pub( センサ値 B) Pub( センサ値 C)

実験①センサデータ生成⇒学習

実験②センサデータ生成⇒分類モジュール E

Sub( センサ値 ABC)

Pub( センサ値 ABC)

① 学習処理

モジュール F


② 分類処理

各モジュール上でダミーのセンサデータ (32byte) を生成

各生成レート (5,10,20,40,80Hz)ごとのの処理遅延を測定

43

5-10Hz : 遅延の少ないリアルタイムな処理を実現可能20-40Hz : 遅延が増加し始め，リアルタイム性を損なう80Hz~ : 遅延時間が更に増加する

実験結果と考察

2015/12/04 第 77回MBL研究会

表 2 処理遅延 ( センサデータ生成 - 分類 )表 1 処理遅延 ( センサデータ生成 - 学習 )

⇒ タスクの更なる分散化による性能向上を検討

44

考察：タスクの分散化

2015/12/04 第 77回MBL研究会

開始

センサ A センサ B センサ C

多値分類 (Classifier)

分類結果出力

センサ A取得センサ B取得センサ C取得

学習処理

分類処理

負荷大

学習処理の分散化

⇒ 処理負荷に応じたタスクの分散方式を検討

機能によるレシピの分割

45

今後の評価

2015/12/04 第 77回MBL研究会 45

モジュール E

Sub( センサ値 ABC)


① 学習処理

モジュール F


② 分類処理

分散学習処理

タスクの分散化による性能の向上

1 モジュール⇔複数の異種センサの場合の評価

モジュール A モジュール B モジュール C

46


• IFoT の特徴と応用例• IFoT ミドルウェアの要件• IFoT ミドルウェアの設計


2015/12/04 第 77回MBL研究会

47

まとめ• IoT データ流処理基盤 IFoT を提案　　　

• IFoT ミドルウェアの設計を示す　　　

• RaspberryPi を用いた動作検証実験を実施 ⇒小規模な環境では実時間処理を実現可能である

2015/12/04 第 77回MBL研究会


48

今後の課題• レシピを記述する言語およびインタフェースの策定• 　　　

• IFoT ニューロンの動的な参加離脱に対応したノードの検索機構を実現

• 大規模な環境への適用を目指しクラウドとの一部連携を考慮したアーキテクチャを検討

2015/12/04 第 77回MBL研究会

IFoTクラウド

ご清聴ありがとうございました

第77回mbl研究会...

Technology