20150726 iotってなに？ニフティクラウドmqttでやったこと

IoTってなに？ MQTTができること

JulyTechFesta 2015 産業技術大学院大学品川

2015/07/26 ニフティ株式会社

お詫び

2

「MQTTができること」でしたが、「ニフティクラウド MQTTの仕組み」のほうが受けるかと思って内容を変えました。

自己紹介

3

森藤大地@muddydixon ニフティ9年目モバイル・IoTビジネス部

JavaScript / Perl データ前処理 / データ解析時系列予測 / データ可視化 IoT new

自己紹介

4



自己紹介

5



危ない！

バズワードだ！

6

はい

コンテンツ

7

IoTって？ MQTTって向いてる状況/向いていない状況ニフティクラウド MQTTの作り方

8

IoTの現状おさらい

世の中のIoT化の流れ

9

IoT Internet of Thingsモノのインターネット

家庭・産業の色々なものがネットにつながる！

10

Sensoria歩数・距離・スピードなどの他にも、足の体重バランスなども記録され「かかとに負担が大きな走り方」や「左足にバランスが偏っている」などを把握できる。

血糖値の管理をより手軽でスマートに。コンピュータやスマートフォンと接続することで、リアルタイムのデータを活用しながら治療を行う。

Lumo Back

活動量計のほかにヨガやボクシング、スイミング、ランニングなどのモーションについてのコーチングも行ってくれる。

背中につけたセンサーが姿勢の悪いときに振動して教えてくれる。また消費カロリーや睡眠トラックも可能。

Moov

Phyode脈拍や呼吸をトラッキングすることにより心理状態をモニタリング。精神を整えるエクササイズもすることができる。

MisfitWearablesウェアラブルデバイスを、目立たずおしゃれに身につけることを目指しているデバイスメーカー。

Pancreum

ウェアラブルデバイス・サービスは多種多様海外ベンチャーはIoTを強烈に意識

11

IoTの適用が急速に拡大中Droneで配送 Amazon Prime Air

自動運転 Google self-driving car project

IoTのDIYセンサー・制御ガジェット Smart Things

ホーム・オートメーション SUITE SMARTHOME

IoTは期待のピークに

12

出典：ガートナー先進テクノロジのハイプ・サイクル： 2014年http://www.gartner.co.jp/press/html/pr20140903-01.html

さまざま企業が今後IoTを意識してビジネスを展開

国内IoT市場も拡大

13

出典：IDC Japan株式会社　国内IoT（Internet of Things）市場予測を発表http://www.idcjapan.co.jp/Press/Current/20150205Apr.html

2019年には16.4兆円に達する見通し

2014年売上規模は9.4兆円

ニフティも参入しました

14


15


16

17

はい

この辺りを考えています

18

ニフティクラウド MQTT

19

ニフティクラウド MQTT とは

20

MQTT ブローカーをコンパネ上で作成できるサービス 2015年5月11日リリース

いいところを説明する前に

21

こんなストーリー

IoTデバイスがあるじゃろ

22

例えば

23

情報(BLE)

位置情報クーポンとか

情報(BLE)情報(BLE)

例えば

24

センサ情報(BLE) たくさん

コンテンツアップロード


25

3G/4G でクラウドにアップするじゃろ


26

位置情報緯度経度なら8byte 温湿度 2byteあれば足りる (精度によります) 加速度 2byte * 3軸あれば足りる (精度によります)


27

数バイトのデータを送るときに http://hoge.com (15byte)以上あるヘッダ情報ってコスト高くないですか？

http://hoge.com

29

MQTT is a machine-to-machine (M2M)/”Internet of Things” connectivity protocol. It was designed as an extremely lightweight publish/subscribe messaging transport. It is useful for connections with remote locations where a small code footprint is required and/or network bandwidth is at a premium.

MQTT は machine-to-machine (M2M) / “Internet of Things” 接続性の高いプロトコルです。非常に軽量な publish/subscribe 型のメッセージ転送として設計されました。コードのフットプリントが小さいこと、かつ/またはネットワーク転送が非常に高い場合のリモートコネクションの時に有効です。

とは

30


MQTT は machine-to-machine (M2M) / “Internet of Things” 接続性の高いプロトコルです。非常に軽量な publish/subscribe 型のメッセージ転送として設計されました。コードのフットプリントが小さいこと、かつ/またはネットワーク転送が非常に高い場合のリモートコネクションの時に有効です。

とは

31


MQTT は machine-to-machine (M2M) / “Internet of Things” 接続性の高いプロトコルです。非常に軽量な publish/subscribe 型のメッセージ転送として設計されました。コードのフットプリントが小さいこと、かつ/またはネットワーク転送費が非常に高い場合のリモートコネクションの時に有効です。

とは

32

IoTに適した PubSub 型メッセージ転送下記の条件に適している貧弱なハードリソース(フットプリントが小さいため) ネットワーク費用が高い

とは

33

の特徴

1通信ごとのヘッダが最小2バイト

※ただし接続時コストは別

PubSub型メッセージ転送 ※ただしサーバ(broker)は必要

34

の特徴



接続コストは別 ssl 張るとコスト回収しないといけない

通信ごとに2バイトのヘッダですむ http は都度 headers が必要なので高い！

ペイロードがでかいと考えるだけ無駄 2MB送るときに数バイトの事考える？

35

の特徴

中心にサーバを置いたスター型 Brokerが必要・誰かが運用

M:N のデバイスに対して通信路がN*MではなくN+Mで済むクライアントへのブッコミが可能！


36

すごい！

例えば

37

位置情報クーポンとか

情報(BLE)情報(BLE)情報(BLE)

例えば

38

コンテンツアップロード

センサ情報(BLE) たくさん

39

すごい！

40

事例紹介

MQTT の事例

41

https://github.com/mqtt/mqtt.github.io/wiki/Example%20Uses

42


MQTT の事例Facebook Messenger

たかだか数バイトのヘッダですが件数が半端無いのでコスト削減ができる！

IECC Scalable

43


各種のセンサ情報・時間解像度高く送るのでコスト削減！

家の電気を管理する

44

ON/OFF の 1bit 情報を送るのにHTTPヘッダは高コスト = MQTT の最小2バイト！

http://chris.yeoh.info/2010/11/05/controlling-the-house-lighting-via-mqtt/

災害検知・ブロードキャストシステム

45

氾濫原や川の水位を監視し、それを通知するシステム (それぞれの情報はある数バイトの数値・位置データ

http://mobile4d.capacitylab.org/

怪しい事例も・・・

46

実家の電力量が増えると青く、家の電力量が増えると赤く光るだけのおもちゃ

47

の特徴




非力なデバイス電池交換が手間電波状況が悪い通信が頻繁

48

の特徴PubSub型メッセージ転送

※ただしサーバ (broker)は必要




49






50






51






管理するの誰！？


52

53

DEMO

ニフティクラウド MQTT の特徴

54

同時接続数メッセージ数スループットメッセージサイズ他社A (無料) 6 50,000/月 - 6KB他社A (500円/月) 50 120,000/月 - 50KB他社B (無料) 10 - 10Kbit/Sec -他社B ($299/月) 10,000 - 10Mbit/Sec -NIFTY Cloud MQTT 100 無制限 50KB/Sec

Will Retain QoS TLS WebSocket WebSocket Secure サポート他社A (無料) ✔ ✔ 0 - ✔ - -他社A (500円/月) ✔ ✔ 0,1,2 ✔ ✔ ✔ ✔

他社B (無料) ✔ ✔ 0 ✔ - ✔ ✔

他社B ($299円) ✔ ✔ 0 ✔ - ✔ ✔

NIFTY Cloud MQTT ✔ ✔ 0,1,2 ✔ ✔ ✔ -

ニフティクラウド MQTT の特徴

55

同時接続数メッセージ数スループットメッセージサイズ他社A (無料) 6 50,000/月 - 6KB他社A (500円/月) 50 120,000/月 - 50KB他社B (無料) 10 - 10Kbit/Sec -他社B ($299/月) 10,000 - 10Mbit/Sec -NIFTY Cloud MQTT 100 無制限 50KB/Sec

Will Retain QoS TLS WebSocket WebSocket Secure サポート他社A (無料) ✔ ✔ 0 - ✔ - -他社A (500円/月) ✔ ✔ 0,1,2 ✔ ✔ ✔ ✔

他社B (無料) ✔ ✔ 0 ✔ - ✔ ✔

他社B ($299円) ✔ ✔ 0 ✔ - ✔ ✔

NIFTY Cloud MQTT ✔ ✔ 0,1,2 ✔ ✔ ✔ -

同時接続数

100

メッセージ数

/サイズ無

制限(※)

※ Pub/Su

b 合計スルー

プットでの制

限

56

宣伝終わり

57

の特徴 (再掲)





MQTTに向いているケース / 向いていないケース

58

Not非力デバイス電池交換が不要有線LAN 日に数回の通信でかいペイロード画像とか・・・

非力なデバイス電池交換が手間電波状況が悪い通信が頻繁小さなデータ

向いている向いてない ※使ってもいいけど、別の方法もある

一旦まとめ

59

アイデア次第でいろいろできるIoTを駆使したサービスを考えて、コストはニフティクラウドMQTTで抑えると素晴らしいのではないでしょうか！

企業のIoTビジネスを推進する専門チームェ

60

61

ここからが本番ですニフティクラウド MQTT

ニフティクラウド MQTT の中身

62


63

LB

API API

DOCKERMQTT

MQTT

MQTT

MQTTAuth/ACL


64

このひとなんなの・・・・

MQTT Broker 検証

65

Mosquitto: スタンダード RabbitMQ: 自社運用実績あり Mosca: (個人的に)改良しやすい SurgeMQ: 爆速

ベンチマーク

66

環境ニフティクラウド Ubuntu 14.04 / Docker 1.5

ブローカ mosquitto (c)

209fe5e5af65ceeaafc2abb104499195a3f437ed

rabbitmq (erlang) rabbitmq_v3_4_4 plugin: rabbitmq_mqtt

mosca (javascript) 0.28.0 / 25f7308943f327809f48e06450ff28dab3ec39b6

surgemq (golang) dc3b2383a9358d3ec5c957dbd56939715c72eb68

ベンチツール (違うツールも見たいけど時間がが) surgemq/benchmark

ベンチ結果

67

実装 publish subscriber

mosquitto 41906 41906

mosca 7134 7134

rabbitmq 8762 8762

surgemq 368816 368816



mosca 7944 7944

rabbitmq 13389 13389

surgemq 6562087 6562087

sub=1/pub=1 sub=1/pub=20



mosca ※1050 ※ 21010

rabbitmq 817 16348

surgemq 29410 588200



mosca ※1757 ※17578

rabbitmq ※3239 ※12897

surgemq 71282 712820

sub=20/pub=1 sub=10/pub=10

msg size=1kb, msg num=5000 https://github.com/surgemq/surgemq/

https://github.com/surgemq/surgemq/

surgemqすげぇ・・・

68

message/seconds

0

1750000

3500000

5250000

7000000

pub=1/sub=1 pub=1/sub=20 pub=20/sub=1 pub=10/sub=10

mosquitto mosca rabbitmq surgemq

ただし

69

surgemqはもろもろ機能が足りていない開発も手が止まっている状態

ベンチ結果と機能要件から

70

Mosquittoを選定 surgemqは開発途上 Mosquittoが機能的にも揃っている retain, qos, will, tls, ws plugin

性能も高い

Mosquitto on Docker にあたって

71

追加の機能要件 userの動的変更 topic aclの動的変更 containerの識別 Auth pluginのhttps対応 resourceの管理

同時接続数やメッセージ数ではなくThroughput

LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL


72



LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

Mosquitto-auth-plug

73

Mosquitto-auth-plug https://github.com/jpmens/mosquitto-auth-plug

多彩な認証ドライバ MySQL, PostgreSQL, CDB, SQLite3 Redis, LDAP, HTTP, MongoDB

認証/su認証/aclチェックも可能

https://github.com/jpmens/mosquitto-auth-plug


74



LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

Mosquitto-auth-plugの課題(1)

75

情報足りない問題

Auth-plugから送信される情報 username:password

containerの識別ができない!!


76

対応しました https://github.com/jpmens/mosquitto-auth-plug/pull/64

設定書いたら環境変数が渡るようにした

こう書くと

こんなかんじでHTTPの認証サーバに問い合わせが行く

auth_opt_http_getuser_params domain=DOMAIN,port=PORT auth_opt_http_superuser_params domain= DOMAIN,port=PORT auth_opt_http_aclcheck_params domain= DOMAIN,port=PORT

data=domain=example.com&port=8080&username=xxx&password=ax&topic=&acc=-1

LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

http://example.com


77



LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL


78

HTTP認証でHTTPS対応してない


79

対応しました https://github.com/jpmens/mosquitto-auth-plug/pull/73

こう書くと

こういうふうに

HTTPSで飛ぶ

auth_opt_http_with_ssl true

https://example.com:443/auth/

LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

https://github.com/jpmens/mosquitto-auth-plug/pull/73

https://example.com:443/auth/

これらの対応で

80

mosquitto-auth-plug + patch 2で動的に認証ユーザの変更・動的にACLの変更に対応ちなみに(おそらく)同一の構成を持つCloudMQTTは、Userを変更したり、ACLを変更すると再起動がかかる

Mosquitto on Docker の課題

81



LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

Mosquitto本体の問題

82

無限に使われた困る問題デフォルトで存在するリソース制約 max_queued_messages max_inflight_messages message_size_limit max_connection

Dockerでかけられるリソース制約 CPU memory

http://mosquitto.org/man/mosquitto-conf-5.html

戦略として

83

sang◯とかCl◯udMQTTを使ってるトライアルユーザに乗り換えてほしい十分に遊べる接続数/遊べるメッセージ数

同時接続数は100と他社と差をつけた！メッセージ数・・・メッセージサイズ・・・

戦略として

84

sang◯とかCl◯udMQTTを使ってるトライアルユーザに乗り換えてほしい十分に遊べる接続数/遊べるメッセージ数

同時接続数は100と他社と差をつけた！メッセージ数・・・メッセージサイズ・・・

めんどくさい！スループットでいいよ！

Mosquitto本体の問題

85

Throughputの計測とそれによる制約パッチ取り込まれ待ち

たくさん送ったら一定時間メッセージが送れなくなる仕様

http://git.eclipse.org/c/mosquitto/org.eclipse.mosquitto.git/commit/?id=944b9e0d

mosquittoの本家repoが eclipseでうざい

LB

API API

DOCKER

MQTT

MQTT

MQTT

MQTTAuth/ACL

http://git.eclipse.org/c/mosquitto/org.eclipse.mosquitto.git/commit/?id=944b9e0d


86

これらの対応により無事リリースできました

MQTTリリースにあたって辛かったところ

87

リリース期間の短さ MQTTの用途の見えなさ


88

リリース期間の短さ MQTTの用途の見えなさ


89

リリース期間の短さ MQTTの用途の見えなさ Vのヒトのマサカリ

90

enjoy MQTT enjoy IoT

enjoy ニフティクラウド (トライアルカードあります)

We are hiring!!

91

ニフティでは IoTの「T(デバイス)」側やりたいヒト IoTの「I(インターネット)」側やりたいヒト

募集しています

R&Dもできます！海外渡航制度など！ CROSSみたいなイベントもできます！