WHILL Model CR meets ROS- CES2019の舞台裏 -

WHILL株式会社　清水星矢・杉浦光

Who's WHILL?

WHILL + ROS = ?

WHILL meets ROS at CES 2019!

https://www.youtube.com/watch?v=JVf-OTqWyKM

Today’s topics

“Detect obstacles in real-time”【gpu_stereo_image_proc】

“Sync robot states with AWS IoT Device Shadow”

【aws_iot_bridge】

stereo_image_proc revisited

stereo_image_proc - Block Matching - Semi-Global Block Matching - etc...

左目画像

右目画像

disparity

pointcloud

gpu_stereo_image_proc - Semi-Global Block Matching + libSGM (Fixstars) + VisionWorks (NVIDIA)

Let’s wrap CUDA impls (with identical interfaces)

左目画像

右目画像

disparity

pointcloud

Now open to public!

https://github.com/WHILL/gpu_stereo_image_proc

Demo (Visit WHILL booth for LIVE DEMO!)

https://www.youtube.com/watch?v=whCAjrDg9_A

What is AWS IoT

- IoTデバイスからのデータをトリガーに処理- S3 バケットに保存- Lambdaで処理

- サーバレス (=自分でサーバーを持たなくてよい )で IoTデバイスの状態を保存 /同期

- MQTTブローカ

- ほかにも色々、AWSとの連携

AWS IoT Core

IoTデバイスとクラウドの連携をスムーズにする仕組み

Device Shadow

AWS IoT Device Shadow

例: IoT フルカラー

LED電球

icon8 (icons8.com)

スマートフォンアプリ

AWS IoT CoreDevice Shadow

AWS IoT Device Shadow

state

reported

RGB = (255,0,0)

Light = ON

JSON

delta

RGB = (0,255,0)

3.差異発生IoTデバイスに

通知(delta)

4.IoT電球は色を緑に変える

icon8 (icons8.com)5. IoT電球は緑をReportedに書き込む、Delta

は消滅

1.現在の状態を書込み

(Reported)

赤です

緑にします

緑です

desired

RGB = (0,255,0)

2. 希望の状態を書き込み(desired)

緑にしたい

Dynamic Reconfigure + Device Shadow

AWS IoT CoreDevice Shadow

meets

Dynamic Reconfigure

aws_iot_bridge パッケージ

Device Shadow + Dynamic Reconfigure

Dynamic Reconfigure

- int_t

- double_t

- str_t

- bool_t

同期する内容は.cfgに記述

AWS IoT Device Shadow

Device Shadowと

Dynamic Reconfigure間で自動同期

aws_iot_bridge

"reported": { "lights": { "color":"GREEN" }, "engine": "ON" }}"desired": { "lights": { "color": "RED" }, "engine": "ON" },

Device Shadow + Dynamic Reconfigure

Dynamic Reconfigure

AWS IoT Device Shadow

aws_iot_bridge

OtherNode A

OtherNode B

Dynamic Reconfigureインターフェース

双方向

WHILL meets ROS at CES 2019!

https://youtu.be/JVf-OTqWyKM?t=11

aws_iot_bridge in CES

aws_iot_bridge

機体状態 (String)- “Parking”- “AutoDrive”- “AutoBrake”- “Recovery”

Goal情報- 座標- クオータニオン

AWS IoT Device Shadow

CALL

呼び出しタブレット

自動運転ノード

ノード切替

Not open to public…. :(

🙇 近日公開予定しばらくお待ち下さい

aws_iot_bridge パッケージ

We’re hiring!

サーバーエンジニア/ モバイルアプリ エンジニア

募集中!