モビリティ、ロボティクス、ai開発におけるデータ収集、解析か …€¦ ·...

モビリティ、ロボティクス、AI開発におけるデータ収集、

解析から処理実装までをカバーするフレームワーク

株式会社アプトポッド

代表取締役坂元淳一

© aptpod Inc. All Rights Reserved. 1


• 設立14期目

• 従業員55名 (常勤役員含む）

• 自動車分野、ロボット分野などの産業分野に特化した

高速IoTプラットフォームを提供

製品概要高速IoTプラットフォームのためのサーバサイドフレームワーク

データ収集と解析リアルタイム監視

遠隔制御

AI開発・機械学習

分析処理

自動車・重機・建機・農機・ロボット・ドローンetc...

• 高いリアルタイム性

• 双方向データ通信

• データの欠損補完

モバイルネットワークによる遠隔データ送受信のための独自プロトコル

データの可視化

データ可視化Webダッシュボード

産業IoTに必要とされる様々な機能の実現

データ送受信ターミナル

モバイル通信

• 様々なデータ種への対応

• タイムスタンプ処理

EDGE

Amazon EC2


• 双方向データ通信

• データの完全回収

モバイル、インターネット、クラウドを活用した高度なデータ伝送要件

• 様々なデータ種への対応

• タイムスタンプ処理

独自のプロトコル開発ｚ

intdash Streaming Control Protocol (iSCP)

ApplicationLayer

TransportLayer

リアルタイム性能とデータ回収性能を同時実現する独自のソフトウェアプロトコル

✓ 送信欠損データの再送処理

✓ リアルタイム伝送処理コストの最適化

✓ 輻輳回避のためのフラッシュコントロール

Patent Pending

✓ フレキシブルなデータ長

✓ 様々なデータタイプへの対応

✓ 相対時刻によるタイムスタンプ

iSCP works on TCP(WS) and UDP (QUIC*) Data Format

ストリーム内で同時実現

*To be released in 2019

intdash/ Visual M2M 全体ブロック構成

CAN

MAVLIK

J1939

KWP/CCP

Various Binary

Various Message Data….

Video Data

Audio Data

LIDAR

Key T

echnolo

gie

s

製品・サービスのご提供形態

✓ エッジハードウェア

✓ クラウドサブスクリプション (PaaS)

‒ IoTサーバープラットフォーム

‒ 可視化Webアプリケーション

✓ 各種コンサルティング、インテグレーションサービス

コネクテッドカー

AI開発・機械学習・ディープラーニング

産業製品のコネクテッド化とデータを活用した様々なテーマ

リモートデータ収集・解析

リアルタイム監視

データ分析の自動化

遠隔制御

ユースケース

✓ 部品メーカーにおける海外顧客サポート用の遠隔診断基盤

✓ 自動車メーカーにおける開発用データ収集基盤

✓ ドローン管制基盤

✓ ロボット・無人搬送車両などの遠隔制御基盤

✓ AI開発・機械学習・ディープラーニング基盤

✓ 次世代コネクテッドカーの機能実証基盤

✓ 重機・農機・荷役車両のリアルタイムモニタリング・データ収集

Vehicle Data Acquisition / Real-time Monitoring

Use for✓ Data Acquisition✓ Real-time Monitoring

Data from Vehicle✓ Vehicle CAN (60IDs) ✓ GPS✓ Video✓ Acceleration Sensor✓ Gyro SensorU

se C

ase

s

Disaster situation monitoring platform by drone

Use for✓ Data Acquisition✓ Real-time Monitoring✓ Remote Control by iPad App

On-board LTE Gateway

Drone Data ✓ Video✓ GPS✓ Drone Control Signal

Controler Data ✓ Control Commands

Use

Case

s

Tele-operation of Robot

Use for✓ Remote Control✓ Data Acquisition

Data from Controler✓ Degree of fingers (5400 units/sec)

Data from Robot✓ H.264 Video (720P 30fps)✓ Robot Feedback (2000 units/sec)

Use

Case

s

intdashとAmazon SageMakerに

よる機械学習・ディープラーニング

© aptpod Inc. All Rights Reserved. 1 3

intdashによるRAWデータの遠隔収集環境

intdash Edge

API

時系列データベース

センサーネットワーク制御ネットワーク

intdash Cloud System

モバイル/インターネット

intdash Edge System

RAW データ

• データ欠損時の再回収処理

• 統合されたタイムスタンプ処理


• 様々なデータに対応

✓ 制御信号

✓ センサー信号

✓ メディアデータ（動画・画像・音声）

Python実行基盤 Intdash Analytics Services

intdash Edge

API


センサーネットワーク制御ネットワーク



intdash Edge System

RAW データ

Intdash Analytics Service

• Pythonの実行基盤

• 時系列データの計算処理、分析処理が可能

Python SDK

intdashAnalytics Services

Python Phthon

• Jupyter Notebookによるコーディング、データアクセスが可能

学習から推論までの流れと全体像

intdash Edge

モデル

API


リモート配置

リアルタイム推論

センサーネットワーク・動画像制御ネットワーク



intdash Edge System

エッジでの推論

アノテーション結果

RAW データ推論データ

サーバーサイドでの学習・推論

モデル

Python SDK Analytics Services Amazon SageMaker

Amazon SageMaker Ground Truth

学習・推論などのデータパイプラインオーケストレーション

Jupyter Notebookによるパイプラインコーディング

学習用データ

アノテーション取得モデル保管

Amazon S3

運用Operation

データ管理Manage Data

学習Learning

データ収集RAW Data Acquisition

アノテーションAnnotation

モデルの生成Create models

サーバーサイド又はエッジサイドエンドポイントへのデプロイDeploy intoServer Side or Edge Side End Points

機械学習/ディープラーニングワークフロー

教師データの準備Provide Teacher Data

Work with


Amazon SageMaker

運用Operation


学習Learning






アプトポッドの強み

Work with


Amazon SageMaker


運用Operation


学習Learning




Improvement Process



Work with


Amazon SageMaker


サーバー推論とエッジ推論環境


• サーバーでの推論の課題とメリット• 課題

• 推論実行環境のランニングコスト

• エッジからサーバーへのデータ通信コストが高い

• メリット

• 複数のノードから一気に学習用データ収集が可能

• 全RAWデータを収集できるため、モデル検証がしやすい

• エッジでの推論の課題とメリット• 課題

• エッジデバイスに処理能力が必要＝デバイス単価が高い

• 処理結果の総合評価が難しい

• メリット

• エッジからサーバーへのデータ通信コストが低い

• 共通の課題• モデル開発にはデータが必要

ハイブリッドな実行環境の例


1. 学習時～モデル検証時はサーバーサイドで• ノードからの学習用データを一気に収集

• 教師データを準備し、モデル開発

• 完成したモデル検証を複数ノードからのデータで検証

2. モデル確立後はエッジサイドで本運用• 検証したモデルをエッジへデプロイし、推論データだけを収集

3. 追加学習時は再びサーバーサイドで• 環境変化、新要素の検出などに追随するための追加学習時は1へ

サーバーサイドでの推論事例

API


リアルタイム推論intdash Cloud System


アノテーション結果

サーバーサイドでの学習・サーバーエンドポイント運用

モデル

Python SDK Analytics Services Amazon SageMaker


学習・推論などのデータパイプラインオーケストレーション

Jupyter Notebookによるパイプラインコーディング

学習用データ

アノテーション取得モデル保管

モバイル/インターネット 5fps VGA Motion JPEG

走行車両にてVisual M2M Motionで撮像しクラウドへリアルタイム伝送

Amazon S3

デモンストレーション：画像による危険箇所の自動発見

推論データ

Rawデータ

推論データのマッピング

まとめ

アプトポッド基盤上での機械学習環境メリット

• 強力なデータ収集機能により永続的に進化するモデル開発が可能

• 高いリアルタイム性による鮮度の高い推論データ生成が可能

• RAWデータ、推論データによる統合的なアプリケーション活用が可能

• Python SDK, Jupyter Notebookによるデータパイプライン開発環境

目的に合わせてOSSや外部ツールを活用

• 汎用的なライブラリの活用 – TensorFlowなど

• モデル管理基盤、実行基盤の活用 – Amazon SageMaker

• AWSアセットとの連携によるワークフロー構築

Amazon SageMaker Ground TruthAmazon SageMaker

intdashとAWS RoboMakerによる

遠隔操縦ロボットの開発ケーススタディ


アドバンストエンジニアリングG リードアーキテクト

岩田亮介


AWS RoboMakerとは?


• AWSの提供するROSのフルマネージド環境

• AWS Cloud9やAWS IoTと連携し、ロボットアプリケーションを大規模かつ簡単に開発・テスト・デプロイできるサービス

Cloud9によるコーディング環境

Gazeboによる物理シミュレーション

AWS IoTによるデプロイ・機体管理

ROSとは?


• Robot Operating System

• 開発ツール、ライブラリ、通信プロトコルなどを含むオープンソースソフトウェア、エコシステム

• ロボット開発におけるデファクトスタンダード

コンピュータ

OS (Ubuntu)

ROS

パッケージ群Turtlesim

PR2 …

ライブラリ群OpevCVPCL …

ツール群TF

Rviz、Rqt …

AWS RoboMakerで何ができるか？


• 面倒なROS環境の構築が不要

• ハイスペックが要求されがちな開発環境も容易に構築→ Webブラウザからすぐにロボット開発をはじめられる

環境構築などの低レイヤで面倒な作業からロボットエンジニアを開放！

コンピュータ

OS (Ubuntu)

ROS


PR2 …


ツール群TF

Rviz、Rqt …

AWSのクラウド環境

OS (Ubuntu)

ROS


PR2 …


ツール群TF

Rviz、Rqt …

AWS RoboMakerで何ができるか？


• Gazebo（物理シミュレータ）のフルマネージド環境がすぐに手に入る

• AWS IoTと連携した実機へのデプロイ、実機の管理→開発したアプリケーションを簡単にテストすることができる

さまざまな機能で、開発だけでなくテスト〜運用フェーズまで支援

コーディングシミュレーション実機デプロイ

AWS Cloud9 AWS IoTGreengrass

intdash/VisualM2Mで何ができるか？


• 低レイテンシかつセキュアな双方向伝送で、遠隔地にあるロボットでも状態監視や遠隔制御が行える

→ インターネットを介したリアルタイムデータ伝送により機能実現をサポート

EDGE

制御対象

EDGE

コントローラリアルタイムデータモニタリング・可視化

Webアプリケーション

インターネット

intdashとAWS RoboMakerの補完関係


• intdash/VisualM2M• データ伝送・管理・可視化の統合アプリケーションとして、

開発〜運用までお客様をサポート

• コーディング環境・シミュレーションなどの開発環境の提供や開発物のデプロイについては、自社アセットがない

• AWS RoboMaker• ロボット開発におけるコーディング環境・シミュレーション・デプロイなどの

効率化によって開発者をサポート

• データの管理や可視化アプリケーションについては、AWSのアセットを利用して利用者側で開発する必要がある

ROS開発環境ROSシミュレーション/3D可視化ツール

（Rviz, Rqt, Gazebo）

intdashとAWS RoboMakerによるロボット開発データパイプライン


Real-time API

Analytics Services Media Services

Server Assets

EDGE

Amazon EC2

TSDB

AWS RoboMaker

Controlee実機環境

ROS開発・シミュレーション環境

EDGE

EDGE

Controller実機環境リアルタイムデータモニタリング・可視化


遠隔操縦ロボットの開発とシミュレーション


Real-time API


Server Assets

EDGE

Amazon EC2

TSDB

AWS RoboMaker



EDGE

EDGE





制御指示データ

データ可視化、解析用のCSVダウンロード

ROSメッセージ収集


ROS開発・シミュレーション

物理コントローラーの指示による動作をシミュレーション上で確認しながら開発

AWS IoT Greengrassによる実機へのデプロイ


Real-time API


Server Assets

EDGE

Amazon EC2

TSDB

AWS RoboMaker



EDGE

EDGE





AWS Robomaker上で開発したROSパッケージの配布

シミュレーション環境上で開発したROSパッケージの実機へのデプロイ

実機による動作確認


Real-time API


Server Assets

EDGE

Amazon EC2

TSDB

AWS RoboMaker



EDGE

EDGE



制御指示データデータ可視化、解析用のCSVダウンロード

ROSメッセージ収集


実機により動作確認を行い、シミュレーション環境との差分を調整



DEMO


運用時における制御ハブ、統合モニタリング環境


Real-time API


Server Assets

Amazon EC2

TSDB

リアルタイムデータモニタリング・可視化Webアプリケーション

リアルタイム統合監視

実運用フェーズにおける遠隔制御とデータモニタリングのバックエンドシステムとして稼働

Amazon SageMakerとの連携によるML/DLデータパイプライン


Real-time API


Server Assets

EDGE

Amazon EC2

TSDB

AWS RoboMaker



EDGE

EDGE


WebアプリケーションROSシミュレーション/3D可視化ツール

（Rviz, RQT, Gazebo）

Amazon SageMaker

機械学習・DL環境

シミュレーション・実環境で収集したデータを活用したAI開発

まとめ

• Autonomousの開発に加え、遠隔操縦機能の開発環境を提供

• シミュレーションと実環境をまたがった開発が可能

• ROS開発における、シミュレーション、デプロイ、実運用環境などのフェーズを横断した統合ワークフローを構築

• 操作データ、制御データなど、データパイプラインを流れるすべてのデータをストアし、動体解析などの二次活用が可能

• ストアデータをもとに機械学習、ディープラーニングによる自動化開発などが可能

コネクテッドカー

AI開発・機械学習・ディープラーニング

産業製品のコネクテッド化とデータを活用した様々なテーマ

リモートデータ収集・解析

リアルタイム監視

データ分析の自動化

遠隔制御

ブース展示のご案内

intdash + Amazon SageMaker連携デモ

intdash + AWS RoboMaker連携デモ

ご清聴ありがとうございました

モビリティ、ロボティクス、ai開発におけるデータ収集、 解析か …€¦ ·...

Documents

モビリティ、ロボティクス、ai開発におけるデータ収集、解析か …€¦ ·...