webエンジニアが学ぶ自動運転を支える技術

Copyright(C)2016DeNACo.,Ltd.AllRightsReserved.

Webエンジニアが学ぶ⾃動運転を⽀える技術

January29,2016

HideoKimuraDeNACo.,Ltd.


⾃⼰紹介

p  ⽊村秀夫 (@hidek)

p  2009年: DeNA ⼊社p  2010年〜: Mobage オープンプラットフォーム⽴ち上げp  2014年〜: システム本部本部⻑p  2015年〜: ロボットタクシー株式会社サービス開発部部⻑

p  もともと ISP からキャリアスタートしたインターネット業界の⼈p  今⽇はそんなインターネット業界の⼈が、⾃動運転技術に携わって学んだことを紹介

します

2


ロボットタクシー株式会社紹介

p  DeNA と株式会社ZMPの合弁会社 (2015年5⽉28⽇設⽴)p  ⾃動運転技術によって移動サービスを提供する

n  地⽅や交通弱者に対する貢献n  2020年東京オリンピック・パラリンピックに合わせて事業計画中

3

Ｘ=


はじめに

p  今⽇お話しする内容は、2016年1⽉現在のものですp  ⾃動運転技術の進化は⽇進⽉歩ですp  2020年には違う未来が待っているかも知れません

p  ご了承ください m(_ _)m

4


⾃動運転

技術法規制社会受容性

⾃動運転を取り巻く環境

5

p  現在の⾃動運転技術では⽇本中のあらゆる道路環境を⾛れるまでには⾄っていない

技術

p  ジュネーブ道路交通条約(1949年)やウィーン道路交通条約(1968年)、道路交通法（1960年)では運転者の存在を規定している

法規制

p  新しい技術に対する安全性などへの不安社会受容性

p  ⾞両販売ではなく限定エリアからのサービスモデル

p  世界的な法改正の動き(国連WP1/WP29)

p  ⾏政等と協⼒して限定地域からのスタート

p  ⼈間より安全であることのアピール

p  地⽅や交通弱者への貢献

⾃動運転の実⽤化は移動サービスから


近い将来想定しているサービス

6

p  限定エリア内の道路を網羅的に安全確認を⾏

い、その道路から運⾏

エリア限定から

p 乗りたいときにスマホで配⾞p 配⾞予約から決済まで完結したサービス

p  ⾼効率の配⾞アルゴリズムでムダのない運⾏p  全⾞両の状態を中央管制しながら安全確保

オンデマンド ITを使った配⾞/管制システム

p  ⾃動運転技術を使った無⼈移動サービスp  無⼈ならではの移動時間の提供

無⼈運転

=3

予約

配⾞

乗⾞移動降⾞

待機

=3


これまでの歩み

7

p 藤沢市（神奈川県）

国家戦略特区の指定地域の神奈川県からサポートを受けて⾃動運転技術の公道実証実験中

p  2015年11⽉5⽇開催の官⺠対話での安倍総理の発⾔

⁃  「第１に、2020年オリンピック・パラリンピックでの無⼈⾃動⾛⾏による移動サービスや⾼速道路での⾃動運転が可能となるようにする。」

⁃  「このため、2017年までに必要な実証を可能とすることを含め、制度やインフラを整備する。」


ロボットタクシーの周辺技術

8

サー

ビス

⾃動

運転

技術

⾞両

製造

ユーザー・配⾞予約管理システム

運⽤

シス

テム

アプ

リ

⾞両運⾏管理システム (FMS)

配⾞予約アプリ

⾞載アプリ

センサー

⾞両

⼈⼯知能

⾞両制御


⾃動運転とは？

9

p  ⾃⼰位置や周辺環境を把握して

▷Localiza@on▷Sta@cObjectDetec@on▷DATMO

p  最適な経路⽣成や⾏動計画を⾏って

▷LocalPathPlanner▷BehaviorGenerator

p  ⾞両の制御を⾏う

▷加速:アクセル▷制動:ブレーキ▷操舵:ステアリング

認知:⽬・⽿

判断:脳

制御:⼿・⾜

これらを⾞両に任せるのが⾃動運転

⾞の運転


⾃動運転のレベル

1010

p 制御をどこまでを⾃動⾞に任せるかで⾃動運転のレベルが決まるØ ロボットタクシーが実現したいのは“NHTSALevel4”(無⼈)による旅客サービス

p  運転⼿が⾃ら完全にコントロールp  ADASが付いていても運転⼿が制御する場合は Level0

Level0:No-AutomaMon

p  単独の機能をシステムに任せる状態例)アダプティブクルーズコントール、⾃動ブレーキ、レーンキープ

Level1:FuncMon-specificAutomaMon

p  ⼆つ以上の機能をシステムに任せる状態例)ACCとレーンセンタリングの併⽤

Level2:CombinedFuncMonAutomaMon

p  全てのコントロールを完全にシステムに任せられる状態p  ただし、システムの要請に応じてドライバーが対応する

Level3:LimitedSelf-DrivingAutomaMon

p  全てのコントロールを完全にシステムに任せて、ドライバーが全く関与しない状態p  Level4には有⼈状態と無⼈状態がある

Level4:FullSelf-DrivingAutomaMon

NHTSA(アメリカ国家道路交通安全局)による⾃動化レベル定義


⾃動運転の構成技術

11

制御実⾏

⾞両

ソフトウ

ア

センサー

⾏動計画

状況判断

Localiza@on DATMOSta@cObjectDetec@on

MapGlobalPath

BehaviorGenera@on

VehicleControl

⾞両制御

Camera

LocalPathPlanner

LiDARMillimeter-waveRaderGPS

CAN


ロボットタクシーの構成

12

GPS

ミリ波レーダーLiDAR

ステレオカメラ



13

ステレオカメラ

⾃動運転開始ボタン

緊急停⽌ボタン

モノカメラオペレータ⽤モニタ



14

⾞載コンピュータ

専⽤バッテリーセンサーコントローラ

センサーコントローラ

センサーコントローラ


⾞載コンピュータ

15

p  IntelCorei7プロセッサp RT-PatchedLinuxkernelp OROCOSフレームワーク

ZMP IZAC

p TegraX1プロセッサp 10GBDRAMp サラウンドコンピュータビジョンp DeepLearningトレーニングp OTAアップデート

NVIDIA DRIVE PX


Sensor:種類と特徴

16

センサー⽤途利点⽋点GPS/IMU p  Localiza@on

p  RTK-GPSを使うと数cmの精

度で⾃⼰位置が取れるp 照明条件・天候条件に強い

p  GPSが⼊らない環境ではIMUに頼る必要があるが誤差が広がる

カメラ p  Localiza@onp  Sta@cObjectDetec@onp  DATMO

p 検知対象が何か分かるp ステレオカメラを使うと相

対距離が取れるp ⽐較的安価

p 照明条件に弱い(夜間・逆光)

p 測定距離が⻑くなると精度が下がる

LiDAR p  Localiza@onp  DATMO

p 検出精度が⽐較的⾼いp 夜間に強いp  2DLiDARは⽐較的安価

p 検知対象が何か分からないp 測定距離が短い(20〜80m)p ⼤⾬・濃霧に弱いp  3DLiDARは⽐較的⾼価

ミリ波レーダー p  DATMO p 相対距離と相対速度が取れる

p 測定距離が⻑い(150m〜200m)

p 天候条件に強い

p 検知対象が何か分からないp 精度が⽐較的低いp ⽐較的⾼価

p それぞれ得意不得意があるので複数の種類を組み合わせてロバスト性を⾼める必要がある


デモ

17


LocalizaMon:Sensing

p  GPS⁃  RTK-GPS: 補正情報を基地局から移動体に送信してリアルタイムに位置を測定

する⽅法⁃  通常のGPSと違い、数cm 単位での精度

p  IMU (Inertial Measurement Unit)⁃  GPS が⼊らないところで慣性航法に⽤いるセンサー⁃  加速度と⾓速度を取得できる⁃  時間の経過とともに誤差が累積する

p  Odometer⁃  ⾞両から取得する⾞速・操舵⾓等

18


LocalizaMon:Matching

p  Map Matching⁃  予め⽤意した⾼精度地図とカメラやレーザーでスキャンした結果を照らし合わ

せて⾃⼰位置を推定する

p  Lane Matching⁃  カメラやレーザーで⽩線を検知して⾃⼰位置を推定する

これら様々な情報から確率的に⾃⼰位置を推定している = Particle Filter

19


LocalizaMon:ParMcleFilter

p  予測⁃  状態⽅程式に基づいて各パーティクルを移動させる

p  重み付け⁃  尤度関数を⽤いて重み付けする

p  リサンプリング⁃  ⼤きく重みが付いたパーティクル周辺では多くのパーティクルをまく

20

予測重み付けリサンプリング

ここ！


ObjectDetecMon:DeepLearning

p  ニューラルネットを何層にも重ねてクラス分類や回帰を⾏う⼿法⁃  特徴量抽出を必要としないパターン認識を⾏える⁃  現在はオブジェクト検出に利⽤

21

Step ⽬的⼊⼒出⼒Step1 オブジェクト検出静⽌画オブジェクトラベル（歩⾏者、⾃転⾞、⾞、レーン

など）と、距離、向きStep2 アクション検出動画動作ラベル（急ブレーキ、危険運転、信号の変化な

ど）Step3 運転者として動画、

⽬的地と地図次のアクションを判断する

画像

特徴量抽出

パラメータ学習

認識結果

今までの機械学習画像

特徴量抽出パラメータ学習

認識結果

DeepLearning

⼈間

⾃動運転への段階的応⽤


StaMcObjectDetecMon

p  Lane Detection⁃  ⽩線を検出して Localization に使う

p  Signal Detection⁃  信号機の検出⁃  信号の状態の認識

22


DetecMonandTrackingMovingObject

p  ⾞両検知⁃  「矩形領域」ではなく「画素単位」で⾞両を検知

p  歩⾏者検知⁃  ステレオカメラによる歩⾏者胴体部分の距離検出

23


もう⼀つの⾃動運転を⽀える技術: V2X

p  V2I (路⾞間通信)、V2V (⾞⾞間通信)、V2P(⾞歩間通信)などp  ⾞載器と路側帯や信号機などインフラに埋め込まれた通信機、歩⾏者が

携帯する通信機、⾞載器同志で通信を⾏って⾛⾏を⼿助けする仕組みp  ⾃律型⾃動運転を補完する可能性

例えばp  ⾒通しの悪い交差点での通⾏p  信号の認識p  狭い道での譲り合い→ これらがセンシング無しで実現できる

24


V2Xを取り巻く現在

事例p  トヨタ ITS Connect p  Connected Vehicle Safety Pilot Program (⽶ミシガン州)

問題p  コスト

⁃  全国の信号機の数: 20万機→ 狭い地域からであれば導⼊可能性もゼロではない

p  国際協調: 欧⽶と⽇本の規格の違いによる普及障壁⁃  通信帯の違い: ⽇本 = 760MHz、欧⽶ = 5.9GHz⁃  暗号化の違い: ⽇本 = 秘密鍵暗号、欧⽶ = 公開鍵暗号

→ ガラパゴス化の危機25


まとめ

p  ⾃動運転は移動サービスから始まるp  ⾃動運転に関わる技術は多様p  ⾃動運転技術の進化は⽇進⽉歩

p  ⾃動運転は100%の安全を保証するものではなく、今より便利に安全に移動を実現する技術

p  その技術があることで助かる地域や⼈々に貢献していきたいです

26


27

THANKYOU!

webエンジニアが学ぶ自動運転を支える技術

Automotive