g空間情報シンポ 20161122 v1.1

©2016 Toyota InfoTechnology Center Co., Ltd.©2016 Toyota InfoTechnology Center Co., Ltd.

自動運転システムと自己位置推定/地図生成

トヨタIT開発センター加藤整2016年11月22日 @札幌コンベンションセンター

1G空間情報セミナー


本日のゴール

2

Stanford Junior、Google Car、Autoware†など自律型自動運転システムに関する公開情報を基に自律型自動運転システムを構成する要素技術の概要を具体的に理解する

†http://www.pdsl.jp/fot/autoware/

本発表は私個人の見解であり、所属する組織やグループ企業の立場、戦略、意見を代表するものではありません

G空間情報セミナー


目次

1 自動運転システム概要

2 自動運転システムを構成する技術

2-1 自己位置推定と地図生成

3

2-2 物体認識と深層学習、GPGPU

2-3 経路計画/軌道生成、経路追従と車両制御

3 まとめ



目次




4



3 まとめ



問題：これらのイノベーションの共通点は?

5

https://en.wikipedia.org/wiki/Internet,https://en.wikipedia.org/wiki/Global_Positioning_System, https://en.wikipedia.org/wiki/Autonomous_car, https://ja.wikipedia.org/wiki/IPhone_4S

GPS

インターネット Siri

自動運転車



DARPA概要

DARPAはスプートニクショックを受けて58年に設立以来、多くのイノベーションへ貢献してきている

7

ソ連、スプートニク1号打ち上げ成功

1957年

高等研究計画局設立

1958年

ARPANET

1969年

1978年GPS

DARPA Grand Challenge

2004,2005年

2007年DARPA Urban Challenge

https://en.wikipedia.org/wiki/Sputnik_1, https://en.wikipedia.org/wiki/DARPA, https://en.wikipedia.org/wiki/ARPANEThttps://en.wikipedia.org/wiki/Global_Positioning_System, http://archive.darpa.mil/grandchallenge04/ http://archive.darpa.mil/grandchallenge/index.html, https://en.wikipedia.org/wiki/DARPA_Robotics_Challengehttps://cgc.darpa.mil/

Robotics Challenge

2012-15年

2014-2015年Cyber Grand Challenge


©2016 Toyota InfoTechnology Center Co., Ltd.©2016 Toyota InfoTechnology Center Co., Ltd. 8https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en G空間情報セミナー

https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en

https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en

©2016 Toyota InfoTechnology Center Co., Ltd.©2016 Toyota InfoTechnology Center Co., Ltd. 9

1.基礎1.緒言2.再帰的状態推定3.ガウシアンフィルタ4.ノンパラメトリックフィルタ5.ロボットの動作6.ロボットの知覚

2.ローカライゼーション1.ロボットの位置推定2.移動ロボットのいち推定

3.地図生成1.占有格子地図の生成2.姿勢と地図の同時推定3.GraphSLAMアルゴリズム4.疎拡張情報フィルタ5.FastSLAMアルゴリズム

4.計画と制御1.マルコフ決定過程2.部分観測マルコフ決定過程3.POMDPの近似手法4.探査

https://images-na.ssl-images-amazon.com/images/I/51oedehWUdL._SX440_BO1,204,203,200_.jpg目次は、上田訳、確率ロボティックス,2007 G空間情報セミナー


DGC 2005, スタンフォード大学 Stanley優勝

DGC 2007スタンフォード大学 Junior準優勝

https://en.wikipedia.org/wiki/Stanley_(vehicle), http://archive.darpa.mil/grandchallenge/gallery.htmlhttps://www.youtube.com/watch?v=bDOnn0-4Nq8, https://www.udacity.com/S. Thrun et al., Stanley, the robot that won the DARPA Grand Challenge, Journal of Field Robotics, 2006M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008

2011,オンライン教育機関Udacity設立

2009Google Self-Driving Cars



DARPA Urban Challenge 2007

DARPAはオフロードにおける軍事作戦を想定した2004年2005年のGrand Challengeに続き、市街戦を想定したUrban Challengeを2007年に実施

11

Why develop autonomous vehicles?

The National Defense Authorization Act for Fiscal Year 2001, Public Law 106-398, Congress mandated in Section 220 that “It shall be a goal of the Armed Forces to achieve the fielding of unmanned, remotely controlled technology such that… by 2015, one-third of the operational ground combat vehicles are unmanned.” DARPA conducts the Urban Challenge program in support of this Congressional mandate. Every “dull, dirty, or dangerous” task that can be carried out using a machine instead of a human protects our warfighters and allows valuable human resources to be used more effectively.

http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー


DARPA Urban Challenge 2007コースレイアウト

エリアA(交差点左折、交通への流入)、エリアB(ナビ、駐車)、エリアC(交差点通過、Uターン)の3つのエリアからなる

12http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー


DARPA Urban Challenge 2007レギュレーション

市街戦を想定しながらも、カルフォルニア州の交通規則に従わないとマイナス点をつけられるなど市街地走行に必要な安全性も要求

13

http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf,保坂ら、自動運転システム構成と要素技術,2015

• 直前に与えられたミッションに従った走行計画生成• カルフォルニア州の交通規則に従った走行• 複数の自動車とプロドライバが運転する30台の手動運転者が混在して走行する環境で安全に走行• 州者スペースから他車両が走行する道路への合流• ラウンドアバウトの通過• 4方向一時停止交差点における到着順に応じた発信による交差点通過• 交差点における信号・標識に応じtあ停止、発進• 対向車料など他車両とのタイミングを調整した右左折• 停止車両や障害物を避けての通過• 対向2車線道路におけるUターン• 制限速度を認識して速度調整• 軽目られた駐車場で駐車スペースを探索して駐車

以下の課題をクリアしながら約60マイル(97km)を6時間以内に走行。各テスト車の後ろを追跡者が走行、危険な状態になった場合にはリモコンで緊急停止。約100箇所のチェックポイントで、交通規則を守っているかを確認し、採点



DARPA Urban Challenge 2007の結果

89台のチームが応募、準決勝を通過した11チーム中、6チームがチェッカーフラグを受ける。優勝はTatan Racing、$2Mを獲得

14http://archive.darpa.mil/grandchallenge/gallery.html

1位: CMU4:10:20

2位: Stanford4:29:28

3位: Virginia Tech.4:36:38

5位: U. Penn.> 6hours

6位: Cornell> 6 hours

4位: MITApprox 6 hours



Applanix INSVelodyne laserRiegl laser SICK LMS laser

SICK LDLRS laserDMIIBEO laserBOSCH Radar

LiDAR

GNSS/慣性走行装置

ミリ波レーダー

走行距離計

6軸慣性センサは搭載せず

M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー


Juniorにおけるソフトウェアフローダイアグラム

センサー、位置推定モジュール、物体検出モジュール、UKF姿勢推定モジュール、軌道生成器等からなる

16M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー


DARPA Urban Challenge 2007の意義

Googleによる自律型自動運転システムへの研究開発に引続き、2013年以降自動車会社や部品会社から自動運転システムの発表が相次ぐ

17

路車協調方式

http://www.path.berkeley.edu/publications/general-publications, https://www.youtube.com/watch?v=7Yd9Ij0INX0

自律走行型



自律走行型自動運転システムを構築する要素技術

自律走行型自動運転システムを構築する要素のうち、太文字について続く頁にて説明する

18

経路計画軌道生成

SLAM自己位置推定物体検出

経路追従車両制御

地図生成

必要な技術処理内容

高精度3次元地図の生成

認知

判断

操作

フェーズ

LIDAR, GNSS, カメラを搭載した車両を走らせ、点群データを収集。点群データから高精度3次元地図を作成

スキャンデータと、前述の3次元地図データが重なるようスキャンマッチング、地図内の位置、向きを算出(自己位置推定)。他の車両や信号等物体検出

スタートからゴールまでの大まかな経路に従い、車両の運動特性を考慮してすぐ近くまでの滑らかな経路を生成(経路生成)。各経路のコストを計算し、経路を選択

生成された経路を追従するための速度、角速度を車両に伝達



目次




19



3 まとめ



地図生成

車両にGPS とレーザスキャナ，カメラを搭載し，移動しながら三次元環境を復元するモービルマッピングシステムにより地図を生成

20

モバイルマッピングシステム[1]

[1]石川ら、モービルマッピングシステムによる都市空間モデリング、計測自動制御学会産業論文集、2009

高精度３次元地図

ポイントクラウド地図• 3次元座標(緯度経度標高)• RGB値

ADAS地図• ポイントクラウド地図から地物を抽出• 信号、路面標示等



3次元LIDAR

パルス状に発行するレーザー照射に対応する散乱光を測定することにより距離や、反射強度を測定する装置

21

可動部の有無メカレス型メカニカルスキャン型

走査方式光フェーズドアレイレーダー MEMSミラーによるスキャンモーター駆動ミラーによるスキャン

ビームフォーミング MEMSミラー水平回転ポリゴンミラーの各面でピッチ角を変更複数素子による多層化電磁駆動共振ミラー

主な企業 Quanergy Systems 日本信号、パイオニア等豊田中央研究所等 Velodyne、Valeo、コニカミノルタ

北陽電気

価格数万円数万~数十万円数十万円数十万-数百万円数十万円

レーザーを対象物に照射し、散乱光を測定することにより、対象物までの距離や反射強度を取得。下図はVelodyne HDL-64e(測定距離100-120m, 垂直視野26.8°、測定ポイント数1333000ポイント/秒

HDL-64e Uer's manual, Nikkei Robotics, 2016, GPU Technology Conference, Solid State LiDAR for Ubiquitous 3D Sensing

Quanergy Systems社が採用するフェーズドアレー方式では従来の機構的な可動部が不要になるため、低コスト化と小型化が期待される。写真はQuanergySystems社のS3。

受光部送信部

LSI

60m

m



自己位置推定

自己位置推定とSLAM手法は大きく３つに分類される

22

自己位置推定

位置追従大域的位置推定

(誘拐ロボット問題)

内界センサデータ

外界センサデータ

地図

自己位置

地図生成

既知の姿勢に基づく地図生成

地図


自己位置

姿勢と地図の同時推定(SLAM)

内界センサデータ


自己位置

地図

+

=

スキャンマッチングベイズフィルタグラフベースSLAM

性質オンラインオンラインオフライン

概要環境計測の点群を最小化計算で位置合わせ

制御動作に依る事前確率と環境計測による尤度を確率的に融合

各時刻のロボット位置や地図のランドマーク位置の関係をグラフを制約条件として最適化

推定の出力現在のロボット位置を点推定

現在のロボット位置と地図を確率分布として推定

移動軌跡や地図のランドマーク位置を点推定

手法の例 ICP, NDT等 EKF, PF等完全SLAM等

m2

x0

x1

x2

x3m1

移動

観測

情報行列Ω に移動や観測のデータをどんどん追加 Ωからロボットの軌跡を最適化で求める

Ω：情報行列 = Σ-1

グラフベースSLAM

次頁以降で説明

原、自己位置推定・地図生成(SLAM)の全体像, Nikkei Robotics、2016 G空間情報セミナー


自己位置推定スキャンマッチング(1/2)

モバイルマッピングシステムで作成したポイントクラウド地図と自社がLIDARで計測したスキャン結果を合わせ込むことで位置合わせを行う

23

ポイントクラウド地図ポイントクラウド地図

スキャン結果

スキャンマッチングして推定された位置

T : 車両の同次変換作用素(回転R+並進Tr) 𝑇∗ = argmin𝑇

𝑘=1

𝐾

||𝑚𝑘 − 𝑇 ∙ 𝑑𝑘||



自己位置推定スキャンマッチング(2/2)

スキャンマッチングには点対点で評価するICPと、点対分布で評価するNDPが一般的に用いられる

24

Iterative Closest Points(ICP)[1] Normal Distributions Transform(NDP)[2]

• 最近傍点間の距離の2乗和を最小化• 計算量はO(MN)

• 地図空間を正規分布で近似、入力スキャンの対応要素をニュートン法で探索

• 計算量はO(N)

[1]P.J. Besl and N.D. McKay. A method for registration of 3d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992.[2]P. Biber and W. Straber: The normal distributions transform:a new approach to laser scanmatching, Proc. of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2003

𝐸 𝑇 =

𝑖=1

𝑀

𝑗=1

𝑁

𝑤𝑖𝑗 ||𝑚𝑖 − 𝑇 ∙ 𝑑𝑗 ||

𝑤𝑖𝑗 = 1 (𝑖と𝑗が対応点)

=0 (𝑖と𝑗が対応点でない)

ポイントクラウド地図{𝑑𝑗}

𝐸 𝑇 =

𝑗

𝑖=1

𝑛

𝑝(𝑇 ∙ 𝑑𝑖)

j=1 j=2

𝑝(𝒙) =1

Σexp(−

(𝒙−𝒒)𝑇Σ−1(𝒙−𝒒)

2)

n はボクセルの数含まれるdiの数



自己位置推定ベイズフィルタ

制御動作による予測位置を計測結果の情報を使って更新する

25

𝑓 𝑥 𝑦 =1

𝑓(𝑦)× 𝑓 𝑦 𝑥 𝑓 𝑥 = 𝜂 𝑓 𝑦 𝑥 𝑓(𝑥)

ベイズの定理

f (x)がデータY=y を観測する前のX の確率分布とするとf (x|y)は、データY の観測値y を得た後のデータXの確率分布と解釈される

データの観測を通じて事前のより不確かな信念が事後のより確かな信念に変化

上田訳、確率ロボティックス, https://en.wikipedia.org/wiki/Thomas_Bayes

𝑝 𝑥𝑡|𝑢1:𝑡, 𝑧1:𝑡 = 𝜂 𝑝 𝑧𝑡 𝑥𝑡, 𝑢1:𝑡 𝑝(𝑥𝑡 |𝑧1:𝑡−1, , 𝑢1:𝑡)

= 𝜂 𝑝 𝑧𝑡 𝑥𝑡, 𝑢1:𝑡 𝑝(𝑥𝑡 |𝑥𝑡−1, , 𝑢𝑡)𝑝 𝑥𝑡−1 𝑢1:𝑡−1 , 𝑧1:𝑡−1 𝑑𝑥𝑡−1

信念分布を正規分布で表現→KF, EKF, ノンパラベイズ → PF

ポイントクラウド地図:m

ロボット位置:𝑥𝑡−1

制御動作:𝑢𝑡推定位置:𝑇(𝑢𝑡)𝑥𝑡−1

真の位置:𝑥𝑡



目次




26



3 まとめ



人工知能とは

人工知能とは、人工的にコンピュータ上などで人間と同様の知能を実現させようという試み。最近注目を浴びているディープラーニングは機械学習の要素技術の1つ

27

人工知能人工的にコンピュータ上などで人間と同様の知能を実現させようという試み

機械学習人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み

ニューラルネット脳機能に見られる特性を計算機上で表現した数学モデル

ディープラーニング(深層学習)多層構造のニューラルネットワーク

Wikipedia記事を元にIT開発センター作成 G空間情報セミナー


機械学習とは

機械学習とは人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み

28

入力出力

制限速70km/h

歩行者有り

左折以外外進行禁止

直進以外外進行禁止

訓練時

...

運用時

制限速60km/h

入力出力

学習データセット

標識画像はGerman Traffic Sign Detection Benchmark (GTSDB)より

計算機

計算機



機械学習の技術動向

機械学習業界では、深層学習研究の割合が増えつつ有る

29各年のNIPS採択論文タイトルより用語を含む件数を数え上げ、その年の採択論文数で除算して比率をITC算出, https://papers.nips.cc/

0%

10%

20%

30%

40%

50%

1987 1995 2000 2005 2010 2015

Neural SVM, kernel Deep Convex Submod

ニューラルネット全盛の時代

機械学習全盛の時代

深層学習が盛り上がる



ニューラルネットワークの基本計算

1層目のi番目の入力 u1i に重み𝑤1𝑗𝑖 をかけて足し合わせた後に、活性化関数f をかけて出力する

30

......

入力データ

出力データ

l=1 l=2 l=Ll=3

u1(1)

𝑢𝑗(2)=

𝑖=1

𝐼

𝑤𝑗𝑖(2)𝑧𝑖(1)+ 𝑏𝑗

𝑧𝑗(2)= 𝑓(𝑢𝑗

(2))

𝑓(𝑢) = max(𝑢, 0)

𝒖(𝑙+1) = 𝑾(𝑙+1)𝒛(𝑙) + 𝒃(𝑙+1)

𝒛(𝑙+1) = 𝑓(𝒖(𝑙+1))

回帰の場合

訓練データセット

𝑥1,𝑑1 , 𝑥2,𝑑2 , … , 𝑥𝑁,𝑑𝑁

𝐸 𝒘 =1

2

𝑛=1

𝑁

| 𝐝 − 𝐲 𝒙𝒏; 𝒘 |𝟐

誤差関数

最適なパラーメタ

𝒘∗ = argmin𝒘𝐸(𝒘)

誤差関数が小さくなるように重みw を調整→誤差逆伝播法

式(1)

uI(1)

uJ(2)

u1(2)

表記は、岡谷、深層学習、2015による G空間情報セミナー


誤差逆伝播法

誤差を最小化するための各層の重みはのずらし方は、出力層から入力層に向かって逆方向に算出することができる

31

第l-1層のユニットiと第l層のユニットjを繋ぐ結合の重みwji(l)に関する微分は、

微分の連鎖規則より

となる。ここで右辺第2項は、前頁の式(1)より、簡単に

𝜕𝑢𝑗(𝑙)

𝜕𝑤𝑗𝑖(𝑙)= 𝑧𝑖(𝑙−1)

と求まる。但し此処で、式(1)の定数項については、重みがbj(l)のユニットが

追加されていると見做している。

右辺第1項について、uj(l) の変動がE に与える影響は、第l+1層の各ユニッ

トkの入力uk(l+1) を変化こと以外では発生しないことが判る。即ち、

𝜕𝐸

𝜕𝑢𝑗(𝑙) = 𝑘

𝜕𝐸

𝜕𝑢𝑘(𝑙+1)

𝜕𝑢𝑘(𝑙+1)

𝜕𝑢𝑗(𝑙) . 式(3)

𝜕𝐸

𝜕𝑤𝑗𝑖(𝑙)=𝜕𝐸

𝜕𝑢𝑗(𝑙)

𝜕𝑢𝑗(𝑙)

𝜕𝑤𝑗𝑖(𝑙) 式(2)

と表すと、式(2)は最終的に、

𝜕𝐸

𝜕𝑤𝑗𝑖(𝑙)= 𝛿𝑗(𝑙)𝑧𝑖(𝑙−1)

𝛿𝑗(𝑙)

= 𝑘 𝛿𝑘(𝑙+1)

wkj(l+1) f ′ (uj

(l) )

式(3)の右辺第2項は、簡単にwkj(l+1) f ' (uj

(l) ) となるから、

𝛿𝑗(𝑙)≝𝜕𝐸

𝜕𝑢𝑗(𝑙)

l-1 l l+1

u1(1)

uI(1)

𝛿𝑗(𝑙)

𝛿1(𝑙+1)

𝛿𝑘(𝑙+1)

𝛿𝑘+1(𝑙+1)

⋮

j

i

k

𝑧𝑖(𝑙−1)

𝑘

図:誤差逆伝播の様子。𝛿𝑗(𝑙)

は層l+1の𝛿𝑗(𝑙+1)

が与えられれば計算可能

表記は、岡谷、深層学習、2015による G空間情報セミナー


深層学習の概要

2000年後半以降、多層ニューラルネットの学習が可能になり、また各種ベンチマークで深層学習の有効性が認知されるようになる

32

「浅い」ニューラルネット「深い」ニューラルネット

......

「浅い」ニューラルネット「深い」ニューラルネット (多層ニューラルネット)

入力データ

出力データ

入力データ

出力データ

• 2000年前半までは、多層ニューラルネットの学習が困難であった(勾配消失問題)• 各層毎に事前に学習し初期パラメータを与えることで多層ニューラルネットの学習ができることが確認(事前学習)• GPUやマルチコアCPUといった計算機能力が飛躍的に向上し、またウェブ上の充分な量のデータセットが集約• 音声認識や画像認識のベンチマークテストで過去の記録が次々に塗り替えられことで有効性が認知



深層学習の概要

深層学習は、音声認識、画像解析、物体認識など幅広い分野で活用されつつある技術領域

33

適用エリア適用アプリケーション

モバイル音声対話音声認識

Web レコメンデーションエンジンビデオ検索自然言語処理画像解析自動翻訳

自動車一般物体認識高精度地図生成画像解析

ロボット、ゲーム強化学習

金融フィンテック

深層学習の適用エリア



深層学習適用事例(1/3)

一般物体認識タスクでは、人間の精度よりも高い認識精度を達成した

34

容易

困難

物体カテゴリ識別(Categorization)

物体検出(Detection)

物体領域抽出(Semantic segmentation)

一般物体認識の主要なタスク LSVRC(1000クラス物体識別タスク)のエラー率の推移

2826

16

12

6.6 5.98 5.1 4.94 4.82

0

5

10

15

20

25

30

8層のCNNにより2位以下に10%以上の差をつけてトロント大学Hintonのチームが大勝

2012年のブレークスルー以降2年で人間の精度を越す

エラ

ー率

(%)

人間の認識精度

中山、"深層畳み込みニューラルネットワークによる画像特徴抽出と転移学習"を基にITC作成 G空間情報セミナー



ロボットの分野では、深層学習により、ロボットが自動的に学習していけるようになりつつある

35

Deep Q Network

• ニューラルネットでQ関数を近似するアプローチQ-Networkgaが提案されていたが、多層なネットワークで上手く学習/収束が行えない、計算が遅い、実現しうる操作のシークエンスはほぼ無限通りあり、その中でバラバラなサンプリング試行を繰り返すと、学習結果のパラメータが振動したり発散したりする、などの問題があり、実際に性能が示される実装は行われていなかった。

• DQNでは、学習データセットをミニバッチ更新することでこの学習の不安定性を解消

BRETT(Berkely Robot for the

elimination of tedious tasks)

PFNCES2016ぶつからないクルマ

V. Mnih, "Playing Atari with Deep Reinforcement Learning", https://youtu.be/JeVppkoloXs、PFN画像はCES2016にて加藤が撮影 G空間情報セミナー



画像解析の分野では、画像からその概念を機械が理解できるようになりつつある

36

図の内容を正しくキャプション生成

図と全く関係のないキャプションを生成



人工知能関連企業のグローバルの動き

北米ではグーグル、マイクロソフト、ヤフー、百度等のIT企業が人工知能系人材獲得に注力している

37

上段画像はNIPS2015にて加藤が撮影、解像度を下げて掲載下段画像はhttps://twitter.com/hashtag/nips2015 G空間情報セミナー


プレイヤー相関図

基礎研究に従事するトロント大学モントリオール大学は多くの企業と連携、自動車分野でもAmazonやCVGLとの連携あり

38

MIT

CSAIL

CBBM

機関内のAI関連組織(部署、学科、ラボ等)

NYU

NYU Center for DataScience

Center for neuralscience

ECE Department

過去に所属等兼務出資提携・共同研究人名

University of Toront

IBM

大学・公的研究機関大手企業新興企業

StanfordSAIL

AndrewNg

VICARIOUS

Baidu

DNNresearch

GeoffreyHinton

DeepMindTechnology

DemisHassavis

FAIR

YannLeCun

UniversityOfMontreal

MILA

YoshuaBengio

Atomwise

医薬品

Amazon

CVGL

NASA

BOSCH

Carnegie Mellon University

DARPA

提携？

自動車企業

NVIDIA

UC Barkley

人工知能プラットフォーム開発

Yahoo



最新技術動向(1/3)

物体検出から、画像キャプション生成/QA、画像概念へ

39

画像キャプション生成画像概念へ画像QA

O. Vinyals et al., Show and Tell: A Neural Image Caption Generator, arXiv:1411.4555K. Xu et al., Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, arXiv:1502.03044J. Andreas et al., Deep Compositional Question Answering with Neural Module Networks, arXiv:1511.02799S. Antol et al., VQA: Visual Question Answering, arXiv:1505.00468 https://github.com/Newmu/dcgan_codeF. Sadeghi et al., VISALOGY: Answering Visual Analogy Questions, arXiv:1509.08075 G空間情報セミナー



知識記憶機構の構築

40

Memory Networks(MemNN/MemN2N)

Neural GPU へNeural Turing Machine (NTM)

学習によりアルゴリズムを獲得文章を記憶、質問に回答並列化

加算

乗算

1010+0111

0110*0101

S. Sukhbaatar et al., End-To-End Memory Networks, arXiv:1503.08895A. Graves et al., Neural Turing Machines, arXiv:1410.5401Łukasz Kaiser and Ilya Sutskever, Neural GPUs Learn Algorithms, arXiv:1511.08228 G空間情報セミナー



特徴的なタスクへの適用

41

画像自動生成(入力画像をNNが鳥と認識するように誘導)

視線検知

画像自動生成(コンテントとスタイルの相関最大化)

視覚バイアス

L.A. Gatys et al., A Neural Algorithm of Artistic Style, A Neural Algorithm of Artistic Style, arXiv:1508.06576http://googleresearch.blogspot.jp/2015/06/inceptionism-going-deeper-into-neural.htmlJ. Wu et al., Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning, NIPS2015C. Vondrick et al., Learning visual biases from human imagination, NIPS2015A. Recasens et al., Where are they looking?, NIPS2015, https://arxiv.org/abs/1609.03499

モノの物理的特徴の推論

音声合成



GPUの基本的な構造

GPUの数千個のコアを活用し並列処理を行うことで、行列計算など演算密度の高い数値計算、機械学習等画像処理以外に汎用的に利用(GPGPU)。開発フレームワークの例としてNVIDIA CUDAを説明

42

ホストデバイス

CPU

メインメモリ L2

NVLink← PCI-E

ストリーミングマルチプロセッサ

CUDAコア(2000-4000個程度)

共有メモリ

レジスタ

CUDAにおける言語拡張GPUの基本的な構造

• 関数修飾子ホストとデバイスのどちらで実行するかを指定• __global__, __device__, __host__

• カーネル関数呼び出し• kernel <<<grid,block>>>();• grid: ブロックによるグリッドの次元とサイズ• block: スレッドによるブロックの次元とサイズ

• dim3宣言３次元ベクトルの整数型の宣言• ホスト同期

• cudaMemcpy()• cudaThreadSynchronize()

grid

block

thread

#include <stdio.h>

__global__ void helloFromGPU(){printf("GPU¥n");

}

int main(int argc,char **argv){printf("CPU¥n");dim3 block(10,1);dim3 grid(1,1);helloFromGPU<<<grid,block>>>();cudaDeviceReset();

}

CUDAによるプログラミング例



目次




43



3 まとめ



自動運転システムでの自動走行までの流れ

駐車計画等も含めた起点終点情報から大まかな経路計画を立て、それに沿って軌道を生成、障害物回避等を折り込みながら最終的な次の時間ステップの目標速度、目標加速度を車両に伝達

44

Hybrid-state A* Search [1] 他

Pure Pursuit Path Tracking Algorithm[2]

PIDコントロール他

[1] D. Dolgov, Practical Search Techniques in Path Planning for Autonomous Driving[2] R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0

経路計画

速度、角速度を車両へ伝達

軌道生成

経路追従

State Lattice Planner 他



軌道生成

現在姿勢と目標姿勢を繋ぐ曲線を生成、各曲線の評価関数を設定、安全な軌道を選択

45M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008

横方向のオフセットを設けた目標姿勢

軌道の曲率を考慮し、車両が走行可能な軌道を生成

生成した各軌道について評価関数を算出、安全な軌道を選択



ピュアパス追跡アルゴリズム

ピュアパス追跡アルゴリズムにより、目標経路を実現する、目標速度と目標角速度が求まる

46R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0

x

y

(x ,y)

r

l

dx

y

𝑥2 + 𝑦2 = 𝑙2

𝑥 + 𝑑 = 𝑟

𝑦2 + 𝑑2 = 𝑟2

𝜅 =2𝑥

𝑙2⟹

x

y

llook ahead distance



車両制御

Loodahead Distanceを適切に設定することにより、乗り心地のいい滑らかな運転を実現。最終的に求まる目標速度と目標角速度を車両の送信

47[1]R. Craig Conlter, Implementation of the Pure Pursuit Path 'hcking Algorithm, CMU-RI-TR-92-0

lookhaed distanceの値によって車両の曲がり易さが変わる[1]

𝜔𝑡 = 𝑣𝑐 𝜅

𝜅 =2𝑥

𝑙2

𝑣𝑡

𝜔𝑡

l が小さい

l が大きい



目次




48



3 まとめ



まとめ

•DARPA Grand Challenge/DARPA Urban Challengeを通じて、ロボティックス技術が自動運転システムへ。自動車会社より2013年頃から乗用車の自動運転システムの発表相次ぐ

•自動運転システムの基本的な構成は

•センサー：LIDAR、ミリ波レダー、GNSS、DMI、IMU、カメラ

•制御システム：認知モジュール、判断モジュール、操作モジュール

•大量データ処理、運転時例外処理の学習、高精度地図等情報処理技術の担う役割が一層増しつつある

•特に大量の自動運転システム搭載車が走り回る際のサイバー空間としての地図整備への期待が高い

49G空間情報セミナー


End of File


g空間情報シンポ 20161122 v1.1

Automotive