1

第 37 回 CV 勉強会 @ 関東ECCV2016 読み会Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera2016 年 12 月 3 日 @OZ_Z_C

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

2

自己紹介@OZ_Z_C (twitter)

某企業研究所所属経歴

学生時代～ 2014/3画像符号化方式の研究、 H.264 encoder の開発、など

2014/4 ～ 2016/3Ethernet switch の開発

2016/4 ～ CV 的な研究テーマ（広く浅く・・・）に従事

よろしくお願いします！2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

3

まとめ今回読んだ論文

Real-Time 3D Reconstruction and 6-DoF Tracking with an Event CameraECCV 2016 Best Paper Award (!)

ざっくりいうと？Event-Based Camera でカメラ運動追跡＆ 3 次元再構成 ( そのまんま・・・ )拡張カルマンフィルタで 3 種類のパラメータを交互に推定

カメラ運動シーンの輝度勾配強度シーンのデプス

デモ優先で、研究の余地はまだまだありContribution

Event-Based Camera のみでカメラ運動追跡と 3 次元再構成を実現した　初めて ( )※ の手法 ( “※ To the best of our knowledge”)

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

4

前置き　

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

5

Event-Based Camera一般的なカメラ

固定のフレームレートで全画素の画素値を出力Event-Based Camera

「輝度変化量が閾値を超えた」という情報 (= イベント ) を出力イベントは各画素独立かつ非同期 (w/ μs オーダーのタイムスタンプ ) に出力

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

6

Event-Based Camera下記動画 35 秒あたり～　 https://youtu.be/LauQ6LWTkxM

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

7

カルマンフィルタカルマンフィルタ

下記のような形の線形システムを考える

ある時刻の状態について、直前の状態と観測から、平均二乗誤差を最小とする推定値を求める手法拡張カルマンフィルタ (EKF : Extended Kalman Filter)

下記のような非線形システムにも適用できるように拡張したもの

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

𝑥𝑡=𝐹𝑡 −1𝑥𝑡−1+𝐺𝑡− 1𝑤𝑡 −1

𝑦 𝑡=𝐻𝑡 𝑥𝑡+𝑣𝑡

（状態方程式）（観測方程式）ノイズ

𝑥𝑡= 𝑓 𝑡−1(𝑥𝑡− 1)+𝑔𝑡− 1(𝑥𝑡 −1)𝑤𝑡 −1

𝑦 𝑡=h𝑡 (𝑥𝑡)+𝑣𝑡

8

提案手法

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

9

概要関連技術： Visual SLAM (LSD-SLAM など )

自己位置推定とマップ推定を交互に実行片方の推定を行う際、もう片方の推定値は正しい前提特徴点マッチングや輝度値を直接使ったマッチングにより推定

提案手法 w/ Event-Based camera下記 3 つの推定を交互に実行

カメラ運動シーンの輝度勾配強度シーンのデプス

ある一つの推定を行う際、ほかの 2 つの推定値は正しい前提拡張カルマンフィルタを用いて推定

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

自己位置推定マップ推定

10

予備知識イベント

ある画素の勾配強度の変化が予め定めた閾値を超えたときに出力例： 4 画素しかないイベントカメラ

変数の意味：（画素位置を問わず）直前のイベントが発生した時刻との時間差：同一の画素で直前の（以下同文）

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

文献 [12] (Kim, H.+ 2014) より

𝐶

11

Method ‐ カメラ運動追跡推定するもの

6 自由度（並進、回転）のカメラ運動基本アイディア

ある画素でのイベント発生時 ( 時刻 ) に推定実行同一画素の直前イベント発生時 ( 時刻 ) のカメラ位置と、勾配強度 ( の推定結果 ) を用いる

カルマンフィルタ的には？観測モデル

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

𝑧 𝑥=±𝐶

h𝐱 (𝐱 (𝑡|𝑡 −1 ))=I 𝑙 (𝐩𝑤(𝑡 ) )−I 𝑙(𝐩𝑤

( 𝑡− τ𝑐 ) )

(4)

(5)

勾配強度の推定値

12

Method ‐ カメラ運動追跡カルマンフィルタ的には？ ( 続き )

事後推定 ( 求めたい値 ), 事後共分散行列

事前推定 , 事前共分散行列

カルマンゲイン , イノベーション ( 多分こんな感じになるはず )

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

𝐱 (𝑡|𝑡 )=𝐱 (𝑡|𝑡 −τ )−𝐖 𝐱𝒗 𝐱

𝐏𝐱(𝑡|𝑡 )=(𝐈6×6−𝐖 𝐱

𝝏 h𝐱𝝏𝐱 (𝑡|𝑡− τ )

 )𝐏𝐱(𝑡|𝑡 −τ )

(7)

(8)

𝐱 (𝑡|𝑡− τ )=𝐱 (𝑡 −τ|𝑡 −τ )+𝐧𝐏𝐱

(𝑡|𝑡 −τ )=𝐏𝐱(𝑡− τ|𝑡− τ )+𝐏𝐱

(2)

(3)

𝐖𝐱=𝐏𝐱( 𝑡|𝑡− τ )( 𝝏h𝐱

𝝏𝐱 (𝑡|𝑡 −τ ) )T

(( 𝝏h𝐱𝝏𝐱 (𝑡|𝑡 −τ ) )𝐏𝐱

(𝑡|𝑡 − τ )( 𝝏 h𝐱𝝏𝐱 (𝑡|𝑡− τ ) )

T

)−1

𝒗𝐱=𝑧𝑥−h𝐱 (𝐱 (𝑡|𝑡− 1) )

ガウシアンノイズ

単位行列

13

Method - 勾配強度推定するもの

あるカメラ位置（キーフレーム）の勾配基本アイディア

ある画素でのイベント発生時 ( 時刻 t) に推定実行同一画素の時刻 , に対応する画素位置 (, ) の中点の勾配を推定（更新）

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

14

Method - 勾配強度カルマンフィルタ的には？

観測

モデル

勾配強度の再構成勾配の推定値から下記 (13) 式で勾配強度を再構成凸最小化問題になっており、凸共役の形にして解く

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

𝑧𝐠=±𝐶τ𝑐

(9)

h𝐠=(𝐠 ( �̂�𝑘) ∙𝐦 ) (10) ここで 𝐦=𝐩𝑘

(𝑡 )−𝐩𝑘(𝑡 −τ 𝑐)

τ𝑐(11)

(13)

データ項（推定結果に Fitさせる） 平滑化項（滑らかにする）

15

Method - デプス推定するもの

あるカメラ位置（キーフレーム）のデプス ρ

基本アイディア同一画素の直前イベント発生時 ( 時刻 ) のカメラ位置と、勾配強度 ( の推定結果 )を用いる (Tracking と基本的に同じ )

カルマンフィルタ的には？観測モデル

正則化 (バックグラウンド処理 )周囲画素のデプス値の重みづけ平均重みには各推定値の分散を使用 [9]

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

𝑧 ρ=±𝐶

hρ (𝐱 (𝑡|𝑡− 1) )=I 𝑙 (𝐩𝑤( 𝑡 ) )−I 𝑙 (𝐩𝑤

(𝑡 −τ 𝑐 ) )

(18)

(19)

16

Experiments

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

下記動画 1 分 14 秒あたり～　　https://youtu.be/yHLyhdMSw7w

17

まとめ今回読んだ論文

Real-Time 3D Reconstruction and 6-DoF Tracking with an Event CameraECCV 2016 Best Paper Award (!)

ざっくりいうと？Event-Based Camera でカメラ運動追跡＆ 3 次元再構成 ( そのまんま・・・ )拡張カルマンフィルタで 3 種類のパラメータを交互に推定

カメラ運動シーンの輝度勾配強度シーンのデプス

デモ優先で、研究の余地はまだまだありContribution

Event-Based Camera のみでカメラ運動追跡と 3 次元再構成を実現した　初めて ( )※ の手法 ( “※ To the best of our knowledge”)

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

18

参考文献シンプルなモデルとイラストでカルマンフィルタを直感的に理解してみる

http://qiita.com/MoriKen/items/0c80ef75749977767b43

6章 カルマンフィルタ - 電子情報通信学会知識ベースhttp://www.ieice-hbkb.org/files/01/01gun_05hen_06m.pdf

文献 [9] Engel, J., et.al : Semi-Dense Visual Odometry for a Monocular Camera

文献 [12] Kim, H., et.al : Simultaneous Mosaicing and Tracking with an Event Camera

文献 [14] Lichtsteiner, P., et.al : A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会

19

fin.2016 年 12 月 3 日 @OZ_Z_C

2016/12/3 CV 勉強会 @ 関東 ECCV2016 読み会