online moving camera_background_subtraction
TRANSCRIPT
Online Moving Camera
Background SubtractionAli Elqursh, Ahmed Elgammal (Rutgers University, US)
@ECCV2012 Poster
2012/12/16 コンピュータビジョン勉強会＠関東@sakanazensen
自己紹介
• @sakanazensen
• さかな前線: daily.belltail.jp
• 鈴尾 大地(Daichi SUZUO)
• 名古屋大学 村瀬研 M1
– 名古屋から一泊で来ました
– #就活こわい
• #内定くださいJP
• nagoyacv幹事（2代目）
• CV Advent Calendarやってます！
自己紹介
• @sakanazensen
• さかな前線: daily.belltail.jp
• 鈴尾 大地(Daichi SUZUO)
• 名古屋大学 村瀬研 M1
– 名古屋から一泊で来ました
– #就活こわい
• #内定くださいJP
• nagoyacv幹事（2代目）
• CV Advent Calendarやってます！
自己紹介
• 研究
• 歩行者検出の高精度化
自己紹介
自己紹介
(＾ ѵ ＾)!?
introduction
紹介する論文
• “Online Moving Camera Background Subtraction”
• Ali Elqursh, Ahmed Elgammal (Rutgers University)
• プロジェクトページ:
http://paul.rutgers.edu/~elqursh/projects/bsmc/index.shtml
• paperとポスターがあります• youtube:
http://www.youtube.com/watch?v=DmxT1LexlsY
• デモ動画
やりたいこと
やりたいこと
• Online – 逐次入力しながら
– オフラインな手法では…
• 全部読み込んで前景モデルつくって推定、とか
やりたいこと
• Online – 逐次入力しながら
– オフラインな手法では…
• 全部読み込んで前景モデルつくって推定、とか
• Moving Camera – 非固定カメラ
– handheld camera
– in-vehicle camera
やりたいこと
• Online – 逐次入力しながら
– オフラインな手法では…
• 全部読み込んで前景モデルつくって推定、とか
• Moving Camera – 非固定カメラ
– handheld camera
– in-vehicle camera
• Background Subtraction – 前景領域抽出
– denseに（＝画素単位で）動領域を推定– （前景抽出というタスクを指して”背景差分”と言いますかそうで
すか…）
アプローチ
• Optical Flow[18]をつなげたtrajectories(軌跡)を領域セグメンテーションに利用[3]
– [3] Brox, T., Malik, J. ”Object Segmentation by Long Term Analysis of Point
Trajectories,” ECCV 2010
– [18] Sundaram N., Brox T., Keutzer K., "Dense Point Trajectries by GPU-
Accelerated Large Displacement Optical Flow," ECCV2010
• Bayesian filterで軌跡をモデル化[9]
– 時間変化に応じてモデルを更新する
– 長時間の映像でも安定して前景抽出– [9] Kwak, S., Lim, T., Nam, W., Han, B., Hee, J. ”Generalized Background
Subtraction Based on Hybrid Inference by Belief Propagation and
Bayesian Filtering,” ICCV 2011
まずは雰囲気
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
処理の流れ
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
初期数フレームの動領域推定：
optical flowと画像のみで推定
処理の流れ
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
軌跡を写像した空間
optical flowによる
時間方向の軌跡
1軌跡が1点に対応
処理の流れ
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
GMMでクラスタリング（似た軌跡をグループ化）
処理の流れ
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
画像上での判定
軌跡での判定
各クラスタが前景か背景か判定
処理の流れ
初期化処理
“軌跡空間”生成
クラスタリング
動領域推定
（次フレーム入力）
前景背景判定
動領域を密に推定
さらに、背景・前景の確率モデルを構築・更新
処理の流れ
各手順をもう少し詳しく
映像の最初：軌跡の長さが短く、GMMできない
画像とoptical flowのみで動領域推定
optical flowMRFの構築
graph cutsで分離
※カメラの動きに伴い新しく出現した部分にも同様の処理
各ノードは画素に対応平滑化項：輝度差データ項：軌跡
初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
動領域推定
初期化処理
特徴点の軌跡
• 軌跡同士の類似尺度を定義：
初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
動領域推定
“軌跡空間”の生成
特徴点の軌跡
GMMでクラスタリング
似た動きの軌跡が
多様体をなす軌跡の（仮想的な）空間
ラベル付け
クラスタを成さない
軌跡もある
初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
動領域推定
クラスタリング
クラスタごとに前景・背景ラベルを付与
compactness
boundary(軌跡空間)
surroundedness
Affine motion
compatibility
初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
動領域推定
前景／背景の判定
この時点では動領域・背景領域ラベルは各特徴点単位
画素単位での領域を推定
MRF segmentation
ターミナル：
ラベル付いた特徴点
ノード：画素
sparse label dense label
背景のアピアランスモデル Bayesian filterによる背景モデルの推定・更新
軌跡モデル
直前での
背景モデル
初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
動領域推定
動領域推定
評価実験
• 比較手法• 提案手法1： 映像の1フレーム目に動領域の正解を指定する• 提案手法2： 正解を指定しない• Sheikhらの手法[15]
• Kwakらの手法[9]
• 評価データ• Hopkins 155 dataset
• 長時間映像（460フレーム程度）
• 評価方法• 画素単位の前景・背景のprecision / recall
評価方法
提案手法1 Sheikhら[15]
ボールも検出
脚部分で未検出optical flowの精度が低いため （画面左から）新たに出てき
た人従来手法では難しい
cars1
people1
people2
tennis
評価結果
source cars1 people1 people2 tennis drive
Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val
提案1 .84 .99 .91 .94 .85 .89 .69 .88 .77 .86 .92 .89 .55 .95 .70提案2 .85 .97 .90 .97 .88 .92 .87 .88 .88 .90 .81 .85 .60 .67 .63
Sheikh
ら.63 .99 .77 .78 .63 .70 .73 .83 .78 .27 .83 .40 .02 .66 .04
Kwakら .92 .84 .88 .95 .93 .94 .85 .89 .86 - - - - - -
長時間映像Hopkins 155 data set
• 多くでF値が1位か僅差の2位• 一部データでは精度が低下する例も
• 長時間の映像でも高精度
評価結果
結果の例
結果の例
結果の例
• 二つの（既存）アプローチの融合という新しい手法• 軌跡をつかったセグメンテーション• Bayesian filterで前景をモデル化
• 高精度な非固定カメラからの前景領域抽出を達成• Bayesian filterで背景画像も推定できる
まとめ