テンプレートマッチング コンピュータビジョン特論...
TRANSCRIPT
1
コンピュータビジョン特論対象追跡１
呉 海元
サーベイランス
見えに基づく手法
屋外・環境変動への対応
物体追跡研究の推移
1980年 1990年 2000年
オフライン処理 リアルタイム処理
パターン認識に基づく手法
クラスタリングに基づく手法
・1998 M.Isard, A.Blake
ConDensation
・2000 D,.Comaniciu P.MeerMean-Shiftを使った非剛体追跡
・1981 Lucas-Kanade勾配法(レジストレーション）
・1980後半 カルマンフィルタの利用
・1992 J.Boyce, D.Toulson
α-β-γ トラッカー
・1995 モンテカルロフィルタの利用bootstrap filter
・1991 Tomasi-Kanade勾配法（特徴点追跡）
・1971 航空機画像解析（雲の動きの解析）
動きのモデル化時系列フィルタリング
・1968 更新テンプレートマッチング
・1999 EMベースの追跡
・1975 K.FukunagaMean-Shift
・2001 SVMを使った追跡
Mean-Shift
軍需関係？ 個人認識、人物監視
基盤となる要素技術の発展
ハードウェアの発展
全探索 勾配法 予測に基づく手法 多数人物追跡カウント
追跡の応用分野
サーベイランス
（観測、監視、見守り）
運動解析
３次元形状復元
（Structure from Motion）
バイクの追跡、プレートナンバの認識
追跡しながら3次元形状の復元
検出と追跡（検出）検出：一枚の画像から指定した条件（パターン）をみたす画像領域を抜き出す処理
対象のモデル（パターン）
入力画像
一枚の画像から対象を抜き出す
画像から対象モデルと一番似ている所を探し出す→対応画素の明るさor色、テクスチャの差を尺度とする
例：画像から歩行者の検出
Wakayama University Vision and Robot Laboratory---- VRL
Crane, etc, Translation-tolerant mask matching using
non-coherent reflective optics, PR, 1968
Template
事前準備
テンプレートマッチング（Template matching）
背景混入の問題When detecting an object,
We get a sub-image
containing the target
2
This sub-image
contains both …
foreground pixels,
and …
background pixels !
背景混入の問題
Some background pixels will creep into the
target model in its updating.
This is the background interfusion problem
that causes object detecting failure.
背景混入による検出・追跡失敗
探索空間・時間の問題
Smallest
Scale
Larger
Scale
50,000 Locations/Scales
ステレオカメラを用いることで距離画像を得られる
ステレオカメラを用いた顔検出の高速化
ステレオ（人間の両目）の基本的原理は三角測量である！（fとBが既知）
Ｂ
Zｄ
camera
image plane
f
3D point
d
BfZ
左側の画像 右側の画像
左カメラ 右カメラ
視差
カメラ間距離
焦点距離
点までの距離
人間の頭部サイズはほぼ一定なので、３次元空間内の距離が分かれば、画像上での顔の大きさが分かる
ステレオカメラを用いた顔検出の高速化
fZ
Z
fWsizeIsize
画像上での大きさ
実際の大きさ
焦点距離
物体までの距離
:
:
:
:
Isize
Wsize
f
Z
画像上での顔の大きさが分かれば、特定のサブウィンドウに対して識別するだけでよい
ステレオカメラを用いた顔検出の高速化
距離画像：白ほど距離が近いZ
fWsizeIsize 矩形の辺の決定：
メリット： １）早くで検出できる２）誤検出が少なくなる
3
実行結果（動画２人）
○は検出された顔 矩形は推定された距離より統合した領域；点の緑濃さは距離情報を示す
全ての処理はビデオレートで実現できている
背景差分による物体の検出 「現在のフレーム」 と「特定の背景画像」の差分．
仮定：
背景が既知
照明が不変
2フレーム間差分による物体の検出・追跡
「現在のフレーム」と「前フレーム」の差分．
t-1フレーム tフレーム
仮定：背景が固定
照明が不変
２フレーム差分の実画像の例
背景差分例 フレーム間差分例
３フレーム間差分による動き領域の検出
t-2 t-1 t
t-1の動いた領域
4
まず、２フレーム間差分
差分
差分
差分
2値化
2値化
2値化
t
t
t-1
t-1
t-2
t-2
A
B
C
３フレーム間差分による動き領域の検出
A B C
Optical flow-based detection
実画像の例
検出と追跡（追跡）
追跡：動画像から指定した領域を抜き出し、フレーム間での対応づけを考慮した処理
t-1フレーム tフレーム
複数フレーム間で対象を対応づける
Maximum Speed
画像上での対象追跡
FG’06, ICPR’06, JMM’06, ACCV’07
情報処理学会CVIM論文誌’05, 07
(船井若手賞、山下記念賞)
電子情報通信システム学会誌’07
（K-means Tracker）
検出と追跡
毎フレームから対象を検出すれば追跡？
対象のモデル
入力画像
フレーム間で対応づけていない
→追跡ではない
5
検出≠追跡
t-1フレーム tフレーム
各フレームで検出なら二個検出されたどちらが対応している？
検出だけではわからない
フレーム間で対応付けていないのは追跡ではない検出結果をフレーム間で対応付ければ追跡
出席チェック
出席チェック• 検出と追跡は何が違うか？
学籍番号と名前を記入して提出
追跡手法に要求される要素
追跡対象の回転・平行移動・変形問題
計算コスト• リアルタイム（ビデオレート＝30枚/秒）
複雑な背景の元でのロバスト性• 室内、屋外、雑踏
環境変動への対応• 照明変化、背景変動
パラメータ調整の容易さ• 初期設定、閾値
追跡手法の分類対象の表現（モデル）による分類追跡対象の情報を何で表現するか
• 見え（局所画像）、色ヒストグラム、エッジ、コーナー
• 最近：高次元特徴→SIFT, SURF, HOG, CoHOG
類似性尺度による分類モデルと画像をどう対応付けるか
• 二乗誤差、相関、など
探索方法による分類どうやって追跡対象を見つけるか
• （周辺）全探索、勾配法、動き予測、近似最近傍
これらは互いに関連する
見えに基づく追跡
見えに基づく追跡手法（ブロックマッチング＋全探索）
２．前のフレームの周辺を探索
３．切り出した領域とモデルを比較比較
４．最も類似した領域を結果とする
t-1フレーム tフレーム
１．局所領域（モデルを切り出す）
類似度最大（相違度最小）
前フレームの類似性尺度が最大になる領域に基づいて現フレームの探索領域を決め、探索を行う
6
見えに基づく手法の類似性尺度よく用いられる類似度(相違度)１
• SSD(Sum of Squared Differences)
• 画素毎の差分の二乗和（二乗誤差）
Wx
xdxd2
1 )()()( tt II
y
x
AA
d
d
I
y
x
dd
xx
xWWx
W
変位量
の画素値の座標画像Ｉ
内の座標領域
ロック）画像中の局所領域（ブ
:
:)(
:
: It-1
d
x+d
Ｗ
x
tI
→全フレームの該当領域W(X)の付近W(X+d)で探索
見えに基づく手法の類似性尺度• SSD(Sum of Squared Differences)
• 最も基本的な誤差関数
• 画像をベクトルとみなせば、ベクトル間のユークリッド距離（の二乗）~Ｌ2距離
• 外れ値の影響を受けやすい
• 照明変化の影響を受けやすい• 画素値が全体的に変化する
b
Wx
xdxd2
1 )()()( tt II
ラスタスキャン
多次元ベクトルと考える
画素毎に差をとって二乗
総和
a
a b
見えに基づく手法の類似性尺度
よく用いられる類似度(相違度)２• SAD(Sum of Absolute Differences)
• 画素毎の差分の絶対値の和
• 画像をベクトルとみなした場合のＬ１距離（市街地距離）
• SSDに比べて外れ値の影響を受けにくい
• 照明の影響を受けやすい
Wx
xdxd2
1 )()()( tt II
Wx
xdxd |)()(|)( 1tt IISSD
見えに基づく手法の類似性尺度
よく用いられる類似度３
• CC(Cross Correlation) 正規化相互相関
• ベクトル間の内積（角度）
• 照明変化に強い
Wx
Wx
Wx
Wx
Wx
dxx
xdx
xdx
1
)(
1
)(
|)(||)(|
)()(
)(
1
1
11
11
t
t
t
t
tttt
tttt
I
I
I
I
IIII
IIII
d
，
SSD,SAD
q
ベクトルのノルムが変化しても内積（CC=cosq)は変わらない
明るさの正規化
コントラストの正規化
見えに基づく追跡の拡張
変位ｄだけでなく、拡大、縮小、回転などの領域の変形A
を含む追跡
y
x
d
d
y
x
aa
aa
2221
1211
dAxx アフィン変換
部分テンプレットが複数用意
見えに基づく追跡の拡張
Wx
xdxd2
1 )()(),( tt IAIA
y
x
d
d
y
x
aa
aa
tt
2221
1211
1 dAxx フレームのフレームの
６パラメータの最小化が必要→計算量が大きい
全探索では非現実的 yx ddaaaa ,,,,, 22211211
7
見えに基づく追跡＋全探索の問題点
計算量が多い• ブロックサイズ×探索領域のサイズの計算コスト
• 回転、スケールなどに拡張した場合はさらに計算コストが増大する
変位量が離散的
↓見え＋勾配法による追跡
解決策
見えに基づく追跡＋勾配法
勾配法とは、暫定解 まわりの勾配（傾き）に基づいて山登り（山くだり）によって極大値（極小値）を見つける
Lucas Kanade法
Lucas & Kanade法 ①
Wx
2),,(),,(: tyxIttyyxxISSD
Σ内の第一項目をテイラー展開すると
テイラー展開とは？
2
0
)(
))((2
1))(()(
)(!
)()(
)(
)(
axafaxafaf
axn
afxf
axf
xf
n
nn
以下のようになる
数展開はのまわりのテイラー級の
るときが無限に微分可能であ関数
Lucas & Kanade法 ①
Wx
2),,(),,(: tyxIttyyxxISSD
t
tyxIt
y
tyxIy
x
tyxIxtyxI
ttyyxxI
),,(),,(),,(),,(
),,(
Σ内の第一項目をテイラー展開すると
変位が微少であるから、２次以降の項を無視(ｘ周辺で線形近似）
tyxt
ItyxItyx
y
ItyxItyx
x
ItyxI
tyxItyxIdtyxId
tdxdx
tyx
yx
tyyxx
yx
,,),,(,,,),,(,,,),,(
),,(),,(),,(
1,,
2
),(
W
として①に代入すると
Lucas & Kanade法
を求めればよいとなるが最小なので目標は d
W
0,0
),,(),,(),,(2
),(
yx
yx
tyyxx
dd
tyxItyxIdtyxId
bAAdAbAAdAbAd
xxb
dxx
xxA
W
W
TTTT
T
ntt
T
yx
T
nyy
nxx
yx
tyyxxy
y
yx
tyyxxx
x
tItI
ddtItI
tItI
tyxItyxIdtyxIdtyxId
tyxItyxIdtyxIdtyxId
00
),(),(
,),(),(
),(),(
0),,(),,(),,(),,(2
0),,(),,(),,(),,(2
1
1
1
),(
),(
とすると
8
Lucas & Kanade法
bAAAd
AA
xxx
xxxAA
xx
xxA
bAAdA
TT
T
yyx
yxxT
T
nyy
nxx
TT
tItItI
tItItI
tItI
tItI
1
2
2
1
1
)(ˆ
),(),(),(
),(),(),(
),(),(
),(),(
、が正則なとき解を持ちとなり、
よりここで、
探索不要で推定解が求まるアフィン変換などへの拡張も可能
Lucas & Kanade法の実装
),,()1,,(),,(),,(
),,(),1,(),,(),,(
),,(),,1(),,(),,(
tyxItyxItyxt
ItyxI
tyxItyxItyxy
ItyxI
tyxItyxItyxx
ItyxI
t
y
x
空間微分＝隣り合う画素の差
時間微分＝フレーム間の差分
Lucas & Kanade法と追跡の安定性
行列
の二つの固有値が大きい時、追跡が安定に行える
• 強い勾配が存在
• 色んな方向（直交する方向）に強い勾配が存在
2
2
),(),(),(
),(),(),(
tItItI
tItItI
yyx
yxxT
xxx
xxxAA
このようなブロックの追跡は安定
Example: Optical Flow
from Russell & Norvig
t = 0
t = 1t = 0
Best estimates where there are “corners”
Flow field
仮定：連続画像間で対応している点の明るさが変化しない
Alper Yilmaz, Fall 2004 UCF
Measurement of motion at every pixel
見えに基づく追跡のまとめ
局所画像そのものを対象モデルとする
SSD,SAD、CCなどの類似性尺度を用いる
平行移動だけでなく、回転、スケールなどへ拡張可能
全探索では計算量が多い→見え＋勾配法
• Lucas＆Kanade法
追跡しやすい特徴点の抽出
• GoodFaturesToTrack
注：OpenCVの中に関連ライブラリがある
9
勾配に基づく追跡の問題点
対象の動きに関する知識を利用しない
初期値（前フレームの結果）が十分解に近い必要がある
類似度を求めるために、解の周辺でなめらか（微分可能）である必要がある
見え隠れなどのノイズの影響を受けやすい
状態
類似度
出席チェック
見えに基づく追跡の弱点はなにか？
勾配法による探索の利点を２つあげなさい
• 学籍番号と名前を記入して提出
次回は予測に基づく追跡について
Alper Yilmaz, Fall 2004 UCF
Affine Motion and Transformation
Transformation Motion
243
121
''
''
byaxay
byaxax
243
121
)1(''
)1(''
byaxay
byaxax
translation rotation
Rigid (rotation and translation) Affine
shear