マッチング（位置合わせ）の評価関数 相互相関（正...
TRANSCRIPT
1パターン認識：マッチング・レジストレーション
講義内容
マッチング（位置合わせ）の評価関数相互相関（正規化相互相関）２乗誤差
オプティカルフロー
2相関演算
)()(*
)()(*)(
xfxh
dfxhxg
相関演算は以下の式で定義される．
)()(
)()()(
)(
xfxh
dfxhxg
xh
が実関数なら
)(f
)(h
)( xh
)(xg
x0
)(h
だけシフト① x
③ 積分する
x
)()(* fxh
x
の積と② )(*)( xhf
コンボリューションと異なり，反転しない！
を相関関数と呼ぶ．)(xg
パターンマッチング，対応領域の検出などに利用される．パターンマッチング，対応領域の検出などに利用される．
（＊印は複素共役を意味する）
相関関数
3文字検出実験
左の画像の中から，上の文字“Ａ”を相関演算を用いて探す．
),(),(
),(),(),(
yxfyxf
ddfyxfyxg
allA
allA
２次元の相関演算
Af
allf
x
y
4単なる相互相関を用いた場合の問題点：１次元での説明
)( 1xfA )( 2xfA
)(Bf )(Bf
さらに高い相関高相関
もともと濃淡パターンの一致していない部分でも高相関を与える場合がある
パターンをずらしていく
こちらは固定
R
BA fxfxI
)()()(
R
BA fxfxI
)()()(
x1x 2x
)(xI
相互相関
5単なる相互相関を用いた場合の問題点：１次元での説明
R
BA fyxfyxI
,
),(),(),(
R
BA fyxfyxI
,
),(),(),(
一方の画像の輝度が全体的に高くなる（低くなる）など、変化してしまった場合に不正確となる
)( 1xfA
)(Bkf
低相関
)( 1xfA
)(Bf高相関
パターンをずらしていく
こちらは固定
x1x 2x
)(xI
相互相関
x1x 2x
)(xI
相互相関
6正規化相互相関によるマッチング：１次元での説明
m
BA fxfxI1
)()()(
相互相関（実関数の場合）を離散系で再定義：相互相関（実関数の場合）を離散系で再定義：
mN
B
N
A
m
m
BB
BB
m
AA
AA
m
BB
m
AA
m
BBAA
NCC
fxf
fxf
ff
fxf
fxf
fxffxf
fffxf
xI
1
)()(
1
1
2
1
2
1
2
1
2
1
)()(
))((
))((
))((
))((
))(())((
))()()((
)(
正規化相互相関(NCC: normalized cross correlation)：正規化相互相関(NCC: normalized cross correlation)：
各計算領域において，平均値を引き，標準偏差で割った信号に対して相関の計算を行う．
表現の定義
7正規化相互相関の効果を調べる
m
BB
m
AA
m
BBAA
NCC
fxffxf
fffxf
xI
1
2
1
2
1
))(())((
))()()((
)(
において、簡単のために以下のような状況を考える。
は０でない定数。ただし babaff
x
AB , )()(
0
)()0( AA ff
)(Bkf
baff AB )()(
このとき、INCCを計算してみよ。 このようなケース
演習
8正規化相互相関によるマッチング
R
BA fyxfyxI
,
),(),(),(
相互相関（実関数の場合）を離散系で再定義：相互相関（実関数の場合）を離散系で再定義：
),(),(
)),((
)),((
)),((
)),((
)),(()),((
)),()(),((
),(
)()(,
2
,
2
,
2
,
2
,
N
B
N
A
R
BB
BB
R
AA
AA
R
BB
R
AA
R
BBAA
NCC
fyxf
ff
ff
fyxf
fyxf
fffyxf
fffyxf
yxI
正規化相互相関(NCC: normalized cross correlation)：正規化相互相関(NCC: normalized cross correlation)：
各計算領域において，平均画素値を引き，標準偏差で割った画像に対して相関の計算を行う．
表現の定義
9正規化の効果
R
BB
R
AA
R
BBAA
NCCfffyxf
fffyxf
yxI
,
2
,
2
,
)),(()),((
)),()(),((
),(
R
BB
R
AA
R
BBAA
NCCfffyxf
fffyxf
yxI
,
2
,
2
,
)),(()),((
)),()(),((
),(
計算領域の信号を正規化
正規化
)( 1xfA )( 2xfA
計算領域の信号を正規化
正規化
)(Bf )(Bf
低相関高相関
10相互相関のベクトル的解釈
1f 2f
1nf
nf
][ ,2,1, nAAAA fff f
R
BA fyxfyxI
,
),(),(),(
R
BA fyxfyxI
,
),(),(),(
][ ,2,1, nBBBB fff f
}),(),,({ RfB
１列に並べる
}),(),,({ RyxfA
１列に並べる
I(x,y)はベクトルの内積演算に相当する．
Af
Bf
11正規化相互相関のベクトル的解釈
1f 2f
1nf
nf
][ ,2,1, nAcAcAcAc fff f ][ ,2,1, nBcBcBcBc fff f
}),(,),({ Rff BB
１列に並べる
}),(,),({ Rfyxf AA
１列に並べる
INCC(x,y)は２つのベクトルのなす角の余弦に相当する．
Acf Bcf
R
BB
R
AA
R
BBAA
NCCfffyxf
fffyxf
yxI
,
2
,
2
,
)),(()),((
)),()(),((
),(
R
BB
R
AA
R
BBAA
NCCfffyxf
fffyxf
yxI
,
2
,
2
,
)),(()),((
)),()(),((
),(
cos),( BcAc
Bc
T
AcNCC yxI
ff
ffcos),(
BcAc
Bc
T
AcNCC yxI
ff
ff
θ
12２乗誤差と相関演算との関係
R
BA fyxfyxI
,
),(),(),(
相互相関（離散系）相互相関（離散系）
２乗誤差の総和２乗誤差の総和
2
,
}),(),({),(
R
BA fyxfyxD
R
BA
R
B
R
A
R
BA
fyxf
yxf
yxf
fyxfyxD
,
,
2
,
2
2
,
),(),(2
)},({
)},({
}),(),({),(
正規化相互相関（離散系）正規化相互相関（離散系）
R
N
B
N
A
N fyxfyxI
,
)()()( ),(),(),(
13パターン認識：マッチング・レジストレーション
講義内容
マッチング（位置合わせ）の評価関数相互相関（正規化相互相関）２乗誤差
オプティカルフロー
14オプティカルフロー
),,( tyxf
),,( ttyyxxf
勾配法：被写体の動きを動画像の時空間微分から推定するための方法勾配法：被写体の動きを動画像の時空間微分から推定するための方法
特徴：
対応点（特徴点）の検出を行うことなしに，各局所領域の移動先を求める．
欠点次のような場合には精度が悪い・濃度変化の少ない被写体・急激な濃度変化のある被写体（エッジ部分など）
time
15オプティカルフローの原理
仮定１．物体上の点の明るさは移動後も変化しない．２．画素値の空間的な変化は緩やかである．
),(),( ttxxftxf
t
t
fx
x
ftxfttxxf ),(),(
：位置xでの画素値の時間変化量
：位置xでの画素値の微係数
),( txf ),( ttxxf
x
１次元信号を用いた模式的説明
x xx
注目画素近傍の小領域内各点でオプティカルフローｖが等しいと仮定できるなら，以下の式を満たすｖを回帰分析により求める方が安定している．
.min),(),(
2
Rr
txft
vtxfx
１次元での説明１次元での説明
仮定１より，
右辺をテイラー展開すると
ここでは高次の項であるがこれを無視し，両辺をtで割り， t →0とすると
0
tfv
x
f
ここで，
x
f
tf
であり，動画像より算出可能である．これを用いて上の方程式を解けば，ｖが得られる．
dt
dx
t
xv
t
0limただし
dt
dx
t
xv
t
0lim
Lucas-Kanade法*
*) B. D. Lucas and T. Kanade (1981), An iterative image registration technique with an
application to stereo vision. Proceedings of Imaging Understanding Workshop, pp 121-130
16オプティカルフローの原理
仮定 １．物体上の点の明るさは移動後も変化しない．２．画素値の空間的な変化は緩やかである．
),,(),,( ttyyxxftyxf
右辺をテイラー展開すると
t
ft
y
fy
x
fxtyxfttyyxxf ),,(),,(
ここでは高次の項であるがこれを無視し，両辺をtで割り， t →0とすると
2))(( t
Rr
t ffE
u
),,( tyxf
),,( ttyyxxf
仮定１より，
0)(
t
t
t fffv
u
y
f
x
fu
ここで求めたいのは変位ベクトルuであり，fのxやyでの偏微分はその位置での差分，またftは位置(x,y)でのフレーム間差分により得られる．実際には，注目画素位置の近傍の小領域Rで，以下の式を満たすuを回帰分析により求める方法が考えられる．
２次元での説明２次元での説明
３次元の場合も同様の考え方で変位ベクトルが求まる．
dtdy
dtdx
v
u
/
/uここで