201205016 deformablemodelfitting

Deformable Model Fitting by

Regularized Landmark Mean-Shift

ビジョン＆ITラボ皆川卓也

紹介する論文

Deformable Model Fitting by Regularized Landmark

Mean-Shift

Jason M. Saragih, Simon Lucey, and Jeffrey F. Cohn

International Journal of Computer Vision 2010

Constrained Local Model (CLM)を用いた顔特徴追跡の一手法

http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html

http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html

Point Distribution Model

顔の個人差や表情変化を含んだ顔形状を表すモデル

0

1

2

3

4

5

6

7 9

16

15

14

10

11

12

13

17 18 19 20

21 22 23 24 25

26

36

37 38

39

40 41

30

29

28

27

31 32 33 34 35

42

43 44

45

46 47

48

49 50 51 52

53

54

55

56 57 58

59

60 61 62

63 64 65

8

65

0

65

0

y

y

x

x

X

1.顔の特徴点をベクトル表現にする


2.顔サンプルデータから主成分分析によって基底を求める

0Φ 1Φ 2Φ 3Φ

n

i

iiq0

ΦX

・・・

PCA



tΦqXRX )(s


3.グローバルな動きも含めたモデルの構築

顔の特徴点座標スケール

回転

（ヨー/ピッチ/

ロール）

主成分

顔の変形を表す係数

平行移動(X,Y)

特徴点座標平均

(1)’


tΦqXRX )(s


3.グローバルな動きも含めたモデルの構築

(1)’

qtRp ,,,s

顔特徴点の位置を表すパラメータ

スケール、回転、平行移動、顔の変形

Constrained Local Model

特徴点の位置を顔画像にFittingしたい

n

i

ii IDRQ1

);()()( xpp

以下の誤差関数を最小化するパラメータpを求める

T

iii yx ),(x

(2)

誤差関数顔の変形の大きさに対するペナルティ

（正則化項）

pで求めた画像と実画像との誤差

Active Appearance Model

n

i

ii IDRQ1

);()()( xpp (2)


Active Appearance Modelの場合

顔の領域全体を使ってエラーを評価

Constrained Local Model

n

i

ii IDRQ1

);()()( xpp (2)


Constrained Local Modelの場合

各特徴点の周辺を用いてエラーを評価

PDMの確率的な解釈

n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)

パラメータpの事後分布位置xに特徴点iが存在する確率(尤度)

pの事前分布

n

i

ii IDRQ1

);()()( xpp

CIlppIlpn

i

ii

n

ii

1

1 ),|(ln)(ln),}{|(ln xpp

(2)

負の対数


n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)


pの事前分布

顔の変形の大きさに対するペナルティ

テンプレートマッチングで求めた類似度


n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)


pの事前分布

)(pp


),;()( Λ0qp Np ]};;{[ 1 mdiag Λ

)};(exp{1

1),|1(

IClIlp

iii

iix

x

事前分布＝正規分布

固有値

尤度関数＝ロジスティック回帰

n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)


pの事前分布

(10)

(6)

パッチと画像の位置xにおける類似度


)};(exp{1

1),|1(

IClIlp

iii

iix

x


(6)


ii

T

iii bIWPIC ));(();( xwx (8)

位置xにおける正規化された画像パッチ

SVMで学習したゲインとバイアス

特徴点のFitting方法

)};(exp{1

1),|1(

IClIlp

iii

iix

x


(6)


xi周辺のロジスティック回帰の応答

単純に探索範囲の応答のピークを探せば良いのか？

• ピークが特徴の位置と一致するとは限らない

• 小さなパッチの類似度では曖昧性が残る

• アパーチャ問題

特徴点のFitting方法

従来法

ピークを直接取る（RES）

分布をガウス分布で近似（ISO）

異方性のガウス分布で近似（ANI）

混合ガウス分布で近似（GMM）

本手法

カーネル密度推定(KDE)

多峰性の応答に対応できる

モード数が未知でも対応できる

カーネル密度推定

)};(exp{1

1

ICl iiii y

y

xψy i

xψy

y Ixyi

i iiN ),;(

ガウスカーネル

),|1( Ilp ii x

(6) (32)

カーネル密度推定

),|1( Ilp ii x

),;( I0εε ii N

N

mi

imN 1

1

iii εxy 真の値ノイズ観測値

PDMで使用されない主成分の固有値の平均

)};(exp{1

1

ICl iiii y

y

xψy i

xψy

y Ixyi

i iiN ),;(


(6) (32)

MAP推定

),;()( Λ0qp Np ]};;{[ 1 mdiag Λ

xψy

y Ixyxi

i iiii NIlp ),;(),|1(


固有値

尤度関数

n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)


pの事前分布

(10)

(32)’

パッチと画像の位置yにおける類似度

MAP推定

),;()( Λ0qp Np ]};;{[ 1 mdiag Λ

xψy

y Iyxxi



固有値

尤度関数

n

i

ii

n

ii IlppIlp1

1 ),|1()(),}1{|( xpp (3)


pの事前分布

(10)

(32)

xとyを交換しても値は同じ

MAP推定

),;()( Λ0qp Np ]};;{[ 1 mdiag Λ

xψy

y Iyxxi



固有値

尤度関数

n

i

ii

n

ii

i

iNpIlp

1

1 ),;()(),}1{|(xψy

y Iyxqp (33)’

パラメータpの事後分布位置xに特徴点iが存在する

確率分布

qにのみ依存

(10)

(32)

MAP推定

n

i

ii

n

ii

i

iNpIlp

1

1 ),;()(),}1{|(xψy

y Iyxqp (33)’

パラメータpの事後分布位置xに特徴点iが存在する

確率分布

qにのみ依存

最大化するパラメータpを求めたい

EMアルゴリズム

MAP推定のEMアルゴリズム

1. パラメータの初期値を選ぶ

)(ln)|,(ln),|(

)|,()(ln),(

ppYpY

pYppp

Y

y

pIpIp

IppEQ

old

old

)|( Ip p を最大化したい

パラメータデータ

事後分布

oldp

2. Eステップ

),|( Ip oldpY

潜在変数

3. Mステップ

でpを更新する

を計算する

),(minarg oldnew Q pppp

4. 収束するまで2と3を繰り返す

Eステップで計算

EMアルゴリズムによるFitting

Eステップ

),|( Ip oldpY

潜在変数

を計算する

),|(),|( IpIpold

ii

old

i xypy

nyyY ,,1

),;(),|()( Iyxyxy y i

old

ii

old

ii NIppi

pが求まるとxも一意に求まる

ベイズの定理から


Eステップ

),|( Ip oldpY

潜在変数

を計算する

),|(),|( IpIpold

ii

old

i xypy

nyyY ,,1

i

i

i

i wN

N

i

old

i

i

old

i

y

ψz

z

y

x

Izx

Iyx

),;(

),;(

(34)

正規化


Mステップ

)(ln)|,(ln),|(),( ppYpYppY

pIpIpQ oldold

でpを更新する ),(minarg oldnew Q pppp

)(ln)|,(ln),|(11

qxyxyY

pIpIpn

i

ii

n

i

old

ii

CNNwn

i

ii

n

iii

),;(ln),;(ln11

Λ0qIyxY

yy

n

i

ii

ii

iw

1

22

1

ψy

y

Λyxq

(35)

Q関数の最小化

Mステップで以下の式を最小化したい

n

i

iiKDE

ii

iw

Q1

22

1)(ψy

y

Λyxqp

(35)

ガウス・ニュートン法で反復的に最小化を行う

)~

()~

( 111vJpΛJJΛp

TT

ppp

1. パラメータ更新量Δpの計算

2. pの更新

(36)

Q関数の最小化

)~

()~

( 111vJpΛJJΛp

TT

パラメータ更新量Δpの計算

c

ii

i

c

i

i

c

i

i

iiii i

i

N

Nv xy

Izx

Iyx

ψy ψz z

y

),;(

),;(

(36)

(37)

Mean-Shift

j

iij

p

xJ

1

1

1

1

0

0~

m

Λ

Q関数の最小化

Mean-Shift

c

ii

i

c

i

i

c

i

i

iiii i

i

N

Nv xy

Izx

Iyx

ψy ψz z

y

),;(

),;(

現在の特徴点i

の位置現在の特徴点iの周辺の応答の重心

(37)

X

Ｘ繰り返し処理でカーネル密度分布のピークを求める！

重心

現在の特徴点

vi

追跡アルゴリズムまとめ

初期処理

1. 入力画像Iと初期パラメータpを与える。

2. パラメータから特徴点位置を算出し、周辺領域でパッチの応答を計算

)};(exp{1

1),|1(

IClIlp

ii

ix

x

(6)

追跡アルゴリズムまとめ

以下をパラメータpが収束するまで繰り返す。

3. Mean-Shiftベクトルを計算

4. PDMのパラメータをアップデート

5. パラメータと特徴位置の更新

c

ii

i

c

i

i

c

i

i

iiii i

i

N

Nv xy

Izx

Iyx

ψy ψz z

y

),;(

),;(

(37)

)~

()~

( 111vJpΛJJΛp

TT (36)

ppp pJxx i

c

ii (12)

部分的なオクルージョンの対策

特徴量と画像パッチとの類似度が大きく外れた場合は、オクルージョンとみなして追跡を行わない。

n

i

iiKDE

ii

iw

Q1

22

1)(ψy

y

Λyxqp

(35)

n

i

iiKDE

ii

iwQ

1

22);()( 1

ψy

yΛyxqp (38)

M推定：

外れ値に対し重みを下げる

例： Gemen-McClure関数

事前計算による効率化

pを更新するごとにMean Shift(34)を計算し直す必要

xψz

z

y

yIzx

Iyx

i

i

i

i

ii

ii

N

Nw

),;(

),;(

(34)

事前に各グリッド毎の移動ベクトルvを計算しておく

実験1 静止画に対する実験

以下のデータセットを用いて実験

I. CMU Pose, Illumination and Expressionデータベース

(MultiPie)

特徴点：68ポイント

339人の被験者の762枚の正面顔画像を使用

II. XM2VTSデータベース

特徴点:68ポイント

295人の被験者の2360枚の正面顔画像を使用

4-foldの交差検定で評価実験

実験1 静止画に対する実験

フィッティング方法の比較

•ASM = Active Shape Model

•CQF=Convex Quadratic Fitting

•GMM=Gaussian Mixture Model

•RLMS=本手法

実験2 画像シーケンスに対する実験

以下のデータセットを用いて実験

I. FGNet talking face sequence

Ground TruthはXM2VTSと同フォーマット

実験方法は静止画の時と同様

ただし、学習画像は全XM2VTSデータセットのものを使用

実験2 画像シーケンスに対する実験

実験3 オクルージョンに対する定性評価

最尤推定＋


MAP推定＋


MAP推定＋

Geman-Mclure

カーネル

最尤推定＋

Geman-Mclure

カーネル

結論

ローカルな特徴を用いた形状フィッティングの方法について、ノンパラメトリックな分布を用いる方法を提案

顔のフィッティング実験で、精度の面でもいくつかの既存手法を上回った。

この手法はフレームワークであり、以下の拡張/変更が可能

特徴検出器

より洗練された形状モデル

時間軸方向の動き平滑化

カーネル

201205016 deformablemodelfitting

Documents