Lightweight Binocular Facial Performance Capture under Uncontrolled Lighting

Siggraph 　 Asia 2012 文献紹介

石井

この文献でいいたいこと 映画など顔形状による CG 合成を利用 従来はシステムが大掛かり 単純なステレオカメラで細かい表情変

化まで取得することを目指す

従来手法 マーカーを装着型

精度が悪い マルチカメラ再構成 ライトコントロール型

装置が大掛かり

ステレオカメラで Uncontrollable なシーン（屋内、屋外）でも精細な顔形状復元を行う（ただし、カメラはキャリブレーション済み）

アプローチ概要 First Step

ステレオカメラ＋トラッキングで粗い形状推定 誤差を減らすために、マッチング制約を提案

Second Step 照明が変化するシーンで反射率／照明推定を実施

し、 Shape refinement を行う

初期化 ステレオ画像に対し視差算出

Ed ＝データ項、 Eg ＝幾何項、 Es= 平滑化項 詳細は後ほど

PostProcessing 背景除去。三角メッシュ表現。点数揃える 平滑化処理し、メッシュの色は左右画像の合成色

Template 　 Tracking

Scene Flow の計算 2 フレーム間で 4 フレームの情報を利用可

能 4 フレーム間の拘束条件から対応点推定

Template 　 Tracking

Scene Flow の計算

Template 　 Tracking

データ項：各画像間の座標誤差計算

コスト関数

外れ値にロバストにするためL1 ノルムで正則化

Template 　 Tracking Geometry 項：ステレオ画像間のエピ

ポーラ拘束を利用

コスト関数

外れ値にロバストにするためL1 ノルムで正則化

Template 　 Tracking Smoothness 項：異方性のエッジに基

づき滑らかさを評価・ r1,r2 は第一、第二固有値・形状変化するので、　 Scene flow 推定中は再計算

平滑化項の比較

エネルギー最小化 多重解像度で各解像度で推定 ３ D motion field を使って、形状変化

を表現

Mesh Tracking

Scene Flow がわかれば各頂点のTracking が可能

Noise や Drift があるので制約を設ける

Mesh Tracking Position Constraints

メッシュの滑らかさを保つために、頂点の部分集合 C に対して SceneFlow を揃える

条件 部分集合 C の全頂点は左右のカメラから見えて

いること 背景によるエラーを防ぐため、法線と照明方向

のなす角度が閾値（ 70 度）以下であること

Mesh Tracking Position Update

３ D 復元点 Si の Flow

実際は Si が Noisy ３ D 復元結果に Flow を加算するのではな

く、 Flow を逐次加算していく

Mesh Tracking Laplacian Regurarization

表情（ 3 次元的）形状の変化を考慮した制約

L:Laplacian matrix with cotangent weight of mesh メッシュ平面に対する法線の Laplacian matrix

第二項は頂点位置の誤差項

Motion Refinement 誤差の蓄積などに対して Refinement する 方法（時刻 t+1 のとき）

メッシュのトラッキング結果から左右画像を合成(f0r,r1r) 　

正解データ f0(t+1),f1(t+1) との再投影誤差算出 f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から　メッシュをアップデート

Shape Refinement

2 ステップからなる １．各フレームで照明と反射率を推定 ２．陰影情報に基づく幾何推定を実施

顔の反射率推定 表面の形状修正

Albedo( 反射率 ) Clustering K-means クラスタリング

・ ai : 頂点の反射率集合・ k ：クラスタリング数・ Sk ：クラスタ番号・ ui ：クラスタ内の平均反射率

ai の初期値は、前フレームの幾何形状・照明条件から計算

反射率がもとまったら、照明方向・強度を推定（既存手法）

Surface Refinement

反射率・照明条件から頂点の法線を算出

顔は完全拡散面では無い Highlight はノイズになる→平滑化項導入

Surface Refinement

データ項 入力画像と合成画像との Shading の勾配差

i: メッシュ N(i): メッシュ i の近傍メッシュ C: カメラ番号 Q(I,j) ：カメラ集合 r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配

Surface Refinement

Similarity 項 時刻 t-1 の法線と時刻 t の法線の類似性

nit: 時刻 t-1 の法線 Xtu-Xtv: 三角メッシュの 2 点の差

時刻 t,t-1 のベクトル間の外積を算出nit

Xtu

Xtv

Surface Refinement

Smoothness 項 近傍の 2 頂点間の二乗誤差

エネルギー最小化の高速化 非線形最適化の繰り返し

処理速度遅い 複数メッシュを集めたパッチで処理するが、

パッチ内のメッシュ数が多いと遅く パッチ内のメッシュ数が少ないと推定が計算が

不安定 一次テイラー展開で近似

各頂点とその近傍点から計算する Sparse Linear Problem になり高速化

Results

カメラ EOS 550D と GoPro 3D で実験 良環境と難環境で比較 どちらも FullHD 頂点数 100000

Results: Canon

Results: Canon( 違う人で評価 )

Results(Go Pro)