20150328 cv関東勉強会 sumisumithパート_v1.3

3. 多眼ステレオ ( Multi-View Stereo )3.1 フォトメトリックコンシステンシー

( Photometric consistency function )- 2枚の画像からのphoto-consistency

2015/03/28

@sumisumith

Computer Vision and Image Media 5 – Section 2

多眼ステレオとは

多眼ステレオ＝多眼画像を用いた3次元モデル生成手法が注目されている

多眼画像って、何？

- 被写体をさまざまな方向・角度から撮影した写真群のこと

Page 1

日本放送協会様の多眼撮影システム映画MATRIXの多眼撮影システム


多眼ステレオで扱う代表的な特徴量

多眼画像の様々な情報から、3次元モデルの推定をする

Page 2

幾何情報

被写体色

照明情報

対象性

特徴点

被写体シルエット

被写体

多眼画像

この辺すべてが、Photo-Consistencyの特徴となりうる（と思う）


(少し余談)多眼ステレオを用いた代表アプリ：任意視点画像生成

Image Based Rendering

- 光線空間で3次元空間を表現し、光線空間の切り出しで、任意視点画像を生成する手法

- 代表製品：Lytroなど

Model Based Rendering

- 対象の３Dモデルを作り、任意視点画像を生成する手法

- 代表製品：PointGray Bumblebeeなど

↓

- ちゃんとした全周の３Dモデルができる→３Dプリンタと相性が良いイメージ（流行る？）

Page 3


Model Basedな手法いろいろ

視体積交差法(Shape From Silhouette : SFS)

- シルエット情報を用いて、ロバストにボクセルモデルを作る手法

照度差ステレオ法

- 照明を当ててその反射の反射強度から法線ベクトルを求める手法

マルチベースラインステレオ法

- ステレオカメラを複数に使い、特に遠方測距を安定に行う手法

MRF(Markov Random Field)用いた手法

- 3D空間で最適化手法を用いて、滑らかな３Dモデルを復元する手法

PMVS手法(Patch-based Multi-View Stereo)

- パッチ拡張とフィルタリングを繰り返して高精度な３Dモデルを復元する手法

etc...

Page 4


Model Basedな手法の代表例-視体積交差法

各画像の物体領域をシルエットと考え、3次元的にシルエットを満たすボクセル領域を近似3次元モデルとする手法

Page 5

被写体の凹部を抽出することができない

Camera B

Reconstruction space

Camera A

Silhouette on image

Object

近似3次元モデル(Visual hull)


CV５本にて解説されている論文について

[13] using multiple hypotheses to improve depth-maps for multi-view stereosNeill D.F. Campbell, George Vogiatzis, Carlos Hernandez, and Roberto Cipolla

の“ 近傍画像からのデプスマップ生成手法 ”をベースに紹介

本論分の概要を、ざっと言うと、、、

- NCCすげー

- MRFすげー

Page 6


結果からお見せ(ゴイスー)

Page 7


少目次

2眼ステレオ(のおさらい)

- 幾何計算の基本

- エピポーラ幾何

Photo-ConsistencyのためのNCC

- NCC(Normalized Cross-Correlation)について

- 類似テクスチャ問題への対応

- マッチングの失敗への対応

近傍画像からのデプスマップの推定

- 深さの候補の設定

- MRFの式について

-データ項の設計

-平滑化項の設計

- MRFの最適化の手法の選択

多眼ステレオへの拡張

Page 8


少目次















Page 9



キャリブレーション済みの画像群を使用することを前提にした手法

キャリブレーションにより得ているパラメタ１

- 内部パラメタ行列：Aカメラの焦点距離：f (fx = fyとする)光軸のズレ量：cx, cy

- レンズの歪曲収差パラメタ：D (k1, k2, k3, p1, p2)

Page 10

カメラ模式図（横）光軸ズレ

CMOSセンサ

仮想一枚レンズ

𝐴 =𝑓 0 𝑐𝑥0 𝑓 𝑐𝑦0 0 1


キャリブレーションにより得ているパラメタ２

- 外部パラメタ行列：[R|t]回転行列：R並進ベクトル：t


Page 11

R, t

𝑅|t = 𝑟1 𝑟2 𝑟3 𝑡

※すべて列ベクトル


エピポーラ幾何

2つのカメラで同一の物体を撮像したとき、カメラAの投影中心から物体のある特徴点への光線は、カメラBでは、直線＝エピポーラ線として得られる

Page 12

Camera BCamera A

OA

エピポーラ線


対応点の3次元復元

三角測量の考え方で計算し、3次元復元できる→対応点の精度が、そのまま、3次元復元精度に直結

Page 13

Camera BCamera A

OA

OB

R, t


少目次















Page 14



エピポーラ幾何により、ライン上で対応点を探索をする

- スライディングウィンドウを用いて、NCCスコアでマッチング

従来の手法：NCCマッチングスコアが最大の点を採用して、3次元点を得る→スコア最大の点以外を用いるのが提案手法のポイント

Page 15

Camera BCamera A

O

スライディングウィンドウ


NCCの何が良い？マッチング手法の選択

２つの画像の対応点を、正確に間違いなく得ることが３D計測問題を解くキー→使う画像群の性質でどういったマッチング手法を使うべきかを考える必要がある

選択基準例）

汎用的、ロバスト性が強い

計算量が少ない

サブピクセル精度で高精度マッチングができる

提案手法では、なぜNCCでやる？

- 他の手法に比べ、安定的だから

-扱う画像によっては、SSDやPOCのほうが良いケースもある

Page 16


NCC(Normalized Cross-Correlation)を用いた深さ推定

※CV5本では、ZNCCをNCCとして解説しているので、NCC (＝ZNCC) のつもりで説明します

マッチングスコアが高い位置を正解の深さとする

Page 17

𝑅𝑁𝐶𝐶 = 𝑖,𝑗 𝐿𝑖𝑗 − 𝐿 𝑅𝑖𝑗 − 𝑅

𝑖,𝑗( 𝐿𝑖𝑗 − 𝐿 )2

𝑖,𝑗( 𝑅𝑖𝑗 − 𝑅 )2

NCC score

Depth


ちなみに、NCC vs ZNCC(Zero-mean NCC)

ロバスト性の観点から

ZNCCは、NCCよりも明度変化に強い

Page 18

熊本大内村研：http://navi.cs.kumamoto-u.ac.jp/

画像引用元：http://navi.cs.kumamoto-

u.ac.jp/~koutaki/pukiwiki/index.php?%A5%BC%A5%ED%CA%BF%B6%D1%C0%B5%B5%AC%B2%BD%C1%EA%B8%DF%

C1%EA%B4%D8

あえて明度変化をさせた画像を、マッチングさせた結果


ちなみにちなみに、SSD vs NCC

速度・サブピクセル分解能の観点から

SSD(Sum of Squared Differences)

- 差の二乗和

- パラボラフィッティングとの組み合わせで経験的に、0.5 pixels くらいのサブピクセル分解能が出る

NCC

- 相互相関の正規化されたもの

-－1.0 ～ 1.0 の値を取る

- SSDと同様に、極大を取る手法でサブピクセル値を得ることができる

- が、計算コストがSSDよりかかる

Page 19

画像引用元：https://siddhantahuja.wordpress.com/tag/normalized-cross-

correlation/


サブピクセル推定の手法比較をもっと詳しく！

こちらで、ご覧ください^^

- POCなども紹介されてます

Page 20

参照：http://www.slideshare.net/yijiri/prmu-201312-subpixel-objectdetectionsurvey


マッチングをする上での課題

類似テクスチャ問題への対応

- 似たような模様がある物体の場合、対応すべきでない箇所で、高いスコアが得られてしまう

マッチングの失敗への対応

- オクルージョン(遮蔽)、ウィンドウ箇所が勾配面である、テクスチャレスである、などが原因で、正しくマッチング計算できない

Page 21

○

×

梁のような部分


撮影画像内の類似テクスチャの問題

同一物体の表面テクスチャにおいて、類似のテクスチャが、存在することがある

Page 22

ここがMaxスコアになることもありうる

ここが正しい位置、かつ、Maxスコア



対応策

- マッチングウィンドウサイズを大きくする→ローカルなテクスチャの固有情報が増え、マッチング率が上がる

- 副作用１→スコアの関数がブロードになり、ピーキーな点が取りづらくなってしまい、測距精度が落ち気味になる

Page 23

NCC

score

Depth

NCC

score

Depth



- 副作用２

→たまたまスコアが高いだけのケースがあり、ミスマッチングの位置を採用してしまう可能性がある→マッチングの失敗への対応処理で、問題を解決

Page 24

実際にはピークが出ないでほしい箇所でNCCがMaxスコアになることもありうる



ミスマッチングの要因例

- オクルージョン部で、マッチングがうまくできない

- 対象物の勾配面のため、ウィンドウマッチングがうまく働かない

- テクスチャレスのため、カーブ全体でマッチング精度が悪すぎる

提案手法の方針→ミスマッチをしていそうな部分はunknown状態とし、微妙そうであることを認識して、誤り測距領域を減らす

Page 25

オクルージョン部をunknown状態にしている例



あるpixelが、unknown状態になる条件

- NCCのスコアのカーブの中に、ピーキーな点がない

- オクルージョン等により、周辺との空間的な連続性がない

MRFにより、unknown状態を含めた、デプスマップの最適化処理を行う→オクルージョンによる誤領域を排除して3次元復元

Page 26


少目次















Page 27



すべての入力画像に対して、2つの処理をする

- その１：画像の各画素に対して、NCCスコアにより深さ候補を抽出

- その２：マルチラベルMRFモデルにより、デプスマップを生成

提案手法のポイントは、MRF最適化する際に、unknownな状態を設けること

- 深さ推定に関して、十分な信頼度がない

Page 28

オクルージョン部をunknown状態にしている例


深さの候補の設定

：デプスマップを求めたい画像

：の近傍の画像

：奥行きのサンプリングに対応したNCCスコア

：NCCスコアのトップK個中の k 番目のスコア※各pixelにおいて、近傍画像すべてを使って、トップK個を求める

Page 29

𝜌𝑖 𝑧𝑖,𝑘

𝜌𝑖 𝑧

𝑁 𝐼𝑟𝑒𝑓

𝐼𝑟𝑒𝑓

𝐼𝑟𝑒𝑓

マルチにデプスを扱うので、小さなウィンドウを使ってピーキーな点を高速に計算しても、割と安定

𝐼𝑟𝑒𝑓

𝑁 𝐼𝑟𝑒𝑓 𝑁 𝐼𝑟𝑒𝑓


MRFの式について

を用いて、正しい深さ情報のラベル付けをMRFにて、各pixelに与える

NCCによるミスマッチ部分をunknown状態として与えるのが、ミソ

- ラベルには、unknownを表現するラベルを用いる

Page 30

𝐸(𝐤) =

𝑖

𝜙 ( 𝑘𝑖) +

𝑖,𝑗

𝜓 ( 𝑘𝑖 , 𝑘𝑗)

𝜌𝑖 𝑧𝑖,𝑘

𝒰

𝑘𝑖 ∈ 1…𝐾,

データ項平滑化項

𝐤 = 𝑘𝑖◆ のときのエネルギー最小化問題の式

i

( i, j )

𝒰


データ項の設計

unknown部に、定数を与える狙い

- 近傍に近いデプスがないようなピクセルを、閾値的にカット

- 平滑化項での計算で、デプスの差が大きい部分＝オクルージョン部を選出し排除

Page 31

𝜙(𝑘𝑖 = 𝑥) = 𝜆𝑒 −𝛽 𝜌(𝑧𝑖,𝑥 𝑥 ∈ [1…𝐾𝜙U 𝑥 = 𝒰

𝐸(𝐤) =

𝑖

𝜙 ( 𝑘𝑖) +

𝑖,𝑗



𝛽 = 1

𝜙U = 0.04

𝜆 = 1

で実験した

NCCスコア -1 0 1 𝜙U

𝜙(𝑘𝑖 = 𝑥) 2.72 1.00 0.37 0.04

𝑥 K=低い K=真ん中 K=高い unknown

𝜙U


平滑化項の設計

平滑化項の役割

- ベーシックに隣接する画素の奥行き値は近い前提条件を使い、たまたま高いスコアの点を排除

unknown部に、定数を与える狙い

- 近傍のunknownを巻き込んで、unknownな領域塊ができやすくなる

Page 32

𝜓(𝑘𝑖 = 𝑥, 𝑘𝑗 = 𝑦) =

2|𝑧𝑖,𝑥 − 𝑧𝑗,𝑦|

𝑧𝑖,𝑥 + 𝑧𝑗,𝑦 𝑥 ∈ 1…𝐾 𝑦 ∈ [1…𝐾

𝜓U 𝑥 = 𝒰 𝑦 ∈ [1…𝐾

𝜓U 𝑥 ∈ 1…𝐾 𝑦 = 𝒰0 𝑥 = 𝒰 𝑦 = 𝒰

𝜓U=0.002

で実験した

𝐸(𝐤) =

𝑖

𝜙 ( 𝑘𝑖) +

𝑖,𝑗



𝜓U


MRFの最適化の手法の選択

どのエネルギー最小化手法を使うか？

- グラフカット、信念伝播法、あたりがメジャー

提案手法では、TRW-Sを利用(調べられなかったので、以下、アブストをそのまま貼り付け汗)

- TRW(ツリー重み再配分メッセージ伝達法)は下界が下がる可能性があり、かつ、収束するとは限らない

→逐次的再重み付け木によるメッセージパス法(TRW-S)

- 下界が減少しないことが保証

- 下界の局所最大化を与える弱い木の合意条件がある

Page 33

𝐸 k = argmin

𝑖

𝜙 ( 𝑘𝑖) +

(𝑖,𝑗)

𝜓 ( 𝑘𝑖 , 𝑘𝑗)k

参照：http://www.ricoh.com/ja/abs_club/IEEE/tPAMI-2006.html#p280903



デプスマップが複数個、得られる

これらすべてのデプスマップを合わせこんで、全周囲３Dモデルを作って、処理エンド

→詳しくは、@kanejakiさんの発表にて(^ω^)

Page 34


実験結果：デプスマップと３D復元結果

Page 35

(b)が従来法、(c)が提案手法、(d)黒赤いところがNCCのスコアの良い箇所従来法よりも、オクルージョン部でノイズ低減がなされている

(e)(f)のデプスマップを組み合わせたのが、(g)のデプスマップ(h)が3次元復元結果

𝐼𝑟𝑒𝑓

Computer Vision and Image Media 5 – Section 2 Page 36

ありがとうございました (^ω^)

@sumisumith

20150328 cv関東勉強会 sumisumithパート_v1.3

Technology