基礎輪講 第2週

3次元処理・座標系

内容

• H-Matrix × イメージモザイキング

2D-2Dの座標系変換

• P-Matrix ×カメラキャリブレーション

2D-3Dの座標系変換

• F-Matrix ×エピポーラ幾何

2D-3D-2Dの座標系変換

2

H-Matrix

• 画像から画像への変換

• 画像の幾何学的変換の一種

H-Matrixの応用例• イメージモザイキング

• Diminished Reality

原画像群イメージモザイキング

幾何学的変換

3

斉次座標とは？

• n次元の座標に1次元追加すること

• 平行移動を含めた，全座標変換を行列で表現できる．

⎟⎟⎠

⎞⎜⎜⎝

⎛+⎟

⎠

⎞⎜⎝

⎛⎟⎠

⎞⎜⎝

⎛=⎟

⎠

⎞⎜⎝

⎛

y

x

tt

yx

dcba

'y'x

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

11001yx

tdctba

~'y'x

y

x

斉次座標なし 斉次座標あり

：同値記号~

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

λλλyx

~yx

1

定数倍の違いを許して，等しいこと

6

補間

• ニアレストネイバ

• バイリニア補間

• バイキュービック補間

変換前 変換後

幾何学的変換後の再標本化時，明度値決定法

8

P-Matrix×カメラキャリブレーション

実世界(3次元)

C

v

u

XwZw

Yw

3次元世界と画像

画像(2次元)

画像(2次元)との対応関係(P-Matrix)が必要！

対応関係を求めることを，カメラキャリブレーションという．9

カメラキャリブレーション

wXP~m ~~⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

1

~1 34

24

14

33

23

13

32

22

12

31

21

11

w

w

w

ZYX

ppp

ppp

ppp

ppp

vu

と定め，不定性を排除

変数が11個→6組以上あれば，求められる！

134 =p

P-Matrixを求め，物体と画像の関係を求めること

C

v

u

XwZw

Yw

3次元世界と画像

10

座標系のいろいろ・カメラ座標系・世界座標系・正規化画像座標系・画像座標系

2次元

カメラ座標系 世界座標系

正規化座標系 画像座標系

3次元

座標の変換

Xw

ZwYw

( )yx,

X

( )vu,

( )ZwYwXw ,,

YZ

y

x

( )CvCu ,u

v

座標系モデル

カメラ座標系

世界座標系

正規化座標系

画像座標系

(Cu, Cv) 画像中心

11

課題：既知のP-matrixによる座標変換

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛−=

0.10.00.00.14244276.4220.00.1650.08079.380

A

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−

−−=

419745.0907406.0020715.0907224.0420135.0020762.0027543.0010079.0999570.0

R⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛−−

=088277.296776317.14517020.3

t

マーカ画像 座標変換による立体出力

マーカ

既知のP-Matrixを用いて，一辺80の立方体を画像上に描きなさい．

16

点P：対象物点C点C’：光学中心

：投影点（正規化画像座標）：投影点（画像座標）

F-matrix × エピポーラ幾何エピポーラ拘束

画像上の投影点間には拘束条件がある．

F：F-matrix

0~'~ =mm T F

P

'~x'C

C

x'x

エピポーラ幾何

m 'm

x 'x

17

課題：エピポーラ線の出力

エピポーラ線を出力してください．

視点1画像 視点2画像

対応点2画像

対応点1画像

18

発表の内容と実装

19

• H-Matrix理論

応用例・実験

(イメージモザイキング・DR・補間など)• P-Matrix

各座標系についての説明

応用例・実験

• F-Matrixエピポーラ幾何の理論

応用例・実験