視覚の幾何学１視覚の幾何学

呉海元＠和歌山大学呉海元＠和歌山大学2010年5月31日

参考書参考書佐藤 淳：「コンピ タビジョン 視覚の幾何学 」「コンピュータビジョン －視覚の幾何学－」コロナ社

Single view geometrySingle view geometry

Camera modelSingle view geomSingle view geom.

理想的なカメラ理想的なカメラ☆この平面上に撮像素子を置いておけば，ピントの合った画像が得られるピントの合った画像が得られる

レンズによる写真投影 ピンホールカメラ投影

●3次元空間のある点から発せられた光はレンズによって一点に集光される点 集光される

●光がレンズに入射する角度に応じて集光される位置が変わる

透視変換（中心投影）正射影（平行投影）

る位置が変わる

●どのような角度で入射した平行な光もすべてある一つの平面上に集光される

実際のカメラ実際 ラ

●実際に使用するカメラは対象物からの光を受ける受光部(撮像素●実際に使用するカメラは対象物からの光を受ける受光部(撮像素子)と、受光により発生する微弱な電気信号を処理する信号処理部からなっている

★イメージセンサに受光部と信号処理部を含まれる

●受光部の前にはレンズが置かれ、光はこのレンズによって集光され 絞りを通して撮像素子(イメージセンサ）に至るされ、絞りを通して撮像素子(イメージセンサ）に至る

●レンズ系と撮像素子によって、3D空間から2D画像への投影

実際のカメラ実際 ラ

●実際のカメラではレンズ収差や歪みが生じるため、複数のレ ズを組み合わせて レ ズ収差や歪みなどを数のレンズを組み合わせて、レンズ収差や歪みなどを取り除く

カメラモデル（Camera model）カメラモデル（Camera model）

画像内の一点と3次元空間中の光線の関係

?

投影（ P j ti ） 射影関係によ て決定投影（ Projections ）・射影関係によって決定

⇒ この関係を記述するカメラモデルが複数ある

投影による3次元空間の2次元画像への変換投影による3次元空間の 次元画像 の変換

レンズによる写真投影 ピンホ ルカメラ投影レンズによる写真投影 ピンホールカメラ投影

透視変換（中心投影）正射影（平行投影）

平行投影・正射影 透視投影

投影中心

投影面投影面投影面

ピンホール･カメラ(pinhole camera)(p )

f o

Pinhole Object

f o像が上下逆転

●撮像素子が置かれる面を画像面I (image plane)●全ての光が通過する点 を光学中心

Image plane

●全ての光が通過する点(pinhole)を光学中心o(optical center) ●光学中心と画像面の間の距離を焦点距離f (focal length)

特徴：特徴：●ピント合わせの必要がない●投影の幾何学的な性質がそのまま保存されている●投影の幾何学的な性質がそのまま保存されている●視覚の幾何を考えるうえで理想的な性質を持つ

ピンホール･カメララ透視投影 (Perspective Projection)

●仮想的に画像面(Virtual image plane)を光学中心の前(対象物側)に置くと、像が上下逆転せずに投影される

投影がより扱いやすくなる⇒ 投影がより扱いやすくなる

●普通、画像面を対象物側に置いて考えるもちろん 光学中心の後ろのまま考える場合もあるもちろん、光学中心の後ろのまま考える場合もある

Pinhole ObjectVirtualimage plane 画像面の場所によって、

Image planeg p

数式の±記号の差がある

透視投影モデル透視投影モデル

y y’(x’, y’, z’) (x,y,z)から(x’,y’,z’)へ投影:

（相似三角関係より）

簡略されたモデル：y y

(x, y, z) （相似三角関係より）

z’

z

z O xx’

z

x x’

yzxzx

仮定：原点を ズの中心に

zzzyzy

（f = Z’）

１．原点をレンズの中心に２．Z軸と光軸と同じ

zz （f ）

★幾何関係だけ考える理論系の人はよくf Z’ １とする

●透視投影はZに関し非線形である

★幾何関係だけ考える理論系の人はよくf = Z’ =１とする

Pinhole camera imagePinhole camera imageAmsterdam: what do you see?

straight line

size

parallelism/angle

shapes ape

shape of planes

parallel to image parallel to image

Depth ?

- We see spatial shapes rather than individual pixels- Knowledge: top-down vision belongs to human

stereo

motion- Stereo & Motion most successful in 3D CV & application- You can see it but you don't know how…

size

structure …

透視投影 (Perspective Projection)透視投影 (Perspective Projection)

点⇒点

線⇒線

面⇒面 面⇒面

ポリゴン⇒ポリゴン消失点

遠い物体が小さい

奥行き情報が得られない

Perspective effectsp

Perspective effectsp

同次座標系Homogenous Coordinates同次座標系 g

b'

' xebax2次元座標値：

fe

yx

dcba

yx

''

11001' yfdcy

１つ次元を

積 和

11001

積のみ！

１つ次元を上げると・・・

座標変換を全て行列の乗算で処理可能積のみ！

3次元座標値を，一つ次元を上げて4次元空間の中で処理 ( x, y, z ) ( x, y, z, f )

(x/f, y/f, z/f) が三次元座標値となる

f=1のときはそのまま(x y z)が座標値 f 1のときはそのまま(x, y, z)が座標値

透視カメラモデル透視カメラ デル

(ox, oy)

透視カメラ デ透視カメラモデル

実際の画像座標軸は必ずしも直角をなさない光軸点(image center)を画像中心とする (ox, oy)

実際の画像座標軸のスケールは互いに異なる実際の画像座標軸は必ずしも直角をなさない

(kx, ky)

カメラのパラメータカメラのパラメ タCamera Parameters

画像座標系Image coordinates (ximage, yimage)g g

画像中心Image center (ox, oy) カメラ座標系C di t (x y ) カメラ座標系Camera coordinates (xcamera, ycamera) ワールド座標系Real world coordinates (X, Y, Z) 焦点距離Focal length f画素の有効サイズEff i i f i l i illi 画素の有効サイズEffective size of pixel in millimeter

(kx, ky)( x, y)

カメラのパラメータxcameraximage oxkx

00 cameraxximage xk

okx

ラ ラ タ

ycamerayimage oyky

11000

1camerayyimage yoky

同次座標系を導入することによ て

fX

同次座標系を導入することによって、複雑な座標変換がすべて行列の形で処理できる

VU

okok

VU

camera

camera

yy

xx

image

image

00 fX

fY

SS 100 Z

X

000000

00

ZYX

ff

okok

VU

yy

xx

image

image

1

0100100Z

Syyimage

カメラの内部パラメータＩ

00

XfkU

カメラの内部パラメ タＩ

01000000

ZY

ofkofk

SVU

yy

xx

image

image xx fkf

fkf

1

0100S yy fkf

fx

fxim

y ox(0,0)

fy

ox yPixel(xim,yim)

xp (x,y,f)

oy

Si oy

内部パラメータ（Intrinsic Camera Parameters）はワールド

yim(xim,yim)

OSize:(Sx,Sy)

内部パラメ タ（Intrinsic Camera Parameters）はワ ルド座標系内のカメラの位置と姿勢と依存しない

カメラの内部パラメータＩＩ レンズのひずみ

Lens Distortions(xd, yd)(x, y)

k1 , k2

)1( 42

21 rkrkxx d

,

Modeled as simple radial

)1( 42

21 rkrkyy d

Modeled as simple radial distortions

r2 = xd2+yd2

(xd , yd) distorted points k1 , k2: distortion coefficients

カメラ座標と世界座標カメラ座標と世界座標

ワールド座標を中心とする

世界座標とカメラ座標の関係

標

，

カメラの外部パラメータExtrinsic Camera Parameters

外部パラメ タはワ ルド座標系内のカメラの位置 外部パラメータはワールド座標系内のカメラの位置と姿勢によって決定される

平行移動 l i ( ベクトル)• 平行移動Translation (3x1ベクトル)• 回転Rotation (3x3行列)

yO

xim

(xim,yim) カメラ座標系x

y

pyim

R

標

コンピ タ内の画像座標系Zw

PPt

Rコンピュータ内の画像座標系カメラに対する画像座標系

XwYw

PwP

Oワールド座標系

平行移動（Translation）平行移動（Translation） (tx, ty, tz) Translation vector( x y z)

xworldcamera tXX

010001

world

world

y

x

camera

camera

YX

tt

YX

z

y

world

world

camera

camera

tt

ZY

ZY

11000100

1world

wo ld

z

y

camera

came a

ZtZ

3次元同次座標

Matrixn Translatio

worldcamera

YX

YX

同次座標

11world

world

camera

camera

ZY

ZY

t

11

カメラ座標を中心とするカメラ座標を中心とするピンホールカメラモデル、f =1

平行移動（Translation）平行移動（Translation）

Inverse translation

100010001

y

x

ttt

t

100010001

1 y

x

ttt

t

1000100 zt

1000

100 zt

Itt

00100001

010001

010001

1 y

x

y

x

tt

tt

Itt

10000100

1000100

1000100 zz tt

回転（Rotation）回転（Rotation） Z 軸周り

Y (X’,Y’,Z’)R Z-軸周り

(X,Y,Z)

R

R

cosRX

ZX

sinRY

YX

sinsincoscoscos YX

RRRX

iii YX

cossinsincossin RRRY

XX 0sincos sincos YXX cossin YXY

ZYX

ZYX

1000cossin0sincos

ZZ 100

回転（Rotation）

001

回転（Rotation）

X-軸周り

cossin0sincos0XR

Y-軸周り

0i010

sin0cosYR

Z-軸周り

cos0sin

0sincos

Z-軸周り

1000cossin ZR

回転なし

100010001

R

回転（Rotation）回転（Rotation） Inverse rotation

IRR TZZ IRR ZZ .

0010sincos0sincos

100010

1000cossin

1000cossin

100100100

回転行列は直交行列!! IRRRRRR TTT ei ..,1回転行列 直交行列

th i0

1 jij

Ti RR

,

otherwise0ji

回転行列とEuler角 , , はX, Y, Z軸周りの回転角

回転行列とEuler角XYZ RRRR

cossincoscossinsinsinsincoscossinsin

sinsincoscoscosR

注意：

coscoscossinsinsincossinsincossincos

• 一回一つの角度しか回転できない

• 順番と関係がある OO

If angle is small, then cos =1and sin = また * + =

Zw

Y

11

RXw

Yw

1

1

R

座標間の関係座標間の関係

外部パラメタ 内部パラメタ

世界座標

カメラ座標 画像座標

外部パラメタ 内部パラメタ

カメラ座標 画像座標

射影行列(透視投影行列)

世界座標と画像座標の関係

カメラのパラメータカメラのパラメ タ

ワールド座標系とカメラ座標系の下 ワ ルド座標系とカメラ座標系の下

tx, ty, tz と r1,1…r3,3 はカメラ外部パラメータ

TR worldcamera XX

3,12,11,1 worldxcamera

YX

trrrtrrr

YX

332313

3,22,21,2

ld

worldycamera

ZY

trrrtrrr

ZY

1100013,32,31,3 worldzcamera ZtrrrZ

外部パラメータ

カメラのパラメータカメラのパラメ タ

ワールド座標系と画像座標系の下でワ ルド座標系と画像座標系の下で

00 camera

i

XofkU

01000000

camera

camerayy

xx

image

image

ZY

ofkofk

SVU

1

0100 cameraS

Xt

0000

3,22,21,2

3,12,11,1

world

world

y

xxximage Y

Xtrrrtrrr

ofkofk

VU

11000010000

3,32,31,3

,,,

worldz

yyyimage Ztrrr

ofkS

V

11000内部パラメータ 外部パラメータ

2次元アフィン変換次元 ィ 変換

axx 'アフィン変換は線型変換（回転、拡大縮小、剪断）と平行移動の組み合わせ

ba

yx

yx

'平行移動

xax 0'

拡大・縮小

exbax'

yby 0'

拡大・縮小一般化！

fydcy'

アフ ン変換

yx

yx

cossinsincos

''

回転アフィン変換

yy cossin

せん断

xshx x1'

せん断

yshy y 1'

2次元アフィン変換変換

ba

yx

yx

''

平行移動 byy

b'

fe

yx

dcba

yx

''

アフィン変換

2次元アフィン変換

xax 0'

拡大・縮小

exbax'

yby 0' 一般化！

fydcy'

アフィン変換アフィン変換

2次元アフィン変換次元ア ィン変換

fe

yx

dcba

yx

''

xx sincos'

fydcy

アフィン変換

yx

yx

cossinsincos

'回転

アフィン変換をもっと簡単な形に~アフィン変換をもっと簡単な形に

同次座標

' b(homogeneous coordinates)(homogeneous coordinates)

exbax'

''

yx

fdceba

yx

fydcy'

11001１つ次元を

上げると・・・

図形の変換を全 行列の乗算1回 処理可能

積 和 積のみ！

図形の変換を全て行列の乗算1回で処理可能 複雑な座標変換がすべて行列の形で処理できる

同次座標の基本２Ｄ変換同次座標の基本２Ｄ変換

Basic 2D transformations as 3x3 matrices 01' xtx 00' xsx

11001001

1' y

xtt

yx

y

x

11000000

1' y

xs

syx

y

x

11001

平行移動Translate

11001

拡大・縮小Scale

0cossin0sincos

''

yx

yx

0101

''

yx

shsh

yx x

1100

0cossin1

yy

1100

011

yshy y

回転 せん断S回転Rotate せん断Shear

行列の合成行列の合成

複雑な座標変換の行列は各処理の行列の掛け算から合成

yx

ss

tytx

yx x

0000

0cossin0sincos

1001

''

wysty

wy y

10000

1000cossin

10010

''

p’ = T(tx,ty) R() S(sx,sy) p

同次座標 （3次元）同次座標 （3次元）

3次元座標値を つ次元を上げて4次元空間の 3次元座標値を，一つ次元を上げて4次元空間の中で処理

( x, y, z ) ( x, y, z, f )

(x/f, y/f, z/f) が三次元座標値となる

f=1のときはそのまま(x y z)が座標値 f=1のときはそのまま(x, y, z)が座標値

2次元アフィン変換と同じく、次元 ィ 変換 同 、座標変換をまとめて表記できる！

3次元アフィン変換3次元アフィン変換

' b

11001''

yx

fdceba

yx

''

232221

131211

yx

baaabaaa

yx

y

x

11001

2次元

110001' 333231 zbaaaz z

３次元３次元

P(x, y, z) からP(x’, y’, z’) へのアフィン変換（同次座標による表現）

APP ' APP （A： アフィン変換行列）

同次座標導入の利点

同次座標を使わない場合

• 一回目のアフィン変換11

' bPMP

• 二回目のアフィン変換 2'

2'' bPMP '' b)bP(MMP

21212''

2112

bbMPMMP

b)bP(MMP

同次座標を導入した場合

PAAP

PAP

12''

1'

A1,A2： 2D ⇒ 3 x 3 のアフィン変換行列A1,A2： 3D ⇒ 4 x 4 のアフィン変換行列PAAP 12 A1,A2： 3D 4 x 4 のアフィン変換行列

同次座標系導入の利点

f=w=1f

直線上の点はすべて同じ座標を持つものとする(点と線が同一視される)(点と線が同一視される)

無限遠要素無限遠要素

無限遠点 無限遠直線 無限遠平面

出席チェック

１ ピンホールカメラ（透視投影モデル）の原理図を１．ピンホールカメラ（透視投影モデル）の原理図を描き、撮影された画像の特徴について述べなさい

２ カメラの内部パラメ タ 外部パラメ タは？２．カメラの内部パラメータ、外部パラメータは？

３．同次座標系導入の利点について述べなさい