情報処理学会研究報告IPSJ SIG Technical Report

Affine-SIFTアルゴリズムを用いたバンドル調整法に基づく3次元形状復元

小 浜 隼 人†1 岡 本 拓 也†2 定 野 克 哉†2

林 豊 洋†3 榎 田 修 一†4 江 島 俊 朗†4

バンドル調整法1) とは画像から，幾何学的な 3次元モデルパラメータを精度よく推定するための手法である．対象物体を撮影した複数枚の画像を入力とし，画像中の特徴点対応から 3 次元座標を先ず計算する．計算した 3 次元座標を画像面に再投影し，再投影点と特徴点との距離（再投影誤差）を反復的に再推定していく手法である．しかし，アフィン歪が無視できない画像間では特徴点対応が得にくい．そこで、本研究では Affine-SIFT5) を用いて特徴点対応を増やすことで復元性能の改善を試みた。その結果、Affine-SIFT を用いた方が，SIFT によるものよりも密な点群を復元し，対象物体の形状をより正確に復元できることを確認した.

3D Reconstruction Method based onBundle Adjustment using Affine-SIFT Algorithm

Hayato Kohama ,†1 Takuya Okamoto ,†2

Katsuya Sadano ,†2 Toyohiro Hayashi ,†3

Shuichi Enokida †4 and Toshiaki Ejima†4

Bundle adjustment method is a technique for estimating geometric modelparameters from multiple images. First, the three-dimensional coordinates offeature point are calculated from the corresponding feature point. Next, re-projection error which is the distance between the projected points and fea-ture points is calculated. Finally, model parameters are modified to make re-projection error smaller. Through this estimation process being carried outiteratively, high precision parameters are obtained. However, in the affine dis-tortion between images, it is difficult to estimate high precision parametersusing SIFT. We apply Affine-SIFT to improve accuracy of 3D reconstructionfrom a group of affine distorted images.

1. は じ め に

製造現場や，娯楽コンテンツ制作，地理システムなど，3次元データに対する需要が非常

に高い．更に，一般的なWebブラウザでの 3次元データ表示環境が整いつつあると共に，

電子教科書によるインタラクティブな教育コンテンツの普及などにより，3次元データの活

用範囲がさらに広がることが予想される．しかしながら，3次元データの製作には人手によ

る部分が多いのが現状である．そこで，3次元データ製作の自動化が強く求められている．

実世界の建造物や物体の 3次元データを得る方法として，レンジセンサーを用いて精密な

3次元データを得る方法があるが，レンジセンサー自体が高価であることから，本研究では

一般的なデジタルカメラで撮影された画像を用いた 3 次元形状復元を取り扱う．その中で

も，画像中の特徴点を 3次元空間に逆投影した点を，画像面に再投影した際の，特徴点と再

投影点の距離（再投影誤差）を反復的に最小化するバンドル調整法1) を用いる．

上述したとおり，本研究では画像ベースの 3次元形状の復元を取り扱うが，この類の手法

には特徴点の画像間での対応付けが必須である．しかし，対象物体を多視点で撮影する場

合，視点によってアフィン歪の影響を受けることから特徴点の対応が定まりにくくなるとい

う問題が発生する．そこで、本研究では Affine-SIFTアルゴリズムによる特徴マッチング

を用いて特徴点の対応付けを増やすことにより 3次元形状復元性能の改善を図ることを試

みた。その結果、アフィン歪の強い画像群において Affine-SIFT アルゴリズムによる特徴

マッチングを用いた方が，SIFTによるものよりも密な点群を復元すること，入力画像数を

減らした場合にも対象物体の形状をより正確に復元できることを確認した．

2. バンドル調整法

本稿で用いる 3次元形状復元手法についての説明を行う．

†1 九州工業大学Kyushu Institute of Technology

†2 九州工業大学大学院情報工学府Kyushu Institute of Technology Graduate School of Computer Science and Systems Engineering

†3 九州工業大学情報科学センターKyushu Institute of Technology Information Science Center

†4 九州工業大学大学院情報工学研究院Kyushu Institute of Technology Faculty of Computer Science and Systems Engineering

1 c⃝ 2012 Information Processing Society of Japan

2.1 再投影誤差

3次元空間に適当に配置された m台のカメラで，空間中の n個の点を撮影し，その座標

zij = (uij , vij)(i = 1, . . . ,m, j = 1, . . . , n)を得る．この情報から点の 3次元座標およびカ

メラ行列を求める．n個の点はm枚の画像すべてに写っている必要はない．ただし，各点は

少なくとも 2枚の画像上に写っているものとする．観測点 zij には様々な要因によって誤差

が含まれている．そこで zij の真値 zij を幾何学的構造に従って未知パラメータの関数とし

て表現する．カメラを i = 1, . . . ,mで表し，カメラ iに対するカメラ行列 Pi(3× 4)行列を

Pi ≡ Ki [Ri | ti] (1)

とする．Ki はカメラの内部パラメータを含む 3× 3の右上三角行列

Ki =

fi sifi ui0

0 αifi vi0

0 0 1

(2)

Ri,ti はカメラの姿勢を表す 3× 3の回転行列および長さ 3の平行移動ベクトルである．点

は j = 1, . . . , nで表し，j 番目の点の 3次元点 qj を qj = [Xj , Yj , Zj ]T とする．これらの

表記を用いると，j 番目の点のカメラ iでの画像上での座標 zij = [uij , uij ]T は[

zij

1

]∝ Pj

[qj

1

](3)

と表すことができる．ただし，∝は両辺のベクトルの長さを除いて等しいことを表す．zij

と式 (3)で与えられる zij が最も近くなるようなパラメータの値を解とする．近さの尺度に

画像上の 2乗距離を用いると

E(p1, . . . , pm, q1, . . . , qn) =1

2

m∑i=1

n∑j=1

{(uij − u (pi, qj))

2 + (vij − v (pi, qj))2}

(4)

の最小化に帰着される．式 (4)で定義されるコスト関数Eを再投影誤差 (reprojection error:

図 1)という．ベクトル xをすべての未知パラメータを並べてたものとすれば，式 (4)の再

投影誤差は xの関数

E(x) = E(p1, . . . , pm, q1, . . . , qn) (5)

と表すことができる．E は xの非線形関数であり，5点アルゴリズム3)，DLT法4) で得た

初期値 xから出発し反復を伴う数値計算によって最小化を行う．

2.2 レベンバーグ・マーカート法

再投影誤差の総和E(x)を最小にする xを求める．E(x)を最小化する xでは，dE/dx = 0

図 1 再投影誤差Fig. 1 Reprojection error

となることから，方程式 dE/dx = 0を xについて解くことを考える．現在の推定値 xの

まわりで，E(x)をテイラー展開する．

E(x+ δx) ≈ E(x) + gT δx+1

2δxTHδx (6)

g は E の xでの勾配，H は xでのヘッセ行列である．x = [x1, · · · , xn]として，

g =dE

dx

∣∣∣x=

∂z∂x1

∂z∂x2

...∂z∂xn

(7)

H =d2E

dx2

∣∣∣∣x

=

∂2z∂x2

1

· · · ∂2z∂x1∂xn

∂2z∂x2∂x1

· · · ∂2z∂x2∂xn

.... . .

...∂2z

∂xn∂x1· · · ∂2z

∂x2n

(8)

と表される．g は xと同じ長さのベクトル，H は行・列数が xの長さに等しい正方行列で

ある．xを定数，δxのみ変数とすると，式 (6)の最小値を与える xは，

Hδx = −g (9)

を満たす．式 (9)を δxについて解くと，

δx = −H−1g (10)

2

が求められる．もし xが解に十分近ければ，H は正定値（固有値がすべて正となる）とな

る．そうであれば，上述した更新を反復することで急速に解に近づくことが保証される．た

だし，xが解から離れているときは，H が正定値である保証はない．この問題を回避する

ために，E(x)が，

E(x) =1

2

∣∣∣∣e(x)2∣∣∣∣ = 1

2

∑k

e2k (11)

と書けることを利用して，H を，

H ≈ A ≡ JTJ (12)

と近似する，J は e(x)のヤコビ行列

J =de

dx

∣∣∣x

(13)

である．ヤコビ行列を使うと，式 (9)の右辺は，

a ≡ −g = −JT e (14)

と書ける．これら A,aを用いて，δxを定める式 (9)を，

(A+ λ)δx = a (15)

と書き換える．λはダンピングファクタ (dampng factor)と呼ばれ，解の更新のたびに変更

される．λ = 0の時，ガウス・ニュートン法の更新式と一致し，λが大きくなると最急降下

法の更新式に一致することから，ガウス・ニュートン法の大域収束性の改善が期待できる．

3. Affine-SIFTアルゴリズム

Affine-SIFTアルゴリズムは，入力画像からアフィン変換画像を生成することでアフィン

歪を再現することにより，SIFTの持つ照明変化，拡大縮小，回転への頑健性に加え，アフィ

ン歪への頑健性を持っている．

3.1 アフィン変換画像の生成

アフィン変換画像の生成には，画像平面に対し垂直方向の角度 θを用いた t = 1cos θ，水平

方向の角度 ϕを用いる．入力画像を高さ 1tに縮小し，水平方向に ϕ回転させる．パラメー

タ (t, ϕ)は，

t = 1, a2, . . . , an (a > 1) (16)

ϕ = 0,b

t, · · · , kb

t

(kb

t< 180◦

)(17)

と定める．この (t, ϕ)によって図 2のような画像平面を半球の点上から見たような画像を生

成している．

図 2 θ と ϕ の説明図Fig. 2 Description of θ and ϕ

3.2 特 徴 抽 出

アフィン変換を施した画像各々に対し SIFT特徴の抽出を行う．SIFTの処理は，特徴点

の検出 (detection)と特徴量の記述 (description)の 2段階の処理からなる．

3.2.1 特徴点の検出

特徴点の検出にはスケールの異なるガウス関数 G(x, y, σ)と入力画像 I(u, v)を畳み込ん

だ平滑化画像 L(u, v, σ)の差分である DoG(Difference-of-Gaussian)画像を用いる．

L(u, v, σ) = G(x, y, σ) ∗ I(u, v) (18)

G(x, y, σ) =1

2πσ2exp

(−x2 + y2

2σ2

)(19)

DoG画像を D(u, v, σ)とすると，DoG画像は，

D(u, v, σ) = (G(x, y, kσ)−G(x, y, σ)) ∗ I(u, v)= L(u, v, kσ)− L(u, v, σ) (20)

と求められる．この処理を，σ0 から k 倍ずつした異なるスケール間で行い，複数の DoG

画像を生成する．次に，生成した DoG画像から特徴点の候補となる点と，DoG出力値が

極大となるスケール σ を求める．

候補点の決定には，DoG画像 3枚 1組とし，図 3のように注目画素の 26近傍と画素値

を比較し，画素値が最も大きい場合，候補点とする．σ の小さい DoG画像から順にこの処

理を行う．なお，候補点の DoG出力値がもっとも大きくなる σをその候補点のスケールと

3

定める．最後に，候補点のサブピクセル位置でのコントラストや，主曲率を求めることによ

り，候補点のフィルタリングを行い，最終的な特徴点とする．

図 3 極値検出Fig. 3 Extreme value detection

3.2.2 特徴量の記述

検出した特徴点に対して，特徴量の記述を行う．まず，検出された特徴点の方向を表すオ

リエンテーションを求める．特徴量記述の際にオリエンテーションによる向きの正規化を行

うことで回転不変な特徴量が得られる．特徴点のオリエンテーションを求めるには，まず平

滑化画像 L(u, v)の勾配強度m(u, v)と勾配方向 θ(u, v)を求める．m(u, v)と θ(u, v)はそ

れぞれ，

m(u, v) =√

fu(u, v)2 + fv(u, v)2 (21)

θ(u, v) = tan−1 fv(u, v)

fu(u, v)(22)fu(u, v) = L(u+ 1, v)− L(u− 1, v)

fv(u, v) = L(u, v + 1)− L(u, v − 1)(23)

で求めることができる．局所領域における勾配強度m(x, y)と勾配方向 θ(u, v)から重み付

き方向ヒストグラム hを以下の式から作成する．

hθ′ =∑x

∑y

w(x, y) · δ[θ′, θ(x, y)] (24)

w(x, y) = G(x, y, σ) ·m(x, y) (25)

hθ は全方向を 36方向に量子化したヒストグラムである．w(x, y)は，ある局所領域におけ

る画素 (x, y)の重みである．δ は Kroneckerのデルタ関数で，勾配方向 θ(x, y)が量子化し

た θ′ にふくまれるとき 1 を返す．この 36 方向のヒストグラムの最大値から 80% 以上と

なるピークをキーポイントのオリエンテーションとする．このオリエンテーションを基に，

SIFT記述子による 128次元の特徴量の記述を行う．まず，特徴量を記述する領域をオリエ

ンテーション方向に回転する．特徴量の記述には，特徴点の周辺領域の勾配情報を用いる．

勾配情報は，特徴点を中心とし，特徴点が持つスケールを半径とした円領域内から求め，周

辺領域を縦横それぞれ 4で割った 4× 4 = 16ブロックに分割し，ブロックごとに 8方向の

勾配方向ヒストグラムの作成を行う．勾配方向ヒストグラムの作成方法は，特徴点のオリエ

ンテーションを算出する方法と同様である．16ブロックに各 8方向のヒストグラムを作成

するため 4× 4× 8 = 128次元の特徴ベクトルとして特徴を記述する．また，128次元の特

徴ベクトルの長さはベクトルの総和で正規化する．長さの正規化により，照明変化に対して

強い特徴量となる．より詳しい解説は，参考文献6) に譲る．

3.3 特徴点マッチング

入力画像のすべてのペアに関して，特徴点マッチングを行う．Affine-SIFTによる特徴点

マッチングでは，入力画像 1枚につき，アフィン変換画像m枚が生成されるため，入力画

像の 1ペアに対して，(m+1)2 回のマッチングが行われる．特徴点マッチングには，特徴点

ペアの特徴量間のユークリッド距離を用いる．画像 I1中のある特徴点 kI1と画像 I2中のあ

る特徴点 kI2 の特徴量をそれぞれ vkI1i ，vkI2

i とすると，特徴量間のユークリッド距離 dは，

d(vkI1 , vkI2) =

√√√√ 128∑i=1

(vkI1i − vkI2

i )2 (26)

で算出される．この距離 dが最小となる特徴点のペアを対応点とする．得られた対応点群

から，対応点の重複，片方の特徴点が別の複数の特徴点と対応付けられているものを除去

し，最後に F行列推定を行い，エピポーラ拘束を満たさない対応点を除去する．入力画像

のすべてのペアについて同様の処理を行う．

4

4. 実 験

本実験ではAffine-SIFTアルゴリズムのアフィン歪に対する頑健性を調べるために，SIFT

による特徴マッチングと，Affine-SIFTアルゴリズムによる特徴マッチングをそれぞれ入力

として 3次元形状復元の比較実験を行った．

図 4 のような，対象物体の周りを 10◦ 間隔で 1 周回って撮影した画像 36 枚と，傾斜を

つけて再度 10◦ 間隔で 1周回って撮影した画像 36枚の合計 72枚の画像を用いる．72枚の

画像から 3次元形状復元をはじめ，画像を 2枚ずつ間引き 3次元形状復元を行い，出力点

数での比較を行った．なお，画像の間引き方は，まず 10◦, 30◦, 50◦, · · · 350◦ の画像を，次に 20◦, 60◦, · · · , 340◦ の画像を，40◦, 120◦, · · · , 280◦ の画像を，次に，80◦, 240◦ の画像を，

最後 160◦ の画像を順に 2枚ずつ取り除くことを行った．

Affine-SIFTにより生成するアフィン変換画像群は，式 (16)，(17)を，a =√2，n = 6，

b = 72◦ と設定して生成した．(生成枚数:60)

図 4 撮影画像 (72 枚)

Fig. 4 Pictures(72)

実験結果を表 1，図 5，図 6に示す．3次元点数で比較すると，Affine-SIFTが，SIFTよ

りも多いことが確認できた．Affine-SIFTは，アフィン歪に強い特徴マッチング手法である

ため，対象物体を撮影する間隔を密にとった場合にはその効果は薄くなる．しかし，アフィ

ン変換画像を複数枚生成し，オリジナルとアフィン変換画像から特徴抽出を行うため，SIFT

よりも特徴点数が多くなったことに加え，アフィン歪の小さい画像同士の対応点探索により

対応点数が膨大になったことが Affine-SIFTを用いた 3次元形状復元が密な結果を出力し

たのであると考えられる．

また，SIFTでは入力を 50枚にした時点で対象物体の形状の復元が不完全になり (図 4)，

それ以後正しい復元を示すことはなくなった一方，Affine-SIFTでは，入力が 16枚とした

ときまでは，対象物体の形状を正しく復元できること (図 4)を確認した．Affine-SIFTのア

フィン歪への頑健性が結果として現れたと考えられる．

表 1 復元された 3 次元点数Table 1 The number of reconstructed three-dimensional points

画像枚数 (枚) Affine-SIFT SIFT

72 189626 13532

70 182969 12114

68 176929 12374

66 170723 12620

64 166273 12330

62 162622 11617

58 142902 11276

56 143272 9417

54 124639 10053

52 111046 9265

50 103199 7138

48 91341 3340

46 102202 3894

44 94571 3861

42 104136 1921

40 91674 2003

38 92743 2033

画像数 (枚) Affine-SIFT SIFT

36 78652 3413

34 65262 3282

32 62408 3563

30 63956 1650

28 58749 2605

26 38233 1426

24 30000 1072

22 38087 1073

20 35500 1072

18 25903 1072

16 20488 1073

14 6938 1032

12 1832 296

10 1484 296

8 1482 296

6 2544 296

4 2553 296

次に，アフィン変換画像の生成パラメータである nのみを変更し，Affine-SIFTアルゴリ

ズムによる特徴マッチングを用いた 3次元形状復元が，入力画像枚数がどの段階で失敗する

のかを調べた．アフィン変換画像は，パラメータ nがそれぞれ，n = 5の時 40枚，n = 4

の時 26枚，n = 3の時 16枚，n = 2の時 9枚，n = 1の時 4枚生成している．

結果は，n = 5の時，入力枚数が 16枚，n = 4の時 16枚，n = 3の時 16枚，n = 2の

時 24枚，n = 1の時 34枚となった時点で形状復元に失敗することを確認した．SIFTによ

る特徴マッチンングを用いた場合，入力画像枚数が 50枚になった時点で形状復元に失敗し

たことを考慮すると，アフィン変換画像を 4枚 (n = 1)生成しただけでも復元結果が改善

したと考えられる．

5

図 5 復元された 3 次元点数 (SIFT)

Fig. 5 The number of reconstructed three-dimensional points(SIFT)

図 6 復元された 3 次元点数 (Affine-SIFT)

Fig. 6 The number of reconstructed three-dimensional points(Affine-SIFT)

SIFT Affine-SIFT

図 7 入力 72 枚の復元結果Fig. 7 Reconstruction result from 72 pictures

図 8 失敗例 (SIFT，入力 50 枚)

Fig. 8 Failure case(SIFT,50 pictures)

図 9 成功例 (Affine-SIFT，入力 16 枚)

Fig. 9 Successful case(Affine-SIFT,16

pictures)

6

5. ま と め

本研究では，Affine-SIFTアルゴリズムによる特徴マッチングを用いたアフィン歪の強い

画像群からの 3 次元形状復元を行い，SIFT による特徴マッチングを用いた場合との比較

を行った．実験結果から，Affine-SIFTアルゴリズムによる特徴マッチングを用いた方が，

SIFTによるものよりも密な点群を復元すること，入力画像数を減らした場合にも対象物体

の形状を復元できることを確認した．今後の課題としては，入力画像に応じて Affine-SIFT

アルゴリズムのアフィン変換画像の生成枚数の動的な調節が挙げられる．

参 考 文 献

1) 岡谷貴之, “バンドルアジャストメント”, 情報処理学会研究報告, CVIM, 2009-CVIM-

167(37), 1-16, 2009.

2) N.Snavely,S.M.Seitz,R.Szeliski, “Modeling the World from Internet Photo Collec-

tions”, International Journal of Compter Vision, Vol.80,No.2 2008.

3) Nister, D, “An Efficient Solution to the Five-Point Relative Pose Problem”, IEEE

Transactions on Pattern Analysis and Machine Intelligence, 26(6), 756-777, 2004.

4) Hartley, R. and Zisserman, A “Multi-View Geometry in Computer Vision”, Cam-

bridge University Press, 2nd edition, 2003.

5) J.M. Morel and G.Yu, “A Fully Affine Invariant Image Comparison Method”,

IEEE International Conference on Acoustics, Speech, and Signal Processing

(ICASSP), Taipei (2009).

6) 藤吉弘亘, “Gradientベースの特徴抽出 - SIFTと HOG - ”, 情報処理学会 研究報告CVIM 160, pp. 211-224, 2007.

7) D. G. Lowe, “Object recognition from local scaleinvariant features”, Proc. of

IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.

7