三次元画像 測の最新動向

　－　見えてきたリアルタイム 測　－

大 大学大学院基礎工学研究科　佐藤宏介

Email: sato@sys.es.osaka-u.ac.jp　　

１　はじめに

　本稿では、画像センサを用いる物体形状とその光沢のセンシング

について、その 測原理を紹介する。それらの実装例と、外観検

査の自動化以外にもコンピュータグラフィクス（ＣＧ）やマルチ

メディア処理にこれらの画像 測が求められている。

　外観検査としての形状検査と光沢検査とは、それぞれ表面形状の

表面性状の 値とのずれを検査するものであり、別個の検査項目

である。もし、物体を照らしている光源を制御することができれ

ば、例えば配置が既知の点光源を用いることができれば、形状と

光沢とを、形状の微分値といえる法線ベクトルを介して関係付け

ることができる（図１）。なぜなら、光沢は物体表面の法線ベクト

ルを基準に入射光の正反射方向にカメラが配置される場合のみ観

測されるからである。

制御された光源 観測カメラ法線ベクトル

物体形状

図１　形状と光沢

　また、従来ＣＧでは、表現したい物体の形状と表面性状をモデリ

ングツールを使ってユーザが定義してきたが、最 では、実在す

る物体を実測して、モデリングすることが多くなってきた。まだ、

デジタイザを用いた形状の実測と、テキスチャマッピング用の画

像撮影あ主である。三次元物体を２Ｄの撮影画像の集合で３Ｄ－Ｃ

Ｇ表示するイメージベースドレンダリングと呼ばれるワプローチ

が注目されており、単にテキスチャ画像を得るだけではなく、他

の表面性状についても画像 測によって実測することが望まれて

いる。

２　形状の画像 測

　生産の自動化、オンライン化に不可欠な基本要素として工業用の

三次元 測技術が重要視されている。特に、以下のような ・

加工・検査の各段階の自動化に三次元 測が期待されている[1]。

　・ 段階

　　　・CADデータ入力（クレイモデル、体型など）

　・加工段階

　　　・組立ロボット（ 品判別）

　　　・物流システム（仕分け、位置決め）

　　　・無人搬送車（障害物検知）

　・検査段階

　　・外観検査（はんだ盛りなど）

　　・寸法検査

　これらの分野では、対象物体に 接触でかつ人間の作業が 測に

介在しない省人化された 測が行えることが必 な条件となる、

さらに工業用として、 測精度が いこと、 測が対象や環境に

よらず安定なことが強く要求される。

２．１　受動 測法

　ここで 接触な三次元 測は、まず大まかに能動的手法と受動的

手法とに分けられる。能動的手法とは、三次元情報を取得するた

めに、巧みに制御され、その形状パターンや濃淡、スペクトルな

どに対してなんらかの意味を持ったエネルギー（光波、 波、音

波など）を対象に照射する手法のことを指す。逆に受動的とは、対

象に対して環境からのエネルギー（外光など）は存在するにせよ、

測に関して意味のあるエネルギーを利用しない 測のことを

う。一般的に能動的な手法の方が、受動的なものより 測の信頼

性が くなる。

　受動的手法の代表的なものが写真測量におけるステレオ画像法で

ある。二台のカメラあるいは一台のカメラを時間的に移動させて

同一対象の視点の異なる二枚の写真や画像で得て、それを用いて

三 測量を行なうものであり、一方のカメラに見えている場所が

他方のカメラではどこに映っているかを決め、そのずれの量から奥

行きが求められる。

図２　リアルタイムステレオカメラTriclops

ハーフミラー 対象

光源

カメラA

カメラB

投影パターン

図３　レンズ焦点法

図４　レンズ焦点法を原理とするリアルタイムレンジファインダ

（コロンビア大学）

　この二つの画像間で同じ場所がどこにあるかをいかに効率よく探

し出すことが問題となり、現状では人間のオペレータが目視で対

応点の指示を行っている。 算機が自動的に二つの入力画像中か

ら対応点を発見することは今のところ難しく、あいまい不確かな

結果しか得ることができない。そこでカメラを３台以上用意し、直

交配置することでステレオ対応点のあいまいさを減ずるシステム

が実用化されるようになってきた。

　例えば、ソニーは本年のSIGGRAPHでＸ字型に配置された５眼

カメラと専用対応点探索プロセッサからなるリアルタイムステレ

オマシンを技術展示した。Point Grey Research社の開発した３眼

ステレオ装置であるTriclopsは、160*120画素の 離画像を毎秒15

フレーム 測できる（図２）。奥行き分 能は くないが、従来ス

テレオ処理は 算負荷が重くソフトウェアにな

じまないをとされてきたが、Pentium 266MHz上で動作するプロ

グラムがリアルタイムで 離画像を出力する様子は一つのブレー

クスルーと ってよい。

　受動的な方式には他に、レンズ焦点法がある。図３に示すように、

ハーフミラーやプリズムを利用し、同 上に２台以上のカメラを

置する。それぞれのカメラのピント位置をずらし、同一の視点

でぼけ味の異なる画像を得る。ぼけは対象物体の奥行きに応じて

変化するので、局所的なぼけ量の差異から奥行きを決定することが

できる。ぼけ量同定の 算負荷は比 的軽く、リアルタイム 測

に適しており、コロンビア大学等がリアルタイム装置を実現して

いる（図４）[2]。

　このレンズ焦点法を含めて受動的な 測法には、共通する基本的

な問題点がある。それは、対象物の中でも表面の明暗が急変して

いる場所（エッジ）しか対応点を決定することができないので、

模様のない一様な表面を持っている物体には対しては、対象全体

の三次元 測を行なうことができないことである。そこで、図４の

装置も図３に示すのように、チェッカフラッグ模様のパターン光

源で強制的に物体表面にエッジを付けることによって、この問題

を避けている。

　しかし、一般的には工業応用には、次章に述べる能動的な

!"#$%

&'()* 　

!+#$%

&'()*

図５　スポット光投影法　　　図７　スリット光投影法

,-.%"+/01(-23456

789:1(-2;456

%<=>0?

図６　同期走査型光学系

測法が用いられることがほとんどである。

２．２　能動 測法

　表面の反射特性や形状、模様が異なる種々の物体を対象として、

様々な状況下で三次元 測するためには、 測装置に制御された

光を対象に照射して、その変位を 測する能動的な方法の方が、

多くの面で有利である。 測装置として光を投影するプロジェク

タが必要になるが、 測の空間分 能、 測時間、 離分 能、

算コストなど多くの点で優れている。実用的な 測を考えた場合、

その利便性は極めて い。

　光投影による三次元 測は、ステレオ画像法における対応点検出

の困難さを避けるため、一方のカメラを光を投影するプロ測法が

用いられることがほとんどである。

２．２　能動 測法

　表面の反射特性や形状、模様が異なる種々の物体を対象として、

様々な状況下で三次元 測するためには、 測装置に制御された

光を対象に照射して、その変位を 測する能動的な方法の方が、

多くの面で有利である。 測装置として光を投影するプロジェク

タが必要になるが、 測の空間分 能、 測時間、 離分 能、

算コストなど多くの点で優れている。実用的な 測を考えた場合、

その利便性は極めて い。

　光投影による三次元 測は、ステレオ画像法における対応点検出

の困難さを避けるため、一方のカメラを光を投影するプロジェク

タに置き換えたものと考えれば理 しやすい。プロジェクタから

その形や方向を制御され投影される光のことを、構造化された光

（Structured Light）と呼び、その様々な形状パターンによりこ

の方式の三次元 測が細分 される[3] 。

●単純スポット光投影法

　図５に示すように、レーザビームを対象に投影してできる輝いた

スポットを異なった 度からカメラでとらえ、レーザ光源とカメ

ラ、スポットで三 形を構成し、スポットの三次元位置を求める

ものである。物体全体を 測するためにレーザスポットは二 ス

キャナにより二次元走査される。カメラに映るスポットは通常十分

輝度が く、簡単なピーク検出で画像中での位置を決定できる。

この方式は単純な原理で信頼性良く 測が行なえる利点があるが、

一点の 測に一回の画像入力を必要とするため、分 能の い

離画像を得ようとすると 測時間（ｎ×ｎ画素の 離画像の場合、

ｎ2回の画像入力を必要とする）をかなり要する問題がある。そこ

でテレビカメラの代わりに、二次元PSD（Position Sensitive

Device）や一次元PSDを二つ直交させたものを用いることが多い。

そうすると、一点の 測は数m秒で行なえ、 測の 速化が可能で

ある。

●同期走査型スポット光投影法

　カナダのNRCは、レーザビームとPSDを用いて、毎秒15, 750回転

するポリゴンミラーと毎秒60回往復する副走査単板ミラーで投光系

と受光系を同期させながら走査するシンクロナイズドスキャニン

グと呼ばれる方法で、512×420点の三次元形状をビデオレートで

測する装置を開発した[3]。図６に本法の特徴となる同期走査に

よる光学系を示す。この光学系では、光センサに結像されるスポッ

ト光像の位置が、同じ奥行きの対象に対してはスポット光の走査

位置によらず一定となるように考えられている。このことにより、

光センサの素子数を有効に利用することができ、 測精度の向上を

図ることができる。単純スポット光投影法に比べて一桁程度の精

度向上が可能となっている。

●スリット光投影法

　スリット光投影法では、図７のように、スポット光の代わりに一

本のスリット光を投影する。一回の画像入力でスリット光の当たっ

ている場所の三次元位置が、カメラの走査線の数だけ同時に 測

できる。そこでスリット光の投影方向を少しずつ変化させながら、

測対象を一次元的に走査すれば対象全体の三次元形状が得られる。

ｎ×ｎ画素の 離画像を得ようとする場

図８　スリット光投影法を原理とするリアルタイムレンジファイ

ンダ（ミノルタVivid-700）

図９　モアレトポグラフィを原理とするリアルタイムレンジファ

インダ（応用 測研究所QuickPhaser）

合、ｎ回の画像入力だけですみ、スポット光投影法に比べてｎ倍

速に 測できる。

　 測の信頼性が いうえ、比 的システムが単純なため、この方

式に基づくレンジファインダがもっとも実用に供され、現在では

いくつかの製品も出されている。すべての処理を専用ハードウェ

アで行なう 速なシステムも多数開発されている。ミノルタの

Vivid-700は256×256画素の 離画像を0.5秒で 測できる（図８）

[4]。

●モアレトポグラフィ

　スリット光を多数並べたともいえるようなストライプ状の光パター

ン（図１０）を投影するものがモアレトポグラフィである。 測

物体の直前に格子マスクを置き、点光源で照明すると、光線は格

子マスクを通って明暗のストライプパターンを物体上に形成する。

このパターンは物体の形状にしたがって変形を受け、光源とは離れ

た位置から同じ格子マスクを通してカメラでこれを撮像する。カ

メラと格子の開口 を結んだ直線上に、ストライプの光の縞が一

致したときのみに明るく見える。この明るく見える 分で形作ら

れるパターンがモアレパターンであり、物体の等 線となる。

　モアレトポグラフィは、一回の画像入力で、つまり投影光の走査

なしに、すべての場所の三次元位置が求められる利点があるため、

動きがある対象や固定することが難しい対象、例えば人体の 測

などにしばしば用いられている。従来、凹凸の判定ができないこ

と（凹でも凸でも同じモアレパターンを示す）、対象物の奥行きの

相対変位しか分からず絶対 離が求められないなどが欠点とされ

てきた。しかし最 、動きのある対象のモアレ像を動画像 析し、

モアレの次数を決定することが専用ハードウェアで可能になった。

図９は、この原理に基づく商用のリアルタイム形状 測装置応用

測研究所QuickPhaserである[5]。

●傾斜光投影法

　スリットやストライプパターンのように、光の強度がストライプ

ごとにオンオフされたディジタル的なものではなく、濃度

　　　

図１０　モアレマスク　　　　図１２　コード化パターン

図１１　傾斜光パターン

図１２　グレイコードパターン

や色が滑らかに変化しているアナログ的な光パターン（図１１）を

投影するものがあり、傾斜光投影法と呼ばれている。

　プロジェクタからの投影方向に応じて強度を変化させ、その変化

の方向を逆にした二枚の光パターンを作る。その二枚を順次対象

に投影し、二枚の入力画像を得る。光強度の変化分から投影方向

を決定することができる。二回の投影で対象全体の 離画像が

測できる優れた方法であるが、S/Nのよいカメラが不可欠で、凹

の 測に弱いという欠点がある。松下 器産業が、NTSCの奇偶フィー

ルドをそれぞれ左右レーザ光源の投影に振り分け、フレーム時間

でリアルタイム 測可能なレンジファインダを開発している。

　白 の光の強度を変化させる代わりに、色のスペクトルを変化さ

せたものに、Rainbow Rangefinderがある。これも同じく、色分

布の違う二枚の光パターンを投影し、色変化の差から投影方向を

決定する。

●コード化パターン光投影法

　これまで述べてきたような構造化光を投影する能動的な三 測量

法では、プロジェクタから投影している光の方向情報を、いかに

して投影光に埋め込むか、いかにして入力画像から投影方向を抽

出するかが、各手法の特色となっている。傾斜光法では投影方向

が光強度で変調されていた。別の考え方として、投影方向に関する

情報特殊な模様でコード化したような光パターンが考えられてい

る。これらはコード化パターン光投影法と総称されている。

　例えば、カラーテレビのシャドウマスクのようにRGBのセグメン

トをマトリクス状に並べ、投影方向に応じて配置パターンを組み

合わせたものや、PNシーケンスと呼ばれる一種の最大 系列符号

（Ｍ系列符号）で、ドットパターンの連結を切り替えるものがあ

る（図１２：模式図）。

　コード化パターン光投影法は、モアレトポグラフィのように一回

の投影で済み、しかも絶対 離が 測できるというもっとも望ま

しい手法ではあるが、コードの復号化に 算コストの い画像処

理を要するうえ細 の 測が難しく、簡便で 速な 測手法とは

認められていない。

●グレイコードパターン光投影法

　比 的少ない光の投影回数で十分に分 能の い 離画像が信頼

性 く得られ、しかも装置が単純であるものに、著者が開発した

グレイコードパターン光投影法があり、工業 測用途に利用され

始めている。

　プロジェクタからは、明暗のピッチが倍々に変わっていく二進コー

ド化された光パターンが順番に投影される。実際に投影されるパ

ターンは図１３のようなグレイコード（交番二進符号）と呼ばれ

る特殊な二進コードを用いる（図では説明のため、通

図１４　グレイコードパターン光投影法を原理とするリアルタイ

ムレンジファインダ（CubicScope）

常の二進符号を用いている）。ｎビットの二進数で符号化された光

パターンを用いれば、測定空間は２nの細いくさび状の領域に分割

される。この一つ一つの領域がスリット光に見なすことができ、

ｎ枚のグレイコードパターンの投影は、２n本のスリット光を投影

していることと等価となる。

　実際のグレイコードパターンの投影には、液晶プロジェクタを用

いる。細いストライプ状のシャッタ列からなる液晶マスクで、一

つ一つのストライプのオンオフを組み合わせ、グレイコードパター

ンを 子的に生成する。

　図１４は、ポリゴンミラーとレーザ光源のスイッチングでグレイ

コードパターンを投影する名工大が開発した商用のリアルタイム

形状 測装置、CubicScopeである[6]。

２．3　チップ化センサ

　最 CMOS撮像技術の進歩で、 離の 測機能を持たせた微小素

子を、シリコンチップ上に格子状に多数集積したセンサが研究さ

れるようになってきた)。例えば、画像センサにビデオカメラを用

いた方式では、一本一本のスリット投影ごとに入力画像中に映っ

ているスリットの位置を求めて三次元位置を算出している。対象

全体を 測するためにスリット光を連続的に走査してはいるが、

瞬間的にはスリット光の投影方向は固定しているものと考え、カメ

ラの視線方向の方を測定している。これに対して、新しく研究が

進められているチップセンサは、画像センサの一画素ごとに視線

方向を固定し、その視線と物体が交差する点の三次元位置を、逆

にスリット光が当たる方向の測定から得るものである。画像セン

サの一つ一つの画素が、スリット光の検出とスリット光の投影 度

のデータの保持・転送の機能を持っているところに特徴がある。

図１５は、ソニーと筆者が開発したリアルタイム形状 測装置、

Silicon Range Finderである[7]。

(b) 三次元 測チップセンサ

図１５(a) チップ化センサを応用したリアルタイムレンジファイン

ダ（ソニー Silicon Range Finder）

３　光沢の画像 測

　一般に、対象物体の反射特性は、拡散反射成分と 面反射成分の

和で表現される。拡散反射とは、Lambertの法則で定義された反射

特性であり、その反射光強度は入射 の余弦に比例し観測方向に

は依存しない。Phongは経験的に 面反射光成分を、正反射方向

と観測方向との内積の 次関数で表現した。これには理論的な背

景はないが、実験で得られた反射特性を 似したもので、入射

が浅ければ、他の理論モデルによく合うことが報告されている。

３．１　 測原理

　拡散反射成分、 面反射成分は(1)式に示したようにそれぞれ

の特性に応じて変化しているため、図１に示すような、光源--物体

面--カメラの位置関係を動的に制御しその輝度を することで、

逐次 似法等で、それぞれの成分を分離、 決定することが可能で

ある。

　まず、２章で述べたような形状 測装置によって獲得した形状デー

タをもとに、物体面上の注目点における三次元位置および法線ベ

クトルを算出する。次に、求めたデータおよび光源--物体--カメラ

の位置関係を基に、獲得した画像中での対応点の を行ない、

注目点の濃度変化分布を求める。この分布に対して自乗誤差が最小

となるような反射率パラメータを推定することでその点における

表面反射特性を決定する。これらの 算を観測可能な対象物体上

のすべての点について行なうことで物体全周にわたる密な反射率

データを得ることができる[8-13]。

４　まとめ

　　以上、形状と光沢の三次元画像 測技術の動向と簡単に紹介し

てきた。ロボットビジョンの対象とするシーンがますます多重化・

複合化することにより、 速な画像処理ハードウェアや 度に並

列化された処理アルゴリズムに寄せられる期待は増すばかりであ

る。そのコンピュータ処理の負担を軽減させるためにも、画像セン

サの 機能化が望まれている。

　これからの10年間に、現在世の中を席捲しているラスター走査し

か行えないCCD型撮像デバイスから、ランダムアクセス可能な

CMOS型撮像デバイスカメラへの移行する可能性がある。その際に

は、CMOSの特 を活かしたシリコンチップレベルの複合機能画像

センサが実現されるかもしれない。三次元画像 測システムのみ

ならず、従来の画像処理システムをパームトップに変容させる

小型化の面で期待されており、ますます今後が楽しみである。

参考文献

[[1] 井口征士, 佐藤宏介, 三次元画像 測, 昭晃堂.

[2] S. K. Nayar, M. Watanabe, and M. Noguchi, Real-Time

Focus Range Sensor, Technical Report CUCS-028-95,

November 1994. IEEE Transactions on Pattern Analysis

and Machine Intelligence, to appear in 1996.

[3] M. Suk, S. M. Bhandarkar (1992): Three-Dimensional

Object Recognition from Range Images, Springer-Verlag.

[4] http://www.minolta.co.jp/japan/rio/vivid/index.html

[5] http://www.okk-inc.co.jp/qpemp1.html

[6]

http://hilbert.elcom.nitech.ac.jp:8080/CubicscopeHP/inde

x.html

[7] 横山敦, 佐藤宏介, 芦ケ原隆之, 井口征士: 無調整型ホトVLSIセン

サを用いた実時間 離画像 測－シリコンレンジファインダ－,

子情報通信学会 論 文 誌 , Vol. J79-D-II, No. 9, pp.

1492-1500 (1996).

[8] 日浦慎作, 佐藤宏介, 井口征士, 対象物体の回転による形状と反射

率の同時 測, 情報処理学会論文誌, vol.36, No.10, pp.2295~

2302 (1995).

[9] Ikeuchi K. and Sato K., Determining Reflectance

Parameters using Range and Brightness images, Proc.

3rd Int. Conf. on Computer Vision, pp. 12~20 (1990).

[10] 蓮沼宏, 拡散反射と表面の光沢, 応用物理, 23, 501 (1954).

[11] 田中俊一, 偏光の工学測定への応用, 応用物理, 51, 530 (1981).

[12] 伊藤敏夫, 松本俊哲, 偏光を利用した照度差ステレオ法による面

の傾き抽出法, システム制御情報学会論文誌, Vol.4, No.11,

pp.445~452 (1991).

[13] 河内洋介, 佐藤宏介, 千原國宏, CGのための三次元物体の形状と

光沢の 測, 第40回システム制御情報学会研究発表講演会講演論

文集, pp.91~92, (1996).