当所では，インテグラル方式を将来の立体テレビへ適用する可能性について検討している。インテグラル方式は，インテグラルフォトグラフィーという立体写真技術を基本としている。本稿では，インテグラルフォトグラフィーの原理，およびこの立体写真技術をテレビに応用するための技術などを説明するとともに，これまで当所で試作してきたインテグラル立体テレビについて紹介する。

１．はじめに近年，デジタルシネマ，デジタル放送などの映像技術が発展し，３Dシネマ，３D放送などが始まっている。ここで使われている立体表示方式は，左右の目にそれぞれ対応した映像を提示することで立体像を知覚させる「２眼式」という方式である。シンプルな機器構成で良好な画質が得られることが特長である。しかしながら，この方式は視覚疲労や，視覚機能が未発達な子供に対する影響などが懸念されており，放送として広く受け入れられるためには，これらの問題を解決する必要がある。一方，空間に立体像を結像させる「空間像再生方式」は，原理上，人間が視覚機能に基づいて立体感を知覚する要因＊１

両眼の輻輳，両眼視差，焦点調節，運動視差の４つ。詳細は本特集号の解説「３次元映像技術の概要」を参照。

＊１を全て満足する理想的な立体表示方式と言われている。このため当所では，空間像再生方式の１つであるインテグラル方式を，自然でリアルな立体像を表示する有望な方式と考え，1990年代後半から，インテグラル方式の将来の立体テレビへの応用に向けて研究を進めている。本稿では，インテグラル方式について，原理，立体テレビへの応用など概要を説明し，当所で開発した試作システムについて紹介する。

２．インテグラル方式の原理インテグラル方式は，1908年にLippmannが発表したインテグラルフォトグラフィー

（IP：Integral Photography）１）と呼ばれる立体写真技術の原理に基づくものである。１図を用いてIPの原理を説明する。IPでは，１図（a）に示すように，多数の小さなレンズが平面状に並んだレンズアレーを通して被写体を撮影する。写真乾板には，レンズアレーを構成するレンズと同数の小さな被写体の像が撮影される。この像を要素画像と呼ぶ。IPの表示では，１図（b）に示すように，現像された写真乾板と，撮影に用いたレンズアレーをそれぞれ撮影時と同じ場所に配置し，レンズアレーと逆側から拡散光を写真乾板に照射する。拡散光は写真乾板に撮影された要素画像を通過することにより輝度が変調され，さらにレンズを通過することで，撮影時に写真乾板に入射した光線と逆方向に進行する光線となる。この光線が，被写体が存在した位置に被写体と等価な立体像を結

インテグラル方式の概要

三科智之■

解 説

NHK技研 R&D/No.144/2014.310

被写体

レンズアレー

写真乾板

要素画像

レンズ

立体像拡散光

（現像処理）

観察方向

撮影方向

（b）表示（a）撮影

立体像

拡散光観察方向

（b）表示（a）要素画像の180度回転

回転させた要素画像

I P

I P

ぶ。観察者は，この空間に結像した立体像を見るため，特別なメガネを必要とせず，普段ものを見るのと同じように立体像を見ることができる。１図を見ると，撮影方向と観察方向が逆になることが分かる。例えば，お面を撮影した場合を考えると，お面を裏側から見たような立体像が再生されることになる。この凹凸が逆転した再生像を偽像と呼ぶ。この偽像はIPの原理に基づく本質的な問題とされている。偽像は，２図（a）に示すように，各要素画像を画像の中心に対して180度回転させることで解決することができる２）。回転させた要素画像から再生される光線は，２図（b）に示すように，１図（b）に示す光線と進行方向が逆になり，正しい凹凸の立体像を再生することができる。しかしながら，実際には，１枚の写真乾板に撮影されている多数の要素画像を要素画像ごとに回転させることは容易ではないため，偽像の回避は大きな課題となる。インテグラルフォトグラフィーによる再生像を３図に示す。３図（a）のように，各被写体の結像位置に，スリガラスのような光を散乱させる効果を持つ拡散板を配置すると，対象となる被写体の像だけがはっきりと投影され，そのほかの像はぼやける。このことから空間に像が形成されていることが分かる。また，像が形成されていることは，３図（b）のように，視点位置を変えて再生された像を観察した場合に，視点位置に応じた立体像が得られることからも確認できる。

３．立体テレビへの適用IPは元来，静止画表示を中心とした立体写真技術である。これを立体テレビに適用す

１図 インテグラルフォトグラフィー（IP）の原理

２図 偽像の回避

NHK技研 R&D/No.144/2014.3 11

上方

左方 右方

下方

視点位置を変えて観察

（b）全方向視差再現

再生像

レンズアレーから10mmの位置に拡散板を配置

（a）像再生

レンズアレーから40mmの位置に拡散板を配置

被写体

屈折率分布レンズ

凸レンズによって得られる像と等価な像

像の回転4P0

43P

長さ

るには動画をリアルタイムに撮影，表示できる仕組みを構築する必要がある。このため当所では，写真乾板を電気的なデバイス，すなわち高精細なテレビカメラとディスプレーに置き換え，撮影した要素画像をリアルタイムに表示できるようにした２）。インテグラル方式では，要素画像とレンズアレーの配置精度が再生品質に影響するため，液晶パネルなど表示面が平坦で，画素構造を有するディスプレーが適している。次に，偽像の回避について説明する。前述のように，映像信号として取得した要素画像群から要素画像を１つずつ抜き出し，回転させて元に戻す処理を行うことで偽像を回避することができるが，要素画像の領域と中心位置が正確に求められないと，再生像の画質低下や結像位置のずれなどにより，再生像の品質が劣化する。また，この処理は現状の計算機の能力でリアルタイムに行うことは困難である。このため，撮影時に屈折率分布レンズから構成されるレンズアレーを用いて光学的に要素画像を回転させ，回転処理された要素画像をテレビカメラで取得している３）。屈折率分布レンズは，屈折率の値が中心から周辺に行くにしたがって小さくなる特性を持った光ファイバーレンズである。４図に示すように，この光ファイバーレンズに入射した光は周期的に蛇行をしながら伝搬する。したがって，光ファイバーレンズの長さを，このレンズによって決まる周期 Pの3/4にすることで，２図（a）のような，要素画像を180度回転させた像がレンズ端面で得られる。また，所望の像はレンズの端面に結像

３図 インテグラルフォトグラフィーによる再生像

４図 屈折率分布レンズによる結像

NHK技研 R&D/No.144/2014.312

奥行き制御レンズ

被写体

集光レンズ被写体の実像

電気的なディスプレー

テレビカメラ

レンズアレー

屈折率分布レンズアレー

再生像

するため，隣接するレンズによる像との間で重なることがないため，要素画像間のクロストークによる再生像の画質劣化も回避することができる。以上で述べたインテグラル方式の基本構成では，被写体を，レンズアレーを通して撮影するため，原理上，立体像はレンズアレーの奥に再生され，手前に飛び出すような立体像は再生できない。そこで，５図に示すインテグラル立体テレビでは，このような被写体位置に対する制約を緩和するため，撮影時にレンズアレーと被写体の間に奥行き制御レンズを配置することで，被写体の実像を生成してその要素画像を撮影する４）。これにより，例えば，実像をレンズアレーとテレビカメラの間に結像させると，再生時には，レンズアレーから飛び出した立体像が得られる。５図の集光レンズは，屈折率分布レンズアレーを通過してきた被写体からの光がテレビカメラのレンズに効率良く入射するように集光するためのレンズである。テレビカメラの焦点の位置は，５図において屈折率分布レンズアレーの右端面に合わせる。電気的なディスプレーとしては，直視型のモニター以外にも，背面投射型プロジェクターも適用可能である。

４．高画質化に向けた研究開発4.1 インテグラル方式の空間周波数特性インテグラル方式は，光線を発生させるディスプレー面とは異なる奥行き位置に立体像を再生する立体表示方式である。このため奥行き位置が変わっても解像度の高い立体像を再生できることが求められる。ここでは，インテグラル方式の再生像の特性について説明する。６図にインテグラル方式で再生される像の空間周波数特性５）の例を示す。ここで空間周波数とは，レンズアレーの位置を０として，距離 z の位置に再生された像を距離 Lから

しま

観察した場合の，単位角度（１度）内に再生できる縞の数の最大値であり，単位はcpd．（cycles per degree）である。インテグラル方式で再生される像の空間周波数は，レンズアレーを中心に前後一定の範囲で立体像のナイキスト周波数 ＊２

標本化された信号から再現可能な最高周波数。標本化周波数の1/2の周波数となる。インテグラル方式では再生像がレンズアレーのレンズ間隔で標本化されるため，再生像の最高空間周波数はレンズ間隔で決まるナイキスト周波数となる。

＊２を維持し，この範囲を超えるとレンズアレーから離れるにしたがって低下する特性を有する。ナイキスト周波数はレンズアレーのレンズ間隔で決まり，レンズ間隔を小さくすることでナイキスト周波数を大きくすることができる。また，ディスプレーの画素間隔を小さくすると，空間周波数がナイキスト周波数となる奥行き範囲が拡大する。したがって，高精細な立体像を奥行き方向の広い範囲で再生するためには，レンズアレーを構成するレンズの小口径化

５図 インテグラル立体テレビの基本構成

NHK技研 R&D/No.144/2014.3 13

空間周波数（cpd.）

（遠）結像位置 z

（近）0 L

レンズアレーの位置 観察者の位置

ナイキスト周波数

と，要素画像を表示するディスプレーの狭画素間隔化が必要となる。また，再生像を大きくするためには，レンズの口径と画素間隔はそのままで，レンズの個数および画素数を増やす必要があり，レンズアレーおよびディスプレーの大面積化が必要となる。4.2 試作機器の開発当所では，1990年代後半からインテグラル立体テレビの研究を始め，試作を進めてきた。これまでの試作機とその仕様を，それぞれ７図と１表に示す。１表のG，B，Rは，それぞれ緑，青，赤の画素を表す。またG１，G２は，画素ずらし撮像法＊３

本特集号の報告「走査線8,000本級映像システムを用いたインテグラル立体テレビ」を参照。

＊３を用いた場合の緑の画素を表す。第１試作機３）は1999年のNHK技研公開で発表した。この試作機は，撮影にHDTV

（High Definition Television）カメラ，表示に液晶ディスプレーを使用し，屈折率分布レンズを撮影時のレンズアレーに採用することで，初めて撮影から立体像表示までを実時間で実現した。これにより，インテグラル方式の立体テレビへの適用の可能性を示した。その後，再生像の高品質化を目標に，高精細映像システムによる試作を重ねてきた。2002年の技研公開では走査線2,000本のシステム６）を展示した。このとき，走査線2,000本の撮像素子を使ったテレビカメラがまだ開発されていなかったため，HDTV解像度の撮像素子２枚を縦横それぞれ１/２画素ずらして，その２枚の画像を合成して緑の映像を記録することにより走査線2,000本相当の解像度を得るデュアルグリーン方式を適用したカメラを用いた。表示には走査線2,000本の液晶ディスプレーを用いて，レンズアレーのレンズ数を５倍以上に増やし，立体像の解像度を向上させた。2007年の技研公開ではスーパーハイビジョンの映像機器による走査線4,000本のシステム７）を展示した。このときも走査線4,000本の撮像素子，表示装置ともに開発されていなかったため，カメラ，表示装置ともに走査線2,000本用の機器を用いたデュアルグリーン方式によってシステムを構築した。その後，走査線4,000本フル解像度の映像機器が開発され，2009年の技研公開ではフル解像度のスーパーハイビジョン映像機器によるフル解像度4,000本システム８）を展示した。このシステムではレンズ数が10万個のレンズアレーを採用した。これにより，画面高の３倍の視距離で観察した場合の立体像の最高空間周波数が，同じ視距離でHDTVを観察した場合の空間周波数の約1/3となった。さらに，2011年の技研公開では，走査線4,000本の映像機器にデュアルグリーン方式を

６図 再生像の空間周波数特性

NHK技研 R&D/No.144/2014.314

距離制御レンズレンズ板

高精細CCDカメラ（走査線2,000本級）

（a）第１試作機（1999年技研公開）

（b）走査線2,000本システム（2002年技研公開）

（c）走査線4,000本システム（2007年技研公開）

（d）フル解像度4,000本システム（2009年技研公開）

（e）走査線8,000本システム（2011年技研公開）

適用して走査線8,000本のシステム９）を展示した。このシステムについては，本特集号の報告「走査線8,000本級映像システムを用いたインテグラル立体テレビ」で詳細を述べる。4.3 視域拡大立体表示において，立体像を見ることができる範囲を視域と呼ぶ。視域が広ければ，同時に複数の人が立体像を見ることができるため，各家庭に入る立体テレビとしては視域が広いことも重要な性能の１つと考えられる。インテグラル方式で再生された立体像は，全方向の視差を有することが特長である。これまでの試作機では，水平方向と垂直方向を同じ視域で設計してきた。しかしながら，水平方向と垂直方向が必ずしも同じ視域である必要はなく，一般的な視聴状況を考えた場合，視聴者は垂直方向に移動することより水平方向に移動することの方が多いと思わ

７図 インテグラル立体テレビの試作機

NHK技研 R&D/No.144/2014.3 15

れる。したがって，垂直方向の視域のために使用する情報の一部を，水平方向の視域を拡大するために振り分ける技術10）の研究も進めている。この技術については本特集号の報告「水平視域角を拡大したインテグラル立体像」で詳細を述べる。このほか，複数のインテグラル表示装置の視域を合成することで視域を拡大する手法11）の検討を行っている。

５．おわりにインテグラル方式の概要と当所で研究を進めている立体テレビへの適用について説明した。インテグラル方式は自然な立体表示が可能な方式と言われているが，立体像の解像度，奥行き再現範囲，視域など品質を高めるためには，膨大な情報量と，その情報を表示するための非常に高精細なデバイスが必要となる。現在，当所が目指す自然でリアルな立体像を表示する立体テレビに対する要求条件などは明確になっていない。今後は，立体テレビとしての所要性能を明確化し，その性能を目標に，要素技術の開発やシステム構築を進めていく。

第１試作機

（1999年）

走査線2,000本システム

（2002年）

走査線4,000本システム

（2007年）

フル解像度4,000本システム

（2009年）

走査線8,000本システム

（2011年）

撮影装置画素数（水平×垂直）

レンズアレーレンズ数（水平×垂直）

レンズ間隔（mm）

1,920×1,035×G・B・R

54×63

1.085

1,920×1,035×G1・G2・B・R

160×118

1.085

3,840×2,160×G1・G2・B・R

182×140

1.085

7,680×4,320×G・B・R

400×250

1.14

7,680×4,320×G1・G2・B・R

400×250

1.14

表示装置画素数（水平×垂直）

レンズアレーレンズ数（水平×垂直）

レンズ間隔（mm）

1,280×1,024×G・B・R

54×63

4.02

3,200×2,160×G・B・R

160×118

2.64

3,840×2,160×G1・G2・B・R

182×140

2.64

7,680×4,320×G・B・R

400×250

1.44

7,680×4,320×G1・G2・B・R

400×250

1.44

１表 インテグラル立体テレビの試作機の仕様

NHK技研 R&D/No.144/2014.316

参考文献´ ´1） M. G. Lippmann：“Epreuves，reversibles donnant la sensation du relief，”J. Phys.，

Vol.4，pp.821-825（1908）

2） F. Okano，H. Hoshino，J. Arai and I. Yuyama：“Real-time Pickup Method for a Three-dimensional Image Based on Integral Photography，”Appl. Opt.，Vol.36，No.7，pp.1598-1603（1997）

3） J. Arai，F. Okano，H. Hoshino and I. Yuyama：“Gradient-index Lens-array MethodBased on Real-time Integral Photography for Three-dimensional Images，”Appl. Opt.，Vol.37，No.11，pp.2034-2045（1998）

4） F. Okano，J. Arai，H. Hoshino and I. Yuyama：“Three-dimensional Video System Basedon Integral Photography，”Opt. Eng.，Vol.38，No.6，pp.1072-1077（1999）

5） H. Hoshino，F. Okano and I. Yuyama：“Analysis of Resolution Limitation of IntegralPhotography，”J. Opt. Soc. Am. A，Vol.15，No.8，pp.2059-2065（1998）

6） 洗井，奥井，山下，岡野：“走査線2000本映像システムを用いたインテグラル立体テレビ，”映情学冬季大，12-7（2004）

7） F. Okano，M. Kawakita，J. Arai，H. Sasaki，T. Yamashita，M. Sato，K. Suehiro and Y.Haino：“Three-dimensional Integral Television Using Extremely High-resolution VideoSystem with 4,000 Scanning Lines，”Proc. SPIE，Vol.6778，677805-1（2007）

8） 洗井，河北，佐々木，日浦，三浦，奥井，三谷，山下，岡野，配野，吉村，古屋，佐藤：“フル解像度スーパーハイビジョンを用いたインテグラル立体テレビ，”映情学技報，Vol.33，No.42，IDY2009-93，pp.5-8（2009）

9） J. Arai，M. Kawakita，T. Yamashita，H. Sasaki，M. Miura，H. Hiura，M. Okui and F.Okano：“Integral Three-dimensional Television with Video System Using Pixel-offsetMethod，”Optics Express，Vol.21，No.3，pp.3474-3485（2013）

10）M. Miura，J. Arai，T. Mishina，M. Okui and F. Okano：“Integral Imaging System withEnlarged Horizontal Viewing Angle，”Proc. SPIE，Vol.8384，pp.83840O-1-83840O-9（2012）

11）岡市，日浦，三浦，洗井：“歪み補正手法を用いた複数のプロジェクタによるインテグラル立体映像表示，”映情学年次大，11-5（2013）

みし なともゆき

三科智之1989年入局。営業総局を経て，1992年から放送技術研究所において，放送システム，立体映像の研究に従事。2006年から2010年まで（独）情報通信研究機構に出向。現在，放送技術研究所立体映像研究部主任研究員。博士（工学）。

NHK技研 R&D/No.144/2014.3 17