TWISTERTWISTER のためののための頭部位置補正を含む頭部位置補正を含む両眼立体映像提示法の提案両眼立体映像提示法の提案東京大学

新居英明　新倉雄大　本間貴志　城堅誠　川上直樹　舘暲

発表内容発表内容• 背景（ツイスターについて）• 従来投影手法• 頭部位置計測を用いた投影手法• 提案手法による実装結果• 考察

ツイスター概ツイスター概要要・裸眼両眼立体視・ 360度全周表示・動画像表示

投影に関する課題投影に関する課題体験者の行動• 頭部回転• 頭部移動• 視線方向

映像提示面

体験者

頭部回転

頭部移動

視線方向

ツイスター投影に関する問題ツイスター投影に関する問題点点立体視可能な頭部位置は中央のみ．頭部を動かしながら立体視可能な位置を探し当てるのが難しい．

頭部位置を計測し，ユーザにフィードバックする必要性がある．

従来手法従来手法• 特定の位置，方向を向いていると仮定し，全周囲描画．

　特定の方向以外を見ると歪み発生

頭部位置、方向固定• 同心モザイク手法により描画，• 頭部を回転しても，正面は正確に描画．• 正面方向以外の映像は近似• 頭部回転による時間遅れは発生しない

頭部位置固定，方向自由

提案手法提案手法頭部位置反映型提示モード• 頭部位置，姿勢共に動いても，正確な映像を提示したい．• 現在の頭部位置，方向をセンサで取得し，リアルタイムに描画

研究目標研究目標頭部位置を計測し，両眼の位置補正を掛けた映像を投影する．

ツイスターのフレームレート60Hzに近い、高速な描画手法

頭部位置測定頭部位置、方向、合計 4自由度の頭部位置測定

描画ソフト 表示

LED1 LED2

PD1 PD2 PD3

Ir Transmitter

Angle Receiver

x1 y1 x2

Head Phone

頭部位置計測装置について頭部位置計測装置について受信部

送信部

頭部位置計測装置配置頭部位置計測装置配置静止部 回転部

センサ取付部

透明ガード

頭部位置計測装置のスペック頭部位置計測装置のスペック値 備考

動作範囲(X,Y)

±100mm 水平方向動作範囲 (Z) ０～ 150mm 上下方向位置精度 平均 2mm(X) 昨年より精度向上（約 2倍）取得自由度 4自由度 X,Y,Z,Yaw 軸更新レート 100 Hz 最大 300Hzまで時間遅れ 3 mS USB接続にて

描画ソフト描画ソフト• CGによる VR空間を OpenGL上で構築

•会議室内に、机と椅子を配置• 円筒形状の投影面に透視変換

•視点位置をリアルタイムに変更•高速化するために GPU上で描画

VRVR 空間構築空間構築

頭部位置可変型投影手法頭部位置可変型投影手法H

O

z

x

P

A

NA:物体座標H:視点位置座標P:投影面座標

ax+bz+c=0

城堅誠 , 南澤孝太 , 新居英明 , 川上直樹 , 舘暲 :GPU を用いた全周囲立体 CG 映像の実時間生成 , 日本バーチャルリアリティ学会論文誌 , Vol.13, No.3, 2008

試作実装による動作の様子試作実装による動作の様子

結果結果• 頭部位置， Yaw回転の 4自由度については，必要な速度、精度で位置情報を取得 .

• 現状のフレームレートは 100Hz、最大 300Hzまで高速化可能．• 描画ソフトにおいて、フレームレート 10Hzを実現

• 一般的な OpenGLで構築

まとめまとめ• ツイスターにおける頭部位置補正を含む提示モードの提案• 頭部位置を計測し、視点位置をリアルタイムに反映し、ツイスターに投影可能なシステムの実装

今後の予定今後の予定• ビデオカード、描画アルゴリズム変更による、フレームレートの向上• 双方向通信を行い、遠隔会議の実現

センサ受信回路センサ受信回路

11 ．． TWISTER-4TWISTER-4 仕様（その仕様（その１）１）• 提示系　

• 画面サイズ： 3168　 x　 600　ドット• 表示階調： 10bit(ガンマ値 2.2)• フレームレート：６０ Hz• 入力コネクタ ：　

DVI（ 1600x1200）　 2本• カゴ回転速度：　 100rpm• LED表示器： 36系統

1-1.1-1. 提示系全体ブロック図提示系全体ブロック図

1-2.1-2. 提示系基板仕様提示系基板仕様• 中央制御基板 A　 1枚

• FPGA（チップ単価 10万円）＊ 2個• 分配基板 B　 12枚

• LED基板 9枚をコントロールするボード• ＬＥＤ基板　 108枚　

• フルカラーＬＥＤ　各 400個，総合計43200個

• ＬＥＤドライバＩＣ　各 100個，総合計10800個

2-1-1. A2-1-1. A 基板詳細基板詳細一辺 320mmの８角形遠心力を避けるため，カゴの中央に設置．

2-1-2. A2-1-2. A 基板機能概要基板機能概要1600dot× 1200dot横 縦 の画面

3200dot× 600dot横 縦 画面

画素ブロック移動

DVI入力画像

LED出力画像

DVI入力水平同期方向

LED出力水平同期方向

入力： DVIデジタル出力：３６系統シリアルデータ出力クロック周波数133MHz使用 FPGA：　　　　約 120万ゲート相当

2-1-3. A2-1-3. A 基板ブロック図基板ブロック図

DVI IN

DVIreceiver

FPGA-LV2P20-6-FG676C

DDRSDRAM16Mx32

BootupCPU(SH2)

FlashROM

LVDS 12出力 組 RS232C

DVI IN

DVIreceiver

FPGA-RV2P20-6-FG676C

DDRSDRAM16Mx32

LVDS 12出力 組

ENCODER INAUX IN

FPGA-L

LVDS12組

2-2-1. B2-2-1. B 基板詳細基板詳細カゴ外周に設置．振動の問題を避けるため，全ての部品をチップ部品とし，コネクタ等最小限の部品のみ大型部品を使用．基板サイズ約300mm*110mm

2-2-2. B2-2-2. B 基板機能ブロック図基板機能ブロック図

FPGA

VideoIn

ConfigROM

VideoOut 1U

VideoOut 1M

VideoOut 1L

VideoOut 2U

VideoOut 2M

VideoOut 2L

VideoOut 3U

VideoOut 3M

VideoOut3L

TRG TRG TRGDigital Output

Bus-Buffer

基本的に， A基板からの信号を分配しているだけで，特別な機能は無い．

2-3-1. LED2-3-1. LED 表示基板詳細表示基板詳細外形寸法： 400mm＊ 70mmなるべく大型にしたかったが，これ以上のサイズでは精密に LEDを並べることができなかった．そのため，一列 1200mmに 3枚の LED基板が搭載されている．

2-3-2. LED2-3-2. LED 機能ブロック図機能ブロック図

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

LEDドライバ10＊ 個

LED40個

左目用信号分配右目用信号分配

入力コネクタ

LED 400合計 個

・入力信号から，各LEDの輝度情報を取り出し， LEDドライバに転送する．・ LEDの PWM駆動・ LEDドライバの初期化

2-4-1.2-4-1. 提示系の課題提示系の課題• LED消費電力

• 全点灯時 5V30mA*43200 6kW≒ 必要• スリップリングの容量

• 電源系１００ A　 2本，信号系 6本• 光コネクタ　 12組

• 振動による故障防止• １０ G時に動作する基板の開発

2-4-2.2-4-2. 提示系の実装提示系の実装• LED消費電力

• 常に光ることは無いと仮定し，最大必要量の 2/3である 4.8kW確保

• スリップリングの容量• 電源系はなるべく高電圧で伝送（４８

V100A）• 光コネクタ： DVI*2=8本， IEEE1394*2=4本

• 振動による故障防止• 高背部品を不使用．信号線は冗長配線

3.TWISTER-43.TWISTER-4 仕様（その２）仕様（その２）• カメラ系

• カメラ数：３６台• カメラ解像度：６４０ｘ４８０　ドット• カメラフレームレート：３０ Hz• IEEE1394ポート数：２• 2系列のカメラ群から，合計で一秒間に 30枚の両眼立体映像を取得可能

3-1.3-1. カメラのトリガタイミンカメラのトリガタイミンググ• カメラが特定の位置に来たときに撮影できるようになっている．• つまり，現状ではカゴの外にカメラが２つあるのと同一状態．

カメラは円周36上 台

4.TWISTER-54.TWISTER-5• 当初仕様はまったく変わらず• 実際には細かい改良を行っている．

• 表示位置安定化ソフトの追加回転が安定したときの表示位置がしっかりし，画質が向上したように見える．• 高輝度時のディマー高輝度が続くと LED基板にリセットがかかり，表示が消えてしまう．それを避けるために，自動的に輝度を落とすソフトを追加した．

TWISTERTWISTER の今後の今後• 表示系の実験

• 動画像における，「切り身」現象の評価• 撮像系を安定に動かす．

• 撮像系担当者が自分でソフトを組めること．• 通信について

• 通信に必要なプロトコル，やり取りすべき画像を決定する．•ボクセルデータを送る必要があるか？• 2枚の 2次元データを６０ｆｐｓ送れば良いか？