01報 告多視点ロボットカメラシステム池谷健佑　　三科智之

Multi-Viewpoint Robotic Camera SystemKensuke IKEYA and Tomoyuki MISHINA

要 　 約 A B S T R A C T

本 研究の目的は，３次元空間をダイナミックに移動する被写体や３次元空間内に広く点在する被

写体の多視点映像を，パンフォローおよびズームして撮影し，「タイムスライス」と呼ばれる映像表現（撮影映像をカメラの並びの順番に切り替えることで，視点が被写体の周囲を回り込む映像表現）を実現することである。この映像表現をスポーツ中継のリプレーで利用するためには，放送現場でのシステムの事前準備が短時間で完了するとともに，準リアルタイムでタイムスライス（「bullet time」とも呼ぶ）を生成する必要がある。この目的を達成するために「多視点ロボットカメラシステム」を開発した。本システムでは，複数台のロボットカメラを，１人のカメラマンの操作によって３次元空間内の特定の被写体に向けて一斉に方向制御し，多視点映像を撮影する。そして，撮影映像を計算機に取り込み，射影変換を用いてカメラを仮想的に被写体へ再方向制御することで，カメラマンの操作ミスやロボットカメラの機械的な制御誤差により生じた方向制御エラーを補正し，タイムスライスを準リアルタイムで生成する。我々は，このタイムスライスを「ぐるっとビジョン」と呼んでいる。バレーボール，体操，バスケットボール，柔道といったスポーツシーンを対象とした撮影実験，およびフィギュアスケートの中継における番組利用を通じて，提案手法の有効性を確認した。

T he main purpose of our research is to generate the bullet time of dynamically

moving subjects in 3D space or multiple shots o f sub jec ts w i th in 3D space . I n addition, we wanted to create a practical and generic bullet time system that required less time for advance preparation and generated bullet time in semi-real time after subjects had been captured that enabled sports broadcasting to be replayed. We developed a multi-viewpoint robotic camera system to achieve our purpose. A cameraman controls m u l t i - v i e w p o i n t r o b o t i c c a m e r a s t o simultaneously focus on subjects in 3D space in our system, and captures multi-viewpoint videos. Bullet time is generated from these v ideos in semi - real t ime by correcting directional control errors due to operat ing errors by the cameraman or mechanical control errors by robotic cameras using directional control of virtual cameras based on projective transformation. We confirmed the effectiveness of this method through exper iments and ut i l i zed i t in broadcasting programs dealing with sports scenes.

26 NHK技研 R&D ■ No.173 2019.1

１．はじめに

近年，「タイムスライス」と呼ばれる映像表現がさまざまなメディアで使用されるようになった1）～11）。タイムスライスとは，多視点カメラを同期させて被写体を撮影し，撮影映像をカメラの並びの順番に切り替えることで，被写体が静止もしくは低速で動いている状態で，視点が被写体の周囲を回り込む映像表現である。タイムスライスをスポーツ中継で使用することによって，選手の姿勢や動きをさまざまな視点から表現することができ，視聴者にスポーツの各シーンを分かりやすく伝えることができる。

本研究の目的は，これまで撮影が困難であった，３次元空間をダイナミックに移動する被写体や３次元空間内に広く点在する被写体の多視点映像を，パンフォローおよびズームして撮影し，撮影映像からタイムスライスを実現することである。タイムスライスをスポーツ中継のリプレーで利用するためには，放送現場でのシステムの事前準備が短時間で完了するとともに，準リアルタイムでタイムスライスを生成する必要がある。この目的を達成し，より汎用的かつ実用的なシステムを実現するためには，以下の要求条件を満たす必

要がある。（1） ３次元空間をダイナミックに移動する被写体に対して，

多視点カメラを高い精度で方向制御することが可能であること。

（2） 生放送のスポーツ中継において，競技中のシーンのタイムスライスを，競技直後のリプレーで放送可能な処理時間で生成できること。

（3） システムの事前準備におけるカメラキャリブレーションが短時間で完了すること。

これらの目的を達成するために，多視点ロボットカメラシステムを開発した。本システムでは，複数台のロボットカメラを１人のカメラマンの操作によって３次元空間内の被写体に向けて一斉に方向制御し，多視点映像を撮影する（１図）。そして，撮影映像を計算機に取り込み，射影変換＊１を用いてカメラの視線方向を仮想的に被写体へ再方向制御することで，カメラマンの操作ミスやロボットカメラの機械的な制御誤差により生じた方向制御エラーを補正し，タイムスライスを準リアルタイムで生成する。我々は，このタイムスライス

＊1 平面を別の平面に射影する変換。

１図　多視点ロボットカメラの方向制御と撮影可能領域

２図　機械的方向制御と仮想的方向制御

: カメラ

: 撮影可能領域

（a）機械的方向制御

注視点

スレーブ マスター スレーブ

拡大

機械的方向制御エラー

仮想空間内の注視点

デプス

（b）仮想的方向制御

27NHK技研 R&D ■ No.173 2019.1

の操作によって，３次元空間内の任意の位置に指定することができ，注視点を被写体の位置に指定することで，被写体の多視点映像を撮影できる。

まず，Camn（1≤n≤N）から１台のマスターカメラCamM

を選択し，それ以外をスレーブカメラとする。マスターカメラの光軸oM上には，注視点ɡが設定される。oMは（2）（3）（4）式より求める。

cos（PM － P0M）0

－sin（PM － P0M）

sin（PM － P0M）0

cos（PM － P0M）

010

－1RM = R0M

0cos（TM － T0M）sin（TM － T0M）

0－sin（TM － T0M）cos（TM － T0M）

100

（2）

RM =r11

r21

r31

r12

r22

r32

r13

r23

r33 （3）

oM =r13r23r33

（4）

ここで，PM， TMは，それぞれマスターカメラのパン，チルトのエンコーダー値を示す。また，ɡは（5）式より求める。

= －R0M t0M ＋ D・oM－1

（5）

ここで，（5）式におけるDはデプス値を表す。デプスとは，マスターカメラと注視点の間の距離である（２図（a）参照）。デプスを連続的に増減することによって，注視点は光軸に沿って移動する。カメラマンは，マスターカメラのパン，チルト操作により光軸の方向を，デプス操作により光軸上の注視点の位置を変えることができる。

ここで，デプスの操作デバイスの操作量に比例してデプスを増減させた場合，３図（a）のように，注視点に追随するスレーブカメラの制御角度が，注視点がマスターカメラと近い位置にあるときは大きく変化し，遠い位置にあるときは小さく変化するため，直感的な操作が難しい。そこで，（6）式を用いてデプスを操作する。

を 「ぐるっとビジョン」と呼んでいる。本稿では，多視点ロボットカメラシステムとぐるっとビジョンの詳細について報告する。

２．多視点ロボットカメラシステム

多視点ロボットカメラシステムは，２図に示す「機械的方向制御」と「仮想的方向制御」を組み合わせて，ぐるっとビジョンを生成する。機械的方向制御においては，ズーム制御が可能な２軸（パン，チルト）の自由度を持つ複数台のロボットカメラを，１人のカメラマンの操作によって３次元空間内の被写体に向けて一斉に方向制御し，多視点映像を撮影する（２図（a））。また，仮想的方向制御においては，撮影映像を計算機に取り込み，射影変換を用いてカメラを仮想的に被写体へ再方向制御することで，カメラマンの操作ミスやロボットカメラの機械的な制御誤差により生じた方向制御エラーを補正する（２図（b））。本章では，多視点ロボットカメラとぐるっとビジョンの制御の詳細について説明する。

２．１　多視点ロボットカメラ（１）ロボットカメラの設置

被写体が位置する領域や移動領域を考慮して撮影領域を決定する。撮影領域を囲むように多視点ロボットカメラを円弧状もしくは直線状に並べて設置する。その際，両端のカメラの光軸が，撮影領域の中心で交差するように設置する。光軸が交差する角度は，ぐるっとビジョンにおいて視点が被写体の周囲を回り込む角度となる。

（２）カメラキャリブレーション各ロボットカメラをCamn（1≤n≤N）と定義し，nはカメラ

番号，Nはカメラの台数とする。すべてのロボットカメラを，撮影領域内にある適当な被写体に向けて手動で方向制御し，多視点映像を撮影する。その撮影映像に弱校正カメラキャリブレーション12）＊２を施し，Camnのカメラパラメーター

（回転行列＊３R0n，並進行列＊４t 0n）と，この撮影におけるエンコーダー値（パンP0n，チルトT0n）を取得する。このとき，世界座標＊５xからカメラ座標＊６xnへの変換式は（1）式で表される。

xn =［R0n t0n］x1 （1）

（３）ロボットカメラの（一斉）方向制御制御の概要を２図（a）に示す。すべてのロボットカメラが，

３次元空間内の点である注視点に，常に追随するように方向制御を行う。注視点は，カメラマンによるマスターカメラ

＊2 特殊なキャリブレーションパターンを使用せず，多視点画像間の自然特徴点のマッチングによりカメラパラメーターを算出する手法。

＊3 カメラの姿勢を表す行列。

＊4 カメラの位置を表す行列。

＊5 空間全体を表す座標系。

＊6 カメラを中心とした座標系。

28 NHK技研 R&D ■ No.173 2019.1

カメラで同じサイズで撮影するために，各カメラから注視点までの距離Dnに応じて，各カメラの焦点距離 f0nを（11）式により制御する。

f0n = f0M（ Dn / DM ） （11）

カメラマンは，注視点を被写体位置に指定して多視点映像を撮影するために，まず，マスターカメラのパン，チルトを操作して被写体を捉える。次に，デプスを操作して，注視点を光軸に沿わせて被写体位置まで移動させる。カメラマンは，マスターカメラの他に，最低１台のスレーブカメラの撮影映像を見て操作し，スレーブカメラの撮影映像における被写体の位置によって，デプスが合っているかを判断する（４図）。例えば，４図（a）のようにデプスが合っていない場合は，マスターカメラの撮影映像では被写体が画面の中心に位置しているが，スレーブカメラでは被写体が画面の中心に位置していない。一方，４図（b）のようにデプスが合っている場合は，マスターカメラとスレーブカメラの双方で被写体が画面の中心に位置しており，カメラマンはデプスが合っていると判断することができる。

２．２　ぐるっとビジョン（１）被写体の決定

まず，機械的方向制御を行って撮影した多視点映像と，撮影時の焦点距離を収録する。収録完了後，ユーザーは，収録した多視点映像からぐるっとビジョンを生成するフレームF（５図参照）と被写体を決定する。多視点映像のうち任意の２台のカメラCama，Cambの映像において，その被写体の位置の画像座標（ua, va）および（ub, vb）を取得する。

D = B・sin（ θ・ d/dmax）/ sin（ θ・（ 1－d/dmax）） （6）

（6）式を用いてデプスを操作するために，まず，３図（b）のように，複数台のスレーブカメラから１台を選択する。（6）式におけるBは，マスターカメラと選択したスレーブカメラの間の距離， θは，選択したスレーブカメラの方向制御の範囲であり，選択したスレーブカメラがマスターカメラの位置へ方向制御されたときの角度とマスターカメラと同じ方向へ方向制御されたときの角度との間の幅である。 dはデプスの操作デバイスの操作量，dmaxはその最大値である。（6）式の制御により，デプスの操作デバイスの操作量に比例して，注視点に追随するスレーブカメラの制御角度を変えることができ，直観的な操作を行うことができる。

そして，（7）式により，すべてのスレーブカメラを注視点に向けて方向制御する。すなわち，カメラ座標系における各カメラから注視点ɡへのベクトルonを（7）式より求める。

on = R0n ＋ R0n t0n

－1

＋ R0n t0n |||| －1 （7）

各カメラを注視点へ方向制御するための制御角（パンPn，チルトTn）は（8）（9）（10）式より求める。

（8）on = ［en1 en2 en3］ T

Pn = tan－1（en3 / en1）＋ P0n

Tn = sin－1（en2）＋ T0n

（9）

（10）

各カメラのパンとチルトをそれぞれPn，Tnだけ制御することで，カメラの方向を注視点に追随させる。

また，光学ズームを用いて注視点上の被写体をすべての

３図　デプス制御

（a）デプス操作デバイスの操作量に比例してデプスが増減

スレーブ マスター スレーブ 選択されたスレーブ

マスター スレーブ

等距離

等角度

θ

B

（b）デプス操作デバイスの操作量に比例してスレーブカメラの制御角度が増減

29NHK技研 R&D ■ No.173 2019.1

A' 0n =f0n

00

0f0n

0

Cx

Cy

1 （14）

ここで，ωは画像距離（カメラからxまでの距離），f0nは焦点距離，（Cx, Cy）は画像中心（画像の中心の位置座標）を表す。

（３）仮想的カメラ制御（１）で選択した被写体の位置に，注視点をɡ'として再指

定し，射影変換を用いてカメラをɡ'へ仮想的に再方向制御する。 ɡ'は（15）（16）（17）式より算出する。

（２）カメラキャリブレーションぐるっとビジョンを生成するフレームFの多視点映像と収

録した撮影時の焦点距離を用いて弱校正カメラキャリブレーションを行い，カメラパラメーター（回転行列R'0n，並進ベクトルt'0n，焦点距離 f0n）を取得する。世界座標xから画像座標（un, vn）への変換式を（12）（13）（14）式に示す。

= Snω x1

un

vn

1 （12）

Sn = A' 0n［R'0n t'0n ］ （13）

４図　デプスの決定

５図　ぐるっとビジョンにおける映像生成

（a）デプスが正しくない場合

スレーブ スレーブマスター

注視点

注視点

デプス デプス

スレーブ スレーブマスター

撮影映像 撮影映像（b）デプスが正しい場合

フレームの流れ

カメラ 1

カメラ 2

カメラ

射影変換行列H11線形補間 線形補間

線形補間 線形補間

線形補間 線形補間

H21

Hn1

H22

Hn2

H2i

H12 H1i

Hni

多視点映像表現を行うフレーム F1

カメラパス

フレーム F2 フレーム F3

n

30 NHK技研 R&D ■ No.173 2019.1

fn = k・f0M・＋ R0n t0n

－1

|||||||| ' ' '

＋ R0M t0M －1' ' ' （24）

A' n =fn00

0fn0

Cx

Cy

1 （25）

ここで，kは射影変換後のズーム率である。カメラをɡ'へ仮想的に方向制御するために，（26）（27）式

により射影変換を行う。（un, vn）は，射影変換前の画素の画像座標，（u'n, v'n）は，射影変換後の画像座標を表す。

Hn = A' n R'n R'0n A'0n－1 －1 （26）

= Hn

un

vn

1

u'n

v'n

1 （27）

（４）ぐるっとビジョンの映像生成ぐるっとビジョンにおける映像生成を５図に示す。まずユーザーは，専用のソフトウェアを用いて，多視点映

像シーケンス中の複数のフレーム（キーフレーム） Fiを選択し，各キーフレームにおいて，注視点と射影変換後のズーム率，どの視点から見るかという情報を入力する。

次に，選択されたキーフレームにおいて，弱校正カメラキャリブレーションを用いてカメラパラメーターを求め，射影変換行列Hniを生成する。さらに，キーフレームにおける被写体をどの視点から見るかという情報からカメラパスを決定し，カメラパス上のキーフレーム以外のフレームにおける射影変換行列を，キーフレームの射影変換行列を用いて補間することにより生成する。ここで補間は，キーフレームとの距離に応じて線形補間で行われる。この補間により，キーフレームの間でも滑らかに視点がつながるようにカメラを仮想的に方向制御することができる。

最後に，カメラパス上の画像に射影変換を施し，画像を切り替えることでぐるっとビジョンを生成する。

２．３　多視点ロボットカメラシステムの構成多視点ロボットカメラシステムは，主に多視点ロボットカメ

ラ，操作インターフェース，ぐるっとビジョン処理装置で構成されている。

多視点ロボットカメラは，小型ハイビジョンカメラを電動雲台上に設置し，ボードコンピューターを搭載した複数台のロボットカメラである（６図）。外部信号によって，パン，チルト，ズーム，フォーカス，アイリスの遠隔操作が可能である。

= M＋b' （15）

M =

Sa31ua － Sa11

Sa31va － Sa21

Sb31ub － Sb11

Sb31vb － Sb21

Sa32ua － Sa12

Sa32va － Sa22

Sb32ub － Sb12

Sb32vb － Sb22

Sa33ua － Sa13

Sa33va － Sa23

Sb33ub － Sb13

Sb33vb － Sb23

（16）

b =

Sa14 － Sa34ua

Sa24 － Sa34va

Sb14 － Sb34ub

Sb24 － Sb34vb

（17）

ここで，SnijはSnの i行 j列目の要素，M+はMの一般化逆行列＊７を表す。

カメラを仮想的に方向制御した際にカメラを地面と水平に保つために，地面との垂直軸を算出する。ロボットカメラの２軸のうち，チルト軸は地面と水平になっているため，垂直軸は任意の２台のカメラCams ，Camtにおけるチルト軸の外積によって算出できる。垂直軸vを（18）（19）式より算出する。

R'0n =rn1rn2rn3

（18）

v =rs1 × rt1rs1 × rt1 |||| （19）

カメラをɡ'へ仮想的に方向制御したときの回転行列R'nを（20）（21）（22）（23）式より算出する。

R'n =enxT

enyT

enzT （20）

enz =＋ R0n t0n

－1

||||' ' '＋ R0n t0n

－1' ' ' （21）

enx =enz × venz × v |||| （22）

eny =enz × enxenz × enx |||| （23）

ここで， enx， eny， enzは，それぞれカメラのチルト軸，パン軸，ロール軸を表す。

カメラをɡ'へ仮想的に方向制御した際，すべてのカメラにおける被写体の大きさをマスターカメラCamMの被写体の大きさと同じにするために，（24）式より，各カメラの焦点距離fnを，カメラから注視点までの距離に応じて調整する。また

（25）式より， fnから行列A'nを算出する。

＊７ 行列GとAがAGA=Aを満たすとき，GはAの一般化逆行列と呼ぶ。

31NHK技研 R&D ■ No.173 2019.1

ためのGPU（Graphics Processing Unit）が搭載されている。また，このソフトウェアによってぐるっとビジョンにおける視点の切り替え方向や，再生スピード，デジタルズーム率などを任意に変更可能である。

以上で述べたシステムの系統図を９図に示す。

３．実験

３．１　撮影実験本システムの性能を評価するために，バレーボールにおい

て３次元空間をダイナミックに移動する選手や３次元空間内に広く点在する選手を撮影し，ぐるっとビジョンの映像を生成する実験を行った。10図のように９台のロボットカメラを90°円弧上に配置して撮影を行った。カメラから被写体までの距離は約11m，カメラ間隔は2.3mとした。生成したぐるっとビジョンの映像を11図に示す。

体操，バスケットボール，柔道においても同様の実験を行い，ぐるっとビジョンの映像を生成した。それぞれの映像を12図，13図，14図に示す。

以上の実験の結果，バレーボールにおいては，３次元空間をダイナミックに移動する選手や，３次元空間内に広く点在する選手の多視点映像を，撮影完了から約１分で生成することができた。また，システムの事前準備におけるカメラキャリブレーションを約５分で完了できた。体操，バスケットボール，柔道においても，同様にぐるっとビジョンを生成することができた。

３．２　番組利用本システムを「NHK杯フィギュアスケート選手権大会」の

競技のリプレーで番組利用した。15図のように観客席に９台のロボットカメラを直線状に配置して撮影を行った。カメラから被写体までの距離は約30m，カメラ間隔は約２mとした。放送されたぐるっとビジョンを16図に示す。

この実験の結果，広いリンク上をダイナミックに移動する選手のジャンプなどのぐるっとビジョンを準リアルタイムで生成し，競技直後のリプレーで放送することができた。選手のジャンプにおける蹴り出しの姿勢，空中の姿勢，着地の姿勢などをさまざまな視点から分かりやすく表現することができた。

電動雲台のパン，チルト制御モーターにはサーボモーター＊８

を導入しており，高精度に方向制御を行うことができる。操作インターフェースは，マスターカメラのパン，チルト，

デプスと，すべてのカメラのズームを操作するもので，バーチャルリアリティー用の操作インターフェースを改修したものである（７図）。フォーカスデマンド（フォーカスを調整するための装置）を用いてデプスを操作し，フォーカスはデプスから自動調整される。そのため，１人のカメラマンによる従来のテレビカメラとほぼ同じ操作で多視点ロボットカメラを操作できる。

ぐるっとビジョン処理装置は，収録装置から取得した撮影映像に仮想的方向制御を施し，ぐるっとビジョンの映像を生成するワークステーションである（８図）。準リアルタイムでぐるっとビジョンの映像を生成するために，ユーザーによる操作（ぐるっとビジョンを生成する時間と被写体の決定）を素早く行うためのソフトウェアや，高速で射影変換を行う

６図　ロボットカメラ

７図　操作インターフェース

８図　ぐるっとビジョン処理装置

＊８ サーボ機構（位置や速度などを目標値に追従させるための制御系）において，制御を行うために使用するモーター。

32 NHK技研 R&D ■ No.173 2019.1

９図　システム系統図

10図　カメラ配置 （バレーボール）

11図　バレーボールのぐるっとビジョン

弱校正カメラ

キャリブレーション部

ぐるっとビジョン処理装置

PC

仮想的方向制御部

PC

映像カメラ位置・姿勢

エンコーダー値（焦点距離）

映像

パン，チルト，ズーム，デプス

パン，チルト，ズーム，デプス 注視点

ズーム エンコーダー値映像

同期信号映像

操作インターフェース

ロボットカメラ1（マスター）

ロボットカメラ2（スレーブ）

ロボットカメラN（スレーブ）

LANHD-SDI （High Definition Serial Digital Interface）

同期信号発生器

PC

映像収録部

エンコーダー値収録部

注視点世界座標算出部

11m

2.3m

カメラ1

カメラマン

カメラ9

1 2 3 4 5

6 7 8 9 10

11 12 13 14 15

ぐるっとビジョン

33NHK技研 R&D ■ No.173 2019.1

12図　体操のぐるっとビジョン

13図　バスケットボールのぐるっとビジョン

14図　柔道のぐるっとビジョン

ぐるっとビジョン

1 2 3 4 5

6 7 8 9 10

11 12 13 14 15

ぐるっとビジョン

視点変更

視点変更

視点変更

Cam15 Cam12 Cam 9 Cam 9 Cam 9

Cam 5 Cam 1 Cam 1 Cam 1 Cam 8

Cam16 Cam 8 Cam 1 Cam 1 Cam 1

34 NHK技研 R&D ■ No.173 2019.1

４．考察

本システムが，１章で挙げた要求条件を満たすか検証した。要求条件（1）は，「滑らかに視点が切り替わるぐるっとビ

ジョンを実現するために，３次元空間をダイナミックに移動する被写体に対しても，多視点カメラを高い精度で方向制御することが可能であること」であった。本システムは，多視点ロボットカメラの機械的方向制御および仮想的方向制御により，バレーボールやフィギュアスケートなどにおいて３次元空間をダイナミックに移動する選手に対して，多視点カメラを高い精度で方向制御することが可能である。方向制御の精度を評価するために，11図のぐるっとビジョンの映像における注視点位置の画像座標と画像中心位置の画像座標とのユークリッド距離を計測した結果，９台のカメラの平均誤差は1.4ピクセルであった。これは，ぐるっとビジョンを生成する上で問題のない方向制御精度であり，高い精度で方向制御ができていると言うことができる。

要求条件（2）は，「生放送のスポーツ中継において，競技中のシーンのぐるっとビジョンを競技直後のリプレーで放送可能な処理時間であること」であった。本システムは，ぐるっとビジョンを撮影完了から約１分で生成することができ，

「NHK杯国際フィギュアスケート競技大会」の競技直後のリプレーで番組に利用することもできた。

要求条件（3）は，「システムの事前準備においてカメラキャリブレーションが短時間で完了すること」であった。本システムは，事前準備でのカメラキャリブレーションを約５分で完了することが可能であり，十分実用的である。

以上の検証により，本システムは，すべての要求条件を満たすことが分かった。

５．まとめ

多視点ロボットカメラシステムを提案し，撮影実験や番組利用を通じて，本システムが，３次元空間をダイナミックに移動する被写体や３次元空間内に広く点在する被写体の多視点映像を，パンフォローおよびズームして撮影し，撮影映像からぐるっとビジョンを実現できることを確認した。また，放送現場でのシステムの事前準備が短時間で完了し，準リアルタイムでぐるっとビジョンを生成可能なシステムであることが分かった。これらの結果から，本システムが汎用的かつ実用的なシステムであることを確認した。

15図　カメラの配置と会場の様子 （NHK杯フィギュアスケート選手権大会）

多視点ロボットカメラ

ぐるっとビジョン

16図　フィギュアスケートのぐるっとビジョン

35NHK技研 R&D ■ No.173 2019.1

たものである。K. Ikeya and Y. Iwadate：“Multi-Viewpoint Robotic Cameras and Their Applications,” ITE Transactions on Media Technology and Applications，Vol.4，No.4，pp.349-362（2016）

謝辞　本研究を行うにあたり多大なるご指導，ご鞭撻を賜った（株）NHKアイテック 岩舘祐一氏に感謝を申し上げる。

本稿は，ITE Transactions on Media Technology and Applicationsに掲載された以下の論文を元に加筆・修正し

参考文献 １） T. Kanade, P. Rander and P. Narayanan：“Virtualized Reality: Constructing Virtual Worlds from Real Scenes,” IEEE Multimedia，4（1），pp.34-47 （1997）

2） R. Collins and T. Kanade：“Multi-Camera Tracking and Visualization for Surveillance and Sports,” Fourth International Workshop on Cooperative Distributed Vision Proceedings，pp.27-55 （2001）

3） http://replay-technologies.com/

4） Y. Ohta, I. Kitahara, Y. Kameda, H. Ishikawa and T. Koyama：“Live 3D Video in Soccer Stadium,” International Journal of Computer Vision （IJCV），75（1），pp.173-187 （2007）

5） K. Kimura and H. Saito：“Player Viewpoint Video Synthesis Using Multiple Cameras,” IEEEur. Conf. Vis. Media Prod，pp.112-121 （2005）

6） N. Inamoto and H. Saito：“Virtual Viewpoint Replay for a Soccer Match by View Interpolation from Multiple Cameras,” IEEE Trans. Multimedia，9（6），pp.1155-1166

（2007）

7） O. Grau, M. Prior-Jones and G. Thomas：“3d Modelling and Rendering of Studio and Sport Scenes for TV Applications,” Proc. of WIAMIS （2005）

8） A. Hilton, J. Guillemaut, J. Kilner, O. Grau and G. Thomas：“3D-TV Production from Conventional Cameras for Sports Broadcast,” IEEE Trans. Broadcasting，57（2），pp.462-476 （2011）

9） M. Germann, A. Hornung, R. Keiser, R. Siegler, S. Wurmlin and M. Gross：“Articulated Billboards for Video-based Rendering,” Comput. Graphics Forum，29（2），pp.585-594

（2010）

10） K. Tomiyama, K. Hisatomi, M. Katayama, Y. Iwadate, T.Hayashida, H. Maruyama, T. Goji and T. Yoshida：“Advanced Video Image Technologies for Sports TV,” NAB Show Broadcast Engineering Conference （BEC） Proceedings，pp.193-198 （2008）

11） J-Y. Guillemaut and A. Hilton：“Joint Multi-layer Segmentation and Reconstruction for Free-viewpoint Video Applications,” International Journal of Computer Vision （IJCV），pp.1-28 （2010）

12） N. Snavely, S. M. Seitz and R. Szeliski：“Photo Tourism: Exploring Image Collections in 3D,” ACM Transactions on Graphics （Proceedings of SIGGRAPH 2006），25（3） （2006）

池いけ

谷や

健けん

佑すけ

三み

科しな

智とも

之ゆき

2006年入局。長野放送局を経て，2009年から放送技術研究所において，３次元映像技術の研究に従事。現在，放送技術研究所空間表現メディア研究部に所属。博士（工学）。

1989年入局。営業総局を経て，1992年から放送技術研究所において，放送システム，立体映像の研究に従事。2006年から2010年まで

（独）情報通信研究機構に出向。現在，放送技術研究所空間表現メディア研究部部長。博士

（工学）。

36 NHK技研 R&D ■ No.173 2019.1