NTT技術ジャーナル　2018.122

スポーツ脳科学

一人称視点映像合成 ・ 体験システム

近年，スポーツ分野において情報科学技術の普及が進んでいます．ビッグデータマイニングの流行や，メディアとの相性の良さから，プレイに関する統計量の可視化や解析がさかんです．例えば，MLBではセイバーメトリックスという考え方が映画化されるほど一般化し，野球のさまざまな統計量と勝利に結びつく要素との関係を分析し，主にチームのフロントで，選手評価やリクルーティングなどで大きな効果を上げています．

一方で私たちは，選手個人が試合で発揮するパフォーマンスを向上するための取り組みに興味を持ち研究を行っています．野球をはじめとする相手選手との対戦を伴う競技においては，選手個々の能力を向上させることはもちろんのこと，対戦相手に対応して最大限に能力を発揮する準備が重要になります．これは高いレベルの選手が競い合うプロ競技においてますます重要になると考えています．

対戦においてパフォーマンスを発揮するために，対戦相手を知ることが大切で，近年では，ビデオチェックが広く行われるようになってきています．

これから対戦する選手のビデオを確認し，ビデオに基づいて分析するという準備は競技を問わず一般化しており，言語や統計量では表現が難しい相手の特徴を確認することができるようになります．

しかしながら，ビデオチェックにも課題があると考えています．それは，視線位置の違いです．試合を撮影可能な場所は試合を阻害しない場所，つまり，競技に関係のない人物が立ち入ることのできる場所，例えばスタンドなどに限定されてしまいます．そのため，試合中に選手が体験する視点位置と，ビデオの視点位置とに大きな違いがあり，スピード，視界に拡がる映像などさまざまな観点で体験としての品質が低下してしまう可能性があります．そこで私たちは，この問題を解決し，試合直前の目慣らしとしての利用をめざした，プレイ位置における一人称視点映像合成 ・ 体験システムの研究を行っています．本稿では，もっとも効果的な対象の 1 つと考えられる野球を検討した結果，および今後の発展について紹介します．

試合の準備としてのイメージ トレーニング

■野球の特性野球では，投手が打者に向かって

ボールを投げることでほとんどすべてのプレイが開始されます．先発投手であれば 1 人の投手が100球前後を投じ， 1 人の打者は，複数回打席に立ちます．プロ野球の統計では， 1 打席当り平均して 4 球程度のボールが投じられます．一般的にこの過程でバッターは投手のボールに慣れていくといわれており，プロ野球中継の解説者のコメントでもしばしば， 2 巡目， 3巡目での慣れの効果が指摘されています．このようなプレイの特性から，野球の打席体験を試合前にVR（Virtual Reality）環境下で実施することは非常に効果があると考えています．■必要要件の整理

本システムの検討にあたり，プロ野球の選手 ・ コーチなどを含めた議論を実施して以下の 4 つの必要要件を抽出しました．

①　投手の投げる球筋が奥行きの感覚を伴って体感できる

②　選手ごとに異なるバッターボックス内での立ち位置に依存し

VR スポーツトレーニング 野球

VRイメージトレーニングシステムの実現と 野球への適用

多くのスポーツでビデオなどを活用して試合前に相手のことを分析しています．ビデオは，試合中の選手の位置とは異なる視点から，単眼で撮影されるため，実際の試合での体験とは異なります．NTTでは，試合を阻害しない位置から撮影・計測した情報に基づいて，試合中の選手の一人称視点を合成し体験できるVR（Virtual Reality）イメージトレーニングシステムを開発しました．本稿では，本システムの概要とプロ野球チームとのトライアルによる効果検証について紹介します．

三み か み

上　 弾だ ん

/高たかはし

橋 康こうすけ

輔

西さいじょう

條 直な お き

樹 /五い そ が わ

十川 麻ま

理り

子こ

木き む ら

村 聡としたか

貴 /木き ま た

全 英ひであき

明

NTTメディアインテリジェンス研究所†1

NTTコミュニケーション科学基礎研究所†2

†1 ，2 † 1

† 2 † 1

† 2 † 1

NTT技術ジャーナル　2018.1 23

特集

て変化する見え方の変化を正しく再現できる

③　日々移動する試合会場に持ってまわることができる

④　最新のデータに常に更新できる

VRイメージトレーニングシステム

VRイメージトレーニングシステムの構成を図 1 に示します．システムは，投手の投球動作および投じたボールをVR空間に合成する「体験合成フェーズ」と，それを体験者が体験する「体験フェーズ」に大別されます．体験合成フェーズでは，フィールド内での投手の動きを撮影した映像と，投じられたボールの軌道を計測データに基づいたCGを組み合わせることで，3 次元空間を構成します．

体験フェーズでは，体験合成フェーズで合成された 3 次元空間を，体験者が ヘ ッ ド マ ウ ン ト デ ィ ス プ レ イ

（HMD）で 視 聴 し ま す．こ の と き

HMDの位置および姿勢がセンシングされており，体験者は任意の視点に移動可能であり，バッターボックス内の好みの位置からの体験を実現します．なお，HMDとしては，Oculus Riftを採用しました．簡易に位置トラッキングを実現可能なHMDとして，HTC ViveとOculus Riftが知られていますが，今回はOculus Riftの軽さに着目し，スポーツ選手による体験という観点でOculusを選択しています．図 2にOculusを通じて体験される画像のスナップショットを示します．実際には，両眼に視差を伴った三次元提示が行われます．

以上により，奥行きを伴ったボール軌道を，任意の視点から体験可能となり，さらに可搬性の高いHMDを利用することで，任意の場所へ持ち運ぶことを実現しました．

体験合成フェーズ

体験合成フェーズでは，日々取得される最新の選手の状態に合わせて体験を更新するため，安定かつ簡易な合成を実現する必要があります．そこで，本システムでは，ビルボード方式による投手表現と，ボール軌跡の計測データに基づくCG合成というハイブリッドなアプローチを採用します．■ビルボード方式による投手表現

3 次元空間に人物（投手）を提示する方法は複数存在します．例えば，選手の姿勢 ・ テクスチャをセンシングし，3DCGとして描画することが考えられます．しかし，前述のとおり本システムでは，対戦相手の協力が得られない実戦環境下で，安定したシステムをめざしているため，選手の姿勢を取得するアプローチは現実的ではありません．

試合中など投手にモーションキャプチャを装着することが困難な場合でも利用可能な方法として実写を活用するアプローチが広く知られています（1）．加えて，実写映像の長所の 1 つとして，CGでは表現困難な表情や指先の細かな動きなどを表現することが比較的容易なことがあります．そこで，フィールド外に設置したカメラにより撮影した映像を，三次元空間中に配置したビルボードと呼ばれる仮想的なパネル上で再生することで三次元空間を構成する方法を採用します．野球において投手の位置はあまり変化がなく，また打者の位置も大きな変化はないため，投手の動作は特にビルボード方式に向いた対象といえます．■ボール軌道のCG表現

一方でボールの軌道は，打者から約18メートル離れた位置から投じられ，0.5秒程度の時間で捕手が捕るという奥行き変化の激しい対象です．そのた

図 1 　VRトレーニングシステムの構成

野球場

VR空間合成

HMD位置姿勢センサ

HDMI体験者

トレーニングHMD

PC

体験合成

カメラ（投手映像撮影）

ボール軌道取得センサ

NTT技術ジャーナル　2018.124

スポーツ脳科学

め，ビルボード表現は極めて困難です．そこで，ボールの三次元軌道を計測し，それをCGで表現する，というアプローチを採用します．これにより，打者の任意の立ち位置 ・ 姿勢において正確な軌道を提示可能になります＊．

しかし，ボール軌道をCGで表現すると大きな弊害があります．それはCGで描画されたボールと，実写映像に含まれるボールの二重提示です（図₃ ）．これを避けるため，実写映像からボール領域を除去する必要があります．私たちは，Isogawaらの手法（2）を利用することで，ボール領域をインペインティングすることで， 2 重提示をなくし，体感品質を高めることを実

現しています．

システムの到達点と今後の発展

私たちは，日本野球機構（NPB）に所属するプロ野球チームとの共同実験により本システムの検証を行いました．検証は主に 2 つの観点から行いました．第 1 はこのようなVR環境でイメージトレーニングを行うことの受容性です．そして第 2 は，シーズンを通してのVRコンテンツ更新という運用性の検証です．■受容性

野球においてバッターの分かりやすい指標として打率などが存在しますが， 3 割程度の打率で高いパフォーマ

ンスといわれる不確定性の極めて高いスポーツであること，また実戦の中でのトライアルであり利用者，および利用環境のコントロールが困難であることから，利用者の主観評価を紹介します．

（1）　ボールの奥行き感を感じられるのが良い

ビデオで相手選手をチェックする経験は多くの選手が持っています．しかし，ビデオを通常のディスプレイで見る場合， 2 次元的な表示となり奥行きの変化が分からなくなります．本システムでは，ボールの位置を正確に再現し，HMDを通して頭部位置 ・ 姿勢に合わせて視聴するため，両眼視差，運動視差が共に存在する状態で視聴可能です．これにより実際の打席で体感するボールが投手から向かってくる感覚が得られるという点にポジティブな意見が寄せられました．

（2）　ピッチャーの動きに合わせてタイミングをとるシミュレーションができる

奥行き感があることと類似します

＊ 野球ではPITCHf/x，Trackmanなどボール軌道を取得するシステムが普及しており，近い将来，ボール軌道が安定的に取得可能な状況が実現すると考えています．

図 2 　体験される画像のスナップショット

投手撮影協力：武蔵ヒートベアーズ

投手撮影協力：武蔵ヒートベアーズ

図 3 　ボールの二重提示

NTT技術ジャーナル　2018.1 25

特集

が，打席内でタイミングをとるシミュレーションが可能となる点について好意的な意見が寄せられています．ストレート，変化球などさまざまな速度で投じられるボールに対して，対応しやすい待ち方を事前にシミュレートできることで， 1 打席目を無駄にすることなく試合に臨めるという意見がありました．

（3）　打つべきボール，見送るべきボールを伝えられる

選手ではなく，スタッフの方からのコメントです．本システムを利用することで，ホームベース付近で打ちやすいボールや，打ちにくいボールが，リリース直後にどのような軌道になっているかを選手に把握させることができるようになるのではないかと期待しているとのことでした．

一方で，HMDの利用に伴う解像度の低さや，野球の打席での構え方のためにはより広い視野が必要となる点など改善が必要な点も明らかになってきました．今後，さらなる実験などを通して，VRイメージトレーニングシステムで実現できている部分，改善が必要な部分を切り分け，より効果的なシステムとしていきたいと考えています．■運用性

2016年のシーズンを通したVRコンテンツ作成の実績を示します． 1 シー

ズン143試合のうち，交流戦18試合に代表されるデータの不足する試合を除外しVRコンテンツ作成を行い96投手， 1 投手平均で15.6球のVRコンテンツを作成しました．

これらのコンテンツを作成し，返戻するまでに日数の頻度分布を図 4 に示します．これは，作成に要した日数と一致するものではありません．というのは，試合のスケジュールがおおむね明確なため試合のスケジュールに合わせた依頼と返却を行ったためです．ここで， 1 日の頻度が比較的高くなっていることが見て取れます．これは，スケジュールの変更などで急な対応が必要になった場合を示しており，本システムで，このようなスケジュールの変更に伴う急なコンテンツ作成にも柔軟に対応し得ることが確認できます．

今後の展開

本稿では，VRイメージトレーニングシステムとその実証実験について紹介しました．VR提示を実環境，特に野球のような厳しい時間制約の下で，意思決定し動作する必要がある運動のための事前体験として利用するという試みは多くありません.

今後もこのような実証実験を通して，必要とされる品質や機能を精度良く見極めて，研究開発に活かしていき

たいと考えています．

■参考文献（1） Y. Ohta, I. Kitahara, Y. Kameda, H. Ishikawa,

and T. Koyama：“Live 3D Video in Soccer Stadium，” International Journal of Computer Vision，Vol.75，No.1，pp.173-187，2007．

（2） M. Isogawa, D. Mikami, K. Takahashi, and A. Kojima：“Image and video completion via feature reduction and compensation，” Multimedia Tools and Applications，Vol.76，No.7，pp.9443-9462，2017．

図 4 　返戻するまでの日数の頻度日数

頻度

15

10

5

00 1 2 3 4 5 6 7 8 9 10 11 12 13 14

（上段左から） 三上　 弾/ 高橋 康輔/ 西條 直樹

（下段左から） 五十川 麻理子/ 木村 聡貴/ 木全 英明

スポーツの強化に向けた取り組みは多岐にわたりますが，その難しさは，選手が知覚し，パフォーマンスを発揮できるようにしなければならない点にあると思います．今後，脳科学研究とコンピュータビジョン研究の連携により，ますます取り組みを加速させていきたいと思います．

◆問い合わせ先NTTメディアインテリジェンス研究所 画像メディアプロジェクトTEL　046-859-5179FAX　046-855-1062E-mail　dan.mikami.vp hco.ntt.co.jp