映像機器 コンピュータエンターテインメント

の

最新技術トレンド トライゼット西川善司

2014.5.24

こんにちは、西川善司です テクニカル・ジャーナリストをしています

元々は某大手電機メーカープログラマでした

雑誌やネットメディアなどで記事を書いています

製品開発に関わるコンサルティングをすることもあります

マイクロソフトMVPアワード10年連続受賞

2014年度も頂きました!

最近特にフォーカスしているテーマ

ゲーム開発技術

3Dグラフィックス技術

映像デバイス

PC関連技術

“西川善司”を検索すると…

結構色々出てきます

本日、お話する内容

ここ数年内に発表された映像技術やコンピュータエンターテインメント技術の総括

既に詳細は西川善司記名での記事化をしております

スライド中のURLをご参照ください

※スライドは下記のURLでダウンロード出来ます

http://z-z-z.jp/zenji/bornzenji.pdf

CG技術の最新動向

GPU技術の最新動向 CPU-GPU間、GPU-GPU間の超高速バスI/F

NVIDIA NVLINK

GPGPU用途に必須技術

3Dメモリ技術

2016年に実用化が開始される。

メモリ帯域が4倍以上に向上

DirectX12 GDC2014で発表された

2015年登場予定

パフォーマンス重視のアーキテクチャ大幅改変

Windows7,8へ供給

［GDC 2014］DirectX 12，ついに発表。その特徴に迫る http://www.4gamer.net/games/033/G003329/20140321013/

MANTLE パフォーマンス重視のグラフィックスAPI

AMDが2013年後期に発表

AMD RADEON HD7000系(GCNコア世代)以降に対応

Windows以外のLinux,Mac,Mobile機器への展開も予告される

BATTLEFIELD4など、対応ゲームも出始めた

Frostbite 3エンジンの凄腕開発者が語る「Mantle」の可能性。Windows以外でもサポートできる？ http://www.4gamer.net/games/234/G023477/20131116002/

MANTLE対DirectX12 MANTLEやDirectX12が登場した時代背景

GPUのアーキテクチャが似通ってきた

プログラマブルシェーダアーキテクチャ

統合型シェーダアーキテクチャ

GPGPU対応

極薄抽象化レイヤー化へ

マルチコアCPUの積極活用

GPUプログラミングのボトルネックがCPU側で発生している現実を無視出来なくなってきた

パフォーマンス向上

家庭用ゲーム機のGPUプログラミング作法に学ぶ

新しいレンダリングメソッドの開拓も可能に?

レイトレーシング技術復権の兆し?(1) Imagination TechnologiesがPowerVR Wizardを発表

PowerVR6に交叉判定ユニット(Ratracing Unit)を統合

既存のグラフィックスレンダリングとレイトレーシングが共存できる設計

従来のラスタライズレンダリングに対し部分的にレイトレーシングを取り入れるようなハイブリッドレンダリングが可能に

プログラマブルレイトレーシングプラットフォーム「OpenRL」も提供 ［GDC 2014］PowerVRがついにリアルタイムレイトレーシングエンジンを統合。ゲームグラフィックスはハイブリッド時代へ

http://www.4gamer.net/games/144/G014402/20140324062/

レイトレーシング技術復権の兆し?(2)

ピクサーがGPGPUベースのレイトレーシングエンジンOptiXを採用

OptiXとは?

NVIDIA製GPUのGPGPUプラットフォーム「CUDA」ベースのプログラマブルレイトレーシングエンジン

照明設計に採用

最終レンダリングは未だにCPUベースのレイトレーシングで実践(笑) ［GTC 2014］職人芸集団のPixar，NVIDIAのGPUとゲームグラフィックス技術でCG制作環境のリアルタイム化を目指す

http://www.4gamer.net/games/999/G999902/20140402083/

物理ベースレンダリング(1) 物理ベースレンダリングエンジンの主流化

PS4,Xbox One世代の主流メソッドに

Forza Motorsport5、Infamous:Second Son、Ryse:Son of Rome(CryEngine)、MetalGearSolid V(FOX Engine)、Killzone:Shadow Fall、Unreal Engine4、Luminous Studio、Panta Rhei、シリコンスタジオ新レンダラーなどなど

物理ベースレンダリングとは?

エネルギー保存の法則を意識したレンダリングシステム

BRDF,BSSRDFに対し入射光の総和と出射光のの総和が一致すること

それ以前は「拡散反射項」と「鏡面反射項」を個別に感覚的に調整していた

本来は、拡散反射項を強くしたら、その分、鏡面反射項は弱くなるのに、そうした相関を無視して調整していた

物理ベースレンダリング(2) 物理ベースレンダリングの主流実装方式

拡散反射項

Forza Motorsport5,Unreal Engine4 Lambert法

PantaRhei Oren-Nayar法

鏡面反射項

Forza Motorsport5,Panta Rhei Blinn-Phong法

Killzone:Shadow Fall Cook-Torrance法

Unreal Engine4 Trowbridge-Reitz(GGX)法

動的光源の無制限化①

スケーラブルかつ無制限に動的光源を配置できるようになるレンダリングメソッドが主流に

現在、以下の2つのレンダリングメソッドが有望視されている

Deferred系メソッド

Deferred Shading(Deferred Rendering)

Deferred Lighting(Light Pre-Pass Rendering)

Forward+ Rendering

動的光源の無制限化②

Deferred系

先行してジオメトリをレンダリング

その際に後段に必要な中間パラメータをMRT(Multi

Render Target)にて複数バッファに出力

これをG-Bufferという

後段でこの中間パラメータを参照しながらライティングやシェーディングを行う

画面座標系で光源をレンダリングするようなイメージ

「KILLZEON2」(SCE,2009)

動的光源の無制限化③ Forward+

Zバッファレンダリングをおこなう(Z先だし)

G-Bufferなし

画面を画面座標系でタイルに分割

そのシーンに存在する動的光源が画面内のどこに存在して、そのフレームのレンダリング関わるか否かをComputeShader(GPGPU)にて判断

結果を有効光源リストとして出力

通常のForwardレンダリングを実施

その際に光源リストを参照しながらライティング、シェーディングを行う

動的光源の無制限化④

Deferred系の特徴(長所・短所) 遠くの光源からのスペキュラが反映されるアリティと美しさ

MSAAとの相性が悪い スクリーンスペースのアンチエイリアスで対処できる?

半透明との相性が悪い Order Independent Transparency(OIT)の概念の導入の必要性

Forwardパスを追加すればいいだけ?

1個のシェーダでなくてもパスを分ければ色んなライティング表現、シェーディング表現、マテリアル表現が出来る 方向情報を持ったライトマップの応用や球面調和関数の活用

マテリアル表現のバリエーションが頭打ちになりやすい G-Bufferの1つにマテリアルidをレンダリングすれば対策は可能

G-Bufferがメモリを食う 次世代機では無視出来る問題なのかも?

マテリアルの情報は別のテクスチャに焼いておいてルックアップすれば対処可能

• Forward+の特徴(長所・短所) – Forwardのメリットが全て享受できてDeferredのよいと

ころも取り入れられる • MSAA-OK、半透明-OK

– 多彩なマテリアル表現と無数の動的光源の両立

– テッセレーションを考えると、二度負荷の高いジオメトリレンダリングが入るので無駄が多い

• Light Cullingの際にはテッセレーションしないといった対策案も

– 影生成が付いてこない

– フォグ、アンビエントオクルージョンはどうすればいい?

– リアルタイムグローバルイルミネーションはVirtual Point Lightでやるしかない

– Deferredで出来ること以上のForward+の旨味を出すためにはハイスペックなGPUパワーは必要

結局、Deferred Rendering優勢?

PS4,Xbox One世代向けゲームグラフィックスにはDeferred Rendering採用ケースが目立つ

UNREAL ENGINE4、CRY ENGINE、FOXエンジン、シリコンスタジオの新レンダラ、Panta Rhei、Luminous Studioなど

PantaRheiはForward+にも対応を表明

結局、大局照明技術はどうなった?(1) 一世を風靡したリアルタイムGI技術の「Sparse Voxel Octree

Global Illumination」(SVO-GI)法 NVIDIAが開発し、Unreal Engine4が採用

各所で実装が試みられるもののパフォーマンス的にゲームで使うのは難しい判断される

しかし「VOXEL CONE TRACING(VCT)は結構使える!!」という見解も生まれ、VCTの活用気運が高まる PantaRheiでは形状の定まらない流体のような発光体からの照明実践に

VCTを活用

diffuse

Specular

結局、大局照明技術はどうなった?(2)

結局現状では、IBL(Image Based Lighting)的アプローチが主流 固定グリッドや事前設置プローブから事前生成したキューブマップを光源として使う手法

局所的な相互反射はRealtime Local Reflection(RLR)法でカバー RLR:画面座標系で局所的なレイトレーシングを実践するポストエフェクト

CRYTEKがCRYSIS2で実装したことで広まったテクニック

NVIDIAはVCTを使った軽量版SVO-GIを発表 「PRACTICAL REAL-TIME VOXEL-BASED GLOBAL ILLUMINATION

FOR CURRENT GPUS」(Alexey Panteleev,NVIDIA,2014) http://on-demand.gputechconf.com/gtc/2014/presentations/S4552-rt-voxel-based-global-

illumination-gpus.pdf

CGとクラウド技術

クラウド技術がもたらすもの(1)

現在のクラウドゲーミングは…主に…

既存のサーバー側で動作させているバーチャルマシン上にゲームを起動し、これをネットワークの向こう側のユーザーにプレイさせるもの

G-Cluster他

クラウド技術がもたらすもの(2) クラウドゲーミングがメインストリームになる際にはさらに多様な展開が予測される

クラウド技術使用前提のゲームエンジンの台頭

スクウェアエニックスはクラウドゲーミングエンジン「Project Flare」の存在を発表

BRIGADE 3.0 (OTOY,2014年)

ゲームスタジオ自身がゲームプラットフォーマとなる

作りたいゲームに見合ったスペックのクラウドシステムを構成できる

ゲーム機のスペックに縛られないゲームが提供出来るようになる

BRIGADE 3.0

(OTOY,2014年)

クラウド技術がもたらすもの(3)

ハイブリッド型クラウドゲーミングエンジン http://www.4gamer.net/games/251/G025174/20140325038/

リアルタイム性が重視される処理系はクライアント側で処理する

プレイヤー操作入力処理

自キャラ描画

ゲージや近景の描画

複雑な処理系はクラウド側で処理する

大規模なシミュレーションやAI

プレイヤー操作を反映させたゲーム進行処理

(遠景等の)大規模グラフィックス描画

ゲーム機のライフタイム延長に貢献

PS4とXbox Oneは10年保たせるとメーカーが公言

クラウド技術がもたらすもの(4) グラフィックス描画にレイトレーシング等を採用したクラウドサービス

クラウドレンダリングサービス

IRAY VCA

Octane Render 2.0

ゲームエンジン

BRIGADE 3.0 (OTOY,2014年)

レンダリングにパストレーシングを採用

クラウド側にNVIDIAの「GRID VCA」を採用

クラウドサービス「Amazon Elastic Compute Cloud」

ディスプレイ技術

ボリューム3Dディスプレイ(1) True 3D Display(Burton・慶應義塾大学,2011年)

http://www.4gamer.net/games/038/G003884/20110825004/

Tensor Displays:Compressive Light Field Synthesis using

Multilayer Displays with Directional Backlighting(MIT Media

Lab,2012年)

http://www.4gamer.net/games/017/G001762/20121120002/

ボリューム3Dディスプレイ(2)

RayModeler(SIGGRAPH2010,SONY)

http://www.4gamer.net/games/116/G011649/20100728054/

VOLUMEN(MAXMALI)

http://maxmali.com/volumen/

裸眼で2D、メガネを掛けて3D立体視 2×3Dディスプレイ(神奈川工科大学 情報学部 情報メディア学科 白井暁彦,2012年)

裸眼で映像A、メガネを掛けて映像B ExPixel技術(神奈川工科大学 情報学部 情報メディア学科 白井暁彦,2014年) 神奈川工科大、裸眼とメガネ装着で全く異なる映像を見せられる「ExPixel」技術

http://av.watch.impress.co.jp/docs/news/20140502_646850.html

多重化隠蔽映像技術(1)

ゲームに応用するとかなり面白そう

裸眼でプレイヤー1映像、メガネを掛けてプレイヤー2映像

裸眼で見たときとメガネで見たときとで異なる映像体験を与えるのも楽しそう

多重化隠蔽映像技術(2)

VR対応HMD(1) Oculus Rift DK2(Oculus VR,2014年3月)

6軸自由度への対応

FacebookがOculus VR社を20億ドルで買収 http://www.4gamer.net/games/195/G019528/20130615005/

http://www.youtube.com/watch?feature=player_embedded&

v=fdU-f456N-E

VR対応HMD(2)

Project Morpheaus(ソニー、2014年3月)

ソニーがVRに参入

PS4対応。6軸自由度に対応 http://www.4gamer.net/games/251/G025118/20140319098/

http://www.4gamer.net/games/251/G025118/20140321014/

VR対応HMD(3)

Morpheaus Oculus Rift DK2 HMZ-T3W(参考)

映像パネル 5インチ液晶 5インチ有機EL 0.7インチ有機EL×2

映像パネルの解像度 1920×1080ドット 1920×1080ドット 1280×720ドット

一眼あたりの解像度 960×1080ドット 960×1080ドット 1280×720ドット

画角 水平90° 水平100°(目標値) 水平45°

拡大光学系による表示映像の歪み

あり。映像側で吸収 あり。映像側で吸収 なし

映像フレームレート 60Hz 最大75Hz(60Hz、72Hzも可) 60Hz

動き追従センサー 加速度センサー、ジャイロスコープ

加速度センサー、ジャイロスコープ、磁気センサー

N/A

動き追従頻度 1000Hz 1000Hz N/A

位置追従センサー フルカラー可視光LED(前面4、後面2)

赤外光LED(前面と側面に総計40)

N/A

位置追従頻度 60Hz 60Hz N/A

HMD部の重量 非公開 440g 320g

立体音響効果 対応 N/A 対応

VRは映像エンターテインメントの新しい形として今後強く訴求される可能性がある

ゲーム

訓練用シミュレータ

映画のようなパッシブコンテンツにおいてもVR

は有効

VR対応HMDのスペック比較

その他のHMD NVIDIAのHMD「Near-Eye Light Field Displays」

(NVIDIA,2013) http://www.4gamer.net/games/999/G999902/20130722041/

https://www.youtube.com/watch?v=uwCwtBxZM7g

Glyph(AVEGANT、2014年) 網膜投影型ディスプレイ。眼鏡不要

VR対応。1280×720ドット

http://www.avegant.com/

HUD(ARメガネ) SmartEye Glass(ソニー、2014年)

解像度は400×240ドット。レンズ部の厚みは約1mm

BT-200(エプソン、2014年)

解像度は960×540ドット。レンズ部の厚みは約10mm

共に小型プロジェクタをメガネの柄の部分に内蔵

3Dテレプレゼンス(1) Telenoid: Tele-Presence Android for Communication

(ATR知能ロボティクス研究所,2011年)

http://www.4gamer.net/games/017/G001762/20110812054/

Floating Avatar: Blimp-based Telepresence System for

Communication and Entertainment (ソニーコンピュータサイエンス研究所,2011年)

http://www.4gamer.net/games/017/G001762/20110818023/

TELESAR V: TELExistence Surrogate

Anthropomorphic Robot(慶應義塾大学・大学院メディアデザイン研究科・舘研究室,2012年)

http://www.4gamer.net/games/017/G001762/20121120001/

3Dテレプレゼンス(2)

PossessedHand(東京大学大学院情報学環 暦本研究室,2012年)

http://www.4gamer.net/games/017/G001762/20121120001/

http://vimeo.com/27044937

MREAL(キヤノンITソリューションズ）

http://www.4gamer.net/games/210/G021014/20130417006/

3Dインタラクション(1)

3Dインタラクション(2) AIREAL: Tactile Gaming Experiences in Free

Air(Rajinder Sodhi氏ほか，Disney Research

Pittsburgh、2013年)

http://www.4gamer.net/games/999/G999902/2013080

8083/

http://www.youtube.com/watch?v=xaFBjUJj00M

コンピュータビジョンと機械学習

コンピュータビジョン(1) 3Dマッピング

Google Project Tango

https://www.google.com/atap/projecttango/

マイクロソフト PhotoSynth

http://photosynth.net/

コンピュータビジョン(2) 自動車の自動運転

アウディやデンソーがGPGPUベースの自動運転技術を研究開発中

NVIDIA TEGRA K1 (192CUDA CORE,326GFLOPS)

［GTC 2014］デュアルGK110のTITAN Zから組み込み向けTegra K1まで，上へ下へとCUDAを広げるNVIDIAの戦略を読み解く

http://www.4gamer.net/games/076/G007660/20140328063/

機械学習(1) GPUをデータ並列コンピューティングに応用するGPGPU技術が台頭

世界のスパコンの性能TOP500の2位や6位をはじめとして、GPGPUベースのスパコンが増加しつつある

クラウドコンピューティング用のサーバーもGPGPUベースが増加中

コンピュータビジョンや機械学習の分野の研究が盛んに ［GTC 2014］賢い人工知能はGPUで作る。NVIDIAが取り組むGPGPUの新たな活用分野「機械学習」とは何か？

http://www.4gamer.net/games/076/G007660/20140327039/

機械学習(2) 画像を検索キーにして、言葉や別の画像を検索することができる検索システムが実現可能に

ニューヨーク大学のclarifaiが試験稼働中

http://horatio.cs.nyu.edu/

将来的には検索エンジンの在り方が変わってくる可能性も 花に止まっている虫の写真をスマホで撮影して検索…とか

名前が思い出せない人物の写真を撮影して検索…とか

あるいは手書きで調べたいものの絵を描いて検索…とか

景色を撮影して、自分のおよその位置を検索(検出?)…とか

【おまけ】最近した取材

ギルティギアXrd-Sign- 3Dグラフィックスを使って作画アニメ調を目指した作品

UnrealEngine3採用

セルシェーディング

リミテッドアニメーション

わざとテレビアニメ調に毎秒15コマに

部位の移動と拡大縮小

ボーンの3軸拡大縮小回転

アップ用とバトル用の2モデル

エフェクト類も3Dグラフィック

3Dの醍醐味も融合

ダイナミックな視点移動。アニメの世界をカメラが移動する不思議感

近日中に4Gamerで記事掲載

おわり

BLOG「(善)力疾走」 http://www.z-z-z.jp/BLOG/

週刊ファミ通「西川善司のゲームのムズカシイ話」http://www.enterbrain.co.jp/weeklyfamitsu/

4gamer 西川善司 寄稿リストhttp://www.4gamer.net/words/000/W00064/

図解

次世代ディスプレイがわかる

商品番号：9784774136769

発売：技術評論社

ISBN：978-4-7741-3676-9

税込1,764円《税抜1,680円》 西川 善司 著

発売日：2008年12月05日

サイズ： A5判

ページ数： 192

ゲーム制作者になるための3Dグラフィックス技術 発売：インプレスジャパン

ISBNコード：978-4-8443-

2755-4

税込4,200円《税抜4,000円》 著者：西川 善司

発売日：2009年9月11日

サイズ・判型：B5変型判

ページ数：オールカラー304P

3Dゲームファンのための グラフィックス講座 発売：インプレスジャパン

ISBNコード：978-4-8443-2951-0

税込4,200円《税抜4,000円》 著者：西川 善司

発売日：2010年11月25日

サイズ・判型：B5変型判

ページ数：オールカラー344P