vr game jam 2015 大阪 vr指揮 開発報告
TRANSCRIPT
![Page 1: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/1.jpg)
『バーチャル・コンダクター』 (指揮者になってみよう)
VRコンテンツ開発報告
2015年11月29日
矢野・八尾チーム
![Page 2: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/2.jpg)
Page 2
憧れの指揮者になりきって、フルオーケストラを指揮 各パートに指示が出せ、指揮棒の振り方でテンポ変化 VR指揮者がお手本、その次に自分で指揮、採点機能付
最終形(目指す姿)
![Page 3: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/3.jpg)
Page 3
楽器は最大2つ(例:ピアノ・ヴァイオリン) 腕の動きで演奏スピードが変わる できれば拍に合わせてタイミング良くスピードを変えたい
今回の制作目標
![Page 4: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/4.jpg)
Page 4
腕の動きの認識
→リアルセンス、ニューロン等 拍に応じたスピード変更
→MIDIデータを順次デコード 演奏感の表現
→音符が出てくるアニメ
技術課題と対策案
![Page 5: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/5.jpg)
Page 5
腕の動きの認識
→リープモーション 手振りに応じたスピード変更
→オーディオミキサーのピッチ ⇒音の高さが変わってしまう 演奏感の表現
→音符が出てくるアニメ OK
対策結果
![Page 6: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/6.jpg)
Page 6
(実行画面をご覧下さい)
開発版のデモ
![Page 7: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/7.jpg)
Page 7
腕の動きの認識
→6/8など様々な拍子の認識 演奏感の表現
→バーチャル演奏者の演技 拍に応じたスピード変更
→MIDIストリーミング再生
今後の課題
![Page 8: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/8.jpg)
Page 8
UnityはMIDIに非対応
→オーディオミドルウェア「Wwise」(ワイズ)で再生可能 テンポの調整
→ WwiseのAPIで調整可能 ストリーミング再生
→ 来年Wwiseで対応見込
MIDI ストリーミング再生(1)
![Page 9: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/9.jpg)
Page 9
www.klab.com/jp/technology/pdf/archive_140625.pdf
Wwiseでのテンポ調整
![Page 10: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/10.jpg)
Page 10
www.klab.com/jp/technology/pdf/archive_140625.pdf
UnityでのWwise導入事例
![Page 11: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/11.jpg)
Page 11
http://www.4gamer.net/games/210/G021013/20151026058/
UEでのWwise導入事例
![Page 12: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/12.jpg)
Page 12
http://www.4gamer.net/games/210/G021013/20151026058/
UEでのWwise導入事例(2)
![Page 13: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/13.jpg)
Page 13
腕の動きの認識
→リープモーションで実現 演奏感の表現
→手振りに応じたピッチ変更 拍に合わせたテンポ変更
→Wwiseによる実現可能性
まとめ
![Page 14: VR Game Jam 2015 大阪 VR指揮 開発報告](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5887b6671a28ab817a8b5779/html5/thumbnails/14.jpg)
ご清聴
ありがとうございました。