130622-gcs2013-presentation-c

.

Hiroyuki Masuno

CRI Middleware Co., Ltd.Game Community Summit 2013

Introduction of real-time beat tracking

あなたの音楽にゲームが同期する！-リアルタイムビート解析を使った新しい音ゲーの可能性-

株式会社CRI・ミドルウェア

エンターテインメント事業推進室

増野宏之

[email protected]

.

Hiroyuki Masuno



自己紹介(その1)

• 増野宏之 (Hiroyuki Masuno)

– 広島県呉市出身・札幌在住・新横浜単身赴任

– 1964年10月8日生まれ, 48歳(業界27年目)

– 1986年からKEMCO->コンパイル->ズーム->

サイクロンゼロ->アークシステムワークス

– 今年の4月からCRIミドルウェアに勤務

– 作曲・プログラム・オーディオプログラム

– 海外渉外・宴会部長・FORTRAN真理教教祖

.

Hiroyuki Masuno




• コンタクト情報(主にFacebookで活動)

– Facebook :

http://www.facebook.com/hiroyuki.masuno.7

– Twitter : @HiroyukiMasuno

– 3DS/PSN等すべて実名登録

– ノーガード戦法

.

Hiroyuki Masuno




• CEDEC2013運営

– オーディオ分野・副担当

• SIG-Audio運営

• Interactive Music研究会運営

.

Hiroyuki Masuno



Dejavu, Shadowgate, Uninvited (FC)

• KEMCOアドベンチャーシリーズ3部作

• 原作はICOM Simulationsがリリースしていたもの

• 作曲を担当。ファミコン音源で本格ジャズに挑戦

• ShadowgateはZojoiがKickstarterでリメーク中

.

Hiroyuki Masuno



Drakkhen (SFC)

• 家庭用ゲーム機初の本格3DポリゴンRPG

• 原作はInfogrames(ATARI)がAmigaでリリースしたもの

• 音楽とポリゴンドライバーおよび海外渉外を担当

.

Hiroyuki Masuno



ファーストサムライ (SFC)• 伝説のアホゲー

• 理解不能な世界観

• 城みちるの主題歌

• この作品での仕事

– 海外渉外• 日本+SFCに持ってきたのは私です。

– 作曲

• 私の曲の中で唯一のJASRAC管理曲

.

Hiroyuki Masuno



Top Gear 3部作 (SFC)

• サウンドドライバー提供と海外外注管理を担当

• 開発はGremlin Graphics、現在のSumo Digital

• 海外で大ヒット。当時技術部長だったJames North

Hearnは、現在はFoundation 9の会長。

.

Hiroyuki Masuno



ぷよぷよ 3,4 (SFC, Dreamcast)

• ぷよぷよSUN

– 圧縮処理提供

• ぷよぷよーん– プロデューサーとメインプログラマーを担当

– コンパイルは負債70億円を抱え和議申請し、非常に苦しい時代。

.

Hiroyuki Masuno



蚊2 –レッツゴーハワイ- (PS2)

• プロジェクトがデスマーチになっており、ヘルプを求められたので参戦。立場上はアシスタントプログラマー。

• オブジェクト志向の有効性に多大な疑問を持った作品。

.

Hiroyuki Masuno

サウンドの仕事はモテますか?• モテるに決まってます!!

– ゲームの音楽作っているんだけど

– あの作品も、この作品も、スタッフとして参加したよ

– 今、(総勢1名なので)部門を束ねているんだけど

– 飲み屋のお姉さん大感激

– 今度私の書いた絵を見てください

– 後日お持ち帰り確定(笑)



.

Hiroyuki Masuno



本題のまえに用語集(1)

• BPM(Beat Per Minute)

– 音楽の早さを示す数値。

• 「1分あたり何ビートか」を数字で表す。

• 値が大きくなると早い曲、小さくなると遅い曲。

• 行進曲の場合1分あたり120ビート。(120bpm)

• 4拍子の曲の場合、1小節は4ビート。

• 上記の行進曲の場合、1分あたり30小節。

.

Hiroyuki Masuno



本題のまえに用語集(2)

• 高速フーリエ変換(FFT)

– 左図：一般的に知られている音の波。• 横軸が時間で、縦軸が振幅。(時間領域)

– 右図：カーナビ等に搭載されているもの。• 横軸が周波数で、縦軸が利得。(周波数領域)

– この2つの情報は同じ(数学用語で[直交])

• この2つの領域を相互に変換する手法がフーリエ変換(FT)

.

Hiroyuki Masuno



ビート解析手法研究のきっかけ

• ユーザーの音楽にあわせたプロシージャルなゲームが作りたい。

– 自分の好きな音楽で「音ゲー」を遊びたい!!

• ユーザーがゲームを通じて、音楽との一体感を感じるのは、自分のアクションが音楽のビートと一致しているとき。

– 手拍子をする、ヘッドバンギングをする、音楽のビートと共鳴した動作をする

.

Hiroyuki Masuno



自分の好きな音楽で「音ゲー」を!!

• 「音ゲー」を実装する以上、外部音楽からのビートの検出(BPM解析)の実装は不可欠

– 周波数領域の特性は、ビジュアライザーを描画するときにはかっこいい。

• スペクトラムアナライザー

– でも、ゲームに組み込むことは難しいし、ユーザーが音楽との一体感を感じにくい。

.

Hiroyuki Masuno



BPM解析法の超概要(A4-BPM)

• リズムを非常に振幅の遅い低周波と考える

– 60bpmなら1.0Hz, 240bpmなら4.0Hz

– すなわち任意の音楽から1.0Hz～4.0Hzの周波数成分を取り出すFFT(もどき)を実装する。

– 超低周波解析なので、分析区間は広大。

• 10秒程度の超広大窓+リングバッファを用いたVLW(Very Large Window)法で分析。

.

Hiroyuki Masuno



解析中の画面の紹介

• 左端が約60bpmで、右端が250bpm

– スペクトラムアナライザーのように、「確からしいBPM値」のところにピークが出現する。

.

Hiroyuki Masuno



A4-BPMの特長(1)

• 超高速!!

– 7年前からWindows→Xbox360→PlayStation Vita

と改良を重ね、速度は当初の200倍以上に。

– 4分程度の曲だと、最新のPCや次世代機では、1秒以下で結果がでる。

• もはや音楽ファイルの読み込みのほうが遅い。

• 1拍目の正確な認識!!

– BPMだけでなく、1拍目を正確に検出できる。

.

Hiroyuki Masuno



A4-BPMの特長(2)• 高精度!!

– 0.01bpmの単位まで計測可能。

• 高い正答率!!

– 平均80%以上の正答率。

• テンポチェンジにも対応!!

– ある一定のカーブでテンポが変わる曲なら、最小自乗法により追従可能。

– ただし不安定な曲の場合は追従困難。

.

Hiroyuki Masuno



メリット

• 自分の音楽で音ゲーができる!!

• DJ気分も簡単に味わえる!!

– 1, 1/2, 1/4ビート分の波形が簡単に切り出せる。

– スクラッチノイズ生成や、ビートに同期した任意ループ、タイムストレッチ等も容易に実現できる。

• 何を作っても「世界初」になる!!

– 世界初、あなたの音楽で楽しめる○○○

.

Hiroyuki Masuno



Every Extend Extra Extreme (XBLA)

• Q Entertainment社発売。

• 任意の音楽に同期する独自オーディオエンジン搭載1作目(A4-DSP Engine 2.0)

.

Hiroyuki Masuno



0D Beat Drop (XBLA)

• アークシステムワークス発売


.

Hiroyuki Masuno



NAX Music Player (PS Vita)

• アークシステムワークス発売


.

Hiroyuki Masuno



ランキング画面の工夫

プレイした音楽がランキング画面に表示される

.

Hiroyuki Masuno



Interactive Music

次世代音楽ゲームの演出

• 音楽に演出が同期する手法が、近年盛んに用いられるようになった。

– 風ノ旅ビト(Journey)

– Child of eden

• 今年のE3では、「ユーザーの操作で音楽を動的に変える音ゲー」も紹介された。

.

Hiroyuki Masuno



FANTASIA: Music Evolved• Harmonix Music Systemsが制作

– Xbox360/KinectのDance Central

– Guitar Hero, Rock Bandで有名

• Xbox ONEでリリース予定。

• Kinectセンサーを使用し、手を振ったりすることで、任意のビート操作も可能。

• 自分の音楽が使えるのかは、不明。

.

Hiroyuki Masuno



A4-DSP Engine Version 7

• 高速・高精度のBPM解析エンジン搭載– ユーザーの任意の楽曲にゲームが同期

• 波形データの高次解析技術– ダンスゲームの譜面データを自動生成

• 複素空間調和振動解析(CVS-HA)

– 「耳に心地よい音」という概念の定量化

– ボーカル成分の抽出・削除技術

.

Hiroyuki Masuno



CEDEC 2013

• 8/21～8/23にパシフィコ横浜で開催。

• 今年のテーマは “Be Bold!‰

– 強烈な自己主張をもって、大胆かつ、果敢に!

• 私も講演します!!是非お越しください!!

.

Hiroyuki Masuno



CEDEC 2013

俺の、俺の、俺の歌を聴け。5フレームだけでいい。

-BPM解析システムを援用した-

-高速ボーカル抽出プラグイン作成への挑戦-

http://cedec.cesa.or.jp/2013/program/SND/2879.html

.

Hiroyuki Masuno



御静聴ありがとうございました!

PSVitaのNAX Music Playerをお持ちしました。体験したい方はご自由に呼び止めてください。

130622-gcs2013-presentation-c

Technology