1: nii 2: 3: 4options accompanied midi tracks 1: melody(lst violin) flute&piccolo 2: 3: oboe...

1
コンピュータに音楽の伴奏者になってもらう 連絡先:中村栄太/ 国立情報学研究所 情報学プリンシプル研究系 小野研究室 TEL : 03-4212-2564 FAX : 03-4212-2564 Email : [email protected] リアルタイムで演奏している楽譜位置を推定 確率を用いた音楽演奏のモデル ●音符を「状態」として表現 ●演奏する音符の順序 状態遷移確率で表す ●音高間違い 出力確率で表す ●実際の演奏音 各演奏箇所の確率値 最大確率の状態 現在の演奏箇所の推定 自動伴奏とは? 演奏誤りや弾き直し・弾き飛ばしに対応する自動伴奏 コンピュータが人の演奏に伴奏を合わ せてくれる,自動伴奏の研究をしてい ます.演奏間違いや,急に弾き直しや 弾き飛ばしをしても付いてきてくれる, 最先端の自動伴奏技術を紹介します. 研究内容 どんな研究? 何がわかる? 自動伴奏を使えば,練習相手がいなく ても合奏曲が練習できたり,ピアノの 右手の演奏が,左手部分を聴きながら できたりします.こうしたことが,ど のようにして可能かを研究しています. 中村栄太 1 ,小野順貴 1 ,中村友彦 2 ,齋藤康之 3 ,嵯峨山茂樹 4 1: NII 2: 東大 3: 木更津高専 4: 明治大 自動伴奏 人の演奏に自動的に合わせて伴奏パートを再生 演奏する曲の楽譜は既知 自動伴奏の難しさ 人の演奏は,「楽譜通り」ではない テンポ変化や急な休止,演奏間違いを含む 弾き直し,弾き飛ばしを含む トリルなど装飾音の任意性・即興性 などなど 自動伴奏の応用 合奏曲・ピアノ曲の練習 一人でも協奏曲が楽しめる 伴奏 人の演奏 音高間違い 弾き直し 弾き飛ばし 楽譜 楽譜位置 テンポ 強弱など 音符抜け・ 余分な音符 ピアノソロ 連弾曲 協奏曲 システム 急な休止 自動伴奏システム Eurydice 任意の弾き直し・弾き飛ばしに対応可能 ●現状はMIDI入力&出力(音響入力は開発中) ●ホームページ:http://hil.t.u-tokyo.ac.jp/software/Eurydice/ YouTubeにデモビデオ:「Eurydice demo」で検索 伴奏の同期再生のためのテンポ推定 ●テンポ変化と発音時刻のノイズを確率で記述 ●スイッチング・カルマンフィルタで最尤推定 ●隣り合う音符の間の(音長)/(音価)の「局所平均」 演奏箇所を特定するには何音符聞けばよい? ●同じ音高パターンの箇所は迷う 音高列の複雑度に依存 ●楽譜が長いほど同じ音高パターンが多い 曲の長さに依存 ●必要な音符数 ≈ log (曲の長さ) / (音高列の複雑度) 局所テンポ 時刻 音価 ノイズ 確率値 0.001 0.02 0.8 0.1 0.03 (曲全体で足したら1) 高度な内容

Upload: others

Post on 04-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 1: NII 2: 3: 4Options Accompanied MIDI tracks 1: Melody(lst violin) Flute&Piccolo 2: 3: Oboe Clarinet 4: 5. Fagott 6: Horn Performed MIDI tracks 1: Melody(lst violin) Flute&Picc010

映像・音・メディア/意味を見出す

コンピュータに音楽の伴奏者になってもらう

連絡先:中村栄太/ 国立情報学研究所 情報学プリンシプル研究系 小野研究室

TEL : 03-4212-2564 FAX : 03-4212-2564 Email : [email protected]

リアルタイムで演奏している楽譜位置を推定

●確率を用いた音楽演奏のモデル ●音符を「状態」として表現 ●演奏する音符の順序 ⇒ 状態遷移確率で表す ●音高間違い ⇒ 出力確率で表す

●実際の演奏音 ⇒ 各演奏箇所の確率値 ●最大確率の状態 ⇒ 現在の演奏箇所の推定

自動伴奏とは?

演奏誤りや弾き直し・弾き飛ばしに対応する自動伴奏

コンピュータが人の演奏に伴奏を合わ

せてくれる,自動伴奏の研究をしてい

ます.演奏間違いや,急に弾き直しや

弾き飛ばしをしても付いてきてくれる,

最先端の自動伴奏技術を紹介します.

研究内容

どんな研究? 何がわかる?

自動伴奏を使えば,練習相手がいなく

ても合奏曲が練習できたり,ピアノの

右手の演奏が,左手部分を聴きながら

できたりします.こうしたことが,ど

のようにして可能かを研究しています.

中村栄太1,小野順貴1,中村友彦2,齋藤康之3,嵯峨山茂樹4

1: NII 2: 東大 3: 木更津高専 4: 明治大

自動伴奏 人の演奏に自動的に合わせて伴奏パートを再生 演奏する曲の楽譜は既知

自動伴奏の難しさ 人の演奏は,「楽譜通り」ではない テンポ変化や急な休止,演奏間違いを含む 弾き直し,弾き飛ばしを含む トリルなど装飾音の任意性・即興性 などなど

自動伴奏の応用

合奏曲・ピアノ曲の練習 一人でも協奏曲が楽しめる

伴奏 人の演奏

音高間違い

弾き直し

弾き飛ばし

楽譜

楽譜位置 テンポ 強弱など

音符抜け・ 余分な音符

ピアノソロ 連弾曲 協奏曲

システム

急な休止

自動伴奏システム Eurydice

●任意の弾き直し・弾き飛ばしに対応可能 ●現状はMIDI入力&出力(音響入力は開発中) ●ホームページ:http://hil.t.u-tokyo.ac.jp/software/Eurydice/

●YouTubeにデモビデオ:「Eurydice demo」で検索

伴奏の同期再生のためのテンポ推定

●テンポ変化と発音時刻のノイズを確率で記述 ●スイッチング・カルマンフィルタで最尤推定 ●隣り合う音符の間の(音長)/(音価)の「局所平均」

演奏箇所を特定するには何音符聞けばよい?

●同じ音高パターンの箇所は迷う ⇒ 音高列の複雑度に依存 ●楽譜が長いほど同じ音高パターンが多い ⇒ 曲の長さに依存 ●必要な音符数 ≈ log (曲の長さ) / (音高列の複雑度)

局所テンポ

時刻

音価

ノイズ

確率値 0.001 0.02 0.8 0.1 0.03 … (曲全体で足したら1)

高度な内容