NIME04 Rencon 開催報告と次回への課題

○野池賢二（さきがけ研究２１）　橋田光代（和歌山大学，さきがけ研究２１）　平田圭二（ NTT CS研）　片寄晴弘（関西学院大学，さきがけ研究２１）　平賀瑠美（文教大学）

演奏表情付けシステムの歴史– 1980 年代

• アドホックな表情付けルールの作成と適用

– 1990 年代• 学習型システムの出現• 認知的構造理論への留意

– 2000 年代• 評価方法の問題

すごい !?

ちょっと変？

公平な評価の方法は

定量的な評価の方法は？

Rencon 発足• 演奏生成システムを，演奏コンテストによっ

て評価するプロジェクト “ Rencon” を 2000 年に発足

• （ Rencon : Performance Rendering Contest ）

• 表情付けシステムに限らず，生成系システムの評価方法のひとつの切り口

• 公平な評価方法，定量的な評価方法の確立を目指す

Rencon ロードマップ

↑現在このあたり

Rencon 開催の歴史• ICAD2002 Rencon （ ATR@ 京都）

– Performance Rendering Systems: Today and Tomorrow

• FIT2002 Rencon 　（東京工業大学 @ 東京）– Toward the Number One Pianist in the World

• IJCAI-03 Rencon 　（？？？ @ アカプルコ）– on methods for automatic music performance and

their applications in a public rendering contest

• NIME04 Rencon （静岡文化芸術大学 @ 浜松）– Turing Test for Musical Expression

NIME04 Rencon

• NIME(New Interfaces for Musical Expression)• 「音楽／芸術表現のための新インタフェース」

国際会議 のデモセッションとして開催

• 日程 : 2004 年 6 月 3 日（木）～ 5 日（土）

• 開催地：静岡文化芸術大学（浜松）

開催プログラム3 日 ( 木 )

13:00 - 15:00 ( 演奏と生成システムとの対応を伏せた状態での聴き比べ投

票 )

4 日 ( 金 )13:00 - 15:00

( 演奏と生成システムとの対応を伏せた状態での聴き比べ投票 )15:20 - 16:20 研究発表 , , 表彰

• Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Katayose:Rencon 2004: Turing Test for Musical Expression

• Haruhiro Katayose, Keita Okudaira:Using an Expressive Performance Template in a Music Conducting Interface

• Hideki Kawahara, Hideki Banno, Masanori Morise:Acappella synthesis demonstrations using RWC music database

5 日 ( 土 )13:00 - 15:00 オープン聴き比べコンテスト

( 演奏と生成システムとの対応がわかる状態での聴き比べ )

ブラインド聴き比べコンテスト

ブラインド聴き比べコンテスト

聴き比べ結果の発表

統計的分析

コンテスト実施要綱• 規定部門 : ショパン作曲の小品聴き比べ

– 提出形式 : SMF– 聴き比べ音源 : Nemesys GIGA Piano– 評価項目 : 演奏の人間らしさ，演奏の好み （それぞれ 5 段階評価）

• 自由部門 : ジャンル，楽曲，楽器等に規定のない聴き比べ– 提出形式 : 任意– 聴き比べ音源 : 任意– 評価項目 : 演奏の好み （ 5 段階評価）– 今回は，特に歌声生成を集めた

• 逆チューリングテスト ( ): 演奏の機械らしさの聴き比べ– 提出形式 : SMF– 聴き比べ音源 : Nemesys GIGA Piano– 評価項目 : 演奏の機械らしさ，演奏の好み （それぞれ 5 段階評価）

Gnirut

コンテスト実施

• 総エントリ数： 18 エントリ（演奏時間 30分弱）

• → 2 時間のセッションで 4 回の聴き比べ• ブラウザを利用 した聴き比べシステム• NIME04 参加者の多くが参加

– 少人数ずつではあるが， 3 日間を通して途切れることがほとんどなかった

• 熱心な投票者が多い• 有効投票数 51 票

• The Director Musices Program ：　 Roberto Bresin (KTH)– Prelude Op.28 No.7

• Ha-Hi-Hun ：　平賀瑠美（文教大） , 平田圭二（ NTT CS Lab ）– Etude Op.10, Nr.3 　“ Chanson de L‘Adieu”

• （人間の演奏）：　はるか（ピアノ教師）– Etude Op.10, Nr.3 　“ Chanson de L‘Adieu”

• COPER ：　野池賢二（ PRESTO/JST ） , 豊田健一（関学） , 片寄晴弘（ PRESTO/JST, 関学）

– Etude Op.10, Nr.3 　“ Chanson de L‘Adieu”

• Kagurame Phase-II ：　鈴木泰山（株式会社デュオシステムズ）– Etude Op.10, Nr.3 　“ Chanson de L‘Adieu”

• （人間の演奏）：　はるか（ピアノ教師）– Valse Op.64, Nr.1

• WALTS （後の PopE ）：　橋田光代（ PRESTO/JST, 和歌山大） , 片寄晴弘（ PRESTO/JST, 関学）

– Impromptu, Op.66 “Fantasie-Impromptu”

– （表情なし，　テンプレート適用，　テンプレート適用 +2 小節目第 4 拍目手動調節）

規定部門エントリ

同じ楽曲，同じ音源での聴き比べ（学習データなどは異なる）

自由部門• SuperConductorTM：

– 黒澤 隆 ( フロンティアＫインターナショナル株式会社 ), Manfred Clynes,– J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement

• RUBATO ：　 Guerino Mazzola, Joachim Stange-Elbe (University of Zurich) – J. S. Bach, The Art of Fugue, Contrapunctus III

• WONDER HORN ：　青野裕司 (NTT サイバースペース研究所 )– 森山直太朗 , さくら（独唱）

• HMM-based singing voice synthesis system ：　酒向慎司 ( 東京大学大学院 )– しあわせなら手をたたこう

• STRAIGHT ：　河原 英紀 , 坂野秀樹 , 森勢将雅 ( 和歌山大 )– 武満 徹 , Small Sky

• （参考出品） Vocaloid ：　 YAMAHA, Zero-G, （データ作成： 池淵 隆（大阪芸大））

– John Bettis / Richard Carpenter, ``Yesterday Once More'‘

歌声生成の聴き比べ

逆チューリング部門（ Gnirut ）

• The Director Musices Program ：　 Roberto Bresin (KTH)– J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846

• （人間の演奏） : 　はるか（ピアノ教師）– J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846

• （人間の演奏）：　はるか（ピアノ教師）– J. S. Bach, Invention I, C Major

同じ楽曲，同じ音源での聴き比べ

Compulsoy human- likeness @ NIME04

3.753.49 3.47 3.47

2.82 2.67 2.572.18

1.63

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00hu

man

Op6

4Nr1

hum

anO

p10N

r3

WA

LTS1

50

WA

LTS1

50+α

CO

PER

Kagu

ram

e

DM

WA

LTS

dead

pan

HH

H

hum

an-l

iken

ess

下方信頼限界上方信頼限界標本平均

規定部門「演奏の人間らしさ」投票結果

有意水準 5% で標本平均に有意な差がある境界

3 グループに分かれる

同じ楽曲，同じ音源

規定部門「演奏の好み」投票結果Compulsory preference @ NIME

3.51 3.35 3.24 3.142.75 2.71

2.492.31

1.67

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00hu

man

Op6

4Nr1

WA

LTS1

50+α

WA

LTS1

50

hum

anO

p10N

r3 DM

CO

PER

Kagu

ram

e

WA

LTS

dead

pan

HH

H

pref

eren

ce 下方信頼限界上方信頼限界標本平均

人間らしさの結果と逆有意水準 5% での境界

自由部門「演奏の好み」投票結果Open preference @ NIME

3.06 2.90 2.80 2.752.31

1.98

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00

Sup

erC

ondu

ctor

STR

AIG

HT

WO

ND

ER H

OR

N

RU

BA

TO

HM

M-b

ase

Voc

aloi

d

pref

eren

ce 下方信頼限界上方信頼限界標本平均

歌声生成

逆チューリング部門「演奏の機械らしさ」投票結果

Gnirut machine- likeness @ NIME

3.41 3.37

2.63

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00

DM humanInv human

mac

hine

-lik

enes

s

下方信頼限界上方信頼限界標本平均

同じ楽曲，同じ音源

逆チューリング部門「演奏の好み」投票結果

Gnirut preference @ NIME

3.73

2.86 2.86

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

4.00

4.50

5.00

human DM humanInv

pref

eren

ce 下方信頼限界上方信頼限界標本平均

同じ楽曲，同じ音源

全部門「演奏の好み」投票結果preference @ NIME

0.000.501.001.502.002.503.003.504.004.505.00

hum

an

hum

anO

p64N

r1

WA

LTS

150+

α

WA

LTS

150

hum

anO

p10N

r3

Sup

erC

ondu

ctor

STR

AIG

HT

hum

anIn

v

DM

(Gni

rut)

WO

ND

ER H

OR

N

RU

BA

TO

DM

(Com

pul)

CO

PER

Kag

uram

e

WA

LTS

dea

dpan

HM

M-b

ase

Voc

aloi

d

HH

H

pref

eren

ce 下方信頼限界上方信頼限界標本平均

すぐ上との間には有意差がないので，二つ上との有意差を調べた

研究発表セッションの様子• Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Kata

yose: Rencon 2004: Turing Test for Musical Expression

• Haruhiro Katayose, Keita Okudaira: Using an Expressive Performance Template in a Music Conducti

ng Interface

• Hideki Kawahara, Hideki Banno, Masanori Morise: Acappella synthesis demonstrations using RWC music database

Rencon Award• 規定部門

– WALTS （テンプレート適用）：橋田光代（ PRESTO/JST, 和歌山大） , 片寄晴弘（ PRESTO/JST,

関学）Impromptu, Op.66 “Fantasie-Impromptu”

• 自由部門– SuperConductorTM：

黒澤 隆 ( フロンティアＫインターナショナル株式会社 ), Manfred Clynes,

J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement

• 逆チューリング部門– The Director Musices Program ：

Roberto Bresin (KTH)

J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846

聴き比べコンテスト実施上の検討項目• 聴き比べ用音源の仕様公開

– ペダリング不自然さの解消– 聴き比べ時の音源のコントロールデータなどの仕様を，できるだけ詳細に公開

する– エントリ希望者に音源を貸与する– エントリ者が聴き比べ時の音響データを実際に確認できる「試し聴きシステ

ム」を提供する

• 投票者の負担への対処– 投票者自身へのフィードバックが必要– チューリングテスト方式の場合は，答え合わせができるように

する– 自分の投票による結果の変化をその場で見せる– かつての聴取実験に照らし，被験者の聞き方タイプの分析結果

をフィードバックする，– インターネットを利用した Rencon 実施

• 共通学習データセット，評価データの準備– MusicXML(4R) 形式でのデータセットの準備が進行中

評価方式の考慮

• 公平な評価，評価結果の信頼性の向上，生成に関しての恣意性の排除– 「人手の介入度合い」の考慮が必要– フィギュアスケートの採点のような，技術点評価の

導入

エントリ楽曲の著作権

• 現状–エントリ者側で解決してもらう– Rencon 配布 CD には収録しない

• 今後，考慮していくべきこと– RWC コーパスの活用–エントリ楽曲の著作権についてのチェック

まとめ• 第４回 Rencon 「 NIME04 Rencon 」を開催した• エントリに人間の演奏を含め，チューリングテ

スト方式を実施した• 自由部門を設置し，歌声生成の聴き比べを行った• 投票結果について，簡単な統計的分析を行った• 2005 年は， ICMC にて開催できるよう準備が進行中

• Rencon Web サイト：– http://shouchan.ei.tuat.ac.jp/~rencon/