対話型自動作曲システムに関する研究 -aメロ, bメロ,...
TRANSCRIPT
![Page 1: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/1.jpg)
対話型自動作曲システムに関する研究
-Aメロ、Bメロ、サビで異なる印象を感じさせる楽曲生成-
梶原智之、合田昇平、加藤茂(新居浜工業高等専門学校)
畦原宗之(長岡技術科学大学)
![Page 2: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/2.jpg)
はじめに
初心者には難しい 専門的行為
作曲 音楽的 知識
音楽的 経験
音楽理論をサポートし、 音楽的知識や音楽的経験の 少ないユーザでも簡単に作曲
![Page 3: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/3.jpg)
IGA:対話型遺伝的アルゴリズム
環境に適応する生物の進化
生物
生殖行動
生存能力
対話型遺伝的アルゴリズム
遺伝子(4小節の楽曲)
進化
評価
システムが行う ユーザが行う
システムとユーザの対話
ユーザ個人の嗜好を 反映した作曲ができる
![Page 4: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/4.jpg)
遺伝的アルゴリズム
遺伝子の生成
評 価
遺伝的操作
遺伝子 : 解の候補
評価 : 各遺伝子の適応度を決める
選択 : 生物の自然淘汰をモデル化 適応度に基づき遺伝子を増やしたり削除したりする 交叉 : 生物が交配によって子孫を残すことをモデル化 遺伝子の一部を入れ替える 突然変異 : 生物の遺伝子の突然変異をモデル化 遺伝子の一部を変化させる
コンピュータが評価 → 遺伝的アルゴリズム 人間が評価 → 対話型遺伝的アルゴリズム
![Page 5: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/5.jpg)
曲の構成
表現型(メロディ)
Aメロ Bメロ サビ
A A’ B B’ C C’
ポピュラー音楽で一般的な大楽節3つ から構成される3部形式の楽曲を作曲
大楽節(8小節)
遺伝子=小楽節(4小節)
5 4 4 0 2 4 8 6 2
高さ
音高
音長
遺伝子型(データ)
![Page 6: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/6.jpg)
システムの構成
明るい 暗い
激しい 穏やか
![Page 7: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/7.jpg)
システムの構成 ピアノ チェンバロ ストリングス バイオリン ブラス トランペット トロンボーン ホルン サックス フルート ピッコロ オーボエ クラリネット 尺八 三味線 琴 など
![Page 8: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/8.jpg)
システムの構成
対話型遺伝的アルゴリズム
遺伝子(4小節の楽曲)
進化(システムによる 評価を含む遺伝的操作)
ユーザの評価
![Page 9: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/9.jpg)
システムの構成
対話型遺伝的アルゴリズム
遺伝子(4小節の楽曲)
進化(システムによる 評価を含む遺伝的操作)
ユーザの評価
![Page 10: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/10.jpg)
感性的印象の表現 -明るさ-
明るい ハ長調のコード進行 高音域を高く評価
暗い イ短調のコード進行 低音域を高く評価
![Page 11: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/11.jpg)
感性的印象の表現 -激しさ-
激しい 16ビートのリズムパターン ベースパートを8分音符で刻む 4分音符より短い音符を高く評価
穏やか 8ビートのリズムパターン ベースパートを4分音符で刻む 4分音符より長い音符を高く評価
![Page 12: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/12.jpg)
作曲例
異なる印象を持つ 楽曲の生成に成功
明るい・激しい
明るい・穏やか
暗い・激しい
暗い・穏やか
![Page 13: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/13.jpg)
システム評価 -高専生-
第1世代 第2世代 第3世代 第4世代 第5世代 第5世代
十分好み 1 0 0 0 0 1 好み 2 0 0 0 0 3 好みではない 2 0 0 0 0 1 わからない 0 0 0 0 0 0 かなり近づいた 0 0 1 1 0 0 近づいた 0 2 2 1 1 0 わずかに近づいた 0 2 1 2 3 0 遠ざかった 0 1 0 0 0 0 変わっていない 0 0 1 1 1 0
1 1 1 1
2 1
2 3
2
2 1
1 1 1
2 1
2 3
1 1
0
1
2
3
4
5
黄・緑 : 高評価 赤・青 : 低評価
![Page 14: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/14.jpg)
システム評価 -小中学生-
第1世代 第2世代 第3世代 第4世代 第5世代 第5世代
十分好み 1 0 0 0 0 3 好み 4 0 0 0 0 3 好みではない 1 0 0 0 0 1 わからない 1 0 0 0 0 0 かなり近づいた 0 1 4 3 2 0 近づいた 0 3 1 1 2 0 わずかに近づいた 0 3 1 2 2 0 遠ざかった 0 0 0 1 0 0 変わっていない 0 0 1 0 1 0
1 3 1
2 2
3
1 1
2
1
4 3
2
1 1
1
4
3
1 3
0 1 2 3 4 5 6 7
黄・緑 : 高評価 赤・青 : 低評価
ユーザの嗜好を反映して楽曲を進化できた ユーザの好みの楽曲が短時間で作曲できた
![Page 15: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/15.jpg)
作品例
印象の設定が同じでも ユーザ毎に異なる楽曲
user1
user2
Aメロ Bメロ サビ 暗い・穏やか → 明るい・穏やか → 明るい・激しい
![Page 16: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-](https://reader031.vdocuments.pub/reader031/viewer/2022012403/55b14f01bb61eb230c8b473e/html5/thumbnails/16.jpg)
おわりに
初心者でも簡単に作曲
短時間で好みの楽曲を作曲
ユーザ毎に変わる多様な作曲
本システムを通して多くのユーザが新しい音楽体験をし、 音楽愛好家の底辺の拡大に寄与できることを期待している。