透過人工智慧與用戶、聽眾共譜樂章

沼尾 正行大阪大學產業科學研究所

自我介紹• 東京工業大學工學部電氣電子工學科(1982)

– Z80, 6800, 命令語言研究• 東京工業大學理工學研究科情報工學專攻

博士課程(1987)– 機械學習研究

• 任職於東京工業大學工學部情報工學科– 依據說明的學習、歸納邏輯編程

• 史丹佛大學CSLI (1989)• 大阪大學產業科學研究所(2003)

人工智慧的先驅

• 控制人類感情及小說與音樂等創作行為• 創作種子

– 接收創作物的人類反應– 感情測定– 人類對全新創作物的反應

• 今日演講: 以音樂為對象– 感情的測定技術、預測技術– 自動作曲

構成的適應介面研究

山へ行こう 次の日曜

昔みたいに雨が 降れば川底に

Constructive Adaptive User Interface (CAUI)

CAUI 研究的變遷

• 模仿編曲 [1993]• 音樂認知模型 [1994,1996]• 依據認知模型編曲 [1994]

– 編曲品質在 1999～2001年間大幅改善.

• 依據認知模型作曲 [2001]• 依據感測器資料作曲 [2007]• 各種感測器的利用 [2012]• 與民謠二重奏的合作 [2016]

• 利用依據生體訊號製作的模型，• 以活性化為目標的編作曲，促進人類力活性化。

音樂的活性化目標

生體訊號

樂曲評價

依據生體訊號製作的模型

活性化所需的編作曲

Δ

Δ(→ 刺激活性化)

(→ 活性化)

(→ 活性化)

依據生體訊號實現的活性化

曲

人

感情模型 作曲用RB(規則庫:Rule Base)

感情腦波

（頻率f／碎形維度FD）

・感情模型的分類・感情模型與作曲用RB

同時製作人

腦波模型分類判別初始狀態

感情模型

活性化作曲作曲用RB

同時製作

・革新關鍵以大腦資訊為基礎，同時生成與感情模型一致的作曲RB

音樂的活性化研發 ⇨ 腦力激盪

模型化

活性化 期待氛圍

腦力激盪

依據生體訊號製作的模型

8

屬性篩選 分類

感情模型

資料解析

樂曲進行模型

生體訊號

賦予註釋

感情的連續評價

依據使用者本身評價展開的感測機械學習新穎性:

活性化所需的自動編作曲

活用感情模型與作曲規則庫:將使用者的介入降至最小

著眼於活性化的作曲

・・・・・・

Motif1 Motif2 MotifN

2N 小節的和弦進行

運用共生進化手法，在樂曲構成的多層級下，達成目標

樂曲生成步驟

10

框架結構RB

機械學習

遺傳演算法

MotifRB

和弦進行

和弦進行RB

MIDI生成器

框架結構

旋律

生成器 樂曲

生成器

基礎部分

共生進化

高揚曲

正例 反例

沈鬱曲

本研究的革新部分

作曲用RB

可獲得學習結果的作曲用規則範例

tune(M) :-has_frame(M,A),measure_four_four(A), has_chords(M,X,Y,Z),chord_II(X),inversion_Zero(Y),chord_I(Z),form_VII(Z).

• 某位使用者感受到『優美』的樂曲結構規則

樂曲結構擁有以下框架結構•拍子：４分４拍子具備以下的３連續和弦•第一和弦 底音：Ⅱ•第二和弦 轉位：無轉位•第三和弦 底音：Ⅰ

形體：七和弦

作曲用規則庫 (RB) 左列規則的意涵

音樂的認知模型SD法的結果預測模型

• 目的– 取得受試者的感性模型– 預測對其他樂曲的印象

• 系統– 解析和弦列– 利用SD法測定印象– 以上述二者為訓練案例展開學習– 預測對其他樂曲的印象

2016/11/18

資料收集

受試者 7

訓練曲 75

形容詞組 6 組 =12 語

評價 5段式

編曲 36曲= 3 曲×12 語

認知模型範例

• 受試者A 開朗– frame(S) :-

tonality_dur(Ｓ),tempo_allegro(Ｓ),basic_key_e(Ｓ),null.

– triplet(C1, C2, C3) :-dur(C3), inversion_Zero(C3),chord_I(C1),chord_I(C2),chord_II(C3),inversion_Zero(C1),form_VII(C2), null.

C1 C2 C3

Listener’s Evaluation of Musical Scores

Cannot capture the dynamic natureof both music and emotion

previous research

Impose heavy cognitive load upon the listener.

autonomic nervous system

Brain Waves

semantic differential method

OUTLINE

Musicalscores

GA

fitnessfunction

MelodyGeneration

musictheory

Background knowledge

Music

evaluation

relationsmodel

Affect ⇔music

InductiveLearning

FOIL + Rx

SubjectEvaluation

感情辨識: 篩選特徵

17

• Feature Extraction– 碎形維度(FD: Fractal Dimension)值

代表腦波的複雜度

– 強度頻譜密度 (PSD: Power Spectral Density)• 各頻段的平均值

• 滑窗– (重複 0%)

• 3 種類型的樂曲資料– 已知曲 (Familiar song)– 未知曲 (Unfamiliar song)– 所有樂曲 (已知 + 未知曲)

低 FD – 高 FD

感情的辨識: 電極

18

• 學習中使用的特徵建構– 追加特徵 (左右差異)

• Fp1-Fp2• F3-F4• C3-C4• Fz-Pz• F7-F8• T3-T4

– 腦波與評價的對應: 少數服從多數

感情的辨識: 結果

19

覺醒度Arousal

感情價Valence

FD值使用, 各學習手法別) 頻段使用, 各學習手法別 學習前

已知曲未知曲兩者皆是

FD值使用, 各學習手法別 頻段使用, 各學習手法別

已知曲未知曲兩者皆是

學習前

學習後

學習後

依據取得的模型編曲改變音樂的印象。

• 目的– 利用取得的模型，生成賦予刻意印象的和弦

列。

• 實驗– 根據廣為人知的75曲=古典: 36 + 日本流行樂

(J-POP): 39獲得認知模型。– 針對3曲分別依據不同印象展開編曲。– 利用心理實驗評價結果。

2016/11/18

Second Eval.

Evaluation Phase

Arrangedpiece

認知模型

DataGathering

曲 ILP

編曲的流程

受試者

Training Piece

First Eval.

樂曲特徵及評價

Arranger

ArrangedPiece

編曲結果評價

1

2

3

4

5

活潑 安心度 喜好度 開心 優美 哀愁

+

原曲

-

受試者A喜愛的樂曲 +

-

原曲

顯著差異５％ 有 有 無 無 無 有 正向

顯著差異１％ 有 無 無 無 無 有

顯著差異５％ 有 有 有 無 有 無 負向

顯著差異１％ 有 無 有 無 有 無

評價值

形容詞組(編曲目標)

Why does subject A like it?

• Chord progression and a key– A technique often used in J-POP music

• Transposition• Change in 4th and 5th of a chord

• Instruments

依據模型作曲生成全新樂曲

• 目的– 利用模型生成賦予刻意印象的和弦列及旋律。

• 實驗– 根據廣為人知的75曲=古典: 36 + 日本流行樂

(J-POP): 39獲得認知模型。– 據此生成全新樂曲。– 利用心理實驗評價結果。

GA

認知模型

和聲理論

FitnessILP

受試者 訓練曲

規則集合

作曲的流程

evaluation attributes

旋律生成器MACS [Tsunoda’96]

新曲

和弦進行+frame

旋律

背景知識

和弦列

受試者對全曲的評價

1

2

3

4

5

活潑 安心度 開心 優美 喜愛度 哀愁

評價

形容詞組

正向

負向

顯著差異５％

顯著差異有

顯著差異有

顯著差異有

顯著差異無

顯著差異無

顯著差異有

顯著差異１％

顯著差異有

顯著差異無

顯著差異無

顯著差異無

顯著差異無

顯著差異有

Student’st檢定

OUTLINE

Musicalscores

GA

fitnessfunction

MelodyGeneration

musictheory

Background knowledge

Music

evaluation

relationsmodel

Affect ⇔music

InductiveLearning

FOIL + Rx

SubjectEvaluation

First-Order Logic Knowledge Representation

� Provides comprehensibility of learning results

� Capable of handling complex relational data

Basic music theory

Sonata [ Beethoven ]Neapolitan 6th, sus4, absentFunction

2, 4, 6, double dominant, absentSpecial variations

tonic, dominant, subdominantSecondary dominant

present, absentSemi-own

zero, 1, 2, 3Inversion

5th, 7th, 9thForm

I, II, III, IV, V, VI, VIIRoot

dur (major), moll (minor)Tonality

As, B, Cis, D, Fis, G, A, HKey

Chord features

complete (or authentic), half, otherCadence

dur (major), moll (minor)Tonality

As, B, Cis, D, Fis, G, A, HKey

piano, guitarAccompaniment

piano, sax ( soprano, tenor)Melodic instrument

2/2, 2/4, 4/4, 6/8Rhythm

allegretto, allegro, presto, larghetto

adagio, lento, andante, moderato,

Tempo

Frame features

OUTLINE

Musicalscores

GA

fitnessfunction

MelodyGeneration

musictheory

Background knowledge

Music

evaluation

relationsmodel

Affect ⇔music

InductiveLearning

FOIL + Rx

SubjectEvaluation

Machine Learning Framework• The CAUI employs FOIL and Rx to model the musical

structures that correlate with the listener’s emotions with the musical structures consisting the set of training examples.

• FOIL is a top-down inductive logic programming heuristic function.

• Rx is a system that automatically refines the theory in the function-free first-order logic generated by FOIL.

TrainingExamples Rx Algorithm

FOIL Algorithm

First-orderTheory

+

OUTLINE

Musicalscores

GA

fitnessfunction

MelodyGeneration

musictheory

Background knowledge

Music

evaluation

relationsmodel

Affect ⇔music

InductiveLearning

FOIL + Rx

SubjectEvaluation

2016/11/18

First-Order Logic Knowledge Representation

• Rules describing musical structures that can trigger the targeted emotional impression are generated

• CAUI learns three kinds of target rules, namely, frame, pair and triplet.

Model (Sad)

OUTLINE

Musicalscores

GA

fitnessfunction

MelodyGeneration

musictheory

Background knowledge

Music

evaluation

relationsmodel

Affect ⇔music

InductiveLearning

FOIL + Rx

SubjectEvaluation

Genetic Algorithm for Structure Reproduction

• A GA that uses for its fitness function the model of user affect appears only in the CAUI.

• GA chromosome and operators

C1S C2 C3 C4 C5 C6 C7 C8

C1S C2 C3 C4 C5 C6 C7 C8

C5 C6 C7 C8C1S C2 C3 C4

C1S C2 C3 C4 C5 C6 C7 C8

Crossover

Mutation

Candidate chromosomes

C5 C6 C7 C8C1S C2 C3 C4

C1S C2 C3 C4 C5 C6 C7 C8

C5 C6 C7 C8C1S C2 C3 C4

C1S C2 C3 C4 C5 C6 C7 C8

C1S C2 C3 C4 C5 C6 C7 C8

C1S C2 C3 C4 C5 C6 C7 C8

( ) ( ) ( ) ( ) ( )( )∑=

=L

iiFRiFRiFiF PPPPAverageMfitnessX

1

'' ,,, δδδδ ( ) ( )( )∑=

=L

iiPAverageMfitnessX

1

η

Genetic Algorithm Fitness Function

fitnessChromosome(M) = fitnessUser(M) + fitnessTheory(M)

fitnessFrame + fitnessPair + fitnessTriplet(M)

fitnessX Pi (component/s of M) L Music Theory

fitnessFrame song_frame 1 frame heuristic

fitnessPair ( chord i ,chord i+1 ) n-1 pair heuristic

fitnessTriplet ( chord i chord i+1, chord i+2 ) n-2 triplet heuristictripletn-2( chord i, chord i+1, chord i+2 )fitnessTriplet

pairn-1( chord i,chord i+1 )fitnessPair

frame1song_framefitnessFrame

Target relationLPi (component/s of M)fitnessX

共生進化的特徵• 利用部分解的組合表現答案• 部分解集團與整體解集團的平行進化

可維持集團的多樣性– 避免集中為局部解– 可及早獲得適當答案 部分解集團

整體解集團36

Experimentation and Validation• Data gathering

– 16 subjects rated the 14 musical scores• All male, age range is from 18 to 27 (mean: 23)• No formal music education

– Personalized models were learned for each subject • 8 models are created.

– New musical pieces were composed independently• 3 musical pieces are composed per model.

– The same subjects evaluated the user-specific composed pieces

• The significance of the composed tunes were measured by paired t-testing the obtained emotion readings.

Experimental Result～Paired T test

0

0.5

1

1.5

2

2.5

3

t-value

Stress Joy Sad Relax

emotion

Result of Paired T-test

結語• 建構量身訂做的感情模型• 確立符合各使用者需求的作曲用規則庫建構手法• 截至目前為止已分別實現「依據生體訊號建構的模

型」制訂及「活性化所需的編作曲」。

生體訊號

評價

Δ

Δ 樂曲

依據生體訊號製作的模型

活性化所需的編作曲

(→ 刺激活性化)

(→ 活性化)

(→ 活性化)

依據生體訊號實現的活性化

Acknowledgement• Systems are developed in my lab, and

Prof. Otani’s lab in Tokyo City University.• Contributors:

– Shoichi Takagi– Tetsuo Takata– Roberto Legaspi– Rafael Cabredo– Takayuki Nishikawa– Toshihito Sugimoto– Noriko Otani– and others…