music information retrievalhruskova/musicir_hruskova_2011.pdf · music information retrieval...

Music Information Retrieval

Mgr. Nikoleta HruškováFIIT STU

Music InformationRetrieval

� Získavanie hudobných informácií / Dolovanie hudobných znalostí� Založené na metadátach: autor, názov diela, interpret, text piesne a pod.� V 90.r. 20.st. prvotné systémy - vyhľadávanie podľa melódie (spievanie, hra na

klaviatúre, notový zápis)

Ciele súčasného výskumu:

21.11.2011 Music Information Retrieval

� zlepšiť vyhľadávanie hudby podľa melódie� automatické rozpoznanie hudobného štýlu skladby,� odhaľovanie hudobného plagiátorstva,� komponovanie cez počítač a pod.

Obsah

1. Hudobné formáty

2. Aplikácie� na symbolický hudobný zápis� vyhľadávanie (audionahrávky alebo notovej partitúry) podľa hudobného

motívu


motívu

3. Získavanie hudobných znalostí (MusicIR)� Reprezentácia hudobnej melódie

� JednohlasPríklad 1: Klasifikácia a vyhodnotenie hudobných dát

Príklad 2: Aplikácia na vyhľadanie a vyhodnotenie hudob. motívu (Melody Comparator)

� Viachlas

Elektronické hudobné formáty

� Audio: .wav, .mp3

� Symbolický zápis (notový): MIDI, MusicXML


� Time-stamped events

Elektronické hudobné formáty

MIDI (Music Instrument Digital Interface)Štandard pre odosielanie a prijímanie dát medzi

MIDI-zariadeniami (gitara, keyboard a pod.)Zvukové, svetelné zariadenia – komunikácia,

synchronizáciaĎalšie štandardy: GM, GS, XG, SMF

Symbolický zápis hudby v MIDI:

MusicXML� Základ: technológia značkovacieho jazyka XML� Formát pre hudobnú reprezentáciu a zdieľanie

medzi používateľmi� Vývoj od r. 2000, M.Good, Recordare� Západná hudobná notácia od 17.st.

SMDL(Standard Music Description Language)� Základ – SGML formát

Časti: logická, vizuálna, gestikulačná, analytická


Symbolický zápis hudby v MIDI:� 128 MIDI-nôt v 128 hlasitostiach� MIDI udalosti:

� Note On, � Note Off, � výška tónu, � rýchlosť stisku, � rýchlosť uvoľnenia, � ďalšie...

Neposkytuje dostatočnú hudobnú sémantickú informáciu (dynamika, agogika, nástroj, prstoklad, smyky, grafika nôt ...)

Nie je vhodný pre plnohodnotnú hudobnú reprezentáciu

� Časti: logická, vizuálna, gestikulačná, analytická

NIFF(Notation Interchange File Format)� Prenos hudobnej notácie medzi používateľmi

Iné� MusiCat, MusiXML, ChordML, Humdrum...

„Obrázkové“� pdf, jpg, tiffVhodné na vytlačenie, zdieľanie, výmenu.Neumožňujú získavanie hud. informácií,

muzikolog. spracovanie elektr. spôsobom.

MusicXML

„Hello world“Najjednoduchší hudobný notový zápis:� jeden hudobný nástroj� jeden takt� metrum 4/4� jedna nota : výška: C1

dĺžka: celá nota

<score-partwise><part-list><score-part id="P1"><part-name>Music</part-name>

</score-part></part-list><part id="P1"><measure number="1"><attributes><divisions>1</divisions><key><fifths>0</fifths>

</key><time><beats>4</beats><beat-type>4</beat-type>

</time>


dĺžka: celá nota

� Ďalšie atribúty: kvintový kruh, 0. pozícia (C-dur), husľový G-kľúč na 2. pozícii

</time><clef><sign>G</sign><line>2</line>

</clef></attributes><note><pitch><step>C</step><octave>4</octave>

</pitch><duration>4</duration><type>whole</type>

</note></measure>

</part></score-partwise>

Aplikácie


Obsah



motívu


motívu




� Viachlas

Aplikáciepre notový zápis

� Tvorba a spracovanie

Sibelius, Finale, Guitar Pro, MuseScore, Noteflight, WikiComposer ...

Funkcionalita:� Editovanie notového zápisu (myš, klávesnica, klaviatúra)

Prehranie notového zápisu


� Prehranie notového zápisu� Transponovanie do iných tónin� Skenovanie� Tlač� Export/import do formátov: MIDI, MusicXML,PDF...� Zdieľanie nôt s používateľmi� Vyhľadávanie hudobných značiek v rámci not. zápisu

Aplikáciepre notový zápis

� Rozpoznávanie

Audiveris, Capella-scan, OpenOMR, PDFtoMusic, PhotoScore, ScoreScan...

Funkcionalita:


Funkcionalita:� Skenovanie notového zápisu – transformácia do elektronickej podoby� Princíp OMR (Optical music recognition)� Editovanie notového zápisu� Tlač� Export do formátov: MIDI, MusicXML, PDF...

Aplikáciepre notový zápis a audio

� Vyhľadávanie, získanie a zdieľanie

Wikifonia, Misicnotes, Musipedia, Midomi ...Google, Yahoo, Zoznam...

Funkcionalita:


Funkcionalita:

� Vyhľadávanie not. zápisu , audionahrávok, videonahrávok� Miesto: databáza, web

� Dopyt: Metadáta: meno autora, názov skladby, hudobný nástroj, štýl, úroveň interpreta, text piesne ...

Digitálny formát (MusicXML, MIDI, PDF, JPG ...)

Melódia (jednohlasná): spev – mikrofón, flash klavír, notový zápis, MIDI keyboard

� Výsledky: odkazy na video-audio nahrávky na YouTube + úryvok notového zápisu

súbory s notovým zápisom (odkaz na Sheetmusicplus.com)

MIDI súbory s ukážkou (Amazon, Nokia ringtones)

Odkaz na ‘Search the web'

� Zdieľanie nôt s používateľmi� Sťahovanie nôt � Zakúpenie notového zápisu

Musipedia.org


Iné aplikácie

� BrailleMUSEhttp://gotoh-lab.jks.ynu.ac.jp/braille_music_score_english/e-top-new.htmlPrevod hudobného notového zápisu v MusicXML do Braillovho písmaZnaky ako pre čítanie a písanie


Obsah



motívu


motívu




� Viachlas

Music Information RetrievalZískavanie hudobných znalostí

� Jednohlasná, viachlasná (polyfonická) hudba� Analógia s dolovaním znalostí z textov� Segmentácia jazyka – medzery, interpukčné znamienka� Segmentácia hudby – Takt? Refrén? Hudobný motív? Hudobná fráza?� Algoritmy na porovnávanie melodických reťazcov

� Longest Common Subsequence Algorithm (LCS)� Dynamic Programming Algorithm – štandard v MusicIR


� Dynamic Programming Algorithm – štandard v MusicIR� Boyer-Moore Algorithm

� Hudba západného sveta od 17.st.� Tóny definovanej výšky (12 tónov oktávy stupnice)� Noty reprezentované cez: výšku, dĺžku, silu (dynamiku), kvalitu (farbu)

� Dopyt� Audio forma� Forma notového zápisu

Music Information RetrievalZískavanie hudobných znalostí

Dopyt (query)� Audio forma (spievanie, hmkanie, pískanie, hranie na hud. nástroj / MIDI zariadenie ...)� Forma notového zápisu (súbor s not. zápisom, editovanie nôt do not. osnovy)

Query by Humming (QBH)Typy chýb� Expanzia malých intervalov (1-4 poltóny)

Kompresia veľkých intervalov (nad 5 poltónov)


� Kompresia veľkých intervalov (nad 5 poltónov)� Opakovanie intervalov je nekorektné� Vynechanie tónov

Query by Symbolic Notation (QBSN)� digitálny formát (MIDI, MusicXML ...)� editovanie nôt do not. osnovyUmožňuje vstup – polyfonická hudby (na rozdiel od QBH)

Query by Example (QBE) – nový typ� Súbor s hudobnou nahrávkouTypy chýb� Interpretácia (nástrojové obsadenie...)� Prevedenie (žáner, výška, tempo, rytmus ...)� Transkripcia

Reprezentáciamelódie pre PC

Hudobná melódia – zvuk, notový zápisSpracovanie počítačomAtribúty hudobnej skladby:

� výška noty/tónu, � dĺžka noty/tónu, � tempo skladby,


� tempo skladby, � rytmus skladby, � text (piesne), � agogika, � dynamika, � nástroj, � prstoklad...

Melodická kontúra: - výšková

- dĺžková

1. Textový reťazec2. Vektor3. Polynóm4. N-gram5. Matica6. ...

Reprezentáciamelódie - jednohlas

1. Textový reťazec

Parsons codeDDRRUUURD (Down, Up, Repeat)

RLRSRRRLR (Longer, Shorter, Repeat)


G2|E2|C4|C4|C2|E2|G2|C2|C4|B4

Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004).


(Textový reťazec)

Symbol Dĺžka noty

A (0,1/4]

B (1/4,2/4]

C (2/4,3/4]

D (3/4,4/4]

E (4/4,5/4]

Symbol Výškový interval

A 0

B 2

C 4

D 5

E 7

F 9


(Textový reťazec)

-b–C+A+A+C+b+D+A–aBBDDBBBBDD

Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004).

F (5/4,6/4]

G (6/4,7/4]

H (7/4,8/4]

I nad 2 doby

G 11

H iný

a 1

b 3

d 6

e 8

f 10

+ hore

- dole


2. Vektor

� Vektor výšok (melodický): � Vektor dĺžok (rytmický) :

( )1,0,5,3,4,0,0,4,3 −−−=Mr

( )2,2,1,1,1,1,2,2,1,1=Rr


Habudová, N., Representation and Pattern Matching Techniques for Music Data. Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.


3. Polynóm


Müllensiefen,D., Wiggins, G.: Polynomial functions as a representation of melodic phrase contour, 2011


4. N-gramyČo je v hudbe ekvivalentné slovám v texte?Melódia rozdelená na n-notové slová/termy (hudobné slová), stop slová – pomlčky?Aplikovanie techník pre klasifikáciu textu


Príklad 1 - klasifikácia hudobných dát

� Klasifikácia hudobných dát podľa obsahu� Jednohlasný hudobný motív� Využitie melodického a rytmického vektora� Hľadanie podobných hudobných motívov� Vyhodnocovanie podobnosti

� Jednohlasná pieseň, � 16 taktov (16+1),� 8 hud. motívov (2-

taktových),� manuálne rozdelenie,


Habudová, N., Representation and Pattern Matching Techniques for Music Data: Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.

Príklad 1 – vyhodnotenie hudobných dát

� Vector Space model – kosínusová miera

||||),(

ba

babasim

i

ii rr

rrrr

×•

=


Habudová, N., Representation and Pattern Matching Techniques for Music Data: Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.

Matica podobnosti pre melódiu Matica podobnosti pre rytmus

Klasifikácia hudobných dát

Ďalší výskum� Hranica podobnosti� Maximálna rozdielnosť v melódii:

� Identická postupnosť tónov CDE (rastúca, klesajúca)� Opačná postupnosť tónov CDE(rastúca), EDC(klesajúca)

Je to muzikologicky zaujímavé?

1),( −=basimrr


Príklad 2 – MelodyComparator

BP: J. Hvolka: Porovnanie hudobných zápisov, 2011� Porovnanie hudobných dát podľa obsahu� Dopyt: súbor MusicXML, melódia� Využitie melodického vektora� Hľadanie zhodných hudobných motívov� Vyhodnotenie podobnosti resp. zhodnosti


Videoukážka :� Hľadám refrén „ Reklama na ticho“ v skladbe P. Haberu: Reklama na ticho� Originálny refrén: od tónu e4� Dopyt: melódia refrénu: f4 f4 f4 f4 e4 f4 f4 f4 g4 e4

Hrušková, N., Hvolka, J.: Representing, comparing and evaluating of music files, Proceedings of the International Conference on E-learningand the Knowledge Society, ASE Publishing House, ISBN 978-606-505-459-2. pp. 213-218, (2011).

Reprezentáciamelódie -viachlas



4. N-gramyMelódia rozdelená na 3-notové slová/termy



5. Vektory resp. maticeMelodický vektor (soprán, alt, tenor, bas)

)...,( ,21 kikkk ssss =r

)...,( ,21 kikkk aaaa =r

)...,( ,21 kikkk tttt =r

)...,( ,21 kikkk bbbb =r


Melodická matica

=

k

k

k

k

k

b

t

a

s

M

r

r

r

r

−

=

0301020

0002020

0400000

5340000

1M

Hrušková, N.: Polyphonic Music Represented in Mathematical Vectors, Workshop on Intelligent and Knowledge oriented Technologies 2011


5. Vektory resp. maticeHarmonický vektor

Harmonická matica

),...,( 121 −= iniii wwwhr

)...( 321 ik hhhhHrrrr

=


=773344

17125578

004000

1H



5. Vektory resp. maticeHarmonická matica

)...( 321 ik hhhhHrrrr

=

=773344

17125578

004000

1H



Reprezentáciamelódie

Výber vhodnej reprezentácie hudobnej melódie:� Presnosť hudobného prepisu� Pamäťová náročnosť prepisu do elektronickej formy� Rýchlosť vyhľadávania� Cieľ výskumu...


...

Výzvy

Výzvy pre ďalší výskum� Polyfonická hudba:

� dopytovanie, � vyhľadávanie, � muzikologická analýza v elektronickej podobe.


Ďakujem za pozornosť

Mgr. Nikoleta HruškováFIIT STU

music information retrievalhruskova/musicir_hruskova_2011.pdf · music information retrieval...

Documents