music information retrieval

+

Cuantificación de recurrencias en tareas de

recuperación de información musical

Sergio Bromberg U. San Buenaventura, Cali

ε+ 1

+

yo compré dos, pero descargué como 15. Hay un cambio radical en la forma en que la música se distribuye

¿Cuántos CDs compró este año?

• ¿Cómo organizar semejante colección?

• ¿Cómo ofrecer nuevos contenidos?

• ¿Cómo luchar contra la “payola”?

• ¿Cómo detener a Shakira?

+Más explicitez…

Tengo 78 versiones de “Yesterday” ¿Cuál es la original?

Quiero una versión acústica del “Bolero Falaz”

Quiero escuchar una canción igual de “funky” a la que acabo de escuchar.

Quiero escuchar una canción que me relaje.

Quiero subir agitar el ambiente de la fiesta.

+Dos soluciones posibles.

1. Metadatos:

• Datos adjuntos a la cancion

• Compositor, intérprete,

álbum, año, género, etc..

2. Contenido:• Análisis de señal

+Solución 1: Metadatos

(son suficientes a veces)

Usuarios

• Inconsistentes

• Dependientes de la cultura

• Ausentes• Demasiado

específicos• Demasiado

generales

Expertos

• Que rico es clasificar 3 millones de canciones ! Problema

s

ejemplos: “Latin”, “World Music”Otros problemas: “cold start”, “new item”

800.000 cancionesx 30 min/cancion[]= 24 M de minutos= 45 años (sin dormir)

Muy difícil!

Music Genome Project

+Dos soluciones posibles.¿Complementarias?

2. Contenido:• Análisis de señal

1. Metadatos

Usuario Experto

Funciona en muchos casos pero tiene sus inconvenientes DE ESTO VOY A HABLAR HOY

[Content-based Music Information Retrieval]

+Contenido

1. Introducción Distribución de música Problemas asociados a las grandes bases de datos Metadatos: usuario vs. experto Metadatos vs. contenidos

2. RIM basada en contenido Necesidades Planos musicales Técnicas Flujo de trabajo Clasificación Hoyo semántico

3. Para finalizar Aplicaciones Grupos de investigación

+

Diferenciación de género musical

Diferenciación entre

compositores

Clasificación de

emociones

Similitudentre

canciones

Volvamos a (algunas) necesidades de alto nivel

Ej. Rock, Jazz:• Complejidad en las

progresiones armónicas• Instrumentación (timbre)• Complejidad melódica

(debido a la improvisación)• Diferencias rítmicas.

• Estructura de las progresiones armónicas

• Evolución tímbrica• Instrumentación

Nomás a modo de ejemplo…

• ¿?• Tonalidad?• Instrumentación

?

• Similitud armónica

• Melódica• Tal vez

estructural

+¿Qué tenemos que modelar?

Timbre Ritmo

Armonía/tonalidad Estructur

a

Emoción?

+TIMBRE

Definición: “Lo que nos permite diferenciar entre dos instrumentos

cuando tocan la misma nota” “Todo aquello que no es ni intensidad ni frecuencia

fundamental…”

La “forma” del espectro es lo más relevante aquí.

¿Y qué pasa con la psicoacústica y la percepción?

+TIMBREDescriptores de bajo nivel

Spectral Centroid:

El centroide del espectro

Su “centro de gravedad”

Sonidos brillantes tienen mayor centroide

Spectral spread: Qué tan tanto nos alejamos del centroide

+TIMBREDescriptores de bajo nivel

Spectral Skewness:

Qué tan inclinado está el espectro

Centroid, spread, skewness

media varianza

Momentos estadístico

s

skewness?

+TIMBREDescriptores de bajo nivel

Spectral roll-off:

Frecuencia por debajo de la cual está el 95% de la energía. 95%

Spectral brightness:

Energía por encima de cierta frecuencia

f

+TIMBREDescriptores de bajo nivel

Mel frequency cepstral coefficients (MFCCs):

Espectro Reescalamiento de las frecuencias(Escala de Mel) + bandas críticas

Espectrodel espectro !!!

2

1

3

Nos da una idea gruesa de la forma del espectro

Muy usados en procesamiento del habla

+TIMBREDescriptores de bajo nivel

Existen más descriptores:

• Inharmonicity• Noisiness• Odd-Even harmonic ratio• Spectral Flux (derivada del espectro)• Spectral flatness• Unos que no recuerdo• Otros que se le ocurran a usted. Hay mucho por hacer

aún!

+Prosigamos…

Timbre Ritmo

Armonía/tonalidad Estructur

a

Emoción?

+Ritmo: un par de problemas fundamentales

Detección de “onsets” (eventos?)

Problemas: • Tempo subjetivo• Síncopas.

Antes que nada, querríamos :

1

tempo pepas

2

compás

3

Usa la autocorrelación Usa la autocorrelación

+Melodía

Extracción de melodía

Dominio del tiempo

Dominio de la frecuencia

Multitud de aproximaciones !!

Un problema muy difícil! Sobre todo en sonidos polifónicos

Separación de fuentes, uno de los problemas más desafiantes de todos…

+Armonía

No me interesa cada instrumento por separado

Simplifica mucho el problema !!!

1 2 3 4 5

“mapeo” el espectro a una octava.

octava

+Estructura

Matrices de similaridad

[Yu Shiu, et al., 2006 ]

Se parecen: ¿verso?

Similaridad armónica, o de otro tipo, no del audio!

+Flujo de trabajo para el análisis

…

Señal

Segmentación

Espectro

Envolvente

Descriptores temporales

Descriptores temporales instantáneos

Descriptores espectrales instantáneos

¿Cómo los resumimos?

¿Promedio?

+Clasificación

Entrenamos al sistema

y clasificamosTécnicas de inteligencia

artificial

+Resumen de esta parte

1 Preguntas:

• Clasificación automática

• Similaridad

2 Métodos computacionales de descripción de la música

Timbre Ritmo EstructuraMelodíaArmonía

3Los resumimos de alguna manera, dependiendo de la aplicación

+Un apunte filosófico

BA

JO N

IVEL

NIV

EL

MED

IOA

LTO

N

IVEL

S. centroid

Zero crossing rate

brightness

skewness spread

noisiness

armonía

melodía

EMOCIÓN

tonalidad

ritmo

COMPRENSIÓN

EL HOYO SEMÁNTICO

Un campo interdisciplinar

Ejemplo: • Velandia y la tigra:

“irreverente”• Búsqueda de

imágenes

+Centros de investigación

Universidad Pompeu Fabra, Barcelona

Centre for Interdisciplinary Research in Music Media and Technology. McGill University, Canada

Institut de Recherche et Coordination Acoustique/Musique, París, Francia

Center for Digital Music, Queen Mary University, Londres

Center for Computer Research in Music and Acoustics, Universidad de Stanford, Estados Unidos.

+Aplicaciones

Steinberg - LoopMash (desarrollado por MTG):

http://www.youtube.com/watch?v=SuwVV9zBq5g

Seguidor de acordes en tiempo real

http://www.youtube.com/watch?v=JOCjey2g1fo

Mr. Emo: Explorador de música usando emociones

http://www.youtube.com/watch?v=ra55xO20UHU

+Bibliografía

Casey, M.A, Content-Based Music Information Retrieval: Current Directions and Future Challenges, Proceedings of the IEEE, 96 Issue:4, 2008.

Orio, N., Music Retrieval: A Tutorial and Review, now publishers Inc (10 Oct 2006)

Peeters, G. A large set of audio features for sound description (similarity and classification) in the CUIDADO project CUIDADO I.S.T

Yu Shiu, et al, Similarity Matrix Processing for Music Structure Analysis, AMCMM’06, October 27, 2006.

+

¿Preguntas?