daniel londoÑo galeano - usb
TRANSCRIPT
VISUALIZACIÓN INTERACTIVA PARA INTÉRPRETES MUSICALES
DANIEL LONDOÑO GALEANO
UNIVERSIDAD DE SAN BUENAVENTURA SECCIONAL MEDELLÍN
FACULTAD DE INGENIERÍAS
ESPECIALIZACIÓN EN POSPRODUCCIÓN DE AUDIO PARA LA INDUSTRIA
MUSICAL
MEDELLIN
2014
VISUALIZACIÓN INTERACTIVA PARA INTÉRPRETES MUSICALES
DANIEL LONDOÑO GALEANO
Proyecto presentado para optar al título de Especialista en posproducción de
audio para la industria musical
Asesor
Antonio Escamilla Pinilla, M.Sc. en Sound & Music Computing
UNIVERSIDAD DE SAN BUENAVENTURA SECCIONAL MEDELLÍN
FACULTAD DE INGENIERÍAS
ESPECIALIZACIÓN EN POSPRODUCCIÓN DE AUDIO PARA LA INDUSTRIA
MUSICAL
MEDELLIN
2014
CONTENIDO
1. OBJETIVO GENERAL 4
2. OBJETIVOS ESPECÍFICOS 4
3. ANTECEDENTES 5
4. DESARROLLO 7
4.1 ENTRADAS DE AUDIO Y ANÁLISIS 9
4.2 MONITOREO DE ENTRADAS 11
4.3 ESPACIO 3D 11
4.4 ANIMACIONES Y MATERIALES 12
4.4.1 IMPULSO Y UBICACIÓN 13
4.4.2 MOTOR DE ESCALA 13
4.4.3 COLOR DE MATERIALES 13
4.4.4 UBICACIÓN DE LA LUZ 15
5. CONCLUSIONES 19
6. REFERENCIAS BIBLIOGRAFICAS 20
4
1. OBJETIVO GENERAL
Realizar una interacción directa entre la interpretación musical y la generación de
material visual en un live performance, teniendo como público objetivo bandas
emergentes.
2. OBJETIVOS ESPECÍFICOS
1. Explorar el uso de softwares existentes de generación de materiales visuales
para un concierto de pequeña escala.
2. Plantear el prototipo de un live performance desde el uso de MAX o Pd o
software similar.
3. Identificar las oportunidades de innovación visual a implementar para las
bandas locales emergentes.
5
3. ANTECEDENTES
Generar recordación, ofrecer una experiencia audiovisual, y conectarse con la
audiencia son algunos de los retos que un grupo musical tiene en escena.
Partiendo de estas necesidades, surge la intención de crear una herramienta
digital que permita a las bandas hacer uso de un diseño visual coherente con la
música en la presentación de sus conciertos y de esta manera poder no solo dar
una idea o transmitir una historia a través de sus sonidos, sino también generar un
mayor impacto al complementarla con la relación visual.
Desde hace algunos años, la forma en que un grupo musical emergente entrega
su contenido al público ha cambiado. Las facilidades que la tecnología ofrece a
quienes recién ingresan al mercado musical han derivado en que la relación del
músico con su público sea cada vez más directa, desdibujando la presencia de
intermediarios en su evolución. Esto ha significado que a partir de las
herramientas tecnológicas para grabar, promocionar, y distribuir su música se ha
llegado a un punto en la que una banda está en potencia de auto gestionar su
desarrollo frente a la audiencia. Sin embargo, los esfuerzos han estado dirigidos a
gestionar y mejorar en cuanto a su sonido, ya sea que inviertan capital y tiempo en
„profesionalizar‟ su música, y se han quedado cortos en cuanto a su impacto con el
público en vivo.
Aunque la radio, las redes sociales, la aparición en revistas especializadas
virtuales y offline, presentan oportunidades para que la banda crezca su número
de seguidores, fidelice la relación con el público y obtengan alguna retribución
económica, la herramienta que más impacta la promoción y las ganancias de la
banda sigue siendo el concierto en vivo. Es así que cualquier actividad o proceso
que ayude a mejorar la calidad de la experiencia en vivo o performance tendrá un
impacto directo en subir el nivel de apreciación del público frente al artista.
Si proponemos la línea de tiempo en que se registre como el performance ha sido
el medio de interacción encontraremos que, históricamente, su contundencia para
entregar el contenido musical era absoluta, y que solo hasta hace un poco más de
un siglo (1887 con el uso del gramófono) esto cambió con el registro de la música,
en el momento en que las canciones pudieron ser grabadas y comercializadas.
6
El concierto, entendido como herramienta, ha sido quien ha presentado más
transformaciones. Del concierto acústico pasamos al concierto que con la ayuda
de equipos electrónicos que permiten amplificar su sonido, a un concierto de
mediana escala donde es necesario el uso de retornos en el escenario y un
sistema más óptimo de amplificación controlada por un pequeño equipo de
ingenieros, a uno de mayor escala, que cuente ya con un grupo de especialistas
que estén encargados no sólo de la amplificación y tratamiento del audio para el
escenario y la audiencia sino de control de luces y video que acompaña la música.
Si bien la presencia de lo visual puede estar presente indirectamente en un
concierto de cualquier nivel, el hacer esta mirada evolutiva del concierto
demuestra que el uso de la imagen ha estado siempre en segundo plano, como un
acompañante a lo auditivo y que sólo se torna relevante en el punto en que una
banda ya es reconocida (o que tenga el capital suficiente para invertir en algo más
que en su producción sonora), o viceversa, que para las bandas reconocidas se
hace necesario, casi obligatorio, entregar además un buen contenido visual.
La competitividad de una banda frente a otra, la constante necesidad de aumentar
su audiencia, la intención de crear contenido interesante para sus redes sociales,
y la permanente exploración creativa de los músicos, ha desenlazado una serie
de innovaciones visuales que impresionan al público que asiste a un concierto.
Algunos de los conceptos que permiten contextualizar la temática son parte del
lenguaje de la producción visual contemporánea de nuestra época, es decir,
conceptos que han surgido en la era digital al tener la posibilidad de incluir
softwares y tecnologías de punta en áreas que antes no se habían apropiado de
ellos sino que se habían manejado desde lo análogo.
Un primer acercamiento a la información relativa al uso de estas herramientas
digitales demuestran que aún se hace lejana su utilización en el espectáculo de
pequeño alcance debido al alto costo, o a que se requiere de un conocimiento
específico para el manejo de las interfaces del software. Sin embargo, hay que
tener en cuenta que las bandas emergentes están constantemente buscando
maneras de auto gestionar su desarrollo, y por ello, la necesidad de crear una
forma de mejorar sus conciertos o presentaciones con tecnología y precios
asequibles está latente en el medio.
7
4. DESARROLLO
El uso de materiales visuales en la historia de la música no es algo reciente, desde
el uso de tintas e imágenes proyectadas al respaldo de la banda la tecnología ha
permitido que la creación de estos elementos visuales se puedan presentar en
diferentes secciones de un espacio con el uso de pantallas digitales que ocupan
un mínimo espacio dentro de una tarima o fuera de ella, y mediante uso de los
últimos softwares es posible sincronizar las imágenes, independizarse y
sincronizarla con el audio. Cabe mencionar que la iluminación en este tipo de
eventos ha ocupado un espacio importante y paralelo al avance de la tecnología
encontramos también dispositivos y profesionales dedicadas a la manipulación y
programación de estos elementos.
En el desarrollo que se presenta en este trabajo conceptos como el visual
feedback y el real time performance se vuelven básicos para la creación de la
experiencia total, asimismo la aparición de personajes cuyo perfil es tan capaz de
controlar lo relacionado con el audio como lo relativo a la imagen, entre ellos
podemos contar a los VJs, a productores audiovisuales, a los llamados creative
programmers, entre otros.
La aparición, creación y desarrollo de estos softwares/hardwares que permiten el
video mixing con una amplia gama de imágenes y efectos como modul8, VDMX se
convierten en el primer antecedente de la generación de experiencias en tiempo
real, presentándolas como un componente más de lo creativo.
En la exploración de estos conceptos encontramos referentes como José Luis
Orihuela (profesor y escritor de la universidad de Navarra) quien presenta ¨la
interactividad, en el ámbito de la comunicación digital, es una potencia o una
capacidad de los dispositivos que actualiza o ejecuta el usuario en la medida en
que inicia acciones que generan una respuesta por parte del sistema o de otros
usuarios. Esto da a entender que la interactividad está fuertemente relacionada
con el diálogo, la comunicación - en este caso la existente entre la audiencia y el
músico - , es decir, que es necesario que se presente en procesos que se llevan a
cabo en tiempo real.
8
Otro concepto, el video mapping, se ha popularizado en los últimos años y se
refiere a la proyección de imágenes sobre superficies complejas o simples (un
edificio, un carro, un zapato, etc.) su característica es que permite compensar la
perspectiva de la superficie desde la posición del proyector así las imágenes que
se reproducen no se distorsionen por la forma de la superficie para que cualquier
objeto, sin importar su escala o geometría, se convierta en superficie útil para una
video proyección.
En los últimos años la tecnología del video mapping se ha convertido en una
herramienta innovadora para todo tipo de eventos (promoción de productos,
conciertos, eventos públicos, etc.), este auge ha permitido que se generen
diferentes softwares y proyectores dedicados a este fin, facilitando la proyección
en estructuras complejas y en superficies de grandes dimensiones. Tecnologías
de animación y cartografía de sombras complementan este proceso de efectos
visuales en sus proyecciones cambiando la forma del objeto o superficie, o
dándole realismo a un objeto animado proyectado sobre la misma superficie.
También esto ha llevado a que la comunidad de aficionados lleven estas prácticas
a modelos caseros con herramientas más cotidianas o más accesibles en costo
generando una gran producción de materiales visuales hoy en día.
Enfocando el análisis específicamente en el desarrollo del audio digital, se
encuentra que han surgido diferentes tipos de herramientas que permiten entender
características de señales sencillas y complejas. Los descriptores de audio,
mediante diferentes procesos matemáticos, extraen información de estas señales
(intensidad, brillo, ataque, componentes armónicas, tono, ruido, distorsión, entre
otros) para explorar procesos de laboratorio, de procesamiento y análisis.
A partir de la necesidad de crear una herramienta que combine los conceptos de
las expresiones audiovisuales anteriormente señaladas se procede a desarrollar
un prototipo.
Se eligió usar el software MAX ya que posee los diferentes tipos de
procesamientos necesarios de audio y video, al igual que permite una fácil
interacción entre programas externos.
9
El prototipo desarrollado para este proyecto se divide en 4 secciones:
● Entradas de audio y análisis
● Monitoreo de entradas
● Espacio 3d
● Animaciones y materiales
4.1 ENTRADA DE AUDIO Y ANÁLISIS
Para facilitar el análisis independiente de los instrumentos que suele acompañar
una banda comercial, se inició el prototipo con la posibilidad de 4 entradas para
cada grupo de instrumentos: Batería, Voz, Bajo y Guitarra/Teclados
Para el procesamiento de la batería se usa una serie de filtros y compuertas de
ruido modificables para aislarlo en 3 secciones bombo, redoblante y brillos.
10
El bombo y redoblante ya aislados, se envían a un proceso de identificación de
borde para cada uno con el objeto edge que alimenta con un “bang” cada vez que
hay un ataque.
Gráfica 1. Aislación de bombo y redoblante e identificación de ataque
Para los brillos se usa una compuerta de ruido y un filtro pasa altos para aislarlo
de los golpes del grupo de tambores de la batería y se usa el objeto “brightness~”
que envía un valor proporcional al brillo.
En el procesamiento de la voz, el bajo y la guitarra se realiza un proceso de
filtrado por una compuerta de ruido y filtros pasa altos. Siguiente a esto se pasa
por el objeto “analyzer~” que mediante una descomposición de Fourier nos arroja
valores de tono, intensidad, brillo, ruido y ataque.
Grafica 2. Procesamiento mediante el objeto analyzer~
Por último se realiza un análisis general con el mismo objeto de analyzer~ para
usar cambios generales y específicos en la sección de animación.
11
4.2 MONITOREO DE ENTRADAS
Esta sección del prototipo es un simple patch que recibe la entrada de las
entradas de audio y permite monitorear independientemente cada instrumento con
el fin de modificar los filtros y compuertas de ruido para así aislar de una manera
óptima cada uno de estos y su procesamiento sea más claro, evitando una
cantidad excesiva de malas interpretaciones del audio.
4.3 ESPACIO 3D
En este subpatch se simula un espacio que contiene 9 cubos, una luz puntual y 5
paredes que los contienen. Para facilitar los procesos de animación se agrega a
este patch el objeto “jit.phys.world” que le da a este espacio simulado
características físicas como gravedad, fricción, impacto entre objetos, etc.
Esto se visualiza mediante una ventana que tiene ubicada la cámara de tal forma
que se observa solo la base de los cubos (en dirección opuesta a la gravedad). La
visualización es enviada por medio del sistema Syphon que crea una salida virtual
que será procesada más adelante por el software Madmapper
Grafico 3. Vistas del espacio 3d
12
4.4 ANIMACIONES Y MATERIALES
En esta sección del programa se recibe la información adquirida por los análisis de
audio y es transformada por cambios e impulsos que afectan el espacio 3d
simulado. Básicamente hay 4 tipos de cambios que se aplican:
● Impulso y ubicación
● Motor de escala
● Color de materiales
● Ubicación de la luz
Cabe mencionar que algunos de estos parámetros variarán dependiendo del tipo
de animación seleccionada en el subpatch de animaciones que se explicarán más
adelante en este documento.
13
4.4.1 Impulsos y ubicación
Los Impulsos: es el mensaje que se le envía a los objetos en el espacio 3d que
simula una fuerza aplicada a estos, generando un movimiento de salto.
Recibiendo los “bangs” emitidos por el análisis del bombo y redoblante, se envían
los impulsos individuales a cada uno de los cubos sincronizando sus saltos con los
golpes. Para controlar su ubicación después de cada salto, se usa el mismo
mensaje y se retrasa unos milisegundos con el objeto “delay” para enviar un
mensaje de “quad” y “position”, re-ubicando al cubo en su alineación y posición
original.
La fuerza con la que son impactados es controlada por el subpatch “p control
deep” donde la intensidad general de todos los audios es promediada mediante el
objeto “mean”, este valor es escalado con el objeto “scale” para que sea
proporcional a la fuerza y es enviado a los mensajes de impulso de cada cubo.
4.4.2 Motor de escala
Para generar otro tipo de efecto en las animaciones se envía un mensaje de
“scale” que modifica el tamaño de cada cubo. Debido a que estos cambios no son
progresivos se usa el objeto “line” con el que se consigue suavizar estos cambios,
seguido de esto se envían los “bangs” del bombo y redoblante para sincronizar los
cambios de tamaño con sus ataques.
4.4.3 Color de materiales
El color de los materiales de cada cubo es asignado al tono e intensidad de la voz
y guitarra (que suelen ser los instrumentos protagonistas) a el color de los cubos y
el tono e intensidad del bajo para el color de las paredes. Para lograr estos
cambios los valores recibidos de tono de cada análisis se escalan mediante el
objeto “scale” para generar un cambio en la selección del color y los valores de
intensidad se escalan de igual forma para generar un cambio en la saturación en
la gama de colores. Ya que los valores de tono e intensidad son muy cambiantes a
través del tiempo, se controlan con el subpatch “p control”. Este subpatch usa el
objeto “mean” que se encarga de promediar los valores recibidos, evitando
cambios muy abruptos y lectura de valores erróneos o no deseados.
14
Grafica 4. Interpretación de tono e intensidad por saturación y color
En el caso de la guitarra y la voz que se encuentran controlando los mismos
parámetros, la voz siempre está enviando los mensajes de color, siempre y
cuando su intensidad supere un umbral definido por el objeto “>”, en caso de que
no lo supere el control pasa a la guitarra.
Grafica 5. Selector entre guitarra y voz mediante umbral de intensidad de la voz
15
4.4.4 Ubicación de la luz
Existe un cambio de apariencia de los cubos activando el modo “poly_mode”, para
que este cambio sea especifico solo se activará en el caso de que se active por
segunda vez la animación de cambio de tamaño. Se logra mediante los objetos
“select” y “counter”, recibiendo el número de animación del “r selector” se filtrara el
número 4 (que es la animación asignada a cambio de tamaño) para que este
envíe un “bang” al contador (counter), en el momento que el contador llegue a 2
activará el modo poly y en caso que reciba otro número este se desactiva.
La ubicación de la luz es la que nos va a permitir ver los colores de los cubos o ver
el espacio tiene 3 diferentes parámetros que se relacionan con su ubicación en el
eje “x” “y” “z”. Los valores para el eje “x” y “y” están controlados por unos
osciladores generando una especie de movimiento circular, para relacionar este
movimiento con el audio, la intensidad general del audio limita el movimiento
usando el objeto “scale” llevando la luz más hacia el centro.
Grafica 6. Osciladores controlados por la intensidad general para el movimiento de la luz en los ejes x y
Para el movimiento de la luz en el eje z, su ubicación es controlada por el
instrumento predominante entre voz, guitarra o batería (la voz se interpreta con los
valores de intensidad y guitarra y batería con los valores de brillo). Al igual que en
diferentes secciones del programa se usa el subpatch “p control” para promediar
los valores que llegan, estos valores serán promediados proporcionalmente a la
intensidad general del audio (a mayor intensidad los valores serán más
16
promediados y a menor intensidad menos promediados serán los valores
recibidos) recibidos desde el envío “s c”.
Grafica 7. Representación de valores de voz, guitarra y batería para la ubicación de la luz en el eje z, controlados por la
intensidad general.
El parámetro del movimiento en el eje z es asignado al mayor valor entregado, ya
sea por los brillos de la batería, la intensidad de la voz o la intensidad de la
guitarra que se encuentran escalados mediante el objeto “scale”. Esta selección se
logra con los objetos “>” “switch” y “select”.
La animación de los cubos está controlada por la sección de animaciones del
programa, que permite intercalar entre diferentes patrones y asignaciones de los
“bangs” del bombo y redoblante. Estas animaciones son intercaladas controladas
por el subpatch “p section” que cuenta golpes filtrados del bombo. Para evitar las
subdivisiones posibles de los golpes del bombo se usa el objeto “onebang”
permitiendo solo el paso de los golpes distanciados en un tiempo min en ms.
Basándonos en la música comercial que tiende a tener 4 tiempos por compás y
cada sección tiende a tener una distancia de 8 compases, donde el bombo
probablemente como mínimo tocara 2 veces por compás a un total de 16 golpes
aproximadamente por sección. El contador así se definió para que llegara hasta al
doble de 16 golpes a unos 32 golpes para que exista un cambio de animación.
17
Grafica 8. Contador de golpes de bombo para medición de compases y medición de intensidad general para reinicio de
parámetros de animación.
Por último la visualización del espacio 3d es enviada transmitida por el patch “p
syphon server” donde es recibida por el programa Madmapper para su
modificación y mapeado según la superficies en la que se desee proyectar.
Grafica 9. Envio de video a travez del servidor Syphon al software Madmapper.
18
Pasando por un proceso de prueba usando canciones de diferentes géneros, se
puede observar que el programa responde de una manera coherente con lo que
se escucha, pero las transiciones entre animaciones de movimiento y cambio de
tamaño no son fluidas, y en otros casos la luz permanece demasiado tiempo tras
los cubos evitando visualizar la imagen principal.
Siguiendo lo anterior fue necesario realizar dos procesos adicionales para
solucionar estos problemas.
Para que el cambio entre la animación de movimiento y cambio de tamaño fueran
sutiles, se identifica el número asignado a la animación de movimiento y se envía
un mensaje que cancele los mensajes de ataque del bombo y redoblante, paralelo
a esto se envía otro mensaje que cambia el tamaño de los cubos -para que encaje
en la animación de los cubos- y finalizando este proceso de cambio de tamaño se
envía otro mensaje que reestablece la conexión con los ataques de la batería.
Para evitar que la imagen principal quede totalmente oscura por la posición de la
luz, se recibe la posición de la luz en el eje z y cuando este no supere la posición
de los cubos, mediante un comparador se acciona un cambio en el tamaño de los
cubos para que parte de la luz sea visible entre los espacios que quedan entre
estos.
19
5. CONCLUSIONES
La transformación de mensajes musicales como tono, ataque e intensidad han
sido para este prototipo la base de la generación de animaciones y logra cumplir
en la mayoría de los casos con una coherencia entre lo que sucede musicalmente
y cambios visuales en la simulación 3d aun teniendo una limitada variación de
animación y una identificación precaria de la secciones de una canción.
Debido a los parámetros automatizados y reactivos a las entradas de audio su uso
es relativamente sencillo lo que es importante para que bandas emergentes se
atrevan a utilizar el programa y experimentar con este en sus presentaciones en
vivo.
Aunque el programa funciona en softwares que no son libres, es posible exportar
el patch creado MAX para el software libre Puredata para uso y modificación
masivo
Sin duda, este prototipo de programa necesita un refuerzo en la sección de
animaciones y detección de secciones de canción, (aunque este último podría ser
un control manual) para que el efecto visual sea menos monótono y más
coherente con los cambios que posee cada canción.
El punto de vista de la audiencia y la posición de la cámara en la simulación 3d
deben ser similares para que los procesos de mapping y video proyección sean
óptimos y logre generar el efecto de profundidad deseado.
20
6. BIBLIOGRAFÍA
Mark F. Schultz. Live Performance, Copyright, and the Future of the Music Business Richmond Law Review 43.2 (2009).<http://works.bepress.com/mark_schultz/2> [fecha de consulta: 27 ago-2013 ]
Oliver, Willima - Yu, John - Metois, eric. The Singing Tree Design of An Interactive Musical Interface <http://web.media.mit.edu/~tod/media/pdfs/Singing_Tree.pdf> [fecha de consulta: 27 ago-2013 ]
Carlos, Miguel. Historia de los registros sonoros. Parte II <http:// descubriendoelaudio.wordpress.com/tag/registros-sonoros/> [fecha de consulta: 27-ago-2013 ]
Short history of Projection Mapping <http://anhnguyen.gdnm.org/2012/04/27/short-history-of-projection-mapping/> [fecha de consulta: 27-ago-2013 ]
Modul8 <http://www.modul8.ch/index.php?c=home> [fecha de consulta: 27-ago-2013 ]
VDVX <http://vidvox.net/> [fecha de consulta: 27-ago-2013 ]
José Luis Orihuela. Interactividad e interacción. (2011). <http://educarparalaweb.bligoo.com/ambientes-virtuales-de-aprendizaje-interactividad-e-interacción> [fecha de consulta: 29-ago-2013 ]