Musica Mobilis: novas possibilidades de diálogo entre som e espaço

1

índice

introdução........................................................................................................................3

objetivos...........................................................................................................................5

justificativa......................................................................................................................6

procedimentos metodológicos........................................................................................9

sumário da dissertação...................................................................................................10

cronograma......................................................................................................................11

bibliografia.......................................................................................................................12

2

Introdução

Nos últimos quinze anos ocorreram grandes revoluções em relação ao acesso e tecnologia de

dispositivos móveis. O uso de celulares, smartphones e tablets tornou-se corriqueiro para uma parcela

considerável da população no Brasil e no exterior. Rapidamente esses aparelhos tornaram-se mais

versáteis, acumulando inúmeras funções pertencentes à tecnologias anteriores como agenda eletrônica,

calculadora, bússola, lanterna, entre outras, além de criar novas utilidades que não estavam presentes

no dia a dia dos usuários. Esses dispositivos também substituíram o uso de aparelhos portáteis para

ouvir música, como o discman e os tocadores de mp3. Mudando algumas atitudes em relação à forma

de se ouvir música de maneira portátil, principalmente devido à capacidade de armazenamento destas

mídias, mas apesar da flexibilidade de aparelhos multi-função como o iPhone, a musica mobilis1 ainda

é realizada como um hábito herdado do walkman.

Os dispositivos que possuem os sistemas operacionais android e iOS tem incorporados no

aparelho uma gama enorme de sensores como acelerômetros, giroscópios, câmeras e microfones,

criando inúmeras possibilidades para a computação ubíqua e desenvolvimento de interfaces entre

homem e máquina (HCI).

Paralelamente a esta popularização de mídias móveis começou a ser desenvolvida a mobile

music, termo usado para peças de música e arte sonora mediadas por esse tipo de tecnologia. A artista

alemã Frauke Behrendt divide a produção de música móvel em quatro categorias:

• Placed Sounds- trabalhos nos quais sons escolhidos pelo artista são disparados de acordo com a

posição do espectador no espaço.

• Sound Platform- similar ao placed sounds mas com a diferença de que o artista desenvolve um

software para que o interator possa escolher os sons ativados no espaço.

• Sonified Mobility- os dados do percurso do espectador controlam de forma contínua os sons da

obra.

• Musical Instrument- dispositivos móveis utilizados como instrumentos.

1 Termo cunhado por Shuhei Hosokawa, no artigo “The Walkman Effetct” de 1981: “I define musica mobilis as music whose source voluntarily or involuntarily moves from one point to another, coordinated by the corporal transportation of source owner(s).(HOSOKAWA p.166)

3

Esta taxonomia do mobile music feita por Behrendt analisa trabalhos compostos entre 1998 e

2009, ou seja, a maior parte dos trabalhos foi realizada com celulares comuns, sensores GPS (global

positioning system) e PDAs (personal digital assistent), pois a geração de smartphones começou a se

popularizar na segunda metade da década de 2000. Algumas iniciativas foram tomadas desde então

para a divulgação deste tipo de prática, como o MMW (mobile music workshop) comitê ligado ao

NIME (New Interfaces for Music Expression), CHI (Conference on Human Factors Computer Systems)

e Ubicon (International Conference on Ubiquitous Computing) que passou por diversos países com

palestras e workshops sobre tecnologias móveis aplicadas às artes sonoras, o que gerou, por exemplo, a

formação de diversos mobile ensembles, grupos compostos apenas por smartphones e tablets. Grupos

como esses criam novas respostas para velhas questões da música eletroacústica, como por exemplo a

MoPho (mobile phone orchestra) da Universidade de Stanford que realiza a espacialização sonora de

suas peças através de pequenos alto-falantes presos nas costas das mãos dos intérpretes que andam pela

sala de concerto, criando um sistema de difusão único.

É de fundamental importância pensar que um dos fatores que diferencia esta ferramenta para

criação e performance de música contemporânea de outras interfaces é o fato de estar disponível para

um público não especializado, gerando novas relações entre intérprete/compositor e ouvinte. Relações

estas que são muitas vezes resignificadas através de aplicativos que colocam o espectador como

intérprete da obra, elemento muito explorado nas instalações interativas, porém pouco utilizado na

música eletrônica. Pensar propostas para o desenvolvimento de softwares de música algorítmica

buscando novas possibilidades de interação com as mídias móveis pedem a atenção de algumas áreas

como sonologia, HCI e design de interfaces.

4

Mopho (Mobile Phone Orchestra)

Objetivos

Objetivo geral:

Desenvolver um estudo crítico sobre a produção de mobile music a partir de 2007, voltada para

interação e composição algorítmica, e desenvolver uma composição interativa em formato de aplicativo

para smartphone. Esta composição deverá explorar as diversas possibilidades de sensores que estes

dispositivos podem prover, com a finalidade de obter novas relações entre som/espaço em ambientes

urbanos.

Objetivos específicos:

Fazer uma breve reflexão sobre os tipos de escuta com fones de ouvido no espaço urbano e

como isso pode ser explorado pela arte sonora locativa. Formular uma argumentação sobre como são

desenvolvidas as interfaces de produção musical para dispositivos móveis em softwares com

finalidades artísticas. Pensar formas de interação sonoras e físicas através de smartphones que

conectem o ouvinte de mídias portáteis com o espaço ao seu redor.

5

Justificativa

Cada vez mais a produção, reprodução e distribuição de arte digital se dará por meio de uma

interface, diz o teórico dinamarquês Søren Pold no texto “Interface Realisms: The Interface as

Aesthetic Form”, argumentando que assim como a literatura explorou predominantemente os livros e a

pintura as telas , a interface é agora o principal anteparo estético

para a transmissão de informações digitais de todos os tipos, e que, portanto, a interface é o suporte

básico da arte digital (Pold 2005-p.1).

Assim como exposto na introdução deste projeto, os tablets e smartphones quando empregados

para audição de música tem um uso similar ao de aparelhos portáteis mais antigos como o walkman, tal

qual uma herança tecnológica. Este fato pode ser observado ao comparar-se o texto “The walkman

effect” de 1981 de Hosokawa a alguns textos mais recentes que descrevem o uso dos iPods, como, por

exemplo, o artigo “No Dead Air!The iPod and the culture of mobile listening” de Michael Bull (2005)

Em ambos os casos os autores dizem que o ouvinte promove uma estetização do espaço urbano ao

ouvir sua lista de músicas. Como Bull observa, a recriação do ambiente urbano através da mediação de

tecnologias móveis reconfigura o espaço, o conteúdo musical e a noção do tempo gasto pelo ouvinte no

trajeto. Os autores divergem um pouco sob qual seria o nível de alienação desta ação, Hosokowa é mais

otimista descrevendo aquele que utiliza o walkman apenas como um ouvinte solitário que impõe sua

própria narrativa aos objetos que observa ao seu redor. Já Bull é mais crítico, relacionando a ação de

ouvir o iPod em espaços públicos ao conceito de não-lugar2 do etnólogo francês Marc Auge, no qual o

ouvinte já não repara mais neste ambiente transitório do seu trajeto e individualiza sua percepção

espaço-temporal.

No texto “The Creative iPod Listener” de Tuck Leong e Nina Gram (2011), os autores chamam

atenção para o fato de que os usuários que utilizam o iPod tomam uma atitude mais consciente em

relação ao espaço do que com as mídias anteriores (discman e walkman). Pois como esse aparelho

possui uma capacidade de armazenamento muito maior do que fitas e CDs, permite que o ouvinte

transite com uma grande variedade de estilos e texturas musicais. Fazendo com que ele repare que o

efeito emocional e/ou físico causado em cada música pode ser diferente em relação a um mesmo

ambiente, tornando-o, logo, consciente desta possibilidade de manipulação espaço temporal através do

shuffle do mp3. Ou seja, é um caso no qual a evolução tecnológica pode promover uma mudança na

2 The word ‘non-place’ designates two complementary but distinct realities: spaces formed in relation to certain ends

(transport, transit, commerce, leisure), and the relations that individuals have with these spaces. (Auge, 1995: p. 94.)

6

percepção do material sonoro em relação ao espaço.

Na mobile music podemos observar alguns trabalhos que caminham no sentido contrário dos

aspectos alienantes dos tocadores de mp3. Principalmente na categoria que Behrendt classifica como

placed sounds. Por exemplo, no trabalho “Her Long Black Hair”, de Janet Cardiff, realizado no parque

central de Nova Iorque. Nesta obra de 2004 a artista faz com que o espectador reconstitua o passeio de

uma personagem do século XIX no parque. Utiliza como áudio, gravações de campo binaurais e de sua

própria voz que fornece a as direções do caminho para o ouvinte, para parte visual são usadas fotos que

mostram a personagem da narrativa nos mesmos espaços do Central Park que o espectador percorre. A

tecnologia utilizada foi a de sensores GPS que disparam os samples de áudio nos fones de ouvido de

acordo com a posição do espectador no parque. O efeito audio visual obtido promove uma hibridização

entre os sons e imagens naturais e artificiais, fazendo com que o espectador perceba o espaço de uma

maneira mais detalhada, porém proveniente de uma narrativa que conta uma história de dois séculos

antes. Trabalhos como este recriam, portanto, a relação entre ouvinte e os fones de ouvido, pois

transfiguram o diálogo audio visual com o espaço.

Desde o lançamento dos smartphones mais modernos em 2007 tem sido realizadas diversas

pesquisas do uso musical destes aparelhos. Sendo utilizados tanto para síntese e processamento sonoro

como interfaces de controle. No artigo “Interactivity for Mobile Music-Making” Georg Essl e Michael

Rohs detalham as possibilidades de mapeamento dos sensores de um iPhone:

7

Atau Tanaka, um dos principais nomes da mobile music, considera, no texto “Mobile Music

Making” publicado no NIME de 2004, o uso destes sensores para a criação musical como uma forma

de “escrita idiomática”, aquela que trabalha as características do suporte no ato da composição. Fato

que gera novas problemáticas como: locações dinâmicas, contextos multi usuários e até situações

sociais urbanas. Este fatores contribuem para a complexidade do trabalho artístico com mídias

locativas. Pois o desafio que confronta o artista é como criar uma música que responde de uma maneira

profunda a estas variáveis locativas, sociais, com dinâmicas interativas (Tanaka, 2004-p2).

Defrontando estas novas possibilidades dos smartphones para a captação de informações

através de sensores, que podem ser utilizadas para criação musical, com os hábitos de escuta dos

usuários de iPod, é plausível dizer que utilizar o dispositivo apenas como uma espécie de assemblage

de tecnologias que o antecederam é uma subutilização do aparelho. Por isso poderiam ser

desenvolvidas aplicações específicas para este tipo de mídia, que aproveitassem da computação ubíqua

para a o desenvolvimento de novos diálogos entre som, tempo e espaço.

Provavelmente para a elaboração de “tocadores” de música permeáveis aos dados captados

pelos dispositivos, seria necessário compor novas músicas específicas para esta mídia. Estas músicas

também deveriam possuir uma arquitetura permeável às informações externas, e, portanto, fazer parte

do que é a chamada arte algorítmica. Frieder Nake, pioneiro da arte computacional, define no texto

“Remix Aesthetics and Semiotic Animals”(escrito em parceria com Mark Amerika) a obra de arte

algorítmica como uma “classe”. Trata-se de um conceito complexo, mas que pode ser definido como

um modelo ou uma especificação que define um objeto. Ou seja, a obra em si é desmaterializada, o que

compositor cria é o algoritmo que define a classe, mutável, por sua vez, de acordo com as variáveis

captadas pela interface.

Obras permeáveis aos elementos externos certamente poderiam criar novas relações entre o

ouvinte e o espaço, além de conscientizar o usuário do poder computacional que ele possui acesso.

8

Procedimentos metodológicos

O plano metodológico desta dissertação se baseará em dois momentos: 1. Uma reflexão teórica sobre

o uso de dispositivos móveis para audição de música, com base em estudos críticos sobre interface,

mídia e arte sonora; 2. Criação de uma composição, com base na reflexão introdutória que fornecerá o

embasamento poético para a composição. A reflexão será realizada a partir da, leitura, fichamento,

análise e interpretação de textos sobre mídia. Nesta abordagem, seguiremos uma divisão que considera

os temas mais extensos do trabalho em duas partes, sendo a primeira parte a análise do mobile music a

partir de 2007 e, a segunda parte, a descrição do desenvolvimento da peça e os conceitos envolvidos:

parte 1

• contextualização histórica do mobile music

• mapeamento de artistas e espaços onde se desenvolvem atividades de música móvel como

composição algorítmica

• seleção de obras para análise

• análise crítica dos aspectos poéticos, sonoros e visuais

• análise crítica das interfaces e tipos de interatividade

parte 2

• desenvolvimento técnico e poético, utilizando os softwares livres Pure Data e Open Frameworks

• testes com processamento de áudio em smartphones

• desenvolvimento da interface e interatividade

• testes em diferentes localidades

• obra final

9

Sumário da dissertação

Introdução

capítulo 1

O ouvinte solitário, o uso de dispositivos móveis para audição de música nas cidades

capítulo 2

Panorama da mobile music pós smartphones

capítulo 3

análise das peças selecionadas, sob aspectos composicionais

capítulo 4

interface e interatividade

capítulo 5

composição da peça autoral e os aspectos de escuta

capítulo 6

aspectos técnicos da peça: som, interface e interatividade

capítulo 7

análise crítica do resultado fina da peça

capítulo 8

conclusão

10

Cronograma

O cronograma foi dividido em seis partes considerando o período de quatro semestres, quais

sejam:

1. Disciplinas da pós-graduação

2. Pesquisa bibliográfica

3. Tradução dos principais textos para o português

4. Desenvolvimento de Software

5. Apresentação de resultados parciais da pesquisa em eventos acadêmicos e artísticos

6. Texto parcial

7. Composição final

8. Texto final

1º semestre 2ºsemestre 3ºsemestre 4ºsemestre

Disciplinas da

pós-graduação

Disciplinas da

pós-graduação

Pequisa bibliográfica Pequisa bibliográfica Pequisa bibliográfica Pequisa bibliográfica

Tradução Tradução

Desenvolvimento de software

Desenvolvimento de software

Desenvolvimento de software

Texto parcial

Apresentação de resultados parciais da pesquisa em eventos acadêmicos e artísticos

Apresentação de resultados parciais da pesquisa em eventos acadêmicos e artísticos

Composição final

Texto final

11

Bibliografia

Andermatt Conley,V.1993. Rethinking Technologies.University of Minessota Press. Minneapolis,EUA

Amerika, M. 2007. META/DATA: A Digital Poetics. The MIT Press. Cambridge, Inglaterra.

Amerika, M. e Nake,F. Remix Aesthetics and Semiotic Animals. Disponível em:

http://www.remixthebook.com/the-remixes. Acessado em 10/2012.

Augé,M. Trad. Howe,J. 1995. Non-Places Introduction to an Anthropology of Supermodernity . Verso.

Nova Iorque, EUA.

Ballagas, R., Rohs, M., Sheridan, J. G. e Borchers, J. 2006. The Smart Phone: A Ubiquitous Input

Device. Ieee Pervasive Computing 5(1): 70–7. Los Alamitos,EUA

Beaudouin-Lafon, M. 2000.Instrumental Interaction: An Interaction Model for Designing Post-WIMP User Interfaces.CHI 00 Proceedings of the SIGCHI conference on Human Factors in Computing Systems. Nova Iorque, EUA.

Behrendt, F. 2005. Handymusik. Klangkunst und ‘mobile devices’. Epos. Available online at: www.epos.uos.de/ music/templates/buch.php?id557.

Behrendt, F.2010.Mobile Sound: Media Art in Hybrid Spaces. Universidade de Sussex. Brighton, Inglaterra.

Bentkowska-Kafel,A., Cashen,T. e Gardiner,H. 2005. Digital Art History A Subject in Transition, Antony Rowe Ltd., London, Inglaterra

Bijsterveld,K. e Dijck, J.2009. Sound Souvenirs Audio Technologies, Memory and Cultural Practices,Amsterdam University Press. Amsterdam, Holanda.

Breinbjerg, M, Riis, M. e Lunding, R. Experiencing the non-sensuous. Proceedings of the 6th Nordic Conference on Human-Computer Interaction: Extending Boundaries.P. 611-614. Nova Iorque, EUA.

Brinkman, P. 2012. Making Musical Apps. O'Reilly Media. Sebastopol, Canadá.Bull,M.2005. No Dead Air! The iPod and the Culture of Mobile Listening Leisure Studies 24, no. 4

Bull,M.2007. Sound Moves - iPod Culture and Urban Experience. Routledge.Londres Inglaterra

Chandler, A. e Neumark, N.2007.At a distance : precursors to art and activism on the Internet, Leonardo Book Series.Cambridge, Inglaterra.

Essl, G. e Rohs, M. 2007. ShaMus – A Sensor-Based Integrated Mobile Phone Instrument. Proceedings

of the International Computer Music Conference (ICMC), Copenhagen, Dinamarca.

Essl,G. e Rohs,M.2009.Interactivity for Mobile Music-Making. Organised Sound Volume 14 Issue 2,

12

p. 197-207 ,Cambridge University Press New York, Nova Iorque, EUA.

Essl, G. Wang, G. e Rohs, M. 2008. Developments and Challenges turning Mobile Phones into Generic Music Performance Platforms. Proceedings of the Mobile Music Workshop, Vienna, Austria.

Fleischman,M.Strauss,W.2011.Performing Data. Laznia Centre of Contemporary Art. Gdánsk,Polônia.

Gaye, L., Mazé, R., Holmquist, L. E.2003. Sonic City: The Urban Environment as a Musical Interface.

Proc. of NIME’03, Montreal, Canada .

Galloway, A. 2012. The Interface Effect, MPG Books, Malden, EUA.

Gaver,WilliamW.1991.“TechnologyAffordances”in Proceedings of the CHI’91 Conference. pp 79-84.

Association for Computing Machinery. Nova Iorque, EUA.

Gaye, L., Holmquist, L. E., Behrendt, F. e Tanaka, A. 2006. Mobile Music Technology: Report on an

Emerging Community. NIME ’06: Proceedings of the 2006 Con- ference on New Interfaces for

Musical Expression, 22–5.

Gaye,L. Holmquist,L., Behrendt,F. e Tanaka,A.2006. Mobile Music Technology: Report on an

Emerging Community. In Proceedings of the 6th International Conference on New Instruments for

Musical Expression (NIME), p. 22–25,Paris, França.

Geiger, G. 2003. Pda: Real Time Signal Processing and Sound Generation on Handheld Devices.

Proceedings of the International Computer Music Conference, Singapura.

Hemmet.D.2005. The Mobile Effect. Convergence: The Journal of Research into New Media

Technologies,Issue: Mobile Phones,Volume 11. Number 2.Londres, Inglaterra.

Hosokawa,S.1984. “The Walkman Effect”.Popular Music, Vol. 4, Performers and Audiences (1984),

pp. 165-180, Cambridge Press. Inglaterra

Jenkins,H.2006.Convergence Culture: Where Old and New Media Collide. New York University Press.

Nova Iorque, EUA.

Johnson,S. Trad. Borges,M.1997. Cultura da Interface Como o computador transforma nossa maneira

de criar e comunicar.Jorge Zahar Editora. Rio de Janeiro, Brasil

Kittler,F. Trad. Whintrop-Young.G e Wutz M. 1986. Gramophone, Film and Typewriter. Standford

Univertsity Press. California, EUA

Lefebvre, H. 1991. A Critique of Everyday Life. Verso. Londres, Inglaterra.

13

Lefebvre, H. 1991. The Production of Space. Blackwell, Oxford, Inglaterra.

Livingstone, S. 2002. Young People and the Media. Sage, Londres, Inglaterra.

Miranda, E. R. e Wanderley, M. M. 2006. New Digital Musical Instruments: Control and Interaction

Beyond the Keyboard. Middleton, WI: AR Editions.

Misra, A., Essl, G. e Rohs, M. 2008. Microphone as Sensor in Mobile Phone Performance. Proceedings

of the International Conference for New Interfaces for Musical Expression (NIME–08), Genova,Itália.

McCallum, D. N. G. Warbike. 2006. A Mobile Artistic Sonification of Wireless Networks. Master’s

thesis in Art and Technology, IT University of Goteborg, Suécia.

Nake,F.2010 .PARAGRAPHS ON COMPUTER ART, PAST AND PRESENT. CAT 2010 London

Conference, Londres, Inglaterra.

Nake, F. .1977. Informationssysteme als Mittel zur Maschinisierung von Kopfarbeit.

In Klaus Brunnstein (Hrsg.): Gesellschaftliche Auswirkungen großer Informationssysteme aus der

Sicht verschiedener Disziplinen. Universität Hamburg, Mitteilungen des Inst. f. Informatik Nr. 46,

4.3.1-4.3.11.Berlin,Alemanha.

Noble,J.2012. Programming Interactivity.O'Reilly Media. Sebastopol, Canadá.

Nudds,M. O'Callaghan.Casey.2009. Sounds and Perception-New Philosophical Essays.Oxford Press

University.Nova Iorque,EUA.

Pold,S.2005.Interface Realisms: The Interface as Aesthetic Form.Journal of Post-Modern

Culture.Virginia,EUA.

Pold,S. E Bertelsen,O.2004. Criticism as an Approach to Interface Aesthetics. Proceedings of the third

Nordic conference on Human-computer interaction. P. 23 – 32. Copenhagen.Dinamarca.

Pold.S. e Andersen.U.2011. Interface Criticism, Aesthetic Beyond Buttons. Aarhus University

Press.Aarhus, Dinamarca.

Rohs, M. 2005. Real-World Interaction with Camera Phones. In H. Murakami, H. Nakashima, H.

Tokuda and M. Yasumura (eds.) Second International Symposium on Ubiquitous Computing Systems

(UCS 2004), Revised Selected Papers, LNCS 3598, Tokyo, Japão.

Rohs, M. e Essl, G. 2007. Camus2 – Collaborative Music Performance with Mobile Camera Phones. Proceedings of the International Conference on Advances in Computer Entertainment Technology

14

(ACE), Salzburg, Austria.

Saffer,D.2009.Designing Gestural Interfaces. O'Reilly Media.Sebastopol, Canadá.

Simondon,G.1980. On the Mode of Existence of Technical Objects. Trad. Ninian Mellamphy.University of Western Ontario.Ontario,Canadá.

Staiger, J. Hake, S. 2009. Convergence Media History. Routledge. Nova Iorque, EUA.Sterne,J.2006. “The Mp3 as a Cultural Artefact” New Media and Society. SAGE, Londres, Inlgaterra.

Tanaka, A. 2004. Mobile Music Making. NIME ‘04: Pro- ceedings of the 2004 conference on New

Interfaces for Musical Expression, 154–6. Paris, França.

Tanaka,A.2010. Mapping out instruments, affordances, and mobiles. In Proceedings of the International

Conference on New Interfaces for Musical Expression, pages 15–18. New Interfaces for Musical

Expression. Sydney,Australia.

Tanaka, A., Valadon, G. and Berger, C. 2007. Social Mobile Music Navigation using the Compass.

Proceedings of the International Mobile Music Workshop, Amsterdam, Holanda.

Wang, G., Essl, G. and Penttinen, H. 2008. MoPhO: Do Mobile Phones Dream Of Electric Orchestras? Proceedings of the International Computer Music Con- ference (ICMC–08), Belfast, Irlanda do Norte.

Wardrip-Fruin,F. E Montfort, N.2003. The New Media Reader. Cambridge, EUA.

Wang, J., Zhai, S. and Canny, J. 2006. Camera Phone Based Motion Sensing: Interaction Techniques, Appli- cations and Performance Study. UIST ’06: Proceedings of the 19th Annual ACM Symposium on User Interface Software and Technology, New York, 101–10.

15