7/31/2019 RIM - Nro. 2

1/77

1

7/31/2019 RIM - Nro. 2

2/77

2

editorial

En este segundo nmero de RIM asistimos anuevos desarrollos de la investigacin en el reamultimedial, que establecen avances significativosen los modos de plantear las alternativas en elcampo de la interactividad. Los conceptos detecnologa aplicada cobran nuevas dimensiones,en una complejidad donde el paradigma hombre-mquina altera la oposicin, por la mmesis.Encontramos un estado evolutivo que acerca eintercambia la relacin humano-arte-tecnologa,para constituirse en un contnuo juego de roles.

Realidad aumentada de Christian Silva,Proyecto Tangible de Christian Parsons y DiegoJavier Alberti, Algoritmo evolutivo y Arte genticode Matas Romero Costas, El palacio de los desti-nos de Ral Federico Lacabanne, La computacinafectiva de Emiliano Causa y Andrea Sosa y He-rramientas delsoftware dedicadas a la captura delgesto corporal de Tarcisio Lucas Pirotta, suman ensu conjunto una serie de aportes que trabajan sobre

nuevas formas de interaccin, donde los componentesvitales de las capacidades perceptivas encuentran sudimensin ontolgica.

Completan este nmero, lcidas visiones sobreel Infodiseo de Diego Pimentel, La GuerrillaMeditica de Martn Groisman y La construccin deltiempo en las artes temporales de Carmelo Saitta,que posicionan el estado del arte disciplinar dentrode las reglas del mercado, los medios de comunicaciny las variables del tiempo y el espacio sonoro, como

conictos ineludibles de las mltiples realidades enlas que nos encontramos inmersos.

Un saber pleno de interrogantes, que permiteabrir nuevas redes de conceptos, pensamientos ycomplejidades alternativas, de un fenmeno encontnuo estado evolutivo.

Comit Editorial de RIM

7/31/2019 RIM - Nro. 2

3/77

3

RectoraProf. Liliana Beatriz Demaio

VicerrectoraLic. Mara Azucena Colatarci

Secretara de Asuntos Jurdico-LegalesDr. Gustavo Omar Valle

Secretara de Asuntos AcadmicosProf. Oscar Steimberg

Secretara de Extensin y Bienestar EstudiantilLic. Mara Marta Gigena

Secretara de Desarrollo y Vinculacin InstitucionalProf. Vctor Giusto

Secretara de Asuntos Econmico-Financieros

Cont. Eduardo Jorge Auzmendi

Secretara de Infraestructura y PlaneamientoArq. Nicols Escobari

rea Transdepartamental de Artes Multimediales

DirectorProf. Carmelo Saitta

Secretario AcadmicoDr. Pablo Cetta

Secretario AdministrativoDr. Javier Saitta

Coordinacin de Actividades de Investigaciny PosgradoIng. Emiliano Causa

Coordinacin de Actividades de Extensin

y Bienestar EstudiantilProf. Gumersindo Jernimo de Jess Serrano Gmez

RIM

DirectorProf. Carmelo Saitta

Secretario de redaccinIng. Emiliano Causa

Comit editorialDr. Pablo Cetta

Prof. Pablo Di LisciaLic. Martn GroismanArq. Daniel Wolkowicz

Colaboran en este nmeroDiego Javier Alberti

Emiliano CausaMartn GroismanRal Federico LacabanneChristian Parsons

Diego Pimentel

Tarcisio Lucas PirottaMatas Romero Costas

Carmelo SaittaChristian SilvaAndrea Sosa

DiseoDaniel Wolkowicz

Correccin de textosRossana Cabrera

RIM es una publicacin del reaTransdepartamental de Artes Multimedialesdel IUNAYatay 843, Ciudad Autnoma de Buenos Aires,Repblica Argentina

Todos los derechos reservadosISSN 1850-2954

Impreso en Letra Viva S.A.Constitucin 1733/35Ciudad de Buenos AiresOctubre de 2008

staff

Instituto Universitario Nacional del Arte

7/31/2019 RIM - Nro. 2

4/77

4

La construccin del tiempoen las artes temporalesCarmelo Saitta

Realidad aumentada oactualizacin aumentadaChristian Silva

InfodiseoCultura digital y diseo de informacinDiego Pimentel

Proyecto Tangible. Desarrollo de una aplicacinpara el control de un sintetizador por medio de

una pantalla sensible al tactoChristian Parsons y Diego Javier Alberti

El palacio de los destinos:pensar una experiencia de RVRal Federico Lacabanne

Algoritmos evolutivos y arte genticoMatas Romero Costas

La computacin afectiva y el arte interactivoEmiliano Causa y Andrea Sosa

Herramientas desoftware destinadas a lacaptura, anlisis y sntesis del gesto corporalTarcisio Lucas Pirotta

La Guerrilla Meditica y otras formasde resistencia al goce de la MarcaMartn Groisman

ndice

5

11

15

21

35

41

51

61

71

7/31/2019 RIM - Nro. 2

5/77

5

CARMELO SAITTA

Compositor y docente.Estudi composicin con Enrique Belloc, JosMaranzano, Francisco Krp y Gerardo Gandi-ni. Ha compuesto obras de cmara y de msi-ca electroacstica; por La Maga o el ngelde la Noche recibi un premio en Bourges

en 1990. Y el Primer Premio instituido por laMunicipalidad de la ciudad de Buenos Airesen 1991.

Tambin ha compuesto msica para cine. Haestrenado numerosas obras de otros compo-sitores, tanto como percusionista como encalidad de director. Desarrolla una intensaactiidad docente en el Instituto Nacional delArte y la Uniersidad Nacional de Quilmes.

Son de destacar sus aportes al conocimientoy uso de los instrumentos de percusin en la

composicin musical, y al tratamiento del so-nido y la msica en los medios audioisuales.

7/31/2019 RIM - Nro. 2

6/77

6

La construccin del tiempoen las artes temporales

Carmelo Saitta

El tiempo fsico o cronomtrico

Podemos considerar, desde el punto de vista temporal,tres dimensiones diferentes: el tiempo fsico o crono-mtrico, el tiempo vivencial o psicolgico y el tiempovirtual, dimensin sta ltima en la cual se inscriben lasartes temporales.

Respecto del tiempo cronomtrico, Ilya Prigogine1se pregunta si el tiempo exista antes del Universo osi se cre con l, incgnita sta que la ciencia todavano ha podido dilucidar. Al respecto, Stephen Hawkingnos dice: en la teora clsica de la gravedad, basadaen el espacio-tiempo real, hay solamente dos maneras

en que puede comportarse el Universo: o ha existido

durante un tiempo innito, o tuvo un principio en una

singularidad dentro de un tiempo nito en el pasado2.

Creemos que, a los nes prcticos, es necesarioseparar la idea de existencia de la idea de la conciencia;esta ltima es propia del hombre comn y est vincula-da a la idea de movimiento y de la mensurabilidad de laduracin.

Segn Aristteles, tiempo es el nmero del movi-miento, tiempo y movimiento existen en una indivisiblesimultaneidad.

Ms cercano en la historia, San Agustn nos dice:

el tiempo es, si no movimiento, por lo menos algo dentrode l; es el nmero del movimiento, por ende unacontecimiento.

En este sentido, la conciencia del uir del tiempoest ligada a un acontecimiento, tanto en el sentido desu aparicin como de su duracin, y su mensurabilidadha respondido a diferentes patrones vinculados al de-sarrollo de la ciencia. Es as como las culturas llamadasprimitivas tambin tenan un particular sistema paramedirlo. Nos dice Lyotard: Las etnoculturas fuerondurante mucho tiempo los dispositivos de puesta en

memoria de la informacin, gracias a los cuales lospueblos estaban en condiciones de organizar su es-

pacio y su tiempo. Eran, en especial, la manera en que

multiplicidades de tiempo (de veces) podran agruparse

y conservarse en una memoria nica, (B. Stiegler)3.Memoria que, desde los narradores y pasando por Lagalaxia Gutenberg, ha llegado a Internet.

En el siglo XX, los viejos conceptos de constancia,irreversibilidad, uniformidad y periodicidad del tiempo,que rigieron durante muchos siglos la vida del hombre,han sido relativizados. Aparecen nuevas ideas comola de la relatividad de Einstein (el tiempo ilusin), eltiempo degradacin de la entropa (segundaLey de latermodinmica), una concepcin topolgica del tiempoy nuevas concepciones que surgen de la fsica cunticaa travs del principio de incertidumbre. Todas estasnuevas ideas proponen un universo en el que el tiempono es ni ilusin ni disipacin sino creacin (o, como pre-eren llamarlo los cientcos, tiempo imaginario, que noes el real, como lo es el tiempo que los seres humanos

pueden experimentar).

Esta ltima concepcin, de alguna manera, tienesu punto de contacto con Bergson, quien plantea queel tiempo es una serie irreversible en la cual cadapunto representa una nueva creacin, algo nico que

no se repite.

En nuestra escala humana, cada punto es unictus temporal que establece el inicio para la medidade una duracin cuyo nmero depender del ictus nal.Es as como la toma de conciencia del transcurrir deltiempo siempre estar afectada a un acontecimiento ydesde este punto de vista la existencia de cada ser hu-mano constituye una duracin (delimitada por un ictusinicial y un ictus nal).

Resumiendo, digamos que en el siglo XX no slose ha relativizado la concepcin del tiempo fsico sinoque adems las leyes de la ciencia no distinguen entrelas direcciones hacia delante y hacia atrs del tiempo.

Sin embargo, hay al menos tres echas del tiempo

que s distinguen el pasado del futuro. Son: la echa

termodinmica, la direccin del tiempo en la cual eldesorden aumenta; la echa psicolgica, la direccin

del tiempo segn la cual recordamos el pasado y no el

7/31/2019 RIM - Nro. 2

7/77

7

futuro; y la echa cosmolgica, la direccin del tiempo en

la cual el Universo se expande en lugar de contraerse4.

Podemos decir que la toma de conciencia deltiempo, al estar afectada a un acontecimiento, sever relativizada por la percepcin y la signicacinque cada ser tenga de l. No debemos olvidar que al

considerar los procesos y factores que intervienen en laconstruccin de la idea del tiempo deberemos tener encuenta su indisoluble vinculacin con el espacio, por loque todo acontecimiento deberamos considerarlotemporo-espacial. Es por ello que Robert Wallis consi-dera al tiempo la cuarta dimensin de la mente, postu-lado que ya Einstein haba enunciado.

Lo antedicho pertenece a las nuevas concep-ciones del tiempo fsico y, por el momento obviaremosestos problemas y pasaremos a considerar otra

dimensin.

El tiempo vivencial o psicolgico

Podemos considerar al tiempo psicolgico como larelativizacin de la experiencia temporal de la duracinde un determinado acontecimiento condicionado porlas funciones psquicas, es decir, por las actividadesmentales, objeto de la conciencia.

En este sentido, consideramos a los estados de laconciencia desde dos puntos de vista: a) el intelectual,representativo y cognitivo, b) el afectivo. Es as que lassensaciones, con sus cualidades propias, son utilizadaspor el conocimiento y tienen un valor afectivo. Es impo-sible que una percepcin no tome en el pensamientohumano una signicacin particular. (No consideraremosaqu, el problema de los umbrales en la experienciaperceptiva.)

Dentro de este punto de vista, los placeresestticos (que resultan de la signicacin de los objetossensibles, de su valor simblico o expresivo y del juego

de sentimientos que provocan) involucran no slola percepcin, es decir, a la reaccin de conjunto delorganismo ante un complejo de excitaciones simult-neas y sucesivas, sino tambin a la reaccin de unapersonalidad que tiene sus recuerdos, sus hbitos, suorientacin intelectual y afectiva, tanto momentneacomo duradera.

Del mismo modo, son condicionantes de la percep-cin las emociones: la clera, la alegra, la tristeza, la ira, elmiedo, la inquietud, la sorpresa, la vergenza, la decep-cin; episodios sobresalientes de la mente afectiva que sepresentan en situaciones subjetivamente importantes yaque entran en actividad tendencias que se caracterizan porperturbaciones tanto psicolgicas como siolgicas.

Tambin podramos mencionar otros condicio-nantes de la actividad humana que inciden en larelativizacin del tiempo fsico, tales como la tensin,la memoria, el inters, la voluntad, las inclinaciones, elconocimiento, la cultura, etc.

Todo ello condiciona la experiencia que uno

tiene del tiempo vivido, lo que sumado a una estrategiacomunicacional y simblica de la obra artstica, deter-minan, a travs de su movimiento y su organizacin, laexperiencia temporal de las duraciones y la variabilidaddel tiempo psicolgico, en relacin con las duracionesdel tiempo cronomtrico. Y si, como sabemos la expe-riencia psicolgica es de carcter totalizador, tambinsabemos cmo relativiza la realidad. Basta con miraruna calle a distancia, para ver que los cordones de lasveredas tienden a juntarse, cuando sabemos que sonparalelos y que la percepcin vuelve a relativizarse

cuando se representan en una pintura hecha en unplano.

Como vemos, el tiempo de las artes (en mayor omenor medida) se presenta de manera metafrica enrelacin con la experiencia del tiempo vivido, conside-rando el doble nivel, el de la realidad y la imagen quetenemos de ella, es decir, el de su percepcin.

En la experiencia artstica, las funciones menta-les de la emocin pueden acrecentar la actividadmental, pudiendo despertar la capacidad inventiva yel ingenio. Bajo su inuencia, se piensa ms rpido, setienen ms ideas u otras ms nuevas, ms energa enla accin y, por lo tanto, una particular captacin deltiempo, tanto para el creador como su posible receptor.

Antes de avanzar sobre la dimensin virtual,es necesario considerar que la asimilacin del movi-miento de un acontecimiento presenta en su deveniruna organizacin, un orden, y que dicho orden, al decirde Platn, es el ritmo, puesto que para l ritmo esaquello que se ve, ritmo es el orden del movimiento en

el tiempo.

Nosotros lo hemos denido de la siguientemanera: El ritmo es aquel fenmeno que la concienciareconoce como una formalizacin a travs de la mate-

ria, cuyos contenidos especcos dependen de un orden

particular del movimiento en un devenir de un tiempo.

Cada instante de ese proceso es un acto nico e irre-

versible y su imagen se hace presente por operaciones

de organizacin y asociaciones que se establecen a

travs de la memoria5. El ritmo no slo nos permiteobservar una organizacin interna, tambin del ritmodepende la organizacin formal de una obra, y nuestrapercepcin de su tiempo virtual.

7/31/2019 RIM - Nro. 2

8/77

8

Por otro lado, debemos considerar que duranteel transcurso de las artes temporales, ms all de otrasteoras (la percepcin del instante), el perceptor tendrque ensanchar el presente actualizando el pasado (locual depende de la memoria) y que luego, en funcinde la relacin que pueda establecer entre pasado y pre-sente, actualizar el futuro. Y es esta expectativa, que

depende de las estrategias compositivas, la que nosinduce a seguir el acontecimiento en un juego de grati-caciones o frustraciones, tambin determinantes de larelativizacin del tiempo cronomtrico, cuya aprensindepende en gran medida de la memoria. Recordemosaqu los tipos clsicos: instantnea, transitiva y perma-nente, como alguna consideracin ms reciente: Aspues, sin pretensiones de exhaustividad, distingo tres

clases de efectos memoria de la inscripcin tecnolgica

en general: de apertura, de barrido y de pasaje, que

coinciden respectivamente, grosso modo, con esas tres

clases muy diferentes de sntesis del tiempo ligadas ala inscripcin que son el hbito, la rememoracin y la

anamnesis6.

El tiempo virtual

Dice Susane Langer: Todo cuanto slo existe para lapercepcin y no desempea un papel corriente, pasivo,

en la naturaleza, segn ocurre con los objetos co-

munes, constituye una entidad virtual. No es algo irreal;

a donde les confronta a ustedes, ustedes realmente la

perciben, no la suean ni imaginan percibirla. La ima-

gen en un espejo es una imagen virtual7.

Podemos decir, por lo tanto, que si una obrade arte es un objeto virtual (dado que no perteneceal mundo real ni al mundo de las ideas), entonces suespacio-tiempo tambin lo es. Y este tiempo virtual, delcual nos vamos a ocupar, se construye con los principioscompositivos de cada disciplina.

Umberto Eco dice que toda narracin tiene dosniveles: el de la fbula y el de la trama, es decir, aqullo

que se cuenta y cmo se lo cuenta. Cada uno de estosniveles adquirir mayor o menor importancia segn setrate de una u otra manifestacin artstica, llegando, enalgunos casos, como es el de la msica, a homologarse,es decir, a ser una sola cosa.

Ahora bien, si estos dos niveles tienen lectoresdiferentes: el lector en fbula y el lector esttico,est claro que uno y otro pueden ser la misma persona,dado que tambin ha sido una sola persona la que haconstruido la obra considerando ambos niveles.

Tambin podramos decir que el arte tiene unaspecto esttico formal y otro simblico inconscientey que es en la persona donde ambos se encuentran.

Es as entonces que, superado el nivel de la fbula (loque se le cuenta al perceptor), ste podr acceder alnivel de la trama, es decir, observar los criterios cons-tructivos que cada autor pone en juego al componersu obra. Y es en este nivel donde la construccin deltiempo virtual tiene su lugar, puesto que es aqu dondelos procesos rtmico-formales o secuenciales tienen su

verdadera explicitacin.

Pero volvamos atrs y digamos, una vez ms,que el tiempo virtual se construye y que sus posibili-dades como estrategia compositiva forman parte delas variables estructurales a considerar en toda com-posicin, y cuya concepcin temporal (virtual) serrelativizada por el perceptor como consecuencia de laintervencin de sus posibles funciones psicolgicas(tiempo vivencial), y que, en ltima instancia, tendruna duracin cronomtrica determinada.

Umberto Eco en Seis paseos por los bosquesnarrativos8 en el anlisis que realiza de la trama deSylvie de Grard de Nerval nos muestra cmo el autorelabora para la obra no slo un sistema de momentos(ictus temporales) y duraciones en un tiempo crono-mtrico (histrico) sino tambin cmo se vale de unaestrategia de indeterminacin, de incertidumbre (quizspara hacernos perder el sentido del tiempo) que, alconstituirse en la estructura temporal de la obra, esdeterminante de su valor esttico formal y un posiblemodelo de la construccin del tiempo virtual.

Del mismo modo, nos dice talo Calvino en Seispropuestas para el prximo milenio9 rerindose alcuento de Borges El jardn de los senderos que se bi-furcan: () Por ejemplo, su vertiginoso ensayo sobreel tiempo () se presenta como un cuento de espionaje,

que incluye un cuento lgico-metafsico, que incluye a

su vez la descripcin de una interminable novela china,

todo concentrado en una docena de pginas.

Las hiptesis que Borges enuncia en este cuento, cada

una contenida (y casi oculta) en pocas lneas son: una

idea de tiempo puntual, casi un absoluto presente sub-jetivo () despus una idea de tiempo determinado por

la voluntad, en la que el futuro se presenta irrevocable

como el pasado; y por n la idea central del cuento: un

tiempo mltiple y ramicado en el que todo presente se

bifurca en dos futuros, de manera que forman una red

creciente y vertiginosa de tiempos divergentes, conver-

gentes y paralelos.

Para referirnos al cine, diremos que la estructuratemporal de un lm puede ir desde una corresponden-cia total entre tiempo virtual y tiempo cronomtrico (l-mar en tiempo real) hasta el detenimiento o supresinde toda duracin en la dimensin virtual sugerida por ellm para dar lugar, por ejemplo, a la explicitacin de un

7/31/2019 RIM - Nro. 2

9/77

9

sueo (que es atemporal). Tal es el caso de la pelculaMujer Fatal de Brian de Palma (2002) en la cual la ac-cin contina desarrollndose a partir de determinadacircunstancia (el reloj marca las 15:33 h) por ms de unahora haciendo creer al espectador que lo que sucede esla continuidad lgica de la accin cuando en realidades un sueo del personaje; ste, al volver al mismo mo-

mento temporal (el reloj marca la misma hora), produceun giro en la trama determinando un resultado diferenteen la fbula.

Podemos decir todava que el modelo de estruc-tura caracterstico del cine comercial de ccin hasufrido un cierto nmero de variables, cuando no suabandono, para dar lugar a otras estructuras formalescuyo sustento se encuentra en el manejo del tiempovirtual que, de algn modo, se asemeja a las diferentesformas de organizacin temporal de la msica, como

ser lassuite, la variacin, el rond u otras formas abier-tas ms actuales.

Tomemos por caso El da de la marmota (Hechizodel tiempo), (1993) de Harold Ramis cuya estructuratemporal podramos considerar cercana a un tema convariaciones, es decir, a una sucesin de repeticionesvariadas. En este caso, el personaje del locutor que selevanta el primer da a las 6 en punto de la maana paratransmitir el acto del da de la marmota, no puedeluego abandonar el lugar porque una tormenta se loimpide y comienza a vivir la repeticin de ese da. Lasrepeticiones nunca son iguales y aunque en el tiemporeal las repeticiones son ms de veinte, ciertas accionesmuestran una dimensin mayor del tiempo virtual porlo que se supone que hubo muchas ms que las que semuestran. Algunas estn vinculadas a otras anteriores(analepsis), en algunas de ellas se vive la repeticindentro de la repeticin y en otras se establecen antici-paciones (prolepsis). En sntesis, la trama presenta unaestructura temporal a varios niveles de una fbula queen el fondo es muy sencilla.

Estos dos ejemplos bastan para comprender quediferentes tramas incluyen una elaboracin del tiempovirtual no lineal que van mucho ms all de las estruc-turas clsicas donde a lo sumo podremos encontrarprolepsis, analepsis y elipsis.

Digamos que la posibilidad de plasmar untiempo virtual no tiene reglas inmutables y, en todocaso, habra que considerar qu tan cerca o lejos seencuentran estas propuestas en relacin con el tiempovivido del ser, incluyendo no slo la vigilia sino tambinla ensoacin, la imaginacin y lo onrico.

Veamos entonces algunos posibles usos deltiempo virtual en los lenguajes audiovisuales,

recordando que por ser estos polismicos, la orga-nizacin temporal es una herramienta que puededarse en todas las cadenas lingsticas o slo enalguna de ellas, con independencia de las dems, con-siderando en todos los casos su especicidad. Esto es:en el texto, en la imagen, en la accin, en el sonido, enla msica, en el montaje, etc.

He aqu algunas posibilidades:

La determinacin de la duracin virtual con inde-pendencia del tiempo real (Amarcord, Dir.: FedericoFellini, 1973).

La elipsis, es decir, los saltos de tiempo de cualquiermagnitud (El Ciudadano, Dir.: Orson Welles, 1941).

La analepsis y prolepsis, esto es, la alteracin de la linealidad temporal volviendo a cualquier mo-mento del pasado o yendo a cualquier momentodel futuro (El padrino III, Dir. Francis Ford Coppola,1990).

La transformacin de lo simultneo en sucesivo(Trac, Dir.: Jacques Tati, 1971).

La dilacin o compresin de la duracin a partir delas necesidades de la accin dramtica (CarlitosWay, Dir.: Brian Di Palma, 1993 /La esfera, Dir.:Barry Levinson, 1998).

El aumento o la disminucin de una unidad desentido, narrativo (El dia de la Marmota, Dir.: SamRaimi, 1993).

La simultaneidad de duraciones diferentes apartir de la modificacin de alguna de las cade-nas antes mencionada (Vrtigo, Dir.: AlfredHitchcock, 1958).

La no correspondencia entre lo verbal, visual ylo sonoro (sonido off, fuera de campo), (alguienpuede contar algo en imagen mientras con el so-nido y el texto se puede contar otra cosa, la queadems de tener diferente duracin puede habersucedido antes o suceder despus), (Gatica, elMono, Dir.: Leonardo Favio, 1993).

La reversibilidad, es decir, la posibilidad de recorreruna duracin en el sentido inverso o tambin deser un racconto, es decir, estar en presente e ir alpasado para recorrerlo (El libro negro, Dir.: PaulVerhoeven, 2006, Irreversible, Dir.: Gaspar Noe,2002).

7/31/2019 RIM - Nro. 2

10/77

10

La ambigedad temporal a travs del uso del imper-fecto en el texto, la inclusin de sueos, pesadillas,etc., o debido al diseo de la trama (El espejo, Dir.:Andrey Tarkovski, 1975).

La postergacin del tiempo narrativo a travs de lainclusin de una escena secundaria (Tiburn, Dir.:

Steven Spielberg, 1975).

La suspensin del tiempo narrativo congelamientode la imagen, imgenes interiores (Nostalghia, Dir.:Andrey Tarkovski, 1983).

La aceleracin o desaceleracin a travs deprocedimientos pticos en la lmacin o en laposproduccin (cmara lenta, cmara rpida),(The Matrix, Dir.: Andy Wachowski, 1993).

El diacronismo o desplazamiento de, por ejemplo, el sonido de la imagen en funcin tensional (Zonade riesgo, Dir.: Fernando Spiner, 1993).

La repeticin textual o no en sus diferentes fomas ( Lazona, Dir.: Andrey Tarkovski, 1979 / Rashomon, Dir.:Akira Kurosawa, 1950 / Corre Lola, corre, Dir.: TomTykwer, 1998).

El montaje paralelo y el montaje alternado, quepuede corresponder a tiempos simultneos o no(analepsis, recuerdos, etc.) y que pueden juntarse ono en un determinado momento temporal (Estadode Gracia, Dir.: Phil Joanou, 1990).

La presentacin de varias unidades simultneas, dia-crnicas o sincrnicas por medio de la sobreimpresino de la divisin de la pantalla (La tempestad, Dir.:Peter Greenaway, 1991).

La narracin en tiempo real ( Antes del atardecer,Dir.: Richard Linklater, 2004).

Para mencionar slo algunas de las posibilidadesfcilmente constatables en lmes de autores que, aban-donando la linealidad en la construccin de la trama,han comprendido que en su elaboracin va implcitala construccin del tiempo virtual. Fenmeno observa-ble, desde luego, en la literatura, el teatro, la danza, lapoesa, la msica e incluso en las artes espaciales, detodos los tiempos.

En las actuales artes multimediales estasoperaciones temporales no slo estn presentes, sinoque, adems, se ven potenciadas por la intervencinde la persona que interacta con la obra modicandola construccin del tiempo virtual, tanto en la duracincomo en el orden en que aparecen los eventos. Cabe

aqu tambin establecer una diferencia entre mostrar ynarrar, porque si bien ambas posiciones del espritu secontienen mutuamente, no cabe duda de que en mu-chos casos se privilegia ms una que otra, en particularcuando se pone en evidencia el dispositivo informtico.

Por ltimo, podremos decir que las artes tem-

porales son una reexin sobre el tiempo mismo, ydado que, ms all del aspecto articulado, objeto de laconciencia existe un aspecto simblico inconsciente.Como dice Antn Ehrenzweig: (...) entre el autor y supblico se produce una conversacin secreta que no

slo usa un lenguaje inarticulado que no es posible

captar racionalmente, sino que, adems, tiene unos

smbolos sometidos a un constante cambio debido a

los procesos secundarios que los elevan continuamente

hasta el nivel de la supercie articulada perteneciente a

la superestructura esttica del arte10. Y, es en este nivel

simblico inconsciente de las artes temporales, donde,segn Michel Inverty, se encuentran los procesos for-males propios de las disciplinas artsticas del tiempo,cuya funcin simblica (consecuencia de la actividadcreadora del hombre) le permiten a ste superar laangustia frente a la irreversibilidad y lo inevitable del

envejecimiento y de la muerte, sustituyendo el tiempo

real, destructor, creando un espacio cerrado, donde

se perla la ilusin de una existencia siempre nueva e

indenidamente inconclusa11.

Creemos que este aspecto, que excede a nues-tras intenciones en este artculo, sea tal vez el sentidoltimo de las artes en general y, en particular, el de lasartes temporales.

Referencias bibliogrcas

1 Prigogine, I. El nacimiento del tiempo. Barcelona: Tusquets, 1991.

2 Hawking, S.W. Historia del tiempo. 4 ed. Buenos Aires: Emec, 2006.

3 Liotardf, J.F. Lo inhumano. Buenos Aires: Manantial, 1998.

4 Hawking, S.W. Op. cit.

5 Saitta, C. El ritmo musical. Buenos Aires: Saitta Publicaciones Musicales,2002.

6 Liotard, J.F. Op. cit.

7 Lange, S. Los problemas del arte. Buenos Aires: Innito, 1966.

8 Eco, U. Seis paseos por los bosques narrativos. Barcelona: Lumen, 1996.

9 Calvino, . Seis propuestas para el prximo milenio. Madrid: Ciruela, 2000.

10 Ehrenzweig, A. Psicoanlisis de la percepcin artstica. Barcelona: GustavoGill, 1978. Coleccin Comunicacin visual.

11 Invert, M. Le scritture del tempo. Miln: Ricordi-Unicopli, 1990.

7/31/2019 RIM - Nro. 2

11/77

11

CHRISTIAN SILvA

Diseador en Comunicacin visual, UniersidadNacional de La Plata. Docente e inestigador delos Departamentos de Produccin Multime-dial y Diseo en comunicacin isual de laFacultad de Bellas Artes de la misma casa dealtos estudios, donde adems cursa el Mag-ister en Tecnologa Informatica aplicada eneducacin, de la Facultad de Informtica.

Especialista en desarrollo Web y nueos me-dios. Particip en el grupo Proyecto Biopus,desarroll proyectos de ideo experimental ynet.art.

7/31/2019 RIM - Nro. 2

12/77

12

Realidad aumentada oactualizacin aumentada

Christian Silva

Doug Engelbart1, cuyo trabajo haba sentado los cimientos

de la informtica personal () estaba expresamente interesa-

do en usar los ordenadores, que antes slo se haban usado

como calculadoras cientcas o procesadores de datos comer-

ciales, como medios para aumentar el intelecto humano.

Engelbart concibi por primera vez la idea de usar los ordena-

dores para ampliar el pensamiento humano y el poder de la

comunicacin en 1950. Hasta 1963 no encontr a nadie que le

nanciara su investigacin ya que la idea de usar ordenadores

como extensiones de la mente era muy absurda.

Howard Rheingold2

Platn no hace sino valerse de metforas [deca Aritteles] y

en lugar de aclarar conceptualmente la cuestin () se refugia

en imgenes literarias; en este sentido, habra quedado atado

al mundo de los mitos, es decir, a un mundo anterior a la

aparicin del pensamiento racional y cientco3.

Palabras clavesRealidad (virtual, aumentada y mixta), actualizacin,entorno, ambiente, interfaz, ciberculturas, contexto.

Resumen

Una nueva generacin de hardware ysoftware emerge(dispositivos de realidad virtual y aumentada), am-pliando nuestras capacidades perceptivas del espaciosensible. El calidoscopio cultural donde conviven: lainnovacin, el mercado y la experimentacin, entre otros,enturbia las posibilidades de valorar en su justa medidaestas nuevas interfaces, sus facultades y limitaciones. Enla primera parte del texto se busca hacer pie en concep-tos fundamentales (realidad: virtual, aumentada, mixta);trminos mayormente bastardeados y vacos de signica-do para poder abordar, luego, el panorama actual de lasCiberculturas entendidas como el conjunto de tcnicas,de maneras de hacer, de maneras de ser, de valores, derepresentaciones que estn relacionadas con la exten-sin del Ciberespacio4 y de sus entornos emergentes.

Introduccin

El desarrollo de dispositivos tecnolgicos extiende,primero, nuestras capacidades perceptivas: nuestros

sentidos se potencian y logran un sosticado y precisonivel de sensibilidad; y propone, luego, nuevas posibili-dades de acceder a la informacin y al conocimiento queenriquecen nuestras capacidades cognitivas, Nuestrarealidad psicolgica no es una entidad natural.

Depende parcialmente del modo en que nos afecta

nuestro entorno, incluidas nuestras propias extensiones

tecnolgicas [Derrick de Kerckhove5]. En sntesis: se vacongurando una nueva plataforma que nos sugiere po-sibilidades de interaccin e interrelacin desconocidas,que vamos descubriendo en este continuo proceso deconvivencia. Las Ciberculturas que revelamos e inven-tamos cada da, realimentan, a su vez, el desarrollo denuevos instrumentos y tcnicas para controlar nuestrarealidad. Este acelerado proceso de reconguracinconstante hace que algunos conceptos (a veces vacos),derivados de alguna tecnologa o de algn iluminado?de turno, sean populares aunque nadie sepa porqu:

quiz el mercado y/o los medios de comunicacincon sus constantes apremios por crear necesidades yexpectativas sean los responsables de esta terminologahueca. Es objetivo de este texto es plantear un panoramaconceptual claro sobre las terminologas y los conceptosinvolucrados en los fenmenos de Realidades Mixtas.Presentando desde dicha etimologa la problemtica delcontinuo realidad-virtualidad en el Arte Interactivo.

La actualizacin: el continuo, o porque PierreLevy propone la mejor etimologa

Vale una breve referencia, aclaratoria, sobre el concep-to de realidad dado que el trmino real trae ciertasambigedades y discusiones que preferimos omitir.Pierre Levy considera que la oposicin virtual/real esinadecuada y en cambio propone la de virtual/actual.Dada la necesidad de acotar terminologas es queproponemos retomar dicha ambigedad conceptual,porque el anlisis y el recorrido sobre estos conceptosnos permitir encontrar las directrices sobre las queproyectaremos nuestra indagacin.

Nuestra primera tarea ser entonces la deredenir algunos conceptos. Para ello debemosremontarnos al momento en que se empez a pensar

7/31/2019 RIM - Nro. 2

13/77

13

en la construccin de realidades alternativas. El arte, engeneral, y la ciencia ccin literaria, en particular se en-cargaron de generar el imaginario, que de alguna forma,termina inuyendo en las denominaciones que utiliza elmbito tecnolgico. Es por eso que esta terminologa sepresenta imprecisa para las indagaciones ms profun-das como las que requiere nuestro trabajo, ya que na-

cen, generalmente, de la ccin. Jannet Murray6 denea estos vocablos como trminos paraguas, es decir,expresiones que se utilizan para denir situaciones,fenmenos, conictos nuevos, para los que la culturano tiene maneras de mencionarlos hasta el momento.

El concepto Realidad Aumentada es underivado del de Realidad Virtual. En su textoAtaxonomy of mixed reality visual displays, de 1994,Milgram y Kishino7 se encargaron de proponer unaclasificacin de Realidades Mixtas, surgidas del

desarrollo de ciertos dispositivos de hardware ysoftware que permitan nuevas operaciones devirtualizacin; entendida como la forma de rela-cin en el uso de las coordenadas de espacio y detiempo, que supera las barreras espacio-temporalesy configura un entorno en el que la informacin yla comunicacin se nos muestran accesibles desdeperspectivas hasta ahora desconocidas al menosen cuanto a su volumen y posibilidades. Mientrasque en un extremo de esta taxonoma pusieron a laRealidad Pura, entornos reales, en el otro encon-tramos la Realidad Virtual, entornos virtuales; alos estados medios es a lo que llaman estos autoresRealidades Mixtas, donde conviven la RealidadAumentada y la Virtualidad Aumentada. De aquse desprende la relacin, como mencionbamos, dedichos conceptos (sobre los que ms adelante pro-fundizaremos). Para llevar a un terreno ms segurola discusin, es ahora que nos debemos preguntarsobre el concepto de Realidad, nos son acasoreales los entornos virtuales?

Proponemos llevar la terminologa al escenario

que plantea Pierre Levy8 en su Qu es lo virtual?de1995. All indaga sobre la etimologa de la palabra vir-tual para deducir su opuesto. Lo virtual, en un senti-do estricto, poco tiene que ver con lo falso, lo ilusorio

o lo imaginario. Lo virtual no es, en modo alguno, lo

opuesto a lo real, sino una forma de ser fecunda y

potente que favorece los procesos de creacin, abre

horizontes, cava pozos llenos de sentido bajo la super-

cialidad de la presencia fsica inmediata. El lsofoy antroplogo francs dice que lo virtual, no se oponea lo real sino a lo actual. A diferencia de lo posible, es-

ttico y ya constituido, lo virtual viene a ser el conjun-

to problemtico, el nudo de tendencias o de fuerzas

que acompaa a una situacin, un acontecimiento, un

objeto o cualquier entidad y que reclama un proceso

de resolucin: la actualizacin. Este conjunto proble-

mtico pertenece a la entidad considerada y constitu-

ye una de sus principales dimensiones.

Si trasladamos, ahora, esta operacin de ac-tualizacin, que segn Levy hacemos cuando interac-tuamos en procesos de virtualizacin (o para el que

estn preparados los entornos virtuales), al desarrolloemergente de la taxonoma de Milgram y Kishino,podemos decir que esta serie de Realidades Mixtaspropuestas son, en realidad, una nica operacin quepropone diferentes niveles de actualizacin. De loactual, los entornos fsicos: una persona, un acto, unainformacin, un espacio fsico o geogrco ordinario,la temporalidad del reloj y del calendario; a lo virtual,los entornos que se potencian intrnsecamente: la des-territorializacin, lo desprovisto de inercia, habitanteubicuo del Ciberespacio, lo que no requiere de sopor-

tes fsicos para subsistir. As la Realidad Aumentadapasa a ser parte de un proceso, que mediante unaserie de dispositivos busca aumentar nuestras posibi-lidades de actualizacin de un entorno determinado;fomentando lo que podramos llamar una Actualidadaumentada, es decir, dotar al ambiente de condicio-nes que la enriquezcan.

Aumentando la virtualizacin

En esta investigacin vamos a indagar, entonces, porun lado, en las tecnologas innovadoras que permitenla creacin de entornos inmersivos; y por otro, en lasposibilidades culturales derivadas de dichas congu-raciones. Podemos decir que surge una nueva seriede interfaces, mixtas (fsicas y virtuales), donde loselementos materiales conviven con los elementos vir-tuales. Donde se generan una serie de nuevas posibi-lidades que aportan a los usuarios una serie de datosadicionales que pueden enriquecer su experienciasenso-perceptual. Este nuevo proceso de virtualiza-cin potencia el acceso a la informacin. Recordemos,como dice Levy, que la imaginacin, la memoria, el

conocimiento son vectores de virtualizacin que [ya]nos han hecho abandonar el ah mucho antes que la

informatizacin. Podemos sintetizar diciendo, enton-ces, que un ambiente que busca aumentar las posi-bilidades inmersivas en un proceso de actualizacin,debe cumplir con las siguientes propiedades:

Combinacin de objetos fsicos y virtuales.Interaccin en tiempo real con el entorno.Los objetos virtuales y reales se debenretroalimentar.

Si continuamos, y para concluir, con la tipologade Milgram y Kishino deducimos que la VirtualidadAumentada que proponen como instancia avanzada

7/31/2019 RIM - Nro. 2

14/77

14

haca los entornos virtuales puros, no es otra cosa queuna instancia ms de este proceso de actualizacin,donde lo inmaterial (discreto) toma mayor protagonis-mo, donde la inmersin de un ambiente (mayormentevirtual) incorpora elementos del mundo material quenos rodea a la conguracin de la informacin.

Poticas de las Ciberculturas

La palabra Ciberespacio fue acuada por el novelista Wil-

liam Gibson en su libro publicado en 1984 Neuromancer:

Ciberespacio, una alucinacin consensual, experimentada

diariamente por miles de millones de operaciones, en

cada nacin, por nios a los que se ensean conceptos

matemticos (...) Una representacin grfica de los datos

extractados de los bancos de cada computadora en el

sistema humano .

Howard Rheingold9

El Ciberespacio tiene que ser un espacio abierto a

todas y cada una de las culturas del mundo, aprovechando

as toda la energa que ellas transmiten. Hemos de rechazar

el concepto de Cibercultura si detrs de l se escudan

criterios y postulados unidireccionales y excluyentes. Quiz

a partir de ahora tendramos que empezar a hablar de

Ciberculturas en plural. Estaremos, entonces, delante de un

verdadero espacio abierto a todo el mundo.

Ricard Faura i Homedes10

El mundo del arte se est apropiando de las nuevastecnologas, en este continuo proceso van emergien-do una serie de posibilidades expresivas y poticasque corren al receptor de su lugar pasivo, contem-plativo al lugar de usuario. Si hablamos de los usosde las nuevas tecnologas en el arte contemporneo,

abrir la posibilidad de elegir cundo jugar esos u

otros roles [receptor o usuario] es la cuestin. Tanto

o ms que indagar en la esttica formal de las obras

capaces de plantear esas dudas existenciales en la

era de la virtualidad inminente11. Los soportes deexpresin y comunicacin siempre llevaron en s un

potencial virtual que una vez interpretado apela ala experiencia y a la memoria, La muerte de Arturode Malory, por ejemplo, escrita en manuscrito en1470, utilizaba versiones en prosa y en verso de laleyenda de Camelot en ingls y francs, que a su vezprovenan de siglos de narrativa oral, el proceso devirtualizacin esta ms all de la tecnologa. Pero, esahora donde esta virtualidad es el objeto de manipu-lacin potica. Los novedosos dispositivos que nospermiten aumentarnuestra percepcin de un entornofsico aportan, junto con las nociones de creacincolectiva (propias de la influencia de las redes) losdos grandes paradigmas que creemos ampliarn loshorizontes de la creacin artstica.

Conclusin

Las transformaciones en nuestra psique, desencadenadas

por los medios electrnicos hasta ahora pueden haber sido

una mera preparacin para cosas mayores por venir. La arti-

culacin del cambio parece estar conectada con esas mqui-

nas que hemos creado y la clase de sociedad que estamos

desarrollando con nuestras herramientas de informacin.

Howard Rheingold12

Una comprensin adecuada de la Cibercultura requiereun abordaje transdisciplinario: Internet y la Web con susservicios, plataformas comunitarias que estn revolu-cionando las posibilidades de transmisin de informa-cin y conocimiento; la expansin de las capacidadesdiscretas de los ordenadores a nuestro entorno cotidia-no y su capacidad de enriquecer nuestra experienciadan cuenta de una serie de campos de conocimiento

de lo ms diverso: sociologa, psicologa, economa,informtica, comunicacin entre otras disciplinas queson necesarias para abordar estos complejos mbitosemergentes, cada da ms bastos e inexpugnables.Creemos que discutir una terminologa conceptual claranos permitir centrarnos en el abordaje ms adecua-do de esta ecologa cultural. Indagar en las recientesetimologas de algunos conceptos, no perder de vistasu utilizacin, nos ayudar a un intercambio interdis-ciplinario que necesitamos para vislumbrar los nuevosparadigmas emergentes, tanto cientcos como cultura-les de un futuro, cada da ms cotidiano.

Referencias bibliogrcas

1 Douglas C. Engelbart (Oregon, Estados Unidos) es un inventor estadounidense,descendiente de noruegos. Es conocido por inventar el mouse de computadora,y es un pionero de la interaccin humana con las computadoras, incluyendo lainterfaz grca de usuario, el hipertexto y las computadoras en red. Engelbartrecibi un ttulo de grado en ingeniera elctrica de la Oregon State University en1948, un ttulo de grado en ingeniera de la Universidad de Berkeley en 1952 y undoctorado de UC Berkeley en 1955.

2 Howard R. Texto originalmente publicado en el catlogo de ArtFutura, 2004:http://www.artfutura.org/02/04rheingold.html

3 Carpio, A.P. Principios de Filosofa. Buenos Aires: Glauco, 1997.

4 Howard R. Realidad virtual. Barcelona: Gedisa, 1994.

5 Derrick de Kerckhove. La piel de la cultura. Barcelona: Gedisa, 1995.

6 Janet H.M. Hamlet en la holocubierta. Paids. Barcelona. 1997.

7 Milgram, P. y Kishino.A taxonomy of mixed reality visual displays. IEICE (Insti-tute of Electronics, Information and CommunicationEngineers) Transactions onInformation and Systems, Special issue on Networked Reality, Dec. 1994.

8 Pierre L. Qu es lo virtual?Barcelona: Paids, 1998.

9 Howard R. Op. cit.

10 Cibercultura, realidad o invencin? -http://www.naya.org.ar/congreso2000/ponencias/Ricard_Faura.htm- Abril 2007

11 Laboratorios de esttica digital, en Perl, Argentina, 12 de agosto de 2007.

Seccin Cultura.

12 Howard R. Op. cit.

7/31/2019 RIM - Nro. 2

15/77

15

DIEGO PIMENTEL

Profesor titular de la Carrera de Artes Multi-mediales del IUNA. Estudi arquitectura enla UBA, orientndose desde mediados de los90 al estudio de la comunicacin isual y suimpacto en las interfaces. Dirige Simplestudio(www.simpleweb.ws), junto a Andrs Sobrino

y es consultor de diseo digital y tecnologasinteractias.

Coordinador del Posgrado de Diseo Digitalde la UBA, es adems, docente de grado yposgrado en UBA y UADE. Desempe tareasde consultora y direccin en los websites deimportantes instituciones educatias de laArgentina y ha dirigido proyectos para em-presas multinacionales y PYMES.

7/31/2019 RIM - Nro. 2

16/77

16

InfodiseoCultura digital y diseo de informacin

Diego Pimentel

De qu diseo estamos hablando

El diseo es algo que se nutre del arte, la cultura y latecnologa contempornea. Hay un diseo del Medio-evo, otro del Renacimiento, otro de la Modernidad ytambin otro de la Posmodernidad. Esto sucede porqueexisten diferentes valores tecnolgicos, culturales yartsticos en cada instancia. Las disciplinas de diseoque conocemos convencionalmente nacen en la Moder-nidad, al calor de la Revolucin Industrial, sin embargo,son herederas de la tradicin del arte y de la arquitectu-ra principalmente.

A su vez, el diseo no es solamente cultura, artey tecnologa. La economa ya representaba un valoren la Grecia clsica (eikonon), y este concepto reapa-rece en la Modernidad cuando se habla de economade recursos. Se vuelve sobre el tema, en un sentido

material, pero, tambin en un sentido esttico. Menoses ms. A la economa de los recursos estticos se lesuma el valor de la planicacin, propio de la econo-ma como ciencia social. Sin planicacin no hay unbuen producto de diseo.

Desde lo tecnolgico, hay una palabra que leotorga particularidades al diseo: la ergonoma, queestudia la relacin del cuerpo humano con los objetos ysu contexto. A su vez, en el mundo digital la ergonomaproduce dos nuevas palabras: la usabilidady la accesi-

bilidad. Es decir, tenemos que hacer de nuestro diseo,algo que sea entendible, fcil de usar y a su vez que lamayor cantidad de personas acceda a l. Si bien dentro

de la usabilidad existen autores que hablan de ellaen un sentido recetario y cerrado o bajo pticas mera-mente cuantitativas, resulta importante entender estosconceptos desde un lugar ms abierto, lo que implicapensar al diseo de informacin como un sistema com-plejo, de variables amplias, con un sentido social y unespritu democratizador de los datos que contiene.

Utilitas / Firmitas / Venustas

En el siglo I a.C. un tratadista del arte y de la arquitectu-ra llamado Vitrubio trat de denir qu era arquitecturay qu no, y lleg a la conclusin de que haba tres ejesfundamentales para estudiar cualquier obra: utilitas,rmitas y venustas. La utilitas es la funcin, larmitases la constructibilidad y las venustas es la belleza.Recientemente en un libro publicado en el 2002, PaulMijksenaar analiza productos de diseo industrial y

grco contemporneos desde estos mismos tres ejes.

Estos siguen siendo valores esenciales en elpensamiento del diseo. Si no hay funcin, no haydiseo. Si no hay una forma de construir esa funcin, nohay diseo, es decir, si tengo ideas brillantes quiz seaun excelente pensador, pero, puedo resultar incapaz deplasmar esas ideas en el mundo real. Realidad Virtualen el diseo digital o Realidad Fsica en el mundo mate-rial del diseo industrial, grco o arquitectnico. Si nopuedo desarrollar la rmitas no voy a poder construir

el objeto (o proceso) de diseo.

El tema de la venustas resulta controversial yabsolutamente subjetivo, es decir, cundo algo es belloy cundo no lo es, representa una cuestin losca endiscusin constante. Para el mundo griego la belleza erauna, exista un canon. El artista tena que ir en busca deese canon. Hoy resulta imposible ponernos de acuerdoen este punto de vista de la venustas, sin embargo mepregunto si hacer algo que tenga una funcin y se puedaconstruir, pero, que no aporte ningn valor bello puedeconstituirse de por s en un producto de diseo. Aunque

la belleza sea un problema de subjetividad, no se puedenegar que la sociedad le pide al diseo productos bellos,tiles y duraderos. En un punto, Vitrubio tena razn.

Figura 1:Pabelln alemn en la exposicin internacional de Barcelona de 1929, Ludwig Mies van derRohe. El autor disea el espacio y el mobiliario, en donde aparecen los famosos sillones Bar-celona, muy de moda hoy en da, muchas personas desconocen que fueron diseados en 1929.

7/31/2019 RIM - Nro. 2

17/77

17

Palabra-imagen

La informacin es etrea. No existe en un lugar fsicoespecco, sin embargo, sirve para modicar la realidadfsica que nos contiene. La abstraccin del lenguaje estambin un elemento etreo del cual se vale el diseode informacin. Lenguaje que se interpreta como im-

genes o imgenes capaces de producir lenguaje.

Voy a citar a dos autores que no provienen de lotecnolgico para entender que el diseo de informacinse nutre de problemas planteados por el arte, la culturay la tecnologa en un sentido amplio. Vamos a jugar conun efecto moebius en el cambio de estado entre dosinstancias, el lenguaje escrito y el lenguaje visual.

Comencemos por el mundo de lenguaje potico,con talo Calvino y el concepto de visibilidad. En su libro

Seis propuestas para el prximo milenio, este autorhabla de la visibilidad no como la capacidad de conocera travs de la observacin del mundo, sino a la capa-cidad de imaginar. En el texto de Calvino, se mencionados referentes contextuales, Dante Alighieri y Jorge LuisBorges, para profundizar la relacin establecida entre lapalabra y la imagen.

En la literatura, la palabra se convierte en ima-gen, mientras que en la pintura la imagen puede trans-formarse en palabra. La crtica de pintura o bien la meraopinin, cuando alguien le cuenta a otro alguna cosaque ve, estamos convirtiendo en palabras lo que anteseran imgenes. La dialctica existente entre la palabra yla imagen representa un problema directo de la comuni-cacin visual. La imagen deviene en verbo y viceversa.

Para valerse de un ejemplo de la literatura clsi-ca, Calvino cita a La Divina Comedia, como un ejemploen donde Dante estaba convencido que hablaba conDios a travs de su imaginacin.

En los versos Oh fantasa que, de cuando en

cuando, / arrebatas al hombre de tal suerte / Que nooyera mil tubas resonando alude a la relacin que elautor tiene con la inspiracin, sin embargo, ms ade-lante especica que esa inspiracin no es azarosa, sinoque tiene un sentido especco, cuando dice Quin,sino es el sentido, ha de moverte? / Muvete aquella

luz que el cielo sella, / por s o por el querer de quien la

vierte. Es decir, Dios le contaba a Dante en sus sueoscmo era el Cielo y el Inerno y de esta manera, l pudoiluminarse para escribir La Divina Comedia. De estamanera, Dante dene a la imaginacin como la Alta fan-

tasa. Y la fantasa no era caprichosa, sino que existaun dilogo, una iluminacin divina por parte de Diossobre el sueo del poeta, que lo obligaba a plasmaresas imgenes mentales del verbo en la obra.

Por otro lado, Borges plantea una relacin entrelas imgenes y el lenguaje en clara alusin al Roman-ticismo en una serie de cuentos en su libro El Aleph,especialmente a uno de sus referentes: Coleridge. En

La or de Coleridge, Borges cuenta que ste en unode sus retiros al campo, suea con un jardn en dondetoma una or; hasta ah el cuento es un tpico cuentoromntico donde aparecen personajes en relacincontemplativa de la naturaleza. El problema es que aldespertar, ste tiene la or en la mano, Entonces qu?Se pregunta Borges. Comienzan a establecerse rela-ciones entre la realidad y la irrealidad en ese espacioonrico. Elsueo, que durante el romanticismo aparececomo inspirador, aparece en otro de los cuentos de ElAleph: El sueo de Coleridge, donde se plantea la

historia de un personaje que suea con la fortaleza delKublai Khan. Cuando este personaje se despierta puedeexplicar cmo era esa fortaleza de una manera perfecta,reconociendo sus recorridos y su estructura laberntica.Sin embargo, el personaje nunca haba viajado a esafortaleza, ya que la misma haba existido en otro tiempoy en otro espacio. Entonces cmo pudo reconocerla?

La imaginacin en el caso de Dante inspira al

autor de una obra literaria para convertir su obra en unlegado religioso de una estructura conceptual del Cielo,el Inerno y el Purgatorio. En el caso de Borges, ste se

mete con el sueo como motor de desplazamiento delhombre entre dos realidades.

Imagen-palabra

Pasemos de la imagen a la palabra. Vamos a plantear uncaso citado por varios autores de la Realidad Virtual: laperspectiva. La forma de ver la realidad del renacimien-to se asocia con la forma de entender el espacio segnes percibido por el ojo humano. La perspectiva copiala forma en que el ojo ve el espacio que lo rodea y, a su

vez, representa una guracin para la posteridad, comouna forma de ver el mundo por parte de la temporalidaden donde sta es creada. Sin embargo, el espacio dela perspectiva es una forma de ver tan arbitraria como

Figura 2:Dante Alighieri, Fragmento de La Divina Comedia. 1304/1321(?).

7/31/2019 RIM - Nro. 2

18/77

18

cualquier otra. En esta obra de Bellini, de 1505 (Figura 3),ayudada por la forma de representacin de la perspec-tiva, se inventa una suerte de Realidad Virtual: uno ve aCristo y a la Virgen con un aspecto orentino, la acom-paan santos de distintas pocas, reunidos en un lugarimaginario: San Pedro del siglo I, Santa Luca del sigloIV, San Jerom del siglo V y Santa Catalina del siglo XIV.

Sin la necesidad de la tecnologa del Photoshop, tambinun Papa o un mecenas podran aparecer al lado de Dios,a imagen y semejanza, como representacin simblicay como manifestacin de poder. Con la perspectiva, unfamoso se puede fotograar con Dios.

Para contrarrestar la visin del Renacimiento dela perspectiva, acudamos a la Modernidad, en dondeaparecen personajes como Mondrian, quien comenz a

pintar rboles desglosando estos en guras geomtri-cas puras (Figura 4). A cada momento gener ngulosms rectos, hasta que lleg a composiciones ortogona-les, perfectas. En la Figura 5 podemos ver cmo el autorconceba a la ciudad de Nueva York. Esta imagen no espara Mondrian una representacin abstracta, sino unainstancia de representacin de la ciudad, segn comoes interpretada por l.

Estos ejemplos pictricos fortalecen el conceptode la visibilidad y tornan a este valor imprescindi-ble para un diseador que debe representar ideas enesquemas, informacin con profundidad y complejidad,pero de una manera simple. Dante ve a Dios y cuentacmo es el Cielo y el Inerno, Borges plantea que en

los sueos uno puede transportarse en el tiempo y elespacio, quebrando barreras y generando imgenesque puede volver a contar. Bellini inventa una Mara yun Cristo orentinos, mientras que Mondrian retratasegn su tamiz mental la estructura urbana de unaciudad. Todas son realidades representadas a partir delarte, que tienen una fuerte relacin entre la palabra y la

imagen.

Lo proyectual

Me parece importante completar el pensamiento de Cal-vino con el de Bruno Munari y lo que este ltimo denecomoproceso proyectual (Figura 6), para intentar ubicarcul es la instancia del diseo en donde se alude a laimaginacin y notar que existen otras etapas que acom-paan a sta, para poder plasmar sistemticamente elproducto de diseo.

Figura 3:Bellini, Giovanni: Virgen con santos, 1505.Pintura de altar: leo sobre tabla, transfersobre lienzo. 402 x 273 cm.Iglesia de San Zacaras, Venecia.

Figura 4 :Piet Mondrian, Gray Tree, 1911, leo sobre tela, 78.5 x 107.5 cmHaags Gemeentemuseum, La Haya.

Figura 5:Piet Mondrian, New York City, 1941-42, leo sobre tela, 119 x 114 cmCentro Georges Pompidou, Pars.

7/31/2019 RIM - Nro. 2

19/77

19

Uno de los ejemplos vernculos de diseo de informa-cin est representado por las estaciones de metro deLondres (Figura 7). Este ejemplo utiliza un esquemaclaro, identica un color para cada lnea de metro,geometriza el recorrido del ro Tmesis y elige unatipografa muy simple inscripta en un logotipo de ungrado de sntesis muy alto. El mapa del metro no tiene

que ver necesariamente con el mapa real de la ciudadde Londres. Esta operacin sirve para entender conprecisin cmo llegar a algn destino en una ciudadmuy compleja. Este diseo de 1933 ha sido copiado yreplicado en muchas ciudades a posteriori, de hecho,el lector observar que el metro de Buenos Aires pre-senta un esquema similar ms de 60 aos despus.

En el entorno digital vamos a mencionar unejemplo experimental de diseo de informacin.BAVirtual 2050 fue un proyecto en el marco del Pos-

grado de Actualizacin en Diseo Digital que plantela necesidad de generar una interfaz para un usuarioque participe de foros, opiniones e imagine cmo seraBuenos Aires en el ao 2050. Para poder opinar, elusuario contaba con un conjunto de informacin distri-buida en reas temticas que versaban desde lo fsicoa lo poltico. Frente a esa estructura, el usuario podaseleccionar artculos, guardarlos, comentarlos y subirimgenes de cmo considera que sera Buenos Aires.

Problema creatividad y solucin. En el problemaest la solucin y uno tiene que operar con cierta creati-vidad para encontrarla. Si bien existe la creatividad (endonde se plasma la imaginacin) como palabra claveen el proceso, el autor le da una importancia mayor alproblema y la solucin ubicndolas en los extremos delproceso.

Para Munari, en cualquier problema de diseo,primero se debe entender qu se debe resolver, analizarlas partes de esos elementos y, luego, plantear ideascreativas. A su vez, hay materiales y tecnologas quepermiten una experimentacin, esa experimentacinva a generar una muestra; a esa muestra vamos avericarla con el usuario y, luego de esta vericacinse documenta la obra a construir. Esta lgica proyec-tual de Bruno Munari que presenta algunos maticesms complejos en la esfera del diseo digital, hay queentenderla complementndola con la visibilidad deCalvino, entendindolas viables desde la arquitectura aldiseo grco, industrial, indumentaria, textil, imagen ysonido, paisaje, multimedia, etc.

Ejemplos del diseo de informacin

El diseo de informacin nos rodea ms de lo queimaginamos o notamos. Est presente en cada instan-

cia de decisin de los que vivimos en una ciudad, en eltransporte pblico, los edicios, las instrucciones de loselectrodomsticos y obviamente en Internet.

Figura 6:Diagrama del proceso proyectual, BrunoMunari, del libro Cmo nacen los objetos, publicado por Gustavo Gili, Mxico, 1993.

Figura 7:Metro de Londres, diseo de Harry Beck, 1933.

Figuras 8 y 9:Interfaz del sitio web B AVIRTUAL2050. PADD/FADU/UBA. Estudiantes: Yanina Canosa,

Mara Victoria Comas, Cecilia Perriard, Manuela Verrier.

7/31/2019 RIM - Nro. 2

20/77

20

La forma de entender Buenos Aires en esta inter-faz trasciende las imgenes obvias del Obelisco y el tan-go, para pasar a un nivel ms amplio de abstraccin, endonde, por un lado, se toma el borde del Ro de la Platacomo un borde fsico importante desde donde crece laciudad (Figura 8) y de esa forma se articula la manerafsica de representacin geogrca en esta interfaz.

As mismo, los proyectos de distintas temticas podanobservarse con distintos colores en otro esquema quese desprende de la lectura fsica del mapa (Figura 9), sinatarlos a la preguracin de la ciudad real, por el otro.

El diseo de informacin se nos presenta de estamanera como una disciplina en la cual se toman de lamano los saberes vernculos del arte y la arquitectura,el pensamiento proyectual, las necesidades ergon-micas y el problema de la percepcin. La forma deapropiacin de la informacin se aleja cada vez ms de

una relacin lineal usuario-informacin, para volverseuna trama en donde el hipertexto congura relacionescomplejas para este usuario-interactor. Si olvidamosla relacin entre el contenido y la forma de expresarlo,su contexto e identidad, ste dejar de ser diseo deinformacin para convertirse en meros dibujos sobre unplano o sobre un mapa de bits.

Referencias bibliogrcas

1 Menos es ms, frase atribuida al arquitecto alemn Ludwig Mies Van derRohe, director de la Bauhaus en su ltima etapa. Con posterioridad al cierre deesta escuela por Hitler en 1933, emigra a Estados Unidos. Mies sigue siendo hoyen da una referencia obligada para el diseo y la arquitectura minimalistas.

2 El referente ms controvertido de la usability es Jakob Nielsen, autor deUsability Engeneering en 1990 y, ms tarde del conocido libro Designing webusability, editado en 1999 por New Riders.

3 Calvino, . Seis propuestas para el prximo milenio. Madrid: Siruela, 1992.Este libro es publicado por la esposa de Calvino, quien falleciera en 1985 antesde escribir la sexta propuesta del libro, titulada Consistencia.

4 Borges, J.L. El Aleph. Buenos Aires: Emec, 1949.

5 Para profundizar este concepto se puede observar las reexiones de Toms

Maldonado en Lo real y lo virtual. Barcelona: Gedisa, 1995.

6 Buenos Aires 2050 como programa madre est dirigido por la Arq. MargaritaGutman, con sede en FADU. El equipo de trabajo que asisti al PADD estuvoconformado por los arqs. Horacio Caride y Martn Gmez. Fueron invitadosa exponer en este programa los profesores Andrea Saltzman, Sergio Forster,Martn Marcos y Ricardo Blanco. El trabajo mostrado es resultado del workshop,dirigido por Arturo Montagu, Martn Groisman y Diego Pimentel.

7/31/2019 RIM - Nro. 2

21/77

21

DIEGO JAvIER ALBERTI

Artista isual. Desarrolla su trabajo utilizando so-portes y medios electrnicos. Es editor, msicoy programador. Desarrolla sus propios circuitoselectrnicos y software para producir imagenesy sonido.

Actualmente se encuentra participando del tallerde Arte y Tecnologa en el MediaLab del CentroCultural de Espaa en Buenos aires.

Forma parte del Proyecto de Inestigacin Tan-gible sobre nueas interfases de control y reali-dad itual en IUNA coordinado por Ing. EmilianoCausa y del proyecto Morfologas Audioisua-les en FADU, UBA coordinado por la diseadoravernica vitullo.

CHRISTIAN PARSONS

Artista, diseador y programador. Desarrollainterfases audioisuales y fsicas. Trabaja endiseo de instalaciones, objetos y espacios in-teractios, diseo de puesta en escena digital,programacin de ideojuegos e inestigacinacadmica.

Estudi Diseo Audioisual en la Facultad de Ar-quitectura, Diseo y Urbanismo de la Uniersidadde Buenos Aires.

Su trabajo ha sido distinguido en diersas opor-tunidades con premios y becas y ha sido presen-tado en el mbito nacional e internacional. vie ytrabaja en Buenos Aires.

7/31/2019 RIM - Nro. 2

22/77

22

Proyecto TangibleDesarrollo de una aplicacin para el control de unsintetizador por medio de una pantalla sensible al tacto

Christian Parsons y Diego Javier Alberti

Palabras clavesPantalla sensible al tacto multipunto, sntesis granu-lar, sntesis FM.

Resumen

El siguiente documento es una descripcin del trabajode investigacin realizado en el marco del proyectode investigacin Tangible, llevado a cabo en el IUNAdurante los meses de agosto a noviembre de 2007,realizado por Christian Parsons y Diego Javier Albertibajo la direccin del Ing. Emiliano Causa.

En estos prrafos se explicarn las problem-ticas encontradas al respecto de la implementacinde una aplicacin didctica en torno a un sintetizadorsonoro virtual y su interfase grca de control desa-rrollados para un sistema de pantalla sensible al tacto,

multipunto, de tela elstica desarrollada por el Ing.Causa y otros.

Se contemplaran las aproximaciones msrelevantes al objetivo del proyecto, los problemas yreexiones ms pertinentes surgidas durante el desa-rrollo de esta investigacin y se mostrarn y detalla-rn varias implementaciones funcionales del sistemadesarrollado.

1. Introduccin

En la actualidad, las pantallas sensibles al tacto sonun suceso tanto en el mbito artstico como en elcomercial. Si bien, ya existan pantallas sensibles altacto desde hace dcadas (en cajeros automticos,por ejemplo) estas pantallas eran capaces de respon-der a un solo cursor (punto de contacto) a la vez.

Un nuevo esquema de diseo elaborado deforma abierta por Jefferson Y. Han, Consultant De-partment of Computer Science Courant Institute ofMathematical Sciences New York University, deriv en

cientos de proyectos de todo tipo. Dado que la tecno-loga que implementa es relativamente econmica yfcil de conseguir e implementar, muchos estudiantes,

diseadores y artistas en general han podido desarro-llar con xito sus propias pantallas sensible al tacto.La diferencia fundamental entre este nuevo diseo ylas versiones antiguas de pantallas sensibles, es queesta ltima permite la captura de mltiples puntosde interaccin (capacidad multipunto) y extiende ladimensin de la pantalla de unas pocas pulgadas avarios metros.

2. Objetivos

2.1 Pantalla sensible al tacto

Una de las diversas variaciones del esquema de Han,deviene en la utilizacin de una tela elstica comosoporte de la imagen y plataforma de sensado /interaccin. Un ejemplo de utilizacin de este tipode pantallas es el proyecto Khronos Proyector de

lvaro Casinelli, en el que se basa el prototipo sobreel cual trabajamos y al que denominamos PantallaTangible. El esquema es el siguiente: una pantalla detela montada en un bastidor es iluminada por detrsutilizando luz infrarroja. Una cmara sensible a estetipo de iluminacin se encuentra emplazada paralela ala luz infrarroja capturando una imagen completa de lapantalla. Junto a la cmara se encuentra instalado unproyector de video cuya imagen proyectada coincidecon la pantalla.

Figura 1:Esquema Khronos Projectorfuente: www.k2.t.u-tokyo.ac.jp/members/alvaro/Khronos/

7/31/2019 RIM - Nro. 2

23/77

23

Al apoyar un objeto (un dedo por ejemplo) sobrela cara frontal de la pantalla, la tela se deforma produ-ciendo una sombra que es registrada en la imagencapturada por la cmara.

Esa imagen es luego procesada y analizada porunsoftware que devuelve una visualizacin tal, cuya

respuesta se encuentra en concordancia con la posi-cin donde se toc la tela. Al estar la retro-proyeccinen el espectro visible, la imagen que se produce nointerere con la sombra producida por la luz infrarroja.

Al posicionar un dedo sobre la pantalla se gene-ra un elemento desoftware llamado Puntero. Elsoft-ware detecta un puntero por cada dedo en contactocon la supercie de sensado y se encarga de mantenerla concordancia entre ese dedo y ese puntero a lo lar-go del tiempo en el que el dedo se mantenga apoyado

en la pantalla. El funcionamiento de los punteros esanlogo a los estados de un mouse, pero, se sumanlas caractersticas multi-puntero:

Puntero creado: se produce en el instante en elque el usuario hace contacto sobre la pantalla,creando un puntero.Puntero activo: se produce mientras exista el pun-tero, dando la posibilidad de obtener las coorde-nadasx, ydel puntero (las cuales varan cuando elusuario mueve el puntero).Puntero destruido: se produce en el instante enel que el usuario deja de hacer contacto sobre lapantalla, destruyendo el puntero.

Figura 2:Esquema de Conexiones: dos PC conectadas por red Lan una corriendo el sistemade captura de cmara y el sistema de sonido y la otra generando la imagen.

2.2 Una aplicacin sonora de la pantalla sensibleal tacto: descripcin de la aplicacin a desarrollar

Con el objetivo de disear una aplicacin educativapara el dispositivo Pantalla Tangible, comenzamosentonces a explorar las diversas posibilidades pararealizar una interfase visual manipulable en tiempo-

real que permita el control de un sistema de genera-cin de sonidos (un sintetizador).

Puesto que controlar un sintetizador habitual-mente requiere la manipulacin de decenas de par-metros al mismo tiempo, se torna pertinente comoobjeto de estudio la aplicacin del dispositivo PantallaTangible a este tipo de problemtica. Gran parte de lariqueza expresiva de un sintetizador (y de cualquier otroinstrumento musical) deviene de la manipulacin parti-cular que se logre de sus parmetros, de ah la necesi-

dad de generar un sistema visual de control en el quetodos los parmetros sean visibles en el mismo instantey que brinde la posibilidad de intervenir y modicarcualquiera de ellos (o varios a la vez).

Cuando hablamos de sintetizador nos referimosa un sintetizador virtual; un programa de computado-ra diseado para producir un cierto sonido/tono.

En relacin con la generacin de sonido porcomputadora, este tipo de prctica implica la transfor-macin de material sonoro y la consecuente creacinde su forma a partir de procesos lgico-matemticosejecutados por el ordenador. En este sentido la rela-cin con el ser humano a travs de la interfase huma-no-computadora (HCI: human computer interaction) sepresenta como un terreno fructfero para la investiga-cin con referencia a la creacin sonora y musical.

Las disciplinas que trabajan con el sonido sehan visto fuertemente impactadas por los procesoscomputacionales; dentro de este marco es necesariala generacin de conocimientos sobre el lugar que

ocupa la intervencin humana sobre la creacin encuanto a la relacin del cuerpo con la herramientaen la produccin esttica (aishtetike y aesthesis,como lo relativo a la sensacin y la percepcin). Lapregunta que surge desde esta ptica es: cmointerviene fsicamente el cuerpo sobre la creacindel sonido en los procesos computacionales? Apartir de este interrogante comienzan a surgirposibles relaciones entre la interfase computacio-nal y el instrumento musical. Este ltimo cuentacon suficientes antecedentes al respecto (relacin

que puede ser tambin entendida en trminos dehumano-herramienta), de donde es posible extraerconceptos de importancia para el desarrollo de estainvestigacin.

7/31/2019 RIM - Nro. 2

24/77

24

Siguiendo estas premisas, el presente trabajoderiv en el logro de un sistema de interrelacionescompuesto por los siguientes elementos: Sonido- Imagen - Gesto. De esta manera la relacin fsicacuerpo-instrumento se abordar desde diversos n-gulos: la percepcin sonora, la percepcin visual y lapercepcin hptica.

En ese sentido decidimos abordar el desarrollode esta aplicacin en la produccin del sonido a partirde la imagen, y no a la inversa. Podemos decir entoncesque se trata de una sonicacin de lo visual.

Como caso de estudio podemos citar un ejem-plo de traduccin del sonido a la imagen: el anlisisespectral de un Espectrograma.

Figura 3:El eje vertical (y) representa el paso del tiempo, el eje horizontal (x) la frecuencia y la alturarepresenta el intensidad.

Figura 4:En este caso, el eje x representa el paso del tiempo, en y se representa la frecuencia y eltono indica la intensidad de ese sonido.

3. Primera aproximacin: una aplicacin de snte-sis granular

3.1 La sntesis granular:

El problema de los parmetros

La primera aproximacin consisti en desarrollar una in-terfase para un sintetizador granular. La sntesis granulares el proceso por el cual se obtiene un sonido tonal apartir de la reproduccin de pequeos fragmentos inar-mnicos de sonidos encadenados. Tomando una muestrade sonido y modulando su amplitud en un tiempo queest en el orden de los 50 milisegundos, se extrae unaporcin de sonido que se denomina grano de sonido.Esa porcin puede provenir de una fuente en vivo o deuna grabacin y su duracin es tal que, si se lo reproducepor s solo aun se puede percibir la caracterstica tmbricadel sonido del cual fue extrado, pero a su vez, se pierdela percepcin tonal de ese sonido (no se puede diferen-

ciar una altura, se lo percibe como un impulso). Es decir,como si se estuvieran tomando pequeas muestras desonido que tienen un carcter molecular: por su duracin(tamao) no puede ser dividida (separada en sus com-ponentes) puesto que se perderan sus caractersticasintrnsecas. La forma en que esa modulacin es aplicadase denomina ventana. La forma que tenga esta ventana

modica la componente armnica de ese sonido.

Figura 5:Ventana Gaussiana.

El encadenamiento de muchos granos de sonidoa una determinada velocidad provoca un efecto per-ceptivo de integracin en donde, entonces, s comien-za a percibirse esos granos como un tono continuo. Laregularidad o irregularidad en la cadencia de repro-duccin y en el tamao y procedencia de esos granosde sonido son los que determinan las caractersticaselementales del sonido producido.

Comenzamos entonces a explorar este tipo desonoridad utilizando el programa Open Source Granu-lator que es un sintetizador granular virtual completo(con todos los parmetros necesarios para poder gene-rar sonidos de cierta riqueza expresiva, formal e inclusomusical) y, que adems, permite ser controlado vaMIDI. Este ltimo punto es vital, puesto que se requerauna forma simple de conectar la interfase visual conel generador de sonido. El protocolo MIDI puede serimplementado tanto a nivel delsoftware como a nivel

hardware lo que nos permite llegado el caso poder te-ner procesos distribuidos en diferentes mquinas (unacorriendo la aplicacin visual y otra corriendo el sinteti-zador, ambas computadoras conectadas va MIDI).

El estndar MIDI (Musical Instrument DigitalInterfase) es un protocolo y un estndar de hardwareindustrial que surge a principio de los aos 80 con elobjetivo de ofrecer interconectividad entre diversosinstrumentos musicales electrnicos de diferentescompaas y fabricantes. Se trata de un protocolo serialen el que se establecen datos relacionados con la notaejecutada, la presin con la que fue pulsada una teclay diversos controladores continuos que hacen alaperformance de estos instrumentos.

7/31/2019 RIM - Nro. 2

25/77

25

Figura 6:Captura de pantalla. Granulator. Fuente: http://nicolasfournel.com/

3.2. Diseo de una interfase grca para elcontrol de la sntesis granular

Se cre un primer prototipo de aplicacin tctil-visual(aplicacin, en el sentido de un programa inform-tico) para la generacin de sonido mediante sntesisgranular. El diseo de este prototipo se construy so-bre la base de la representacin del sonido mediantela idea de objeto que ocupa espacio, entendiendo lapalabra objeto como lo que posee carcter material.

La representacin de un sonido como un objetoque ocupa espacio resalta ciertas caractersticas fsicasque nos acercan a uno de los objetivos buscados en

esta instancia: crear una interaccin que se relacioneestrechamente con la percepcin del espacio. As, selogra entrelazar las ideas de Sonido y Espacio. Esta me-tfora espacial/objetual utilizada para el diseo, brindala posibilidad de ser desarrollada en la generacin delsonido, sumando la variable de la espacializacin.

De esta forma, el prototipo se basa en la repre-sentacin de un objeto visual que mapea los parme-tros sonoros.

Dicho objeto se despliega grcamente enpantalla segn una representacin espacial en tres di-mensiones. Este tipo de representacin grca implicatcnicamente operaciones matemticas para la pro-yeccin de objetos tridimensionales sobre la superciebidimensional de la pantalla (perspectiva como una delas formas de proyeccin grca) y diversas operacio-nes de transformacin en un espacio de coordenadastres dimensiones.

La gura visualizada en pantalla consiste en unconjunto de nodos o vrtices que, organizados inicial-

mente al azar, construyen una forma geomtrica. Estageometra es transformable segn diversos parmetros,los cuales son congurables en tiempo-real por el

usuario a partir de determinados gestos de interaccintctil con la pantalla. De este modo se construyen lasrelaciones entre lo sonoro, lo visual y lo tctil, suman-do a este conjunto el sentido de lo espacial.

Figura 7:Ejemplo de objeto sonoro.

Los parmetros controlados en la interfase son lossiguientes:

Rotacin del objeto en tres dimensiones:Las operaciones de rotacin en espacios tridimensiona-les se pueden llevar a cabo con diferentes tcnicas. Laprogramacin de este prototipo se basa en el mtodo dengulos de Euler. Se utlizan tres ngulos para determi-nar la orientacin de un objeto en el espacio: yaw,pitchy roll. sta nomenclatura proviene de la Aeronutica,donde los utilizan para denominar las rotaciones de unavin. El ngulo de pitch rota el objeto sobre el eje Y, elde roll sobre el eje X, y el ngulo yaw sobre el eje Z, comose puede ver en la siguiente imagen:

7/31/2019 RIM - Nro. 2

26/77

26

En el prototipo se utilizan dos ngulos de Euler:pitchy yaw. Estos dos parmetros son congurables mediante laubicacin de un puntero en la pantalla a modo de trackball(ante la situacin multitouch, se selecciona el puntero quese encuentra sobre el objeto propiamente dicho para denirestos ngulos). Desde el punto de vista de la programacin,se realizan clculos para transformar el movimiento del

puntero en dos dimensiones y traducirlos a dos ngulos,haciendo corresponder los movimientos en los ejes x, y(correspondientes al ancho y alto de la pantalla) con losngulos pitch y roll del objeto en tres dimensiones.

Los valores de los dos ngulos son mapeadosmodicando la densidad de granos y la duracin de laventana en el audio.

Escala del objeto: congurado mediante un ele-mento de interfase grca (GUI:graphical user interface),

a saber: unslidervertical. Este valor es mapeado modi-cando el pitch en el audio.

Color del objeto: congurable con el mismo mto-do del slider, mencionado en punto anterior.

Este valor es mapeado modicando el cutoffen el audio.

Figura 8:screenshots de la aplicacin en funcionamiento.

En la imagen se puede ver la representacin delobjeto sonoro, los dossliders y dos viewports (abajoa la izquierda). Los viewports muestran proyeccionesortogrcas del objeto tridimensional. Siguiendo lascoordenadas que se muestran en la Figura 8, dichasproyecciones se realizan sobre los planos YX y XZ (lapantalla corresponde al plano YZ, utilizando la pers-pectiva como proyeccin).

Aunque esta aplicacin requera mayores desa-rrollos, se estim realizar un cambio de direccin en eldiseo general. A continuacin se detallan algunas delas vetas posibles de esta lnea de trabajo:

Posicin de los nodos: manejarlo mediante tcni-cas de arrastrar y soltar (drag and drop) utilizan-do los punteros.Incorporacin del tercer ngulo de Euler ( roll),utilizando una tcnica multitouch de dos punterossimultneos para transformar el ngulo entre sus

posiciones sobre la pantalla bidimensional (x, y),en el ngulo roll tridimensional.Utilizar libreras de software de simulacin de f-sica newtoniana para denir los nodos del objeto,otorgando caractersticas de elasticidad, grave-dad, inercia, friccin, masa y otros parmetrosfsicos. De esta forma se abren mayores posibili-dades de relacin entre las caractersticas mate-riales del objeto y las caractersticas materiales dela pantalla (tela elstica), en el manejo del sonidoy la gestualidad.Profundizacin sobre el aspecto del objeto (mate-

riales, texturas, iluminacin) y el espacio (mul-tiplicacin de objetos que permitan relacionesespaciales entre s formando un sistema sonoro-espacial).

Una primer versin del dispositivo fue realizadacon xito implementando este tipo de sntesis y fueexpuesta en la presentacin realizada en el CentroCultural Recoleta en el marco de la 2das JornadasInteruniversitarias de Arte Multimedia, los das 21 y 22de agosto de 2007.

3.3. Disociacin perceptiva entre la imagen y elsonido en la aplicacin:

Descripcin del problema

En esta implementacin, descubrimos que existandicultades en el proceso de traduccin de lo visual alo sonoro. El principal problema resida en el mapeode los parmetros especcos de la sntesis granu-lar. Es decir, que nos encontramos con una situacinsumamente compleja de solucionar: encontrar un

correlato visual que respondiese perceptivamente alos parmetros constitutivos del sonido producidoespeccamente por sntesis granular. No nos parecien esa instancia apropiado relegar los parmetros msfundamentales de la sntesis granular en funcin deconseguir una implementacin de pantalla tangibleque funcionase como esperbamos. Parmetros comoel tipo de ventana o la estructura de reproduccinde los granos aparecan devaluados frente a cues-tiones ms evidentes, pero, menos pertinentes eneste contexto (el de la sntesis granular) como ser la

amplitud o la frecuencia del sonido producido. En estesentido, queda abierta la pregunta es efectivamenterealizable un sintetizador granular controlado por me-dio de una pantalla sensible multipunto? Siendo este

7/31/2019 RIM - Nro. 2

27/77

27

tipo de sntesis relativamente novedoso. (Las primerasimplementaciones digitales de la tcnica granular sedeben a Curtis Roads, en 1974, en la Universidad deCalifornia en San Diego y; en 1981 en MIT; y a BarryTruax, quien desde 1986 aplica extensivamente la tc-nica en tiempo real con el sistema DMX-1000.). Tal vezhaya que explorar nuevas interfases de control ms

complejas y novedosas que se adapten a este esque-ma de generacion de sonido.

4. La eleccin de sntesis por FrecuenciaModulada

4.1 La sntesis por FM

Surgi entonces la idea de relacionar un sistema visualde anillos/elipses orbitndose entre s para controlar unsintetizador del tipo FM. Puesto que la analoga (met-

fora) entre los parmetros sonoros de la sntesis por FMy el desarrollo visual de esta interfase visual, aparecenmuy evidentes; decidimos volcar nuestro trabajo enesta direccin. La sntesis por FM consiste en modularla frecuencia de un oscilador utilizando otro osciladorque trabaja en el rango de audiofrecuencias. Es decir,modular una seal sonora con otra seal sonora. Lo quese resolvi, fue implementar un sintetizador de FM deseis operadores (osciladores digitales senoidales), cadauno representado por un objeto en la pantalla capaz deconectarse (intermodularse) con cualquiera de los otrosoperadores. El sintetizador fue programado utilizandomax/MSP, el cual consta de un mdulo Operador yun contenedor para seis de estos operadores. Adems,cuenta con una matriz de conexionado donde todos losoperadores pueden ser conectados a cualquier entradade modulacin de cualquier otro operador en el sistema.

Figura 9:Captura de pantalla. Sintetizador FM programado en max/MSP.

Cada operador cuenta con un oscilador senoidalde frecuencia ajustable, control del nivel de salida y una

entrada mltiple de modulacin que tiene un mezcladorpara poder controlar diferentes modulaciones simult-neamente. El primer control determina la frecuencia enla que se encuentra el oscilador, el segundo determina

el nivel de salida, y lossliders determinan el ndice demodulacin de cualquiera de los otros operadores quetenga conectado.

Figura 10:Detalle de operador .

En el ejemplo que sigue, el operador 4 seencuentra conectado a la entrada de modulacin 1del operador 2 y a la entrada de modulacin 3 deloperador 4, o sea, que se encuentra automodulndo-se. En los trminos de la sntesis por FM esta situacin

se conoce comofeedback. El operador 5 se encuentraconectado a la entrada 2 del operador 2.

Figura 11:Detalle de matriz de conexionado.

La idea de este sistema es que cualquier esque-ma posible de FM puede ser producido. Desde la msmnima modulacin de un solo operador sobre otro,hasta cualquier otro algoritmo de seis operadores.

4.2. La metfora del sistema planetario:Diseo de la interfase grca.

Para realizar una interfase grca que permitiese con-trolar y crear formas sonoras sobre la base de la sntesispor frecuencia modulada, se comenz por disear sobrela idea de un sistema de rbitas donde cada plane-ta representa un operador. De esta manera, el sistemase compone de osciladores, lo cual contina la lneade diseo de los objetos sonoros, pero ahora modeladoen funcin de una nueva metfora: un sistema de rbi-tas. Cada uno de estos objetos se basa en la generacinde un movimiento oscilatorio y dicho movimiento se vereejado en el movimiento del objeto visual sobre elespacio de la pantalla construyendo relaciones basadas

en la fuerza de gravedad (atraccin de los cuerpos).Esta fuerza de gravedad simulada, provoca la rbita delos objetos, los cuales se superponen los unos sobrelos otros.

7/31/2019 RIM - Nro. 2

28/77

28

Las relaciones de atraccin se basan en la represen-tacin de parmetros sonoros en aspectos visuales, como eldimetro y la velocidad. Cada planeta al orbitar en torno aotro supone una relacin de modulacin entre los operado-res. La velocidad de rotacin se encuentra en relacin con lafrecuencia a la que est oscilando dicho operador, produ-ciendo as una conexin entre el movimiento oscilatorio de

los cuerpos visuales y la representacin de la frecuencia delsonido (literalmente una oscilacin).

En la gura siguiente el operador A (en el centro dela imagen) es el operador que se encuentra conectado a lasalida de sonido. Este operador est siendo modulado porel operador B (orbita sobre el A), el cual a su vez se en-cuentra siendo modulado por un tercer operador C que secomporta como satlite del B.

Figura 12:Aplicacin del sistema de rbitas

El conjunto de operadores se mueve en rotacio-

nes y mantiene esa coherencia, en tanto no haya unaintervencin externa del usuario.

La interaccin tctil del usuario con la pantalla sebasa en el siguiente gesto:

El usuario puede arrastrar ( dragging) un oscilador:

la captura del oscilador se realiza mediante lacolocacin de un puntero (dedo) sobre la imagenen la pantalla. De esta forma, logra detener su mo-vimiento y mantenerlo en la posicin del puntero(incluso con el puntero en movimiento). Este gestole da, adems, la posibilidad de manipular el di-metro de las rbitas, ya que con la traslacin de losoperadores enx, yde la pantalla, logra cambiar lasdistancias entre ellos.

4.3. Problemas de interaccin del sistema planetario:El movimiento de las rbitas y la interaccin con elcuerpo

El problema del sistema de planetas que orbitan unos

en torno a los otros, radica en que la manipulacingestual de los objetos visuales se hace difcil con loselementos girando en velocidad. El movimiento propiode los objetos, independiente del usuario, es en estecaso contraproducente, con un correcto funcionamien-to del sistema de interaccin gestual. Con este proble-ma se profundiz la pregunta sobre cmo se posibilita

que la interfase sea manipulada gestualmente con lasmanos sobre la pantalla. Aqu aparece con mayor fuer-za la relacin del cuerpo humano con el dispositivo enel mbito fsico.

5. Reformulacin de la interfase

Teniendo en cuenta lo mencionado anteriormente, sereformul el diseo del sistema de planetas. El cambioconsisti principalmente en la solucin del problemadel movimiento de los objetos en pantalla, creando una

interfase estructuralmente similar, donde la concepcinde los objetos como planetas fue reemplazada poruna concepcin de nodos. De esta forma se restrin-gi el movimiento propio de los objetos con el n deproducir una idea de movimiento donde el usuario debaintervenir sobre los cuerpos visuales para manejar elsonido. Este planteo deriv en un nuevo prototipo.

Figura 13:

Pantalla prototipo planetas.

En este prototipo el esquema de interaccin se basaen la utilizacin de los punteros por parte del usuariosegn el siguiente criterio:

Captura: el usuario arrastra los nodos modi-cando su posicin; lo que se realiza operandosobre el centro del objeto.Enlace de operadores: colocando un puntero sobrela zona perifrica se habilita el enlace del operador

presionado como operador de origen. Una vez en elmodo de enlace el usuario conecta un operador conotro conduciendo el puntero sobre otro operador, elcual se transformar en el operador de destino.

7/31/2019 RIM - Nro. 2

29/77

29

Modicacin de la frecuencia del operador: serealiza colocando un puntero sobre la lnea en lazona perifrica y desplazndola a modo de slidercircular (smil potencimetro).

Figura 14

Esta nueva forma de interaccin, generada eneste prototipo desencaden un cambio fundamen-tal en el transcurso de esta investigacin, revelandouna nueva situacin con respecto a la relacin fsicacuerpo-interfase: el problema de la escala.

De ese modo se puso de maniesto ciertadicultad en la manipulacin de los objetos en pantallacausado por dos cuestiones inter