Harsányi RékaBiofeedback alapú interaktív művészet

MKE Doktori Iskola 2010-2016Új technológiák a képzőművészetben- Fizikai interakció- Biofeedback alapú interakció

harsanyireka.net

kép: http://www.interna-cevnilekar-kladno.cz/var/3443/7216-10347vascular_system.jpg

Human Computer Interaction Ember Számítógép Interakció

A gép és az ember közé ékelődő interfészen keresztül zajló kommu-

nikációt takarja.

“Az interakcióban a résztvevő szándéka, hogy a környezetére

reagálva elérje a célját. A viselkedésére kapott választ kielemzi és összeveti a céllal,

majd annak fényében interaktál a rendszerrel újra.” H.R.

kép: http://hdfreewallpaper.net/new-technology-wallpapers-hd-free-download/new-technology-eroding-real-human-interaction-e1422062639706/ábra: http://www.dubberly.com/wp-content/uploads/2009/01/man_machine_system.png

HUMAN/SYSTEM INTERACTION:TAXONOMY OF INPUTV 0.13

INPUTS

ABSTRACT DATA

visualbodily gesture

facial gesture

kinesics

communicative

single hand gestures

common gestures

sign-languages

two-hand gestures

eye language

muscular

eye contacteye rolling

winkingblinkingstaring

directionpupil dilation

noddingshaking

tiltingturning

facial action

head movement

emotional conveyance

joysurprise

fearanger

disgustsadness

[etc.]

culturalchoice of clothingchoice of hairstylebody modification

[etc.]

piercingstattoos

plastic surgery[etc.]

“a-ok”beckoning

clenched fistthumbs up

wave[etc.]

manual communication

air kissshrug

face-palmbow/ curtsey

hand over heart[etc.]

jaw positiontongue shape/ position

eye-brow shape/ positionnostril flair

lip shapecheek suck/ puff

[etc.]

whole body/ posture

other gestures

air quoteschironomia

hand-rubbingprayer

victory-clasp[[etc.]

mirroringopenness

leaningslouchingtowering

legs spreadshoulders forward

arm crossing

atypical/ performcedancegymansticacrobatic

[etc.]

Deaf sign languagesSigned modes of oral languages

Auxiliary sign systems

scent

pheromonalapocrine glands natural

culturalcleansing/ neutralising natural odorapplication of scents

kinesthetictouching

visualthermal

olfactoryvoice loudness

intimatepersonal

socialpublic

publicinteractional

homebody (immediate)

proxemicscodes

distance

cultural factors

territories

audio

common forms

clicks (dental, palatal etc.)teeth grind

bitewhistle

sighlip smack

trill[etc.]

Clappingtapping

stamping[etc.]

nasalborborygmus

knuckle crackingsphincter vibration

armpit cupping[etc.]

transmission

non-percussive

oralvocal and glottal

mouth (cavity) only

percussivebodily

speechlaughweep

erudicationgargle

cough/ clear throatsneeze

yawn[etc.]

screamshout

whispersing

[etc.]

paralinguisticsperspectival

organicexpressive

prosody

phoneme analysis

linguistics

grammar

meaningsemanticspragmatics

intonationtone

melodyharmony

pitch

morphologysyntax

phonology

phonetics

context

signifiersdenotata

evolutionaryhistorical

socialpsychological

neurologicallanguage acquisition

discourse analysis

articulatoryacousticauditory

prosodic stressvolume (dynamics)

timbre

tempometer

articulation rhythm

haptic

positiveplayfulcontrol

ritualistictask-related

unintentional

to human[oid]

professionalsocial

friendshipsexual/ flirtation

combatativelove

tactile signing

contexts

meaningsstriking

pushingpulling

pinchingkicking

strangling[etc.]

hand-over-handtracking

tactile fingerspellingbraille signing

[etc.]

sculpting

crankhandle

diallever

to object

mark making

writingstyle

contentmedium

emphasis (heirarchy)

graphicaldrawingpaintingetching

engravingdrawn into dirttablet (digital)

[etc.]

media

form

pedal compressionpedal cycle

kick

biting pressureelbow faucet

Finger-nose Stylusknee switches

manual

other

feet

linear

force

grip

binary

dimensions

pinchgrasp

wastingforming

spatial factors1-axis

2-axis

3-axis

radial

compressiontensiontorsion

shearloading

switch flickkey press

button press

plunger/ insertionclip

fader

OBJECT/ ENVIRONMENT

HUMAN

humidity

temperature

air pressure

EM radiation

intensitywavelength

direction/ origin

matertials present

local dimensions

location

altitude (if applic.)latitude/ longitude (if applic.)

proximity

soundvolumepitch

harmonic propertiesdirection/ point of origin

PHYSICAL

COMMUNICATION

NEUROLOGICAL

INHERENTpersonalitybehaviour

level of confidencebackground

culturevalue/beliefs

sexual identityinterests

financial statuslevel of authority

[etc.]

socio-cultural

weightheight

agebody-typeheart-rate

blood pressureblood type

skin toneeye colour

hair colour and stylehealth & fitness

biometrics

bio-data

facial compositionretina appearance

fingerprintsDNA

vocal quality

physical

static

dynamic

actions

locomotion

gait

walkingjoggingrunning

[etc.]

geometry

eatingintercoursedefecation

sleepinguse of tools

[etc.]

uncommon

standing on one leghandstand

head standspreadeagle

crab positionhanging

[etc.]

common

standingsitting

squattinglying

kneelingcrouching

[etc.]

pathspeed

directionacceleration

neural oscillation

structureneural mapping

alphabeta

gammadeltatheta

mu function

hormone release

regulating interactionexpressing intimacyaffect management

evoking emotionfacilitating service and task goals

chronemics

http://panstudio.co.uk/taxonomy-of-interaction/

Az interakció rendszertana

Az ember által végrehajtható vagy a környezetből érkező, gépek által értelmezhető interakciókat osztályozza hierarchikus rendszerben. (PAN Studio)

biofeedback alapú interakcióA szenzoros interakciók speciális fajtája a biofeedback alapú interakció. pl.: Birth, Ego-World, Alpha

fizikai interakció:Fizikai interakcióknak (physical interaction) nevezzük egy rendszer esz-közökön, tárgyakon keresztül történő irányítását. A megvalósítást segí-thetik piaci termékek, mint pl. kamerák, szenzorok, vagy prototípusként gyártott egyedi szerkezetek is.

pl.: Sense, Collective Rug, KÖZtest, ReAct

kép: https://raweb.inria.fr/rapportsactivite/RA2013/potioc/IMG/photo2_xp_stereo.jpg

Biofeedback alapú interakció“A biofeedback biológiai visszacsatolást jelent, bio-szenzor segítségével érzékelhetjük az élő szervezet-ben lezajló biológiai változásokat, és az így ka-pott adatokkal, vagy jelekkel berendezéseket, vagy szoftvereket irányíthatunk. Az ilyen eszközöket fel-használó installációk angol neve a biofeedback-art, ami olyan interaktív alkotásokat takar, amelyekben bioszenzorokat alkalmaznak a résztvevő pszicholó-giai-, viselkedési-, és érzelmi alapú analíziséhez. A biológiai visszacsatolást a résztvevő vizuális, auditív vagy egyszerre minkét csatornán kapja. “ H.R.

Nem-invazív eszközök

elérhető eszközök, hack-ek

-szívverés-izom mozgás-arckifejezés-agyhullám-szem mozgás-légzés-izzadás

http://harsanyireka.net/non-invasive-biosensors-in-artworks/

Alfa, agyhullám alapú videó installáció, 2012

“Az installáció központi eleme az agyszenzor segítségével vezérelt több rétegű mozgókép. A szenzorból jövő adatokat ebben az esetben hat részre osztot-tam (a nyugalmi állapottól a fókuszált figyelem állapotáig), melyet hat előre meghatározott videó-loophoz rendeltem. Az adott sávokban mozgó agyhullámok intenzitása az egymásra úsztatott videó-loopok intenzitását változtatja, tehát az a kép válik kivehetőbbé, ahol nagyobb az agytevékenység.“

Alfa, technológia

agyhullámok: https://hu.wikipedia.org/wiki/Elektroenkefalográfiamindflex: http://www.frontiernerds.com/brain-hack

Alfa - a Felhasználói Élmény c. kiállításonA kiállításokon résztvevő nézők különböző ideig tudtak különböző állapotban maradni, attól függően, hogy mennyire tudták kizárni a kívülről jövő zajokat.(Cyberpunk DIY világok / Csikász Galéria, 2013)

kísérletek: fizikai interakció + táncconnectedbodiesteam.wordpress.com

Én-világbiofeedback alapú performance, 2015

“A performansz alapját a táncosra szerelt pulzus szenzor képezi, ami valós időben méri a szívritmust és az adott karizom mozgásának mértékét. Az így mért adatok absztrakt módon jelennek meg kivetítve, a nézőkkel szemben, az előadó mögött. Mivel a grafika egyszerű, a néző számára részben beazonosítható, hogy milyen kép kapcsolódik a táncos testén mért adatokhoz. A mozgó grafikák mellett, azokkal összhangban, előre rögzített fekete-fehér videóképek keverednek. Ezek olyan, a táncos testéről készült szokatlan képkivágások, melyek megnehezítik a látottak értelmezését vagy gyors beazonosításukat, így nem egyértelmű hogy kezeket, lábakat vagy esetleg ujjakat látunk. Továbbá a videóképek makrofelvételeket is tartalmaznak: az így felnagyított részletek segítségével a néző nem szokványos módon tanulmányozhatják az emberi testet, valamint annak reakcióit. A vetített mixelt mozgóképet a VJ-ként valós időben keverem, miközben a táncos improvizációval is kiegészíti az előre meghatározott koreográfiát.”

https://vimeo.com/148719845

Születésbiofeedback alapú performansz, 2016

“Születés (Birth) című audiovizuális, biofeedback alapú performanszunk a megfoghatatlan, a láthatatlan történetét meséli el. Technológia által megjelenítve és hallhatóvá téve ezen eseményeket, érzéseket, biológiai folyamatokat. A táncosra szerelt pulzus és EKG szenzorok nem csak szívritmusát, hanem bizonyos izmainak mozdulatait is érzékelik. Az így kapott adatok valós időben vezérlik a fényburok pulzálásának intenzitását. Életre kel a benne zajló események által, lakójával összhangban, mindaddig még élőlénye el nem hagyja. Ugyanakkor ahogy egyre jobban megismeri környezetét és önmagát is a benne tevékenykedő emberi lény, egyre inkább új ingerekre vágyik, ezeket provokálva, szervezetének hangjait és testének, illetve a burkának korlátait is megismeri, melyből kitörni készül, hogy kijutva újrakezdhesse a folyamatot a másik oldalon.”

https://vimeo.com/157130716