dr. sabin corneliu buraga - profs.info.uaic.robusaco/teach/courses/interfaces/... · gesturi,...

Interacțiune om‐calculator

Dr. Sabin‐Corneliu Buraga – www.purl.org/net/busaco

2.0

Dr. Sabin‐Corneliu Buraga

Facultatea de InformaticăUniversitatea “A.I.Cuza” Iaşi, România



2.0

De la emoție & experiențe senzorialela interacțiuni neconvenționale



2.0

I am a student – a beginner like you are…To learn yourself is more difficult

than to listen to a teacher.

Alexey Brodovitch



2.0

Majoritatea aplicațiilor actuale vizeazăend‐user computing‐ul



2.0



2.0

Ce rol au emoțiile în interacțiunea om‐calculator?



2.0

Emotion is a reaction to events deemed relevantto the needs, goals, or concerns of an individual

Scott Brave & Clifford Nass, 2008



2.0

Emotion encompasses physiological, affective, behavioral, and cognitive components

Scott Brave & Clifford Nass, 2008



2.0

structurarea neurologică a emoției



2.0

emotion versus mood

emoțiile sunt intenționale“they imply and involve relationships with a particular object”

Frijda, 1994



2.0

emotion versus mood

moods are not directed at any object in particular andare experienced as more diffuse, global, and general

a person can be sad about something (an emotion)or generally depressed (a mood)

trăire, stare mentală



2.0

emotion versus mood

din punct de vedere funcțional,emoțiile pot determina realizarea unei/unor acțiuni

emoțiile pot cauza ori contribui lamood



2.0

emotion versus sentiment

sentimentele nu desemnează starea unei persoane,ci proprietăți asociate unei entități (ființă, obiect)

sentimentele pot persista oricât de mult,în contrast cu emoțiile (secunde) sau mood‐urile (ore/zile)



2.0

emotion versus sentiment

sentimentele sunt deseori generalizări ale unei clase de obiecte având anumite proprietăți recognoscibile

aceste generalizări nu trebuie să fie neapărat logice

“I hate spreadsheet applications!”



2.0

Dimensiuni(Desmet, 2002; van Gorp, 2006)

valoareplăcut vs. neplăcut

provocare (arousal) psihologicăanxietate vs. plictiseală



2.0



2.0

Atragerea atenției

an interface capable of detecting – or at least predicting –a user’s emotional or mood state could similarly assumean affect‐regulation role, helping to guide attention away

from negative and toward more positive stimuli



2.0

Implicații asupra memoriei

negative events, which tend to be highly arousing,are typically remembered better than positive events



2.0

Implicații asupra performanțelor

keeping a user happy may, therefore,not only affect satisfaction,

but may also lead to efficiency and creativity



2.0

Cauze:nevoi & scopuri

de la cele fiziologice şi sociale,la cele cognitive, estetice & spirituale

Maslow, 1968



2.0

Cauze:existența obstacolelor & controlului

Ellsworth (1994)

dacă utilizatorul are control asupra programului,consecințele afective negative sunt mai puțin importante



2.0

Cauze:contextul social – “agenția”

(Ellsworth, 1994) & (Friedman & Kahn, 1997)

“This system failed to understand your command.” – blaming itself“The command was not understood.” – blaming no one

“You did not speak clearly enough for your command to be understood.” – blaming the user



2.0

blaming itself



2.0

Cauze:starea emoțională anterioară

repeated pleasurable affective states, therefore,become expected and thus gradually lose intensity



2.0

Let’s not forget that the little emotionsare the great captains of our lives and we obey them without realizing it.

Vincent van Gogh, 1889

worth1000.com



2.0

Detectarea emoțiilorrăspunsurile neurologice – via electroencefalograma (EEG)

saumagneto‐resonance imaging (MRI)

activitatea autonomă a organismului

expresia facială

vocea



2.0

Pentru a stimula emoțiile, produselor trebuiesă le fie atribuită o personalitate bazată pe aparență

şi mod de interacțiune (Reeves & Nass, 1989)

“Attractive things work better.” – Donald Norman



2.0

Într‐o interacțiune, stările emoționale înruditetrebuie conectate realizarea fluxului (flow)



2.0

Anxiety, Boredom and Flow (Csikszentmihalyi, 1990; van Gorp 2006)



2.0

Întrebări deschise

With which emotion should HCI designers be most concerned?



2.0


When and how should interfaces attemptto directly address users’ emotions and basic needs

(versus application‐specific goals)?



2.0


When and how should users be informed thattheir affective states are being monitored and adapted to?



2.0


How does emotion play outin computer‐mediated communication?



2.0

In ce manieră interacționăm?



2.0

Sfera 1: Oameni & dispozitive

experiența fizică om/dispozitiv:gesturi, manipulare directă, materiale, simțuri, emoții

mobile devices are handheld and the relationshipwith the hands is a fundamental character of the interaction

(Marco Susani, 2008)



2.0

Sfera 2: Modele mentale + reprezentările lor

experiența fizică conduce la definireainteracțiunii dintre om şi obiect (dispozitiv)

experiență digitală, interfață, model(e) mental(e)

modele centrate pe: comunicare vs. conținut vs. activitate (aplicație)



2.0

Sfera 2: Modele mentale + reprezentările lormodel centrat pe comunicare



2.0

Sfera 2: Modele mentale + reprezentările lormodel centrat pe conținut



2.0

Sfera 2: Modele mentale + reprezentările lormodel centrat pe activitate



2.0

Sfera 3: Context

interacțiune cu/în spațiul fizic ori virtual

obiecte “smart”, ambient (pro)activ, ubicuitate, simulare

Arduinowww.arduino.cc



2.0

Sfera 4: Comunități

medii de comunicare (a)sincronă:audio, text, multimedia, 3D

comportamente sociale mediate de tehnologieintimate vs. tribal vs. viral



2.0

Sfera 4: Comunitățiomul este un animal social

people we need – conform (Mart Murdvee, 2006):teenager friend, entertainerbusiness people secretary

in spare time trainer‐instructorin older age nurse, helpmate



2.0

Sfera 4: Comunități

actualmente, avem posibilitatea să interacționămcu agenți software de interfață cu rol de:

e‐secretary – digital butler (Nicholas Negroponte, 1995),e‐entertainer, e‐nanny, e‐pal, e‐trainer, e‐librarian,

e‐clerk, e‐attendant(s) etc.?



2.0

Sfera 5: Conținut

acces public la informațiipublicare/generare/integrare de conținut(uri)



2.0

Sfera 5: Conținut

experiență interactivă la nivel de ecosistem:social, spațial, business, privind cunoaşterea,…

“fenomenele” (micro)blogging, wiki, mash‐ups,on‐line gaming, virtual environments etc.



2.0

Cum interacționăm cu dispozitivele “speciale”expunând interfețe neconvenționale?



2.0

Implicarea mai multor simțuri în interacțiune



2.0

Sense Relevant information

Audio Speech, Identity, Intonation, Precision (timing)

Vision Identity, Facial expression, Body language, Gesture, Accuracy (spatial)

Tactile/somesthetic

Tabs/pads/devices, Texture,Precision (timing), Accuracy (spatial)

Scent Atmosphere, likability

Taste Clarification, enjoyment



2.0

Interpretarea informațiilor senzorialedepinde de aşteptările (expectations) utilizatorilor



2.0

M. Nielsen, T. Moeslund, M. Storring & E. Granum (2008)



2.0

Interpretarea informațiilor senzoriale depinde şide specificul dispozitivelor de intrare (K. Hinckley, ‘08)

mousetrackball

isometric joysticktouchpad

touchscreenpen‐operated device

indirect table…



2.0

Specificămaniera în care o interfață răspunde la acțiunile utilizatorilor

pentru un anumit stil de realizare a unei acțiuni,interfața se află într‐un mod particular

dacă interpretarea acțiunii se face permanent la fel



2.0

Atunci când acțiunea are o interpretare diferită,interfața prezintă un alt mod de interacțiune

interacțiune modală versus nemodală



2.0



2.0

O interfață poate fi modală conform unei acțiunişi nemodală în ceea ce priveşte alta

(Jef Raskin, 2000)

dacă o interfață este considerată nemodală,atunci nu trebuie să fie modală pentru nici o acțiune



2.0

Schimbarea modului de interacțiunetrebuie să aibă o justificare solidă

auto‐save user dataprovide an undo mechanism – prefer undo to warning dialogs

remember past statechiar şi

pentru Web

HapticGesture

LocomotionAuditory & Voice

Tangible



2.0

Haptic user interfaces(O’Malley & Gupta, 2008)

se bazează pe senzații tactilepentru a oferi informații utilizatorului

ecran haptic pentru “atingerea” obiecteloroutput neconvențional – e.g., vibrații



2.0

Haptic user interfaces

cutaneous touch versus kinesthetic touch



2.0


utilizări:CAD (Computer‐Aided Design)

design prototypingevaluarea produselor

simulare de situații excepționaleexecuția de activități la distanță (tele‐operation)



2.0


un mediu haptic este specificat matematic

exemplu:modelul zidului virtual



2.0



2.0


interfețe haptice fixe

haptic joystickspen‐based haptic devices

floor‐ and ceiling‐mounted interfaces



2.0

M. O’Malley, A. Gupta, “Haptic Interfaces”, în P. Kortum (Ed.), HCI Beyond the GUI, Elsevier, 2008



2.0


interfețe haptice portabile

exoskeletons



2.0

Light Exoskeleton (L‐Exos) – descris de Frisoli et al. (2005)



2.0


tactile interfaces

detectează căldura, presiunea, vibrațiile, durerea

feedback provenit uzual de la degetele utilizatorului



2.0


tactile interfaces

vibrotactile interfaceswearable tactile interfaces

folosite pe scară largă în contextul accesibilității



2.0

Moose haptic interface“reinterpretează” Windows pentru utilizatorii orbi



2.0

Haptic and Audio Visual Environmentoferă orbilor o explorare multimodală a interfeței



2.0


aspecte privind factorii umani:înțelegerea abilităților bio‐mecanice, senso‐motorii

& cognitive ale utilizatorilor (Tan et al., 1994)

posibilitatea măsurării cu acuratețe a mişcării(poziție, velocitate, accelerație)



2.0


principii de proiectare:

base your mechanical designon the inherent capabilities of the human operator



2.0



consider human sensitivity to tactile stimuli



2.0



use active rather than passive movement



2.0



minimize confusion and control instabilities



2.0



ensure realistic display of environments with tactile devices

“The details are not the details. They make the design.”Charles Eames



2.0


utilizare (Hiroo Iwata, 2008):(tele)medicină – e.g., laparoscopic surgery simulator,

palpation simulatormodelarea suprafețelor 3D: sistemele PHANToM, FEELEX

învățarea interacțiunii cu dispozitivele touchscreenartă digitală



2.0

Pseudo‐haptic user interfaces

“emulează” un dispozitiv haptic



2.0


substituția senzorială (Lenay et al., 2003)

un stimul haptic e înlocuit de alt simț(e.g., semnal audio simulând contactul cu obiecte virtuale)



2.0


oferirea de feedback pseudo‐haptic (Anatole Lecuyer, 2007)

simulation of stiffness via a combination of the interaction with the input device & the visual feedback

pseudo‐haptic simulation of textures



2.0

Gesture interaction



2.0

Gesture interfaces

inspirate de interacțiunile naturale non‐verbale dintre oameni

alternative la sau complementare interacțiunilor clasice



2.0

Gesture interfaces

“While natural gestures are often subtle,gesture interfaces rely on emphasized gestures.”

(M. Nielsen et al., 2008)



2.0

Gesture interfaces

Tipuri:hand gestures for pointing out objectsor controlling a mouse‐like pointer



2.0



2.0

Gesture interfaces

Tipuri:motion‐tracking interfaces

utilizate la console de jocuri sau unele modele de laptop‐uri



2.0

Gesture interfaces

Tipuri:facial gestures

utile pentru detectarea reacțiilor & emoțiilor

studierea comportamentului uman, accesibilitate în contextul persoanelor paralizate, feedback în sisteme de învățare etc.



2.0

Gesture interfaces

se pot baza pe dispozitive de intrare

mecanice/magnetice – e.g., mouse, data glove, Wii,…

de tip single/multi‐point touch – e.g., Palm, iPhone



2.0

Gesture interfaces

se pot baza pe dispozitive de intrare

a se parcurgeMouse Ballistics:www.codinghorror.com/blog/archives/000977.html



2.0

Gesture interfaces

pot fi “invizibile” pentru utilizator

detectarea gesturilor via computer vision:segmentare – extragerea fragmentelor relevantetracking – determinarea mişcărilor de interesclasificare – obținerea informațiilor dorite



2.0

Arhitectura unui sistem interactiv bazat pe gesturi (Moustakas et al., 2006)



2.0

Gesture interfaces

clasificarea gesturilor

semantic – the meaning of a gesturefunctional – what the gesture does in an interface

descriptive – how the gesture is performed



2.0

Gesture interfaces


la nivel semantic, gestul poate fi conştient sau spontan



2.0

Gesture interfaces


gesturi conştiente (Cassell, 1998):emblems – e.g., semnul (“Okay” sau “Money”)

propositional – ilustrează anumite acțiuni (“Put that there.”)



2.0

Gesture interfaces


gesturi spontane:iconic

metaphoricdeictic (depending on context for meaning)beat – e.g., stroking, setting rhythm,…



2.0



2.0

Gesture interfaces


din punct de vedere funcțional, gesturile pot fi de tip:command – Quit, Undo, Configure

pointing – e.g., selectarea unui elementmanipulation – exemplu: scalare/rotire a unei imagini

control – mimează controlul asupra unei entități



2.0

gesturi dinamice & spațio‐temporalece pot fi realizate via un dispozitiv de intrare: mouse, stylus,…



2.0

Gesture interfaces

vocabularul de interacțiune trebuie să fie limitat

aspecte de interes:contextul interacțiunii

asigurarea zonei optime de operare (spatial zone),cu divizare în spații având semnificații speciale



2.0



2.0

Gesture interfaces

technology‐ versus human‐based gestures

motive de respingere:stressful/fatigue producing for the user

nearly impossible for some people to performillogically imposed functionality



2.0

gesturi uşor de recunoscutde software

semnificații/acțiuni dificil de înțeles/realizat de utilizatori:T0: fără semnificație (residue)

T1: selectT2: copy & paste

T3: deleteT4‐T5: menu/release



2.0

Gesture interfaces

interfața bazată pe gesturi trebuie să fie:intuitivă

să ia în considerație modelul mental al utilizatoruluiuşor de memorat, fără ezitări

ergonomică



2.0

Gesture interfaces

aspecte importante privind proiectarea:toleranța la erorile umane

factorii culturalidependența de context

oferirea de feedback pozitiv utilizatorului



2.0

Locomotion interaction



2.0

Locomotion interfaces

interfaces that both enable users to move aroundin real or virtual spaces and make users feel

as if they are moving

Mary C. Whitton & Sharif Razzaque, 2008



2.0


pot avea un caracter virtual

problema principală: to capture the user’s intent using data that can be derived

from sensing the pose (position and orientation)and movement of the user’s body



2.0



2.0


Perceiving Self‐Motion

fiecare canal senzorial (auditiv, vizual, vestibular,…) contribuie la detectarea mişcării proprii sau a obiectelor din jur

Dichgans & Brandt, 1977



2.0


detectarea posturii (pose) şi mişcării (motion)

utilizarea senzorilor – numiți şi trackers

folosirea sistemelor optice (optical motion capture)

recurgerea la soluții mecanice



2.0



2.0

Konami Dance Revolution music video game



2.0


obținerea feedback‐ului

informații vizualehead‐mounted displayssurround‐screen displays



2.0


simularea mersului

treadmills (Brooks, 1998; Hollerbach et al., 2000)

walking‐in‐place (WIP) interfaces



2.0

VirtuSphere – utilizatorii posedă căşti de vizualizare wireless



2.0


principii de proiectare (Whitton & Razzaque, 2008):making the interface feel natural

higher‐fidelity reproduction of human gait

avoiding simulator sickness – cybersickness40% din utilizatori: simptome de cybersickness (Kolasinski, 1995)



2.0


probleme ce pot fi relevate la faza de testare:realism & preservation of spatial understanding

cognitive distractionbreak‐in‐presence (BIP) events



2.0

un eveniment care cauzează break‐in‐presence(scena virtuală locația fizică)



2.0


match the locomotion metaphorto the goals for the interface

exemplificare:walking metaphor versus vehicle metaphor



2.0


o serie de considerații practice:

Is viewing direction independent of motion direction?Are hands used for locomotion?

Able to move in any direction and change direction easily?Can base walking speed or step length be set for each user?



2.0


o serie de considerații practice:

Are tracker sensors immune to other signals in the room?Are wireless trackers used?

What parts of the body will have sensors or markers on them?Cables – if any – interfere with user’s motion?



2.0

Auditory & vocal interactions



2.0

Auditory interfaces

utilizarea informațiilor audio de tip non‐speechpentru a interacționa cu utilizatorii

detalii disponibile în (S. Camille Peres et al., 2008)



2.0

Auditory interfaces

Motivații

presenting information to visually impaired peopleproviding an additional information channel

alerting people to error or emergency states of a systemproviding information via devices with small screens



2.0

Auditory interfaces

De ce o interacțiune audio?

reducing visual overloadreinforcing visual messageswhen eyes are elsewhere

when audio is more informativeconveying emotion – e.g., games



2.0

Auditory interfaces

Sonification = the use of nonspeech sound to render data

cea mai simplă metodă se numeşte audification



2.0

Auditory interfaces

reprezentarea simbolică/semanticăa informației la nivel sonor

auditory icons (earcons)reprezintă entități – obiecte, funcții –

via sunete simbolice/abstracte(Gaver, 1989, 1997; Blattner et al., 1989)



2.0

Auditory interfaces

earcons‐urile sunt construite din blocuri simple – “motifs”

timbrulvolumul

ritmul, durata & tempo‐ulintensitatea

gama (majoră/minoră)



2.0

Auditory interfaces

ReprezentationalAuditory icons

AbstractEarcons

conform (Stephen Brewster, 2008)



2.0

Auditory interfaces

reprezentarea simbolică/semanticăa informației la nivel sonor

spearcons – created by speeding up a spoken phrase untilit is not recognized as speech (Walker, Nance & Lindsay, ‘06)



2.0

Auditory interfaces

percepția sunetelor:

asocieri mentale multiple (multiple mappings)reducerea percepției unui sunet în prezența altuia (masking)

probleme privind atenția – e.g., apariția confuziilormemoria auditivă



2.0

Auditory interfaces



2.0

Auditory interfaces

aspecte de interes privind factorii umani:expertiza muzicală

familiaritatea cu dispozitivele audioabilitățile privind simțul auditiv



2.0

Auditory interfaces

probleme de interacțiune audio:annoyanceprivacy

auditory overloadinterference/masking

low resolutionlack of familiarity



2.0

Auditory interfaces

Întrebări privind proiectarea:ce activități va realiza utilizatorul via interfața audio?



2.0

Auditory interfaces

Întrebări privind proiectarea:ce informații pot fi reprezentate (exclusiv) sonor?



2.0

Auditory interfaces

Întrebări privind proiectarea:care e contextul de utilizare?



2.0

Auditory interfaces

Întrebări privind proiectarea:la ce formate audio – lossless vs. lossy – vom recurge?

FLAC, PCM, WAV versus AAC, OGG, MP3



2.0

Auditory interfaces

aspecte de interes vizând proiectarea:thinking about sound as information

designing the sound – consider auditory content as a kind of sound ecology (Walker & Kramer, 2004)

producing the sound



2.0

Auditory interfaces

studiu de caz:audio‐only games

www.audiogames.net



2.0

Auditory interfaces

alte resurse sunt oferite deInternational Community for Auditory Display

www.icad.org



2.0

Voice user interfaces

facilitează conversațiadintre sistemul (software) şi utilizator

recunoaşterea vocală – speech recognition



2.0


a se vedea suport pentru voice recognitiondin Mac OS X sau Windows Vista/7



2.0


Persona = personalitatea interfeței vocale determinată de utilizatori pe baza comportamentului interfeței

(Susan Hura, 2008)

percepțiile utilizatorilor relative la VUI sunt fragilelipsa încrederii



2.0


utilizatorul interacționează preponderent via prompts

ceea ce prezintă interfața vocală

“Salut, ai la dispoziție următoarele opțiuni…”



2.0


necesitatea marcatorilor de discurs (discourse markers) pentru a desemna:

confirmarea – “da, desigur”, “în regulă”schimbarea subiectului de discuție – “în altă ordine de idei…”intensificarea/reamintirea unei afirmații – “precum ziceam”

secvențe narative – “pentru început”, “apoi” etc.



2.0


probleme:lipsa conciziei



2.0


lipsa conciziei – exemplificare:

“I can help you with the following five options.You can interrupt me and speak your choice at any time. Please select one of the following: sign up for new service, add features to my service, move my existing service,

problems with my satellite service, or ask a billing question.”



2.0


probleme:tratarea inefectivă a erorilor

“I’m sorry. I did not understand your response.I can help you with the following five options…”

inducerea sentimentului de culpabilitate utilizatorului



2.0


probleme:sporirea inconfortului utilizatorului

“Please say or enter your account number!”

utilizatorul nu e în postura de a controla interfața



2.0


probleme:utilizarea repetitivă a aceluiaşi mesaj

“Attention! I don’t understand! Please, say the correct answer!...Attention! I don’t understand! Please, say the correct answer!...Attention! I don’t understand! Please, say the correct answer!...”



2.0


recunoaşterea automată a vorbirii (Cohen et al., 2004)



2.0


utilizări majore:interacțiune via telefon

dictarecontrol vocal la nivelul desktop‐ului/navigatorului Webcomandă în contextul dispozitivelor, automobilelor etc.



2.0


reguli de proiectare

present menu options in a waythat makes them comprehensible and easy to retain



2.0



consider error sources when writing error‐handling prompts



2.0



provide context

VUI: You can say: account balances, last contribution, transfers, allocations, or life insurance.

User: Transfers.VUI: Transfers. You can say: hear pending transfers or make a transfer.



2.0



use hints and reminders

“Next time, you can say ‘order status’ at the main menuto get here quicker.”

“You can speak your account number or key it in.”



2.0



favor models over instructions

învățarea via exemple



2.0



use discourse markers liberally

folosirea în conversație a unor expresiiprecum “all right”, “next”, “thanks”,…



2.0



allow for conversational repair



2.0



be careful with terminology



2.0


studiu de caz

Google Voice Local Search

www.google.com/goog411/



2.0


a se consulta şi Speech Technology Magazine

www.speechtechmag.com



2.0

Tangible interaction



2.0

Tangible interfacesoferă formă fizică informației digitale

Hiroshi Ishii, 2008

informațiile digitale pot fi percepute & manipulate direct



2.0

Tangible interfaces

componente‐cheie:control – permite utilizatorilor să manipuleze informațiileexternal representations – percepute via simțuri umane



2.0



2.0

Tangible interfaces

aliniate şablonului de proiectare MVC (Model View Controller)

Model = informația digitalăView = reprezentări tangibile + intangibile

Controller = componenta de control (procesare)



2.0



2.0

Pentru alte detalii, a se consulta:

P. Kortum (Ed.), HCI Beyond the GUI. Design for Haptic, Speech, Olfactory,

and Other Nontraditional Interfaces, Elsevier, 2008

www.beyondthegui.com



2.0



2.0

Procesarea a două/mai multe mijloace de intrare – bazată pe voce, gesturi, simț tactil etc. – într‐o manieră coordonată în vederea obținerii unui output complex

(e.g., multimedia, 3D) sau a execuției unui task

Sharon Oviatt, 2008Paulo Barthelmess & Sharon Oviatt, 2008



2.0



2.0

Are loc în diverse contexte de la interfețe mobilepână la cele colaborative

avantaje:reducerea erorilor prin dezambiguizare mutuală

creşterea performanței în operare

utilizare în contextul realității virtuale/îmbogățite



2.0

Probleme/preocupări:factorii lingvistici

redundanța & complementaritateaalegerea de inputmultimodal/unimodal

influența încărcării cognitive



2.0

Studiu de caz: chioşcurile informaționale



2.0

The most profound technologies are those that disappear.They weave themselves into the fabric of everyday life

until they are indistinguishable from it.

Mark Weiser, “The computer for the 21st Century”, Scientific American, 265 (3), 1991



2.0

considerații privind emoțiainteracțiuni neconvenționale & multimodale



2.0

dr. sabin corneliu buraga - profs.info.uaic.robusaco/teach/courses/interfaces/... · gesturi,...

Documents