interaktiotavat lauri savioja ja marko nieminen teknillinen korkeakoulu [email protected]

Interaktiotavat / 1

Interaktiotavat

Lauri Savioja ja Marko Nieminen

Teknillinen korkeakoulu

[email protected]://www.tml.hut.fi/~las

Interaktiotavat / 2

Motivaatio

• Käyttäjän ja tietokoneen välinen tiedonsiirtokaista liian kapea

• Tietokoneen tahto vs. käyttäjän tahto

Interaktiotavat / 3

Jokamiehen vuorovaikutustekniikka?

http://www.cs.umd.edu/class/fall1999/cmsc434-0201/d-history/sld008.htm

Interaktiotavat / 4

Vuorovaikutus tietokoneen kanssa

• Komentorivi

– Vaikea oppia– Tehokas harjaantuneille käyttäjille– Säännölliseen käyttöön

• Menut

– Helppo oppia – Hidastaa kokeneita käyttäjiä– Sopii kaikille käyttäjille, jos on mahdollista tehdä valinnat

myös näppäimistöltä

Interaktiotavat / 5

Vuorovaikutus tietokoneen kanssa(2)

• Suora manipulointi– Suhteellisen helppo oppia – Sopii kaikille käyttäjille yhdistettynä muihin tekniikoihin

• Lomakkeet– Lomake, jossa vapaita tekstikenttiä, ”radio-button”-valintoja,

menuja, jne.

• Luonnollinen kieli– Tekniikka rajoittaa

Interaktiotavat / 6

HCI I/O Research• Research in the field of input/output for human-computer

interaction centers around the two ends of the communication channel:

1. The devices and techniques computers can use for communicating with people

2. The perceptual abilities, processes, and organs people can use for communicating with computers.

• The goal of research is to invent and study new paradigms for interaction that provide increased human-computer communication bandwidth in media and styles that are well matched to and driven by human capabilities

• gadget-driven -> human-drivenInteraction Styles and Input/Output Devices (Jacob & al.)

http://www.eecs.tufts.edu/~jacob/papers/bit.txt

Interaktiotavat / 7

Multimodaalinen vuorovaikutus

• Syöttö– Kirjoittaminen, osoittaminen– Puhuminen– Katsominen– Kontekstin tunnistus

– Ajatteleminen– Asenne, tuntemukset, suhtautuminen:

• pupillin laajuus, ihon sähkönjohtokyky

Interaktiotavat / 8

Multimodaalinen vuorovaikutus (2)

• Tulostus– Näkeminen

• näytöt, kirjoittimet– Kuuleminen

• puhe, äänet– Tunteminen

• haptinen palaute, ”force feedback”– Haistaminen

• tuoksusyntetisaattorit– Maku

• ?

Interaktiotavat / 9

Syöttötavat

Interaktiotavat / 10

ReikäkortitHerman Hollerith 1890

http://www.rdrop.com/~jimw/ibm029~3.jpg

http://www.simonsays.com/titles/0684812010/cards.html


Kirjoittaminen

http://www.rdrop.com/~jimw/asr38.jpg

”Teletype”-paperipääte

merkki/rivi-pohjaisine käyttö-liittymineen


Näppäimistöt: QWERTY

• Yleisin näppäimistö (edelleen!)– teknisesti erilaisia, lisä- ja erikoisnäppäimiä tullut mukaan

• Näppäimistön perusajatus 1870-luvulla oli järjestää heilurivasarakoneessa englannin kielessä useimmin käytetyt kirjaimet mahdollisimman kauas toisistaan, jotta estetään mekaaniset jumiutumistilanteet. Syy on sittemmin poistunut, mutta näppäinasettelu on jäänyt.

• Muita näppäimistöjä: Dvorak (25% nopeampi)

• Kansallisia ja kansainvälisiä näppäimistö-standardeja käsitellään ISO/IEC/JTC1/ SC35/WG1:ssä


Kirjoittaminen: Chord, T9, erikoisnäppäimistöt

• Chord: Engelbart 1968– Yhdellä kädellä käytettävä näppäimistö, jossa painamalla

yhtä tai useita näppäimiä samanaikaisesti saadaan aikaan kirjoitusmerkkejä, kuitenkin vaikea oppia

• Numeronäppäimet / T9– Yhdellä kädellä käytettävä matkapuhelinten kielisidonnainen

ennakoiva tekstinsyöttö

• Erikoisnäppäimistöt– teollisuussovellukset


Kädet

• Diskreetti vs. jatkuva syöte

– lineaarinen liike ja kierto– absoluuttinen ja suhteellinen liike– Paikka ja voima– 1D, 2D, 3D– Suora ja epäsuora kontrolli– Paikka vs. nopeus


Osoittaminen

• ”Point and shoot”• Epäsuora

– Hiiri• Engelbart/NLS 1968, Xerox Alto 1975, Macintosh 1982,

Windows 1988– ohjauslevy, tappihiiri (kannettavat), ohjauspallo

(teollisuussovellukset) – grafiikkataso, ”digitointialusta”– joystick

• Suora– Valokynä– Kosketusnäyttö


Jalat?

• Onko jaloilla käyttöä? Speden Speleissä ainakin on.• Nintendo 1988: PowerPad• Rallipelien polkimet. Miten tietokonetta ajettaisiin?• Jaloille täydentäviä/vaihtoehtoisia toimintoja, eivät

välttämättä korvaa muita välineitä. Mitä jaloilla voisi tehdä?

• Jalkahiiri• ”Myyrä” (hiiren korvike: Pearson & Weiser CHI’88)


Puheentunnistus

• Puheentunnistus– Kun kädet eivät käytettävissä, ”erityistilanteet”– Vaatimuksena prosessointitehon kasvu– Nykyään henkilökohtainen, jatkossa geneerinen– Ensimmäiset nipin napin käyttökelpoiset sovellukset

tuloillaan• Philips FreeSpeech, DragonSystems/Lernout & Hauspie,

IBM ViaVoice

• Sanojentunnistus– Sovellusaluekohtaiset erityissovellukset– Rajatut sanastot, ”komentokieli”


Kirjoittaminen

http://www.pegatech.com/pencell_dwn.html

PenCell

allows the user to send Emails, transmit Faxes, create SMS and enter free hand drawings and text into it’s own memory or into the phone’s storage. The captured data can also be stored and manipulated at later convenience.

Pegasus Cellular Handwriting Technology consists of a specially designed pen and receiving and processing unit. Pegasus is offering two configurations for the use of this technology;

The embedded solution, where the miniature receiving unit can be embedded into any cellular phone regardless of size.

The Accessory solution, where the product can be connected to any cellular phone and script can be initiated on any standard piece of paper. This solution may be wireless using IrDA or Bluetooth.


Kirjoittaminen

ThinkPad TransNoteCombining a mobile computer with a digital notepad, the ThinkPad TransNote™ helps highly mobile users integrate paper-based information into the digital workspace efficiently—and turns heads with its stylish and flexible portfolio design.


Ilmeet ja eleet

• Käyttäjän katseen seuranta

• Asennon ja paikan tunnistus


Tulostustavat


Näyttö

• Eri kokoja sovellus-alueittain

• CRT• Nestekide• Seinä/taulu: videotykki• Moniruutu


Kirjoittimet

• Historia: reikänauhat, paperipäätteet• Rivikirjoittimet, kiekkokirjoittimet• Matriisikirjoittimet

– jatkolomakkeet, itsejäljentävä paperi

• Laserkirjoittimet• Mustesuihkukirjoittimet• Piirturit


Puhe ja ääni• Kun näköaisti ”tukossa” tai ei

käytettävissä• Tallennettu puhe ja ääni arkipäivää

– Junien lähtö- ja saapumisajat

• Puhesynteesi– elektroniikkalaitteiden ilmoitukset,

”autostasi loppuu bensa” voi viedä kuljettajan ojaankin!

• Musiikki: virheilmoitukset, soittoäänet• Ambientti äänimaailma


ARKola: ”Listening to the Plant”• Auditory icons (”earcons”)

– Useful in multiprocessing or collaborative systems: no focus needed for auditory feedback

• ARKola bottling plant simulation (ARK: Alternate Reality Kit)• Simulation of the sounds of the real machines

– Heater: blowtorch, bottle dispenser: clanking bottles– Rhythm according to the state of the machine

• Auditory cues helped participants monitor the status of ongoing processes– Overall listening: ”Everything sounds right, doesn’t it?”

• Problems also– urgency of alarm sounds: breaking bottle compelling, some other

alarms and process sounds not sufficiently discriminable• ”We were impressed with the speed with which users learned

the meaning and functions of this quite complex system of sounds”


Tutkimusta TKK:lla

• Experimental Virtual Environment, EVE– kolme seinää ja lattia– stereokuva – paikannus

• Navigointi


3D-interkatio: Eleet

• Paikannus– magneettinen– ääneen perustuva– kuvaan perustuva

• TKK/DIVA– virtuaaliorkesteri


Tulevaisuus


Issues in HCI Interaction Research

• Three-dimensional pointing and manipulation• Stereo display in conjunction with three-dimensional

manipulation• General gesture input• Simultaneous two-hand input• Virtual input devices• Speech, Non-speech audio output for ’visualizing’

data• Eye input


Nyt ja tulevaisuudessa

• ”Luonnollinen kommunikointi” prosessointitehon kehittyessä– käsin kirjoittaminen, puhe, katse, eleet

• Todennäköisyyteen perustuva vuorovaikutus (”Probabilistic inputs”)– ”a probability vector rather than a single token for a user

input” (Jacob & al.)

• Uudet tekniikat, ”mediakonvergenssi”– uudet kännykät, multimediapäätteet, taittuvat näytöt

• Suora vuorovaikutus: neuronien tilan mittaaminen ja muokkaaminen?


”Ubi”

• ”Ubiquitous computing & interaction”– vuorovaikutusvälineet integroituvat

ympäröivään maailmaan, vaatteisiin, välineisiin, toimilaitteisiin, tiloihin

– Reima Clothing


Toimintatilan tunnistaminen

• Toimintaympäristö– aktiivinen ympäristö pystyy ilmaisemaan tilan ja tilanteen,

jossa ollaan– vuorovaikutus voi tapahtua myös toimintatilassa olevien

muiden välineiden kautta

• Käyttäjän tila– fysiologinen– emotionaalinen


Ajatusten voimalla?

• Mittausmenetelmien kehittyessä voidaan päästä jopa pelkkien ajatusten voimalla tapahtuvaan vuorovaikutukseen


Lähteet• Computer History Web Gallery:

http://www.csis.american.edu/museum/HOC_Class/html/GALLERY.HTM

• Gaver, Smith & O’Shea 1991: Effective Sounds in Complex Systems: The ARKola simulation, Proceedings of CHI '91

• R.J.K. Jacob, J.J. Leggett, B.A. Myers, and R. Pausch, "Interaction Styles and Input/Output Devices," Behaviour and Information Technology, vol. 12, no. 2, pp. 69-79, 1993; http://www.eecs.tufts.edu/~jacob/papers/bit.txt

• Kuutti, K. Luentokalvot 2000.• Pakkanen, T. Feet in GUI

http://www.cs.uta.fi/~rr/interact/Feet_files/frame.htm

interaktiotavat lauri savioja ja marko nieminen teknillinen korkeakoulu [email protected]

Documents