Technicka univerzita v KosiciachFakulta elektrotechniky a informatiky

Moderne pouzıvatel’ske rozhrania prevyvoj softveru zalozene na pozorovanı

pouzıvatel’a

Diplomova praca

2015 Lukas Galko

Technicka univerzita v KosiciachFakulta elektrotechniky a informatiky

Moderne pouzıvatel’ske rozhrania prevyvoj softveru zalozene na pozorovanı

pouzıvatel’a

Diplomova praca

Studijny program: Informatika

Studijny odbor: 9.2.1 Informatika

Skoliace pracovisko: Katedra pocıtacov a informatiky (KPI)

Skolitel’: doc. Ing. Jaroslav Poruban, PhD.

Konzultant:

Kosice 2015 Lukas Galko

Abstrakt v SJ

Diplomova praca prezentuje interakciu clovek-pocıtac v pouzıvatel’skych rozhraniach

za pomoci pozorovania pouzıvatel’a v pracovnom prostredı s dvoma monitormi. Ob-

jektom skumania prace su rozne sposoby sledovania akciı pouzıvatel’a. Nasledne sa

aplikoval sposob vyvolania reakcie na akciu pouzıvatel’a zaznamenanu zariadenım

kinect. Prva kapitola uvadza zakladne sposoby sledovania akciı hlavy pouzıvatel’a.

Najskor je prezentovane sledovanie aktivity v l’udskom mozgu pomocou magne-

tickej rezonancie. Vel’ka cast’ analyzy sa venuje systemom sledujucim natocenie a

pozıciu ocı pouzıvatel’a za ucelom urcit’ bod pohl’adu pouzıvatel’a na monitore. V

zavere kapitoly su predstavene viacmonitorove prostredia, zariadenie kinect a sle-

dovanie tvare pouzıvatel’a. V d’alsej kapitole su charakterizovane sposoby vyuzitia

rozpoznavanych akciı spolu s prezentovanım prıpadnych t’azkostı s vyuzitım tychto

sposobov. Zaverecna kapitola predstavuje vytvoreny system sledujuci pouzıvatel’a a

vykonavajuci pozadovane reakcie. Praca ukazuje na uzitocnost’ dynamickych reakciı,

najma v spojenı s aktivaciou okien na sledovanom monitore. Z hl’adiska vseobecnej

implementacie systemu je ho mozne aplikovat’ pre l’ubovol’nu pracovnu domenu.

Kl’ucove slova

Interakcia clovek-pocıtac, prostredie s viacerymi monitormi, sledovanie pohl’adu oka,

pouzıvatel’ske rozhrania, zariadenie kinect

Abstrakt v AJ

This diploma thesis presents human-computer interaction in user interfaces with use

of observing the user in work environment with two monitors. Thesis reviews various

approaches of observing user. Thereafter an approach is used to invoke reaction on

user action, which is recorded by kinect device. First chapter declares basic appro-

aches to observe actions of users’ head. Firstly monitoring of actions inside human

brain by use of magnetic resonance is shown. Most of the analysis is dedicated to

systems observing rotation and position of users’ eyes to calculate users’ point of

regard on monitor. In the end of the chapter multimonitor work environments, ki-

nect device and observation of user face is shown. Next chapter of thesis describes

methods of use of the recognized user action. Thereafter possible difficulties of these

methods are shown. Last chapter presents created system, which executes reactions

based on recognized actions of user. Thesis shows usefulness of dynamic reactions,

mostly in connection with activation of program window on watched monitor. Versa-

tility of system implementation allows system to be applicated for any work domain.

Kl’ucove slova v AJ

Human-computer interaction, multi-display environments, eye gaze tracking, user

interfaces, kinect device

Cestne vyhlasenie

Vyhlasujem, ze som diplomovu pracu vypracoval(a) samostatne s pouzitım uvedenej

odbornej literatury.

Kosice 11. 4. 2015 . . . . . . . . . . . . . . . . . . . . . . . . . . .

Vlastnorucny podpis

Pod’akovanie

Na tomto mieste chcem pod’akovat’ veducemu diplomovej prace doc. Ing. Jaroslavovi

Porubanovi, PhD. za jeho odbornu pomoc, konzultacie a usmernovanie pri vypra-

covanı tejto diplomovej prace.

Predhovor

V sucasnosti stupa pocet pracovnych prostredı s viac ako jednym monitorom. Ked’

potrebuje pouzıvatel’ vykonat’ akciu na aktualne nepouzıvanom monitore, musı pre-

sunut’ ruku z klavesnice na pocıtacovu mys, premiestnit’ kurzor na nepouzıvany mo-

nitor, vykonat’ na nom cinnost’ a pomocou mysi musı znovu aktivovat’ hlavne okno,

v ktorom pracuje na hlavnom monitore. Tento fakt poklada do popredia otazku, ako

by mohol pouzıvatel’ komunikovat’ s pracovnym prostredım jednoduchsie a prirodze-

nejsie.

Zaverecna praca sa venuje takymto prostrediam a sposobu vyuzitia aktivity pouzıvate-

l’a pri praci s tymito prostrediami. Komfort l’udı ma dolezitu ulohu pre ich efektivitu

a spokojnost’. Pracovne prostredie s viacerymi monitormi zvysuje efektivitu prace

pouzıvatel’a, avsak za cenu potreby vykonavat’ akcie na oboch monitoroch.

Pracovne prostredie je dolezite pre kazdeho pouzıvatel’a. V prıpade programatorov

je najdolezitejsou sucast’ou ich pracovneho prostredia pocıtacovy system. Ked’ sa

pouzıvatel’ovi poskytne prıjemnejsie pracovne prostredie, je zlepsena jeho psychicka

kondıcia, ktora je dolezita pre jeho zdravie.

Praca poukazuje na moznost’ vyuzitia akciı pouzıvatel’a, ktore v pracovnom pro-

stredı s pocıtacovym systemom vykonava. Jednoducha aktivacia okna programu

pri pohl’ade z jedneho na druhy monitor poskytuje pouzıvatel’ovi nenahraditel’ny

komfort. Pracovne prostredia silno podliehaju pracovnemu zameraniu. Pri vyvoji si

treba tuto skutocnost’ uvedomit’ a poskytnut’ pouzıvatel’ovi rozhranie, ktorym moze

system prisposobit’ pre svoje potreby. Dolezitym faktorom je zaroven neobmedzova-

nie pouzıvatel’a, aby mohol pracovat’ pre neho prirodzenym sposobom.

Ciel’om prace je poskytnut’ system, ktory je mozne prisposobit’ podl’a pozadovanej

domeny, ktory neobmedzuje pouzıvatel’a a ktoreho pouzitie je prirodzene.

Obsah

Uvod 1

1 Formulacia ulohy 3

2 Systemy analyzy l’udskej tvare v spojenı s modernymi pouzıvatel’skymi

rozhraniami 4

2.1 Systemy nahradzujuce klavesnicu - systemy sledovania aktivity v mozgu 4

2.2 Systemy nahradenia mysi – systemy rozpoznania polohy a pohl’adu oka 5

2.3 Systemy urcovania polohy pohl’adu . . . . . . . . . . . . . . . . . . . 8

2.3.1 Technologie zalozene na odrazenom svetle . . . . . . . . . . . 9

2.3.2 Technologie zalozene na elektrickom potencialy koze . . . . . . 15

2.3.3 Technologie zalozene na kontaktnych sosovkach . . . . . . . . 16

2.3.4 Zhrnutie a porovnanie technologiı eye gaze tracking . . . . . . 16

2.4 Idealny eye gaze tracking system . . . . . . . . . . . . . . . . . . . . 18

2.5 Viacmonitorove zariadenia a sledovanie pohl’adu . . . . . . . . . . . . 19

2.6 Zariadenie kinect a interakcia so systemom . . . . . . . . . . . . . . . 23

2.7 Interakcia so systemom pomocou spicky nosa . . . . . . . . . . . . . . 25

3 Systemy sledovania pohl’adu a interaktıvne aplikacie 27

3.1 Vyberove systemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.1.1 Problem midasovho dotyku . . . . . . . . . . . . . . . . . . . 28

3.1.2 Akceleracia kurzora mysi . . . . . . . . . . . . . . . . . . . . . 29

3.1.3 Pouzitie vyberovych systemov . . . . . . . . . . . . . . . . . . 29

3.2 Kinect a interakcia so systemom . . . . . . . . . . . . . . . . . . . . . 30

3.2.1 Mapa tvare . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.2.2 Kinect a prostredie s viacerymi monitormi . . . . . . . . . . . 34

4 System interakcie s pocıtacovym systemom na zaklade snımania

aktivity pouzıvatel’a 35

4.1 Poziadavky na strukturu systemu . . . . . . . . . . . . . . . . . . . . 35

4.1.1 Urcenie bodov mapy tvare potrebnych pre vypocty . . . . . . 35

4.1.2 Urcenie sposobu zaznamenania akciı . . . . . . . . . . . . . . 37

4.1.3 Urcenie sposobu definovania reakcie . . . . . . . . . . . . . . . 38

4.1.4 Urcenie sposobu vykonania reakcie . . . . . . . . . . . . . . . 38

4.1.5 Dodatocne poziadavky na system . . . . . . . . . . . . . . . . 39

4.2 Vytvoreny system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.2.1 Diagram komponentov systemu . . . . . . . . . . . . . . . . . 41

4.2.2 Vyber vizualizacie castı mapy tvare . . . . . . . . . . . . . . . 42

4.2.3 Nastavenia systemu . . . . . . . . . . . . . . . . . . . . . . . . 43

4.2.4 Kalibracia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.2.5 Vypocet odhadovanej polohy pohl’adu na monitore . . . . . . 44

4.2.6 Urcenie rozlısenia pohl’adu na hlavny a vedl’ajsı monitor . . . . 46

4.2.7 Nastavenie odosielanych prıkazov spojenych s aktivitou pouzıvatel’a 48

4.2.8 Zaznamenanie akcie pouzıvatel’a . . . . . . . . . . . . . . . . . 50

4.2.9 Okno informaciami o systeme . . . . . . . . . . . . . . . . . . 51

4.2.10 Spustenie a zastavenie vyuzitia polohy pohl’adu a akcie pouzıvatel’a 51

4.2.11 Prıstup k jednotlivym castiam systemu . . . . . . . . . . . . . 52

4.3 Pouzıvanie systemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

4.4 Moznosti buduceho rozsırenia . . . . . . . . . . . . . . . . . . . . . . 54

4.4.1 Rozsırenie pre viacero monitorov . . . . . . . . . . . . . . . . 55

4.4.2 Rozsırenie pre multimonitory . . . . . . . . . . . . . . . . . . 55

4.4.3 Generalizacia okien . . . . . . . . . . . . . . . . . . . . . . . . 56

4.4.4 Prepojenie s kamerou pre snımanie pohybu ocı . . . . . . . . . 56

4.5 Technicke parametre zariadenia Kinect . . . . . . . . . . . . . . . . . 58

4.6 System vypoctu polohy v praxi . . . . . . . . . . . . . . . . . . . . . 58

4.6.1 Zaznamenavane trvanie pohl’adu . . . . . . . . . . . . . . . . . 59

4.6.2 Prepisovanie textu . . . . . . . . . . . . . . . . . . . . . . . . 62

4.6.3 Pouzitie systemu pri vyvoji softveru . . . . . . . . . . . . . . . 66

5 Zaver 69

Zoznam pouzitej literatury 70

Zoznam obrazkov

2 – 1 Mind Reader . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 – 2 Rozpoznanie duhovky . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 – 3 Stavba l’udskeho oka . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2 – 4 Purkyneho obrazy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2 – 5 Zrenicka osvetlena zvnutra fotoaparatom s bleskom . . . . . . . . . . 12

2 – 6 Obrazok tmavej A) a ziarivej zrenicky B) . . . . . . . . . . . . . . . . 13

2 – 7 System vzt’ahu odrazu zrenicky a rohovky . . . . . . . . . . . . . . . 13

2 – 8 Odlesk svetelneho luca pouzitım Gullstrandoveho modelu oka . . . . 14

2 – 9 Obrazok oka pre neuronovu siet’ . . . . . . . . . . . . . . . . . . . . . 15

2 – 10Prostredie s viacerymi monitormi . . . . . . . . . . . . . . . . . . . . 20

2 – 11Multimonitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2 – 12Prostredie z viacerymi monitormi snımane jednou kamerou . . . . . . 21

2 – 13Prıklad A) oznacenia monitorov IR diodami; B) vysledok rozoznania

monitorov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2 – 14Vzajomne posunutie bodu pohl’adu a bodu osi nosa . . . . . . . . . . 24

2 – 15Snımanie spicky nosa . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3 – 1 Duchowskeho hierarchia systemov sledovania oka . . . . . . . . . . . 27

3 – 2 Mapa tvare: A) kompletna a B) mapa ocı, nosa a ust . . . . . . . . . 32

4 – 1 Hlavne okno systemu vypoctu polohy pohl’adu . . . . . . . . . . . . . 41

4 – 2 Vizualizovana mapa tvare: A) vsetky casti a B) oci, nos a usta . . . . 42

4 – 3 Zaujımave body pre vypocet polohy pohl’adu . . . . . . . . . . . . . . 45

4 – 4 System prepoctu odhadovaneho bodu pohl’adu . . . . . . . . . . . . . 46

4 – 5 Osem bodov urcujucich nos pouzıvatel’a . . . . . . . . . . . . . . . . . 47

4 – 6 Zmena vzdialenosti bodov nosa pri natocenı hlavy . . . . . . . . . . . 48

4 – 7 Okno nastavenia odosielanych prıkazov . . . . . . . . . . . . . . . . . 50

4 – 8 Hlavne okno systemu vypoctu polohy pohl’adu . . . . . . . . . . . . . 54

4 – 9 Percentualne zastupenie casu sledovania monitorov . . . . . . . . . . 60

4 – 10Priemerny cas sledovania monitorov . . . . . . . . . . . . . . . . . . . 61

4 – 11Najdlhsı cas sledovania monitorov . . . . . . . . . . . . . . . . . . . . 62

4 – 12Percentualne zastupenie casu sledovania monitorov pri prepisovanı . . 63

4 – 13Priemerny cas sledovania monitorov pri prepisovanı . . . . . . . . . . 64

4 – 14Najdlhsı cas sledovania monitorov pri prepisovanı . . . . . . . . . . . 64

4 – 15Prıkazy v prostredı Visual Studion . . . . . . . . . . . . . . . . . . . 67

Zoznam tabuliek

2 – 1 Porovnanie systemov eye gaze tracking . . . . . . . . . . . . . . . . . 17

3 – 1 Animacne jednotky . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Zoznam symbolov a skratiek

ANN Artifical Neuron Network - umela neuronova siet’

ET Eye Tracking - sledovanie oka

fMRI Functional Magnetic Resonance Imaging - funkcna magneticka rezonancia

GT Gaze Tracking - sledovanie pohl’adu

LoG Line of Gaze - lınia pohl’adu

LoS Line of Sight - lınia dohl’adu

MRS Mind Reading System - system cıtania mysle

POR Point Of Regard - bod pohl’adu

REGT Remote Eye Gaze Tracker - odl’ahly system sledovania pohl’adu

SDK Software Development Kit - nastroje na vyvoj softveru

UI User Interface - pouzıvatel’ske rozhranie

VR Virtual reality - virtualna realita

FEI KPI

Uvod

Pri praci s pouzıvatel’skymi rozhraniami hra vel’ku ulohu znalost’ rozhrania. Pouzıva-

tel’ sa v prostredı orientuje tym lepsie, cım dlhsie ho pouzıva. Niektore akcie v

pouzıvatel’skych rozhraniach su vsak stale zdlhave. V sucasnosti sa objavuju pra-

covne prostredia s dvoma monitormi. Jednou z akciı, ktora je typicka pri praci s

pocıtacovym systemom je prepınanie medzi oknami. Obvykle jedno okno pracovneho

prostredia predstavuje pracovny priestor, zatial’ co zvysne predstavuju prıstup k

urcitym informaciam. Vykonavanie roznych akciı, ktore sa zadavaju pomocou pocıta-

covej mysi alebo klavesovych skratiek, vyzaduje pouzitie ruk pouzıvatel’a v pracov-

nom prostredı.

Zostavene riesenie predstavuje rozhranie pre definovanie reakciı na akcie pouzıvatel’a.

Hlavnou ulohou systemu je ul’ahcit’ pouzıvatel’ovi pracu s pocıtacom. System vyuzıva

zariadenie kinect pre snımanie akcie pouzıvatel’a. V sucasnosti su systemy vyuzıvajuce

snımanie tvare pouzıvatel’a zamerane na snımanie ocı pouzıvatel’a a vypocet polohy

pohl’adu na monitore. Tato poloha je nasledne vyuzita ako nahrada pocıtacovej mysi.

System reakciı na akcie pouzıvatel’a hl’ada odlisny sposob vyuzitia polohy pohl’adu

pouzıvatel’a. Pozicny vstup do pocıtacoveho systemu je ponechany pocıtacovej mysi,

system vyuzıva polohu pohl’adu na vykonanie osobitnych prıkazov. Tieto prıkazy

su strukturovane vo forme postupnosti klaves klavesnice, a teda sa vyuzıvaju pre

vykonanie klavesovej skratky v okne beziaceho programu, pre ktore bola definovana

reakcia na akciu pouzıvatel’a.

Vyvoj systemu presiel viacerymi etapami. V prvom rade sa zamysl’alo nad pouzitım

integrovanej kamery pocıtaca pre snımanie ocı a nasledny vypocet polohy pohl’adu

a jej vyuzitie ako pocıtacovy kurzor, takyto prıstup vsak zaprıcinil vznik obme-

dzenia pohybu hlavy pouzıvatel’a. V sucasnosti v tomto smere existuju viacere

riesenia. Pri zapojenı zariadenia kinect sa vyvoj systemu odlucil od smeru pouzitia

vypocıtavanej polohy pohl’adu ako pocıtacoveho kurzoru. Kinect umoznil vol’ny po-

1

FEI KPI

hyb tvare pouzıvatel’a. Zakladna myslienka bola definovat’ rozne cinnosti priamo

do systemu. Zariadenie kinect odstranilo obmedzenie pohybu hlavy pouzıvatel’a,

avsak pri statickom definovanı akciı vznika obmedzenie pouzitel’nosti systemu. To

viedlo k definıcii dynamickeho prostredia pre definıciu reakciı na akcie pouzıvatel’a.

Vysledkom je teda system, ktory neobmedzuje pohyb hlavy pouzıvatel’a a zaroven

poskytuje pouzıvatel’ovi vol’nost’ pouzitia.

2

FEI KPI

1 Formulacia ulohy

Ciel’om tejto diplomovej prace je preskumat’ moderne princıpy pri interakcii medzi

clovekom a pocıtacom. Pri skumanı tychto prvkov je dolezite zamerat’ sa na pouzitie

zariadenı snımajucich cinnost’ pouzıvatel’a v pracovnom prostredı s viacerymi mo-

nitormi. System ma byt’ schopny na zaklade vstupu zo zariadenia kinect odhadnut’

polohu pohl’adu pouzıvatel’a na monitore a nasledne tuto polohu spolu s d’alsımi uda-

lost’ami, ako naprıklad zmena polohy pohl’adu a trvanie pohl’adu, pouzit’ pri interak-

cii s pocıtacovym systemom. Pri navrhu treba dbat’ na vsetky vplyvy ovplyvnujuce

takuto komunikaciu so systemom, ako naprıklad otacanie hlavy a pouzitie pohl’adu

pre zıskanie informaciı v pracovnom prostredı.

K dosiahnutiu vytyceneho ciel’u vedie nasledujuca postupnost’ krokov:

• Oboznamit’ sa s modernymi prıstupmi k interakcii clovek-pocıtac.

• Oboznamenie sa s metodou sledovania aktivity pouzıvatel’a

• Navrhnut’ system odhadu polohy pohl’adu pouzıvatel’a a zapojenie zariadenia

kinect na snımanie aktivity hlavy pouzıvatel’a.

• Implementovat’ program pre komunikaciu s pocıtacovym systemom.

• Vyhodnotit’ funkcnost’ a efektivitu systemu a uviest’ nadobudnute vysledky.

3

FEI KPI

2 Systemy analyzy l’udskej tvare v spojenı s mo-

dernymi pouzıvatel’skymi rozhraniami

Prvym krokom pri praci na modernych pouzıvatel’skych rozhraniach je potreba uve-

domit’ si prıstup pouzıvatel’a k pouzıvatel’skemu rozhraniu pocıtaca. Zakladnym a

momentalne najefektıvnejsım prvkom pri praci s pocıtacom je klavesnica, ktora po-

skytuje jednoduchy, rychly a jednoznacny prıstup k pocıtacu. Pod jednoznacnym

prıstupom k pocıtacu rozumieme, ze ked’ pouzıvatel’ stlacı nejaku klavesu, chce aby

sa vykonala akcia spojena so stlacenou klavesou. Druhym zariadenım pouzıvanym

pri praci s pocıtacom je mys, ktora poskytuje presnu pozıciu v zobrazovacom pries-

tore pocıtaca. Pri skumanı modernych prıstupov k interakcii clovek-pocıtac potre-

bujeme nahradit’ tieto dva elementy alebo zahrnut’ d’alsı element, ktory sa s nimi

spaja a ponuka lepsiu a efektıvnejsiu pracu s pocıtacovym systemom.

2.1 Systemy nahradzujuce klavesnicu - systemy sledovania

aktivity v mozgu

Za najrychlejsie pracujuci organ l’udskeho tela mozeme povazovat’ mozog. Ak by sme

planovali nahradit’ klavesnicu, prıde nam prave mozog ako vhodne riesenie. To je

zaprıcinene tym, ze ked’ clovek pıse slovo vety pomocou klavesnice, uz ma v mysli

vacsinou ucelenu predstavu o d’alsom slove, ktore planuje napısat’, niekedy vsak ma

predstavu o stavbe celej vety. Ak by sme mali moznost’ sledovat’ myslienky cloveka,

tak by bolo mozne dosiahnut’ rychlost’ komunikacie medzi clovekom a pocıtacom

porovnatel’nu s rychlost’ou cinnosti l’udskeho mozgu. Mozog a aktivity v jeho vnutri

je v sucasnosti mozne sledovat’ niekol’kymi sposobmi. Jednym z tychto sposobov

je funkcna magneticka rezonancia. Taketo sledovanie spocıva v analyze hemodyna-

mickych reakciı v mozgu. Hemodynamicke reakcie predstavuju pohyb krvi vo vnutri

sivej hmoty mozgu.

4

FEI KPI

Na zaklade fMRI uz su navrhnute softverove riesenia, ktore sluzia na zadavanie

textu. Tento fakt vyuzıva naprıklad softver Mind Reader [1], ktory reakcie v mozgu

pouzıva na zadavanie textu. Funkcionalita softveru Mind Reader je zobrazena na

Obrazku 2 – 1. System spocıva v zapisovanı pısmen zaradom pomocou pouzıvatel’o-

vych myslienok. Kazde pısmeno odpoveda jednemu z 27 spol’ahlivych a jednoznacne

odlısitel’nych fMRI signalov. Tieto signaly odpovedaju myslienkovym obrazom, ktore

su spojene s kazdym pısmenom pomocou algoritmov pocıtacovej analyzy. V sucasnos-

ti je tento system pouzıvany pre pacientov s poruchami pohyboveho ustrojenstva.

Pri nastavenı systemu pacient sleduje pısmena na obrazovke, pricom myslı na nieco

po urcity cas. Hned’ po nastavenı je mozne okamzite zacat’ pısat’ v realnom case. Toto

pısanie vsak nie je ani z d’aleka take rychle, ako pısanie pomocou klavesnice, ked’ze

momentalne je pri takomto prıstupe mozne pısat’ len jeden znak za druhym. Moznost’

zapisovania textu, aj ked’ len vo forme pısmena po pısmene, je krokom vpred pri do-

siahnutı prirodzenej komunikacie medzi mozgom a pocıtacom. Ale ked’ze prıstroje

fMRI su obrovske a klavesnica je zatial’ omnoho efektıvnejsia ako doposial’ vyvinute

metody, nemozeme ocakavat’ nahradenie klavesnice tymto sposobom v najblizsıch

rokoch.

2.2 Systemy nahradenia mysi – systemy rozpoznania polohy

a pohl’adu oka

Pri zamyslenı sa nad najrychlejsım organom l’udskeho tela – mozgom, je potrebne

si uvedomit’, ze vsetky organy l’udskeho tela su v podstate rychlejsie, ako nastroje

poskytujuce komunikaciu s pocıtacom. Ako bolo uvedene v predchadzajucej kapi-

tole 2.1, klavesnicu nie je momentalne mozne nahradit’ systemom zaznamenavajucim

aktivitu v mozgu. Prıstroj, ktory je vsak znacne pouzıvany a je relatıvne l’ahko nahra-

ditel’ny, je pocıtacova mys. Pocıtacova mys ma svoje prednosti. Jednou prednost’ou

mysi je to, ze v kazdom casovom okamihu presne urcuje pohyb kurzora. Druhou

5

FEI KPI

Obr. 2 – 1 Mind Reader

Pramen: Scientists Invent Mind-Reading System That Lets You Type With Your

Brain [1]

prednost’ou mysi je moznost’ rozoznat’ vstup do pocıtaca pomocou tlacidiel mysi. Pri

praci s pocıtacovym systemom potrebujeme casto pomocou mysi dostat’ kurzor z

pozıcie A do pozıcie B respektıve zmenit’ aktıvny prvok (okno) monitora, co byva

casovo narocna operacia. Treba sa preto zamysliet’, cım by sa mys alebo niektore jej

cinnosti dali nahradit’.

Ked’ sa zamyslıme, ze pri premiestnovanı kurzoru na obrazovke na koncove miesto

uprieme pohl’ad, uvedomıme si, ze mozno prave pohl’ad by sa dal pouzit’ pri nahrade

mysi. V uvahu teda prıde myslienka, ako zaznamenat’ pohl’ad cloveka a ako vypocıtat’

presnu alebo prinajmensom pribliznu polohu, kam na obrazovku sa pouzıvatel’ po-

zera. V prvom kroku teda treba rozoznat’ vstup do systemu. Ked’ze nas zaujıma

6

FEI KPI

poloha ocı pouzıvatel’a, logickym vstupom do takychto systemov bude snımka tvare

pouzıvatel’a zıskana kamerou.

Softvery rozpoznavania ocı pouzıvatel’a na zaklade vstupu z kamery rozdelıme do

dvoch kategoriı, a to systemy rozpoznania duhovky (z anglictiny iris recognition) a

systemy urcovania pohl’adu (z anglictiny Eye Tracking resp. Gaze Tracking).

Systemy rozpoznania duhovky sluzia na rozpoznanie polohy oka na tvari (prirov-

nanım podobne ako Face Tracking rozpoznava tvare na obrazkoch). System rozpoz-

nania duhovky meria okrem pohybov oka aj ostatne udaje o oku, ako je naprıklad

sırka a zovretie zrenice, frekvencia zmurkania, rychlost’ oka a podobne. Udaje, ktore

takyto system poskytuje je nasledne mozne pouzit’ pre aplikacie, ktore zist’uju ospa-

lost’, urcuju rozne klinicke podmienky. Podl’a Daugmana [2] je najcastejsım sposobom,

akym su podobne systemy pouzıvane a s ktorymi sa najviac l’udı stretlo, rozpozna-

nie duhovky pri bezpecnostnej autorizacii. Tu si mozno predstavit’ priblizne tak, ako

je to mozne vidiet’ na Obrazku 2 – 2. Pri takejto autentifikacii kamera zosnıma oko

osoby a rozpoznane udaje porovna s autentifikacnymi udajmi. Nasledne autorizacny

system umoznı prıstup k zabezpecenemu prvku autorizovanej osobe.

Obr. 2 – 2 Rozpoznanie duhovky

Systemy ET (resp. GT; niekedy je ich mozne najst’ pod termınom Eye Gaze Trac-

king) sa casto oznacuju aj ako Point of Regard (PoR) estimation – v preklade odhad

7

FEI KPI

sledovaneho bodu. Tato metoda identifikuje objekty v zornom poli cloveka. Podl’a

Poola a Balla [3] tieto technologie potrebuju bud’ stabilizovanu hlavu, aby sa re-

latıvna poloha oka ku hlave a odhadovany sledovany bod zhodovali, alebo musia

byt’ vypocıtane d’alsie atributy, ktore beru do uvahy aj polohu hlavy a rotaciu oka.

Pre dosiahnutie maximalnej presnosti vypoctu PoR je teda potrebne brat’ do uvahy

pohyb a polohu celej hlavy, kamery a monitoru.

Ked’ze odhad PoR by mohol pomoct’ pri navrhu modernych pouzıvatel’skych ro-

zhranı, potrebujeme sa oboznamit’ zo zakladnymi metodami urcovania PoR. Pre

zlozitost’ vypoctov pri nestabilizovanej hlave su ukazane riesenia so stabilizovanou

hlavou.

2.3 Systemy urcovania polohy pohl’adu

Pri pouzıvanı systemov ET treba v prvom kroku rozobrat’ moznost’ snımania po-

lohy oka vzhl’adom ku monitoru a kamere a v druhom kroku je potrebne rozobrat’

techniku, ako zaznamenat’ oko, aby sme presne vedeli povedat’, kam sa pozera.

Pri urcovanı polohy PoR si potrebujeme uvedomit’ ako vnıma kamera oko. Kamera

zaznamenava cely obraz, ktory zobrazuje do dvojrozmerneho priestoru. Casti oka

na takomto dvojrozmernom obraze mozno rozlısit’ sposobom, ako je to zobrazene

na Obrazku 2 – 3. Mozeme vidiet’, ze system bude na zabere rozoznavat’ polohu

zrenicky vo vnutri duhovky a na zaklade tejto pozıcie bude urcovat’ PoR. L’udia maju

rozdielnu farbu duhovky, v prıpade tmavsej farby duhovky sa zvysuje narocnost’

rozlısenia duhovky a zrenicky.

Na zaklade Gullstrandoveho modelu oka [5] su priblizne rozmery oka udane na-

sledovnym sposobom: polomer l’udskeho oka je priblizne 12,19 mm a vyklenutie ro-

hovky ma polomer priblizne 7,08 mm. Samozrejme rozmery ocı roznych pouzıvatel’ov

sa od tychto hodnot odlisuju, ale rozdiely medzi pribliznymi a aktualnymi rozmermi

nebyvaju prılis vel’ke a preto su v systemoch ET pouzıvane priblizne hodnoty. Pre

8

FEI KPI

Obr. 2 – 3 Stavba l’udskeho oka

Pramen: Vnımanie svetla [4]

l’udske oko sme schopnı rozlısit’ dve zaznamenatel’ne lınie. Prvou je lınia pohl’adu (z

anglictiny Line of Gaze), ktora reprezentuje opticku os oka. Tato os je zostrojena ako

priamka spajajuca stred zrenicky a stred zadnej steny oka. Druhou je lınia dohl’adu

(z anglictiny Line of Sight), ktoru zıskame ako os medzi stredom zrenicky a zltou

skvrnou (z latinciny Fovea). Tato lınia prechadza bodom, na ktory sa clovek pozera

v priestore. Pomocou rozoznania LoS sa zıskava PoR ako priesecnık LoS s najblizsım

objektom sceny. Pri interakcii cloveka s pocıtacom je mozne za tento bod povazovat’

pixel monitora.

Glenstrup a Engell-Nielsen [6] rozdelili ET systemy do troch zakladnych kategoriı:

1. Technologie zalozene na odrazenom svetle

2. Technologie zalozene na elektrickom potencialy koze

3. Technologie zalozene na kontaktnych sosovkach

2.3.1 Technologie zalozene na odrazenom svetle

Technologie, ktore davaju najlepsie vysledky pri vypocte PoR, pouzıvaju odrazy

svetla od oka. Tieto technologie rozdelili Glenstrup a Engell-Nielsen [6] na:

1. Sledovanie vyvyseneho okraja oka

9

FEI KPI

2. Sledovanie zrenicky

3. Vzt’ah odrazu zrenicky a rohovky

4. Odraz zrenicky a obraz oka pri pouzitı umelej neuronovej siete

5. Sledovanie Purkyneho obrazov

Sledovanie vyvyseneho okraja oka

Vyvyseny okraj (z anglictiny Limbus) je hranica medzi ocnym bielkom a tmavou

duhovkou oka. Technologia sledovania vyvyseneho okraja oka pouzıva fakt, ze bielko

sa od duhovky da vizualne l’ahko odlısit’. Tato technologia pouzıva relatıvnu pozıciu

vyvyseneho okraja oka od hlavy a preto musı byt’ hlava stabilizovana, respektıve

musı byt’ zariadenie zafixovane na pouzıvatel’ovej hlave. Ocne bielko je vsak obvykle

viditel’ne len na stranach oka, vrch aj spodok je vacsinou zakryty vieckom, a teda

tato technologia je vyhodna len pre presne sledovanie horizontalneho pohybu oka.

Sledovanie zrenicky

System sledovania zrenicky je podobny systemu sledovania vyvyseneho okraja opısa-

neho v Kapitole 2.3.1, ale pri sledovanı zrenicky sa vyuzıva hranica medzi zrenickou

a duhovkou. Rovnako ako v predoslom prıpade je potrebne mat’ fixnu polohu hlavy

vzhl’adom ku kamere. Vyhodou tohto princıpu je moznost’ merania vertikalneho po-

hybu oka, z dovodu viditel’nosti celej duhovky a zrenicky. Ked’ze merana hranica

medzi zrenickou a duhovkou je ostrejsia ako tomu bolo v predoslom prıpade, posky-

tuje toto sledovanie vacsie rozlısenie. Nevyhodou tohto princıpu je vyssia narocnost’

rozlısenia hranice medzi duhovkou a zrenickou, ked’ze ich farba moze byt’ podobna,

predovsetkym v prıpade hnedej duhovky oka pouzıvatel’a.

10

FEI KPI

Vzt’ah odrazu zrenicky a rohovky

Tento princıp ET systemov pouzıva vypocty s odrazom infracerveneho svetla od ro-

hovky oka. Zdroje infracerveneho svetla vytvaraju svetelny infracerveny luc smerom

na oko, pricom je tento luc odrazany okom do kamery. Nasledne sa vypocıtava po-

loha zrenicky a bod odrazu svetelneho luca od rohovky oka. Infracerveny luc svetla

sa pouzıva z dovodu, ze ho pouzıvatel’ nevidı, a teda ho luc tohto svetla nijakym

sposobom nerusı. Obvykle sa pouzıva infracervene ziarenie s vlnovou dlzkou 880

nm. Odrazov infracerveneho ziarenia od jednotlivych vrstiev oka je niekol’ko. Jed-

notlive odrazy ako prvy zaznamenal cesky fyziolog, anatom, biolog, basnik a filozof

Jan Evangelista Purkyne [7], podl’a ktoreho su jednotlive odrazy pomenovane ako

Purkyneho obrazy(vid’ Obrazok 2 – 4).

Obr. 2 – 4 Purkyneho obrazy

Pramen: Committing Eye Tracking [8]

Pri systemoch ET pouzıvajucich vzt’ah odrazu zrenicky a rohovky sa pouzıva prvy

Purkyneho obraz a svetlo odrazene od sietnice. Prvy Purkyneho obraz sa tiez nazyva

odlesk (z anglictiny glint), ktory je vel’mi maly vel’mi ziarivy bod, ktory vznika

ako odraz luca od povrchu rohovkoveho vyklenutia oka. Druhym prvkom je svetlo,

ktore vstupilo do oka a bolo odrazene od sietnice. Toto svetlo sluzi na osvetlenie

zrenicky zvnutra oka, co zaprıcinuje, ze sa zrenicka ukazuje na zabere kamery ako

jasny ziarivy kruh oproti tmavemu pozadiu. Na Obrazku 2 – 6 mozeme vidiet’ odlesk,

11

FEI KPI

tmavu zrenicku (cast’ 6 A) a zvnutra osvetlenu zrenicku (cast’ 6 B). Podobny efekt je

mozne vidiet’ na fotografiach s bleskom (vid’ Obrazok 2 – 5). Systemy, ktore pouzıvaju

tieto odrazy, preto potrebuju pre sledovanie oka infracervenu kameru a minimalne

jeden zdroj infracerveneho svetla.

System ET vypocıtava stred zrenicky (na zaklade osvetlenej zrenicky) a odlesk (prvy

Purkyneho obraz). Na zaklade zmeny vzdialenostı tychto dvoch bodov a zmene ich

vzajomnej polohy, podl’a toho ako sa oko otaca, vypocıtava orientaciu oka v priestore.

Nasledne system vyuzıva LoS pre vypocet PoR. Nevyhodou tejto technologie je

potreba dobreho vyhl’adu z kamery na oko. Takisto pri pohybe hlavou je mozne, ze

oko vypadne zo zaznamenavaneho obrazu a teda nebude mozne urcit’ PoR. Pre tuto

technologiu je rozsah, v ktorom mozno sledovat’ pohl’ad priblizne 12 az 15 stupnov.

Obr. 2 – 5 Zrenicka osvetlena zvnutra fotoaparatom s bleskom

Pramen: Red Eye - what causes it and how to avoid it? [9]

Kvoli jednoduchosti tejto technologie a rozumnej presnosti vyuzıva tuto technologiu

v sucasnosti vel’a dial’kovych systemov sledovania pohl’adu (z anglictiny Remote Eye

Gaze Tracker). Zakladne rozmiestnenie komponentov pre tuto techniku je zobrazene

na Obrazku 2 – 7. Na zaklade predpokladu, ze oko je gul’a, ktora sa otaca len okolo

svojho stredu, a ze kamera a zdroj svetla su zafixovane, poloha odlesku sa nemenı

s rotaciou oka a preto sa da pouzit’ ako referencny bod (vid’ Obrazok 2 – 8). Stred

zrenicky a pozıcia odlesku definuju vektor v obraze. Tento vektor je jednoduche

zmapovat’ na koordinaty obrazovky pocıtaca po kalibracnej procedure a nasledne

pouzit’ pre kontrolu kurzoru grafickeho pouzıvatel’skeho rozhrania.

12

FEI KPI

Obr. 2 – 6 Obrazok tmavej A) a ziarivej zrenicky B)

Pramen: Eye gaze tracking techniques for interactive applications [10]

Obr. 2 – 7 System vzt’ahu odrazu zrenicky a rohovky

Pramen: Eye gaze tracking techniques for interactive applications [10]

Zakladne vzorce, ktore sa pouzıvaju pre kalibracny vypocet su nasledujuce:

Sx = a0 + a1x + a2y + a3xy + a4x2 + a5y

2 (2.1)

Sy = b0 + b1x + b2y + b3xy + b4x2 + b5y

2 (2.2)

Koordinacie Sx a Sy su koordinaty obrazovky. Hodnoty x a y predstavuju vektor

odrazu zrenicky a rohovky. Neznamymi vo vypocte su parametre a0-a5 a b0-b5. Pri

kalibracnom vypocte sa za beznych podmienok pouzıva devat’ bodov, cım zıskame

k dvanastim neznamym osemnast’ rovnıc, ktore vieme riesit’ metodou najmensıch

stvorcov. Niekedy sa vsak z dovodu nezavislosti parametrov a a b pouzıvaju dva

systemy so siestimi neznamymi a deviatimi rovnicami.

13

FEI KPI

Obr. 2 – 8 Odlesk svetelneho luca pouzitım Gullstrandoveho modelu oka

Pramen: Eye gaze tracking techniques for interactive applications [10]

Odraz zrenicky a obraz oka pri pouzitı umelej neuronovej siete

Tato technologia patrı medzi najmladsiu spomedzi spomınanych technık. Defino-

vali ju Beluja a Pomerlau [11] takym sposobom, ze nespracovanym vstupom do

systemu je digitalizovana snımka pouzıvatel’a. Tato technika pouzıva sirokouhly ob-

raz pouzıvatel’a, teda cela hlava sa nachadza v ploche snımky kamery. Pred pouzıvatel’a

je umiestneny nepohyblivy zdroj svetla, ktory casto byva infracerveny. System v

prvom kroku najde prave oko pouzıvatel’a a nasledne najde odraz svetla (Prvy Pur-

kyneho obraz), ktory je na snımke rozoznatel’ny ako vel’mi jasny bod obkoleseny

tmavou oblast’ou. Okolo tohto odrazu sa vytvorı obraz, ktoreho rozmer je bezne

40x15 pixelov vycentrovany na odraz (vid’ Obrazok 2 – 9). Tento obraz je posunuty

umelej neuronovej sieti (z anglictiny Artifical Neural Network). Vystupom z ANN

je sada suradnıc obrazovky.

Tato technologia na rozdiel od ostatnych vyzaduje zlozitu kalibraciu, ktora spocıva

v snımanı oka a hlavy uzıvatel’a pocas troch minut, pricom ten sleduje pohyblivy

kurzor na monitore. Nasledne system pocas tridsiatich minut vykonava nad obrazmi

vypocty. Vyhodou vsak je, ze pri d’alsom pouzitı system nepotrebuje rekalibraciu.

Presnost’ takychto systemov nie je zatial’ taka dobra, ako pri ostatnych spomınanych

technologiach, a je obmedzena na 1,5 az 2 stupne.

14

FEI KPI

Obr. 2 – 9 Obrazok oka pre neuronovu siet’

Pramen: Non-Intrusive Gaze Tracking Using Artificial Neural Networks [11]

Sledovanie Purkyneho obrazov

Technologiu sledovania Purkyneho obrazov navrhol Muller a kol. [12] za vyuzitia

prveho a stvrteho Purkyneho obrazu. Na rozdiel od ostatnych technologiı je tato

technologia presnejsia ako ostatne a ma vysoku vzorkovaciu rychlost’ (az do 4000

Hz), avsak jej nevyhodou je slabost’ stvrteho Purkyneho obrazu, z coho vyplyva

potreba silnej kontroly osvetlenia v priestore. Tato metoda spocıva vo fakte, ze ked’

sa hybe oko, tak sa spolu s nım hybu obidva Purkyneho obrazy, avsak ak sa oko

otaca, obrazy sa hybu odlisnymi rychlost’ami a tak sa menı ich separacia. Tato

separacia v sebe obsahuje uhlovu zmenu orientacie oka, ktora je potom pouzita pre

vypocet PoR.

2.3.2 Technologie zalozene na elektrickom potencialy koze

Elektro-oculograficka technologia vypoctu PoR je zalozena na fakte, ze okolo oka

existuje elektrostaticke pole. Zaznamenanım malych rozdielov v potencialy koze

okolo oka je vypocıtana poloha oka, pomocou ktorej sa vypocıtava PoR. Tato tech-

nologia pouzıva elektrody umiestene na tvari v okolı oka. To sposobuje, ze nie je

potrebne mat’ jasny obraz oka, co sa odraza vo vel’kom dynamickom rozsahu pri-

blizne 70 stupnov. Tato technologia vsak nie je vel’mi pouzıvana, ked’ze vyzaduje

priamy kontakt elektrod s pouzıvatel’om.

15

FEI KPI

2.3.3 Technologie zalozene na kontaktnych sosovkach

Zakladny princıp tychto technologiı je taky, ze pouzıvatel’ si nasadı specialne kon-

taktne sosovky, pomocou ktorych je mozne zıskat’ celkom presne udaje o sme-

rovanı pohl’adu. V sucasnosti su zname dve sosovkove metody. Pri prvej je na

sosovku vyrytych niekol’ko zrkadlovych ploch, ktorych odrazy su pouzite pri vypocte

polohy oka. Druhy spocıva v implantovanı malej indukcnej cievky do sosovky a

nasledne pomocou vysoko-frekvencnych elektromagnetickych polı umiestnenych v

okolı pouzıvatel’ovej hlavy je mozne urcit’ smer pohl’adu pouzıvatel’a. Tieto tech-

nologie vsak nie su stavane pre kazdodenne podmienky, ked’ze vplyv vysokofrek-

vencnych elektromagnetickych polı na l’udske zdravie zatial’ nie je znamy a rovnako

je pozadovane, aby pouzıvatel’ nosil specialne kontaktne sosovky.

2.3.4 Zhrnutie a porovnanie technologiı eye gaze tracking

V Tabul’ke 2 – 1 su zobrazene rozne aspekty technologiı ET, pricom kazda technologia

je zobrazena v jednom stlpci. Niektore hodnoty su reprezentovane pomocou symbolu

”-“. V takom prıpade technologia danu funkcionalitu nevyzaduje, respektıve s da-

nou funkcionalitou nepracuje (ako naprıklad kontaktne sosovky nepotrebuju ziaden

vyhl’ad k tvari od kamery, ked’ze s kamerou nepracuju). Z hl’adiska potrebneho

vyhl’adu na tvar (z pohl’adu kamery) najlepsie obstala technologia ocnych sosoviek,

ktora ziaden prıstup k tvari nepotrebuje, a technologia sledovania vyvyseneho okraja,

ktorej stacı slaby prıstup k tvari kvoli rozlısitel’nosti bielka od duhovky. Co sa tyka

kontaktu s uzıvatel’om su najlepsie technologie sledovania zrenicky, vzt’ah rohovky

a zrenicky, ANN a pouzitie Purkyneho obrazov. Najlepsiu presnost’ dosahuje tech-

nologia sledovania zrenicky nasledovana technologiou cievky v sosovke. Najlepsie

rozlısenie dosahuju technologie vzt’ahu rohovky a zrenicky a technologia elektrickeho

potencialu koze. Najlepsı rozsah zaberu maju technologia Purkyneho obrazov a tech-

nologia elektrickeho potencialu koze. Najlepsiu vzorkovaciu rychlost’ dosahuje tech-

16

FEI KPI

Tabul’ka 2 – 1 Porovnanie systemov eye gaze trackingTechnolo-

gia

Sledovanie

vyvyseneho

okraja

Sledovanie

zrenicky

Vzt’ah

odrazu

zrenicky

a ro-

hovky

ANN Sledovanie

Pur-

kyneho

obrazov

Elektricky

potencial

koze

Cievka

v kon-

taktnych

sosovkach

Vyhl’ad

na tvar

(ka-

mera)

slaby az

dobry

dobry dobry dobry dobry dobry -

Kontakt

s

pouzıva-

tel’om

pripevneny

na

hlavu/

bradu

ziaden ziaden ziaden ziaden elektrody kontaktne

sosovky

Presnost’ h=0.5-7◦

v=1-7◦

0.003◦ 0.5-2◦ 1.5◦ 0.017◦ 1.5-2◦ 0.08◦

Rozlısenie 0.1◦ 0.005◦ dobre - 0.25◦ dobre 0.017◦

Rozsah h=±15-

30◦

v=±15-

20◦

h=±30-

40◦

v=±20-

40◦

h=±12-

40◦

v=±12-

50◦

- ± 20-60◦ ± 70◦ ± 25◦

Vzorkova-

cia

rychlost’

200-

4000Hz

50-250Hz 25-50Hz 15Hz 4000Hz - 1000Hz

Odpoved’

v

realnom

case

- oneskorenie

6-12 ms

- - oneskorenie

1 ms

ano -

Merania

rotacie

oka

X/(Y) X/Y X/Y/Z X/Y X/Y - X/Y/Z

Meranie

polo-

meru

zrenicky

nie ano ano - - - nie

Pramen: Present-day Eye-Gaze Tracking Techniques [6]

nologia Purkyneho obrazov nasledovana technologiou sledovania vyvyseneho okraja.

Odpoved’ v realnom case poskytuje len technologia elektrickeho potencialu koze. Od-

17

FEI KPI

poved’ s minimalnym oneskorenım poskytuje technologia sledovania zrenicky a tech-

nologia Purkyneho obrazov. Najlepsie merania rotacie oka v priestore poskytuju

technologie vzt’ahu rohovky a zrenicky a technologia kontaktnych sosoviek. Meranie

polomeru zrenicky poskytuje technologia sledovania zrenicky a technologia vzt’ahu

rohovky a zrenicky.

2.4 Idealny eye gaze tracking system

Scott a Findlay [13] zaoberajuci sa systemami ET zhrnuli zakladne vlastnosti, ktore

by idealny ET system mal splnat’. Idealny ET system by mal:

1. poskytnut’ vol’ny vyhl’ad na monitor s dobrym prıstupom k tvari a hlave

2. nemal by vyzadovat’ kontakt s pouzıvatel’om

3. mal by byt’ schopny umelo stabilizovat’ obraz sietnice ked’ je to potrebne

4. mat’ presnost’ minimalne jedno percento alebo par minut obluku

5. poskytnut’ rozlısenie jednej minuty obluku a tak byt’ schopny identifikovat’ aj

najmensiu zmenu polohy oka

6. poskytnut’ dynamicky rozsah 1 minuty az 45 stupnov pre pozıciu oka a 1

minutu obluku az 800 s−1 pre rychlost’ oka

7. poskytnut’ dobru docasnu dynamiku a rychlost’ odozvy

8. poskytovat’ odozvu v realnom case

9. merat’ vsetky tri stupne uhlovej rotacie oka a byt’ necitlivy voci zmene polohy

ocı

10. byt’ jednoducho rozsıritel’ny pre binokularne zaznamy

11. byt’ kompatibilny so zaznamami hlavy a tela

12. byt’ jednoduchy pre pouzitie pre co najviac l’udı

18

FEI KPI

Aby bolo mozne system pouzit’ pre vseobecne pocıtacove rozhrania, idealny ET

system by mal:

1. byt’ presny - k minute obluku

2. byt’ spol’ahlivy – mat’ konstantne, opakujuce sa spravanie

3. byt’ masıvny - schopny pracovat’ pod roznymi podmienkami, ako je vo vnutri,

vonku, aby ho vedeli pouzit’ l’udia s okuliarmi a kontaktnymi sosovkami a pod.

4. nebyt’ dotieravy – nesposobovat’ ziadnu ujmu alebo nepohodlie

5. povol’ovat’ vol’ny pohyb hlavy

6. nevyzadovat’ kalibraciu – okamzite nastavenie

7. mat’ odozvu v realnom case

V skratke by takyto system mal fungovat’ hocikde, pre kazdeho, po cely cas, s hoci-

jakou aplikaciou, bez potreby nastavovania a byt’ pohodlny a bezpecny pre pouzitie.

2.5 Viacmonitorove zariadenia a sledovanie pohl’adu

V sucasnosti sa na mnohych pracoviskach zacalo vyuzıvat’ prostredie s viacerymi

monitormi. Pod prostredım s viacerymi monitormi rozumieme prıpad, ked’ je pra-

covna plocha systemu zobrazena na viacerych monitoroch, pricom kazdy z moni-

torov zobrazuje samostatne udaje a pomocou kurzoru sa da prechadzat’ z jedneho

monitora do druheho (vid’ Obrazok 2 – 10). Podl’a studie produktivity vytvorenou

spolocnost’ou NEC [14] pracovne prostredie s dvoma 20 palcovymi monitormi zvysuje

pouzıvatel’ovu produktivitu o 30 percent oproti jednemu 20 palcovemu monitoru.

Podl’a vyskumu, ktory uskutocnil Jon Peddie [15] pridanie druheho monitoru k pra-

covnemu prostrediu zvysuje produktivitu prace o 20 az 30 percent.

Specialnym prıpadom prostredia s viacerymi monitormi je multimonitor. Pod poj-

mom multimonitor rozumieme viacero monitorov umiestnenych vedl’a respektıve nad

19

FEI KPI

seba vytvarajucich jednu vacsiu suvislu plochu (vid’ Obrazok 2 – 11).

Obr. 2 – 10 Prostredie s viacerymi monitormi

Pramen: Subtle Gaze-Dependent Techniques for Visualising Display Changes in

Multi-Display Environments [16]

Obr. 2 – 11 Multimonitor

Pramen: How To Set Up A Multi Monitor Computer [17]

Z dovodu trendu prostredı s viacerymi monitormi treba tomuto trendu venovat’ po-

zornost’ pri skumanı vypoctu polohy pohl’adu na monitore. Zaroven toto prostredie

ponuka idealne podmienky pre zapojenie systemu sledujuceho aktivitu pouzıvatel’a.

Jednoduchym prıpadom je prıpad, kedy chce pouzıvatel’prepısat’ isty text z viacerych

snımok. Na jednom monitore ma otvorene okno s textovym editorom a na druhom

ma otvorenu snımku s textom. Udalost’ zmeny pohl’adu pouzıvatel’a z jedneho mo-

nitora na druhy moze byt’ nasledne pouzita pre aktivaciu okna. Tato akcia ul’ahcuje

20

FEI KPI

pracu v pocıtacovom systeme, ked’ze pouzıvatel’ nemusı na aktivaciu okna pouzit’

pocıtacovu mys.

V prıpade pouzitia jednej kamery pri prostredı s dvoma monitormi (uvazujeme

prıpad sekundarneho monitora umiestneneho napravo od hlavneho monitora) mozeme

uvazovat’ dve mozne umiestnenia kamery:

1. Umiestnit’ kameru pod, resp. nad (v prıpade notebooku) hlavny monitor

2. Umiestnit’ kameru medzi dva pouzite monitory

V prvom prıpade su vysledky pre hlavny monitor dostacujuce avsak s problemom

sa stretneme v meranı polohy pohl’adu v prıpade pohl’adu na pravu stranu se-

kundarneho monitora (vid’ Obrazok 2 – 12). Pri tomto pohl’ade totiz kamera vobec

nemusı byt’ schopna nasnımat’ oci pouzıvatel’a.

Obr. 2 – 12 Prostredie z viacerymi monitormi snımane jednou kamerou

V prıpade, ze sa na vypocet polohy pohl’adu vyuzıva zaber z kamery umiestnenej

medzi monitormi, zvysuje sa sanca, ze v zabere kamery sa budu nachadzat’ oci

pouzıvatel’a pri pohl’ade na l’ubovol’nu pozıciu l’ubovol’neho monitora. Udaje zıskane

z tohto zaberu vsak nie su vhodne pre vypocet polohy z dovodu vysokeho skreslenia

uhla pohl’adu na okrajove hrany monitora.

Z vyssie uvedenych dovodov vyplyva potreba pouzitia n kamier pre n monitorov. Pre

kazdy monitor je potom tvar pouzıvatel’a snımana vlastnou kamerou a pre kazdy

21

FEI KPI

monitor je spusteny samostatny program vypoctu polohy pohl’adu na monitore.

Tieto programy mozu spolu komunikovat’, kedy vedia urcit’ aktualne sledovany mo-

nitor. Program vypocıtavajuci polohu pohl’adu na monitor, ktory nie je aktualne

sledovany pouzıvatel’om, moze byt’ pocas doby pohl’adu na iny monitor pasıvny.

Pod pasıvnost’ou programu rozumieme, ze program prijıma udaje snımane kamerou,

avsak nesnazı sa vypocıtavat’ polohu pohl’adu. Toto vsetko platı za predpokladu, ze

sa jednotlive monitory neprekryvaju. Prekrytie monitorov ma negatıvny dopad na

zvysenie produktivity v prostredı s viacerymi monitormi a teda by k nemu nemalo

dojst’ v ziadnom pracovnom prostredı. Program starajuci sa o monitor, na ktory sa

pouzıvatel’nepozera, moze sposobit’ stmavnutie respektıve zmrazenie tohto monitora,

cım sa znızi rozptylenie pouzıvatel’a, ako to uvadza Dostal a kol. v clanku [16] ve-

nujucemu sa vizualizacnym zmenam v prostredı s viacerymi monitormi vyuzıvajucim

techniky vypocıtavaneho pohl’adu. V prıpade vizualnej zmeny na nepozorovanom

monitore je nasledne tato zmena zvyraznena a pouzıvatel’ je schopny na tuto zmenu

patricne reagovat’. Takouto zmenou moze byt’ naprıklad oznamenie vo forme vyska-

kovacieho okna. Podl’a studie uskutocnenej Beckom a kol. [18] vyplyva, ze l’udia si

nie su plne vedomı svojej schopnosti vnımania vizualnych zmien v periferii vlastneho

videnia. Fakt periferneho videnia sa potom da pouzit’ sposobom, ze je stlmeny jas

nesledovaneho monitora a v prıpade vzniknutej aktivity na nesledovanom monitore

sa tato aktivita zvyraznı (naprıklad sa zvysi jas okna). Pouzıvatel’ registruje tuto

zmenu vo svojej periferii a dokaze na nu reagovat’, cım je zvysena jeho produktivita.

V prıpade multimonitoru sa vypocet polohy pohl’adu riesi sposobom obdobnym ako v

prıpade pouzitia jedneho monitora. Kamera je umiestnena v strede pod (respektıve

nad) multimonitorom. Vzdialenost’ pouzıvatel’a od monitora je vsak vyssia ako v

prıpade pouzitia tradicneho monitora a tym padom by aj kamera mala byt’ schopna

snımat’ oci pouzıvatel’a z vacsej vzdialenosti. Pri kalibracii by malo stacit’ kalibro-

vanie pomocou bodov ako v prıpade normalneho monitora, avsak treba dohliadnut’

na to, aby kalibracne body nezapadli do priestoru spoja jednotlivych monitorov

22

FEI KPI

multimonitoru.

Obr. 2 – 13 Prıklad A) oznacenia monitorov IR diodami; B) vysledok rozoznania monitorov

Pramen: Gaze tracking in multi-display environment [19]

V prostredı s viacerymi monitormi je mozne vyuzit’ zariadenie vypoctu pohl’adu,

ktore je pripevnene na hlavu pouzıvatel’a, ako to uvadzaju Kocejko a Wtorek [19].

V takomto prıpade zariadenie pripevnene na hlavu pouzıvatel’a ma dve kamery,

pricom jedna snıma oci pouzıvatel’a a jedna snıma prostredie, na ktore sa pouzıvatel’

pozera. Rohove body monitorov v prostredı su oznacene infracervenymi diodami a

vrchna hrana monitoru je oznacena specialnou znackou pozostavajucou zo styroch

infracervenych diod, pricom pocet svietiacich diod sluzi na identifikaciu cıselneho

oznacenia monitora (vid’ Obrazok 2 – 13). Vyhodou tohto systemu je, ze o vypocet

polohy pohl’adu sa stara jediny program. Nevyhodou systemu je potreba mat’ zaria-

denie pripevnene k hlave.

2.6 Zariadenie kinect a interakcia so systemom

Pri vypocte polohy pohl’adu na monitor s pouzitım kamery pri monitore je casto po-

trebne, aby pouzıvatel’ nehybal hlavou. Zmena polohy hlavy moze mat’ negatıvny do-

pad na vypocıtanu polohu pohl’adu. V sucasnosti existuju zariadenia, ktore umoznuju

okrem sledovania obrazu moznost’ rozpoznavat’ hlbkovu mapu snımaneho prostredia,

respektıve ponukaju rozpoznavanie snımanych tvarov. Jednym z takychto zaria-

denı je zariadenie kinect [20]. Zariadenie kinect sluzi na snımanie a rozpoznavanie

23

FEI KPI

kostroveho modelu osob v priestore snımanom zariadenım. Zaroven kinect ponuka

hlbkovu mapu snımaneho prostredia. Obmedzenım zariadenia kinect je minimalna

vzdialenost’ jedneho metra, aby bol schopny rozoznavat’ snımane objekty.

Pri vypocte polohy pohl’adu nepotrebujeme snımat’ cely kostrovy model pouzıvatel’a.

Medzi udaje, ktore mozu byt’ prospesne pri vypocte polohy pohl’adu, patrı model

tvare pouzıvatel’a. SDK pre kinect od verzie 1.5 ponuka moznost’ snımania modelu

tvare pouzıvatel’a [21]. Zıskany model je nasledne mozne pouzit’ pre urcenie po-

lohy tvare pouzıvatel’a a nasledne sa daju aplikovat’ vypocty pre upravu vypocıtanej

polohy pohl’adu na zaklade polohy tvare. Zaroven treba brat’ do uvahy moznost’

vyuzitia d’alsıch prvkov modelu tvare pouzıvatel’a. Vyznamnym bodom modelu tvare

pouzıvatel’a je nos. Kostra nosa nam umoznuje urcit’ smerovanie tvare. Pri sledovanı

pracovnej plochy monitora pouzıvatel’ casto nenataca k pozorovanemu bodu iba oci,

casto zvykne natacat’ za bodom celu hlavu a tym padom vychadza moznost’ vypoctu

bodu na monitore, na ktory ukazuje spicka nosa pouzıvatel’a.

Bod, ktory predstavuje prienik osi vychadzajucej kolmo zo spicky nosa s rovinou ob-

razovky monitora je oproti pozıcii pohl’adu posunuty (vid’ Obrazok 2 – 14). Vzajomne

posunutie tychto dvoch bodov je ovplyvnene tvarom nosa a natocenım ocı.

Obr. 2 – 14 Vzajomne posunutie bodu pohl’adu a bodu osi nosa

24

FEI KPI

Pri pouzitı tohto sposobu je potrebna kalibracia systemu. Kalibracia prebieha sposo-

bom, ze na monitore su postupne zobrazene kalibracne body, na ktore sa pouzıvatel’

pozera. System zatial’ snıma polohu a natocenie nosa a na zaklade zıskanych udajov

dopocıtava bod prieniku osi nosa s monitorom. Bod zıskany prienikom osi nosa s

monitorom sa da vyuzit’ dvojakym sposobom. V prvom prıpade sa zıskana pozıcia

stava bodom pohl’adu pouzıvatel’a, nakol’ko pouzıvatel’ sleduje vypocıtanu pozıciu

aby bol schopny vykonat’ interakciu so systemom. V druhom prıpade je vypocıtany

bod posunuty oproti povodnemu bodu prieniku osi nosa s rovinou monitora aby

lepsie odpovedal tradicnemu sposobu pohl’adu na monitor.

Ked’ sa nos pouzıva ako prostriedok pre interakciu s pocıtacovym systemom je do

interakcie mozne zapojit’ aj oci, ako to uvadzaju Gireeshkumar a kol. [22]. V tomto

prıpade je beh programu nasledovny:

1. Zosnımat’ tvar pouzıvatel’a

2. Na kazdom snımku identifikovat’ spicku nosa

3. Na zaklade vypocıtanej spicky umiestnit’ kurzor na monitore

4. V prıpade statickej mysi spustit’ detekciu gest ocı

5. Ak pouzıvatel’ zmurkne, previest’ kliknutie

2.7 Interakcia so systemom pomocou spicky nosa

Na interakciu so systemom sa okrem pouzitia osi nosa da pouzit’ zosnımany obraz

nosa, ako je to naprıklad v prıpade riesenia Nouse [23]. V tomto prıpade je vstu-

pom do programu zosnımana tvar pouzıvatel’a, pricom snımanie je prevadzane tak,

aby sa spicka nosa nachadzala v strede snımanej oblasti. Nasledne je spicka nosa

pouzıvana ako pakovy ovladac, teda kurzor na monitore sa hybe na zaklade pozıcie

spicky nosa voci stredu snımaneho priestoru (vid’ Obrazok 2 – 15). Taketo riesenie

je nızko nakladne, nakol’ko jedinymi potrebami takehoto systemu su webkamera a

25

FEI KPI

softver, avsak pouzıvatel’ je obmedzovany v pohybe, nakol’ko nehybnost’ kurzora je

zabezpecena umiestnenım nosa do stredu snımanej oblasti.

Obr. 2 – 15 Snımanie spicky nosa

Pramen: Nose as Mouse. Assistive Technology [23]

26

FEI KPI

3 Systemy sledovania pohl’adu a interaktıvne ap-

likacie

V pociatku vyvoja sa systemy sledovania pohl’adu pouzıvali pre vedecky vyskum v

kontrolovanom prostredı alebo v laboratoriach. Zıskane udaje boli nasledne pouzite

v oftalmologii, neurologii, psychologii. V sucasnosti je stale viacej aplikacii, ktore

vyuzıvaju ET, avsak prostredia, v ktorych su tieto technologie pouzıvane musia byt’

kontrolovane. Ako kontrolovane prostredie si mozeme predstavit’ prostredie s umiest-

nenymi zdrojmi infracerveneho svetla v priestore, ako to uvadza Morimoto a Mimica

[10]. Uspech nasli taketo technologie vo vojenskych aplikaciach a pri vytvaranı roz-

hranı pre l’udı s poruchami pohyboveho ustrojenstva. Priekopnıkom technologiı ET,

ktory jednotlive systemy vseobecne ohodnotil, je Andrew Duchowsky [24]. Podl’a

neho je definovana zakladna hierarchia ET systemov zobrazena na Obrazku 3 – 1.

Obr. 3 – 1 Duchowskeho hierarchia systemov sledovania oka

V ulohe diagnostiky poskytuje ET system objektıvne a kvantitatıvne dokazy o

pouzıvatel’ovych vizualnych procesoch. Interaktıvny system odpoveda a komuni-

kuje s pouzıvatel’om na zaklade pozorovanych pohybov oka. Taketo interaktıvne

systemy su nasledne rozdelene do dvoch podtypov aplikaciı: vyberovych a pohl’adovo

zavislych (z anglictiny Gaze-contingent). Vyberove systemy pouzıvaju PoR ako

nahradu pocıtacovej mysi. Pohl’adovo zavisle systemy vyuzıvaju informaciu o pohl’ade

27

FEI KPI

pouzıvatel’a pre ul’ahcenie rapıdnej interpretacii grafickych prostredı. Taketo systemy

su zobrazovacımi systemami, ked’ sa s informaciami zobrazovanymi pouzıvatel’ovi

manipuluje tak, aby odpovedali schopnosti cloveka pri spracovanı vizualnych in-

formaciı.

3.1 Vyberove systemy

Vyberove systemy (z anglictiny Selective Systems) vyuzıvaju sledovany pohl’ad pouzı-

vatel’a ako ukazovacı prostriedok, podobne ako je vyuzıvana pocıtacova mys. Pop-

redne aplikacie vyuzıvajuce tento prıstup sluzia na vyber prvkov rozhrania ako

tlacidla, vyber poloziek menu. Rovnako sa pouzıvaju pri vybere objektov a ob-

lastı vo virtualnej realite. Prvou aplikaciou, ktora vyuzıvala tento princıp, je ap-

likacia sluziaca na pısanie textu, predovsetkym pre l’udı s poruchou pohyboveho

ustrojenstva (vid’ kapitolu 2.1). Pri takychto systemoch je dolezite uvedomit’ si

sposob vyberu prvkov na monitore. Na rozdiel od mysi l’udsky pohl’ad nema ziadne

”tlacidla“, pomocou ktorych by pocıtacu potvrdil vyber objektu. Z tohto dovodu

vyvstava problem midasoveho dotyku ako ho definoval Velichovsky a kol. [25] (z an-

glictiny Midas Touch problem). Midasov problem spolu s unasanım oka su najvacsie

problemy pre pohl’adovy vstup.

3.1.1 Problem midasovho dotyku

Problem midasovho dotyku je zalozeny na greckej mytologii, kedy si kral’ Midas

zelal, aby menil dotykom veci na zlato. L’udske oko sa pocas evolucie vyvıjalo aby

pozorovalo prostredie a nie aby s nım manipulovalo. V pohl’adom ovladanych ro-

zhraniach vsak musı oko vykonavat’ obidve cinnosti. Z toho dovodu musı system

rozlisovat’ medzi:

1. pohl’adom, ktory zıskava informacie z prostredia

28

FEI KPI

2. pohl’adom, ktory ma vykonat’ specificky prıkaz

Ak system nie je schopny rozlısit’ tieto dva pohl’ady tak hocikam sa pouzıvatel’ pozrie

je aktivovana reakcia, rovnako ako to bolo v prıpade midasovho dotyku.

V niektorych systemoch su pre riesenie Midas Touch problemu pouzite zmurknutia,

respektıve dlzka pohl’adu ako sposoby klikania. Tieto technologie vsak neriesia prob-

lem naplno, lebo clovek zmurka casto (z dovodu vlhcenia oka, resp. z inych dovodov,

ako naprıklad uzkost’, ako to vo svojom clanku uvadza Truban [26]) a rovnako v

mnohych prıpadoch pri cıtanı textu, respektıve pri praci s pocıtacovym rozhranım,

drzı pohl’ad na jednom mieste dlhsiu dobu. Na nedostatky vyberoveho ET systemu

poukazuje Eye Tracking Inc. [27] vo svojom clanku, kde z problemu midasovho do-

tyku vyvstava fakt, ze iba pouzitie oka pre vyberove systemy nemusı byt’ dostatocne

z dovodu nahodnych kliknutı, pomalej navigacie pomocou udrziavania pohl’adu na

istych miestach, problemov s presnost’ou a v nemalom rade zat’aze vytvorenej na

ociach pouzıvatel’a.

3.1.2 Akceleracia kurzora mysi

Akceleracia kurzora mysi vyuzıva ET technologiu takym sposobom, ze je kurzor

mysi premiestneny na pozıciu zafixovaneho pohl’adu. Tento sposob definoval Zhai a

kol. [28] a pomenovali ho Manual Gaze Input Cascaded (MAGIC). Zrychlenie je bud’

okamzite spustene pohybom oka (liberal MAGIC pointing), alebo caka na pohyb

mysi (conservative MAGIC pointing). Hoci rychlost’ tohto sposobu nie je ocividna,

podl’a vysledkov studie vacsina pouzıvatel’ov tejto technologie cıtila zrychlenu inte-

rakciu pri pouzitı obidvoch sposobov.

3.1.3 Pouzitie vyberovych systemov

Medzi interaktıvnymi prostriedkami sa vyberove systemy pouzıvaju pre diagnostiku

a pre skusanie pouzitel’nosti rozhranı. Pohyb ocı vo vel’kej miere poskytuje informacie

29

FEI KPI

o sposobe ako pouzıvatel’ pouzıva pocıtacove rozhranie. Pomocou tychto informacii

sa urcuje ako zoskupovat’ ikony nastrojov, ako organizovat’ menu a v neposlednom

rade ako organizovat’ webove stranky. Dalsım sposobom su systemy spoluprace (z an-

glictiny Collaborative Systems), kedy sa pomocou pohl’adu l’udı pri telekonferenciach

urcuje kto rozprava s kym a kto hovorı o com.

V zaklade sa pouzıvaju vyberove systemy bud’ ako priamo interaktıvne prvky alebo

ako nepriamo pasıvne styly pouzitia. Ak sa tieto dva aspekty spoja vzniknu pohl’ado-

vo zavisle zobrazenia. V takychto systemoch sa pohl’ad pouzıva ako pasıvny indikator

pohl’adu. Pomocou PoR pouzıvatel’a system vytvorı zobrazenie s informacnymi de-

tailami, ktore su vygenerovane na okraji zobrazenia. Tieto informacie su pouzıvane

v grafickych alebo video-hovorovych aplikaciach, kde sady komplexnych udajov

nemozu byt’ naplno zobrazene v realnom case.

3.2 Kinect a interakcia so systemom

Ked’ sa pouzıva zariadenie kinect na vypocet polohy pohl’adu, je potrebne pra-

covne prostredie prisposobit’ sposobom, aby bol kinect umiestneny aspon meter od

pouzıvatel’a a aby pri snımanı tvare pouzıvatel’a nestala pred tvarou ziadna prekazka

(ako naprıklad cast’ monitora). Pri vyuzıvanı kinectu je mozne zabezpecit’ aj viac

monitorovy vypocet polohy pohl’adu, nakol’ko kinectom snımana plocha z dovodu

umiestnenia kinectu meter od tvare pouzıvatel’a poskytuje dostatocnu schopnost’ ro-

zoznavat’ tvar pouzıvatel’a aj v prıpade prostredia s viacerymi monitormi, ak tieto

monitory nie su od seba prılis vzdialene.

Pri pouzitı kinectu vyvstava otazka snımania polohy pohl’adu pouzıvatel’a. Poloha

pohl’adu na monitore moze byt’ vypocıtavana len z udajov kamery, pricom sa moze

vyuzit’ spicka nosa pre vypocet bodu pohl’adu alebo sa moze vyuzit’ obrazok zosnıma-

nych ocı. V prıpade pouzitia zariadenia kinect verzia 1 zaber oka predstavuje obrazok

o rozmere okolo 23x8 pixelov z dovodu maleho rozlısenia kamery (vid’ Kapitola 4.5),

30

FEI KPI

co je polovica rozmeru pouzıvaneho pri vyuzitı neuronovej mapy (vid’ kapitola 2.3.1).

Z tohto dovodu je v prıpade Eye Gaze Tracking potrebne zapojit’ do systemu d’alsiu

kameru, ktorej ucelom je sledovat’ oci pouzıvatel’a. Tato kamera moze byt’ pripo-

jena na hlavu alebo staticky polozena v pracovnom prostredı. V prıpade pripojenia

na hlavu vsak vznika prekazka v snımke kinectu. V druhom prıpade statickeho

umiestnenia kamery vznika problem pre viac monitorove prostredia, nakol’ko kazdy

monitor by potreboval vlastnu kameru. Kamera zariadenia kinect verzie 2 ma vyssie

rozlısenie a tym padom vyvstava moznost’ vyuzit’ nou zosnımany obraz oka pre

vypocet polohy pohl’adu, avsak iba pre hlavny monitor.

Udaje kinectu, nakol’ko snıma celu tvar, je mozne vyuzit’ pri interakcii so systemom.

Face Tracker kinectu nepodporuje snımanie zmurkania, a teda v prıpade vyuzitia

iba kinectu nie je mozne zmurkanie vyuzit’ ako vstupnu udalost’ do systemu. Mapa

tvare kinectu je schopna snımat’ pohyb ust a teda otvorenie ust moze predstavit’

vstupnu udalost’. Pri pouzitı otvorenia ust ako vstupnej udalosti vznika obmedze-

nie pouzıvatel’a, nakol’ko v prıpade rozhovoru mozu vznikat’ nepozadovane vstupne

udalosti. K tym dochadza aj v prıpade pouzitia kamery snımajucej oci pri pouzitı

zmurknutia oka ako vstupnej udalosti.

3.2.1 Mapa tvare

Mapa tvare zosnımanej zariadenım kinect sa sklada z 206 trojuholnıkov, ktore vzni-

kaju poprepajanım mnoziny 121 bodov snımanych zariadenım kinect. Tieto tro-

juholnıky je mozne vyuzit’ na vizualizaciu zosnımanej tvare, ako je to zobrazene

na Obrazku 3 – 2. Mapa tvare snımana kinectom je vytvorena na zaklade masky

CANDIDE-3 vytvorenej Mikaelom Rydfalkom v roku 1987 [29]. Vyhodami tejto

masky je nızky pocet mnohouholnıkovych struktur pri mohutnej rekonstrukcii tvare.

V casti a) obrazka 3 – 2 je vidiet’ vyobrazenu celu mapu v relatıvnom posune od

snımanej tvare. V casti b) obrazka 3 – 2 je nasledne mozne vidiet’ len vybrane casti

31

FEI KPI

Obr. 3 – 2 Mapa tvare: A) kompletna a B) mapa ocı, nosa a ust

zaujmu, ktorymi su oci, nos a usta. Napriek tomu, ze oci cloveka dokazu vypo-

vedat’ vel’a a je ich mozne pouzit’ na mimiku (zmurknutie, prizmurenie a pod.),

body reprezentujuce oci a nos su stale, ich vzajomne vzdialenosti v ramci snımanej

tvare su konstantne a tym padom neumoznuju prejavovat’ ziadnu mimiku, ktora by

mohla byt’ nasledne pouzita na interakciu s pocıtacovym systemom. Poloha tychto

bodov sa menı len v zavislosti zmeny polohy hlavy pouzıvatel’a vzhl’adom k za-

riadeniu kinect a tym padom je mozne vyuzit’ polohy tychto bodov pre urcenie

polohy hlavy pouzıvatel’a v priestore, ako aj na nasledny vypocet nasmerovania

tvare pouzıvatel’a, resp. odhad polohy pohl’adu. Poloha bodov predstavujucich usta

pouzıvatel’a sa okrem pohybu hlavy pouzıvatel’a v priestore menı aj pri pohybe

ustami pouzıvatel’a (napr. ked’ ich otvorı alebo zatvorı). Takato zmena je l’ahko

identifikovatel’na systemom a teda je ju mozne pouzit’ pri interakcii s pocıtacovym

systemom (ako to bolo spomınane v kapitole 3.2).

Aktualne umoznuje zariadenie kinect snımat’ 6 roznych animacnych jednotiek (mimık,

z anglictiny Animation Unit - AU) tvare spolu s priestorovym natocenım tvare.

Animacne jednotky predstavuju zmeny oproti neutralnej polohe tvare a je ich mozne

pouzit’ pri blizsom identifikovanı mimiky, pricom ich hodnoty su v rozpatı -1 az 1.

Rozne animacne jednotky su zobrazene v tabul’ke 3 – 1.

32

FEI KPI

Tabul’ka 3 – 1 Animacne jednotky

AU meno a hodnota Ilustracia stelesnenia Interpretacia hodnoty AU

Neutralna tvar (pre vsetky

AU 0)

AU0 - zvysena hodna pera 0 = neutralne, zakryte

zuby; 1 = zuby naplno

ukazane; -1 = pery ma-

ximalne zatlacene dodola

AU1 - znızena sanka 0 = zavrete; 1 = naplno ot-

vorene; -1 = zatvorene (po-

dobne 0)

AU2 - Roztiahnute pery 0 = neutralne; 1 =

uplne roztiahnute; -0.5

= naspulene pery; -1 =

uplne zaoblene (bozk)

AU3 - Znızene obocie 0=neutralne; -1 = skoro

uplne zvysene; 1 = uplne

znızene k ociam

AU4 - Znızene okraje pier 0 = neutralne; -1 = vel’mi

st’astny usmev; 1 = za-

mracene pery

AU5 - Zvysene okraje

obocia

0 = neutralne; -1 = uplne

znızene (smutna tvar); 1 =

uplne zvysene (prekvapeny

vyraz)

Pramen: Face Tracking [21]

33

FEI KPI

3.2.2 Kinect a prostredie s viacerymi monitormi

V pracovnom prostredı s viacerymi monitormi vieme vzdy jednoznacne urcit’ hlavny

monitor. Ostatne monitory su vedl’ajsie. Pri praci v takomto prostredı pouzıvatel’

travi vacsinu casu sledovanım hlavneho monitora. Vedl’ajsı monitor je casto pouzity

len pre zobrazovanie nejakeho textu, obrazku alebo webovej stranky. Z tohto dovodu

je mozne umiestnit’ kinect v tomto prostredı za hlavny monitor. Data poskytnute

kinectom je potom mozne pouzit’ na urcenie priblizneho bodu pohl’adu na hlavnom

monitore. Pri vypocte polohy pohl’adu na vedl’ajsom monitore vsak nema zariade-

nie kinect dobry vyhl’ad na pouzıvatel’ove oci. Udaje o umiestnenı nosa sa vsak daju

pouzit’ pre urcenie, ze sa pouzıvatel’ nepozera na hlavny monitor. Takymto sposobom

je teda mozne rozoznat’ monitor, na ktory sa pozera pouzıvatel’ a nasledne vykonat’

aktivitu s tymto monitorom. V prıpade hlavneho monitora je moznost’ rozvinut’

vyuzitie mapy tvare pouzıvatel’a pre dodatocne interakcie podl’a toho, kam na mo-

nitore sa pouzıvatel’ pozera.

34

FEI KPI

4 System interakcie s pocıtacovym systemom na

zaklade snımania aktivity pouzıvatel’a

Tato kapitola sa venuje vytvorenemu systemu urcenemu pre interakciu clovek-pocıtac

na zaklade aktivity pouzıvatel’a vo viac monitorovom prostredı a jeho navrhu. Na

urcenie aktivity pouzıvatel’a su vyuzite udaje zosnımane zariadenım kinect. Najprv

je predstaveny navrh systemu. Nasledne je popısana funkcionalita systemu. V zavere

kapitoly su ukazane vysledky testovania systemu a uvedene moznosti buduceho

vyvinu systemu.

4.1 Poziadavky na strukturu systemu

System musı byt’ schopny snımat’ mapu tvare pouzıvatel’a. Na snımanie mapy a jej

naslednu vizualizaciu je pouzita zakladna struktura programu zaklady sledovania

tvare (z anglictiny Face Tracking Basics) [30]. Akonahle ma system k dispozıcii udaje

o mape tvare pouzıvatel’a, je potrebne z tychto udajov vybrat’ body mapy tvare,

pomocou ktorych je mozne vypocıtat’ natocenie a polohu hlavy tvare pouzıvatel’a.

Zakladne ulohy systemu vykonavajucom reakcie na akcie pouzıvatel’a su:

• urcit’ body mapy tvare potrebne pre vypocty

• urcit’ akym sposobom su zaznamenane akcie

• urcit’ akym sposobom su reakcie definovane

• urcit’ akym sposobom su reakcie vykonavane

4.1.1 Urcenie bodov mapy tvare potrebnych pre vypocty

Pre urcenie vzdialenosti hlavy pouzıvatel’a od zariadenia kinect je potrebne pouzit’

body mapy tvare pouzıvatel’a, medzi ktorymi vzdialenost’ v ramci niektorej z osı

35

FEI KPI

svoju hodnotu nemenı pri natocenı hlavy pouzıvatel’a, ked’ je zachovana vzdialenost’

hlavy pouzıvatel’a od zariadenia kinect. Na tieto ucely je naprıklad mozne pouzit’ bod

cela pouzıvatel’a a spicku nosa. V prıpade, ze vzdialenost’ tychto bodov v ramci osi y

klesa, znamena to, ze sa vzdialenost’ hlavy pouzıvatel’a od zariadenia kinect zvacsuje.

V opacnom prıpade to znamena, ze hlava pouzıvatel’a sa priblizuje k zariadeniu

kinect. Body spicky nosa je zaroven mozne pouzit’ pre urcenie monitora, na ktory

sa pouzıvatel’ pozera (vid’ Kapitola 4.2.6).

Pri vypocte pohl’adu pomocou mapy tvare pouzıvatel’a treba urcit’ nasmerovanie

tvare voci monitoru. Pre tento ucel je vhodne pouzit’ body strany hlavy pouzıvatel’a.

Ak hodnotu pozıcie predneho z tychto bodov pouzijeme ako zaklad pre urcenie

natocenia hlavy pouzıvatel’a a odpocıtavame od neho hodnoty pozıcie zadneho z

tychto bodov, vysledne rozdiely v ramci osı x a y urcuju intenzitu natocenia hlavy

pouzıvatel’a (vid’ Kapitola 4.2.5). V prıpade, ze sa pouzıvatel’ pozera napravo od

zariadenia kinect, rozdiel hodnoty osi x tychto bodov je kladna hodnota, ktorej

absolutna vel’kost’ narasta pri natocenı hlavy pouzıvatel’a doprava. V prıpade, ze

sa pouzıvatel’ pozera nal’avo od zariadenia kinect, rozdiel tychto bodov je zaporna

hodnota, ktorej absolutna vel’kost’ narasta pri natocenı hlavy pouzıvatel’a dol’ava. Ak

sa pouzıvatel’ pozera smerom na zariadenie kinect, je hodnota osi x polohy tychto

bodov identicka.

Z dovodu, ze zariadenie kinect casto nebyva umiestnene presne v strede za hlavnym

monitorom a aj vzdialenost’ hlavy pouzıvatel’a od okrajov monitora sa lısi, nie je

mozne urcovat’ polohu pohl’adu na monitore len z udajov o zaujımavych bodoch

tvare pouzıvatel’a. Pre urcenie rozmedzia hodnot urcujucich pohl’ad pouzıvatel’a na

jednotlive casti obrazovky je teda potrebna kalibracia systemu. V prıpade, ked’ sa

nemenı pracovne prostredie, je vhodne navrhnut’ kalibraciu takym sposobom, aby

ju bolo potrebne vykonat’ iba raz.

Pre system vyplyva z dovodov spomenutych v tejto podkapitole potreba:

36

FEI KPI

• snımat’ zaujımave body tvare pouzıvatel’a

• kalibrovat’ system

4.1.2 Urcenie sposobu zaznamenania akciı

Akcia pouzıvatel’a je predstavena zmenou natocenia hlavy pouzıvatel’a respektıve

v prıpade sustredeneho pohl’adu nemeniacou sa hodnotou zaznamenanych bodov.

Intenzita a smer natocenia hlavy pouzıvatel’a je urcena pomocou zaujımavych bodov

mapy tvare (vid’ Kapitola 4.1.1 a 4.2.5).

Zaznamenane akcie mozeme rozdelit’ do dvoch kategoriı. Prva kategoria akciı je pred-

stavena natocenım hlavy pouzıvatel’a smerom k istej casti pracovneho prostredia.

Pre tuto kategoriu je potrebne pracovny priestor rozdelit’ do oblastı. V prıpade pra-

covneho prostredia s dvomi monitormi vieme pracovne prostredie rozdelit’ pre hlavny

a vedl’ajsı monitor. Ked’ze pre vedl’ajsı monitor nevieme urcit’ polohu pohl’adu, je

cely priestor vedl’ajsieho monitora povazovany za jednu oblast’. V prıpade hlavneho

monitora system dokaze vypocıtat’ pribliznu polohu pohl’adu. Jeden zo sposobov,

ako rozdelit’ priestor hlavneho monitora, je rozdelit’ ho na tri stlpce a tri riadky,

pricom stlpce horizontalne rozdelıme na l’avy, stredny a pravy a riadky predsta-

vuju vertikalne rozdelenie monitora na vrchnu, strednu a spodnu cast’. Pre riesenie

problemu midasovho dotyku (vid’ Kapitola 3.1.1) je mozne pridat’ cıselny indikator

pre akcie, ktory oznacuje pocet vyskytov zmeny pohl’adu na istu oblast’ pracovneho

prostredia.

Druha kategoria akciı predstavuje sustredeny pohl’ad pouzıvatel’a. Rovnako ako v

prıpade prvej kategorie aj tu sa da vyuzit’ rozdelenie pracovneho prostredia na ob-

lasti. Zaroven cıselny indikator pre takuto akciu predstavuje trvanie sustredeneho

pohl’adu, pri ktorom je akcia zaznamenana.

Pre zaznamenanie akcie pouzıvatel’a teda system potrebuje:

37

FEI KPI

• rozoznat’ polohu pohl’adu pouzıvatel’a

• rozoznat’ trvanie sustredeneho pohl’adu pouzıvatel’a

4.1.3 Urcenie sposobu definovania reakcie

Pri definovanı reakcie je potrebne vytvorit’ strukturu, ktora predstavuje vykona-

tel’nu operaciu v pocıtacovom systeme. Kazda reakcia predstavuje odozvu na akciu

pouzıvatel’a. Z tohto dovodu kazda reakcia potrebuje mat’ definovanu akciu. Pre odo-

slanie prıkazov potrebuje reakcia poznat’ okno programu, ktoremu je reakcia odo-

sielana. Definıcia reakcie teda potrebuje mat’ moznost’ vyberu aktıvneho programu,

ktoremu je poslana operacia na vykonanie.

V operacnom systeme windows sa na odosielanie vykonatel’nej operacie da pouzit’

trieda SendKeys [31]. Ulohou tejto triedy je poslat’ operaciu predstavenu postup-

nost’ou stlacenych klaves klavesnice. Reakcia systemu teda potrebuje mat’ defino-

vanu:

• postupnost’ klaves operacie reakcie

• akciu, na ktoru je reakcia vyvolana

• okno programu, ktoremu reakcia odosiela operaciu

Vysledny system teda musı poskytovat’ prostredie na definovanie reakciı.

4.1.4 Urcenie sposobu vykonania reakcie

V prıpade, ze je reakcia definovana sposobom uvedenym v Kapitole 4.1.3, system ma

vsetky potrebne udaje pre jej vykonanie. Pred vykonanım reakcie system potrebuje

identifikovat’, ci doslo k pozadovanej akcii. System musı zaroven kvoli univerzalnosti

poskytovat’ moznost’ definovat’ viacero reakciı sucasne. Pri snımanı akcie pouzıvatel’a

teda system musı prehl’adat’ vsetky definovane reakcie a v prıpade vyskytu niektorej

38

FEI KPI

akcie vykonat’ prıslusnu reakciu. Zaroven je potrebne, aby pouzıvatel’ rozhodol o

tom, ci sa reakcie na jeho akcie maju vykonavat’. To je zabezpecene umoznenım

spustenia (respektıve zastavenia) vykonavania reakciı na akcie pouzıvatel’a.

System pre moznost’ vykonavania reakcie potrebuje:

• zaznamenat’ akciu pouzıvatel’a

• umoznovat’ spustenie a zastavenie vykonavania reakciı

• previest’ vykonanie reakcie

4.1.5 Dodatocne poziadavky na system

System pracuje so snımanym obrazom priestoru, kde hl’ada mapu tvare pouzıvatel’a.

Tvoreny system teda musı umoznit’ zobrazenie celeho snımaneho priestoru, aby

pouzıvatel’ vedel identifikovat’ prıpadnu prekazku medzi kamerou zariadenia kinect

a tvarou pouzıvatel’a. V prıpade, ze je zariadenie kinect schopne snımat’ mapu tvare

pouzıvatel’a, potrebuje byt’ pouzıvatel’ o tom informovany. V takom prıpade system

moze snımat’ akcie pouzıvatel’a a vykonavat’ reakcie. Rovnako musı byt’ pouzıvatel’

informovany o stave, ked’ zariadenie kinect nie je schopne snımat’ jeho mapu tvare.

Ked’ze system nepracuje s celou mapou tvare pouzıvatel’a, system potrebuje roz-

poznavat’ oblasti nasnımanej mapy tvare. Tieto casti je nasledne mozne zobrazit’ v

obraze snımaneho priestoru pre pouzıvatel’a. Nasledne ako kazdy system potrebuje aj

tento system poskytnut’ istu formu nastavenı. Najdolezitejsım nastavenım pre takyto

system, ktore nie je mozne jednoznacne urcit’ pomocou softverovych prostriedkov,

je urcenie postavenia vedl’ajsieho monitora voci hlavnemu.

Z tychto dodatocnych poziadaviek na system vyplyva potreba:

• zobrazit’ priestor snımany zariadenım kinect

• informovat’ pouzıvatel’a o tom, ci system rozoznal mapu jeho tvare

39

FEI KPI

• poskytnut’ moznost’ nastavenia umiestnenia vedl’ajsieho monitora v pracovnom

priestore

Zaroven ako doplnok systemu je mozne zobrazovat’ rozne casti mapy tvare pouzıvatel’a.

4.2 Vytvoreny system

System vypocıtava polohu pohl’adu pouzıvatel’a na hlavnom monitore. Zaroven sys-

tem dokaze urcit’, ci sa pouzıvatel’ pozera na vedl’ajsı monitor. V takom prıpade

system nevypocıtava polohu pohl’adu pouzıvatel’a z dovodu uhloveho skreslenia snıma-

neho priestoru, len indikuje fakt, ze sa pouzıvatel’ pozera na tento monitor. Treba si

uvedomit’, ze pri praci v prostredı s viacerymi monitormi je vedl’ajsı monitor prevazne

pouzıvany pre zobrazenie nejakej formy informaciı a vacsina interakciı so systemom

pomocou pocıtacovej mysi a klavesnice sa deje na hlavnom monitore. Preto je po-

stacujuca indikacia pohl’adu na vedl’ajsı monitor a nie je potrebne urcovat’ presny

bod pohl’adu na tento monitor. Zariadenie kinect je potrebne umiestnit’ nad resp.

pod hlavny monitor takym sposobom, aby vedelo snımat’ tvar pouzıvatel’a priamo a

aby bolo vo vzdialenosti aspon meter od tvare pouzıvatel’a. Pre spravnu funkciona-

litu je vhodne aby sa v zabere zariadenia kinect nevyskytovalo viacero osob, ked’ze v

prıpade vyskytu viacerych tvari v zabere kamery zariadenia kinect by mohlo dojst’ k

vyberu tvare nepozadovanej osoby a teda ku nekorektne vypocıtanej polohe pohl’adu.

Zakladna funkcionalita systemu pre interakciu s pocıtacovym zariadenım spocıva vo

vypocte polohy pohl’adu pouzıvatel’a a rozpoznanı akcie pouzıvatel’a, naprıklad ked’

sa zmenı pohl’ad pouzıvatel’a z hlavneho na vedl’ajsı monitor. Nasledne pri vyskyte

udalosti system odosle prıkaz vybranemu oknu spomedzi otvorenych okien formou

postupnosti stlacenych klaves, ktory sa v tomto okne vykona. Akcie systemu sa

rozlisuju na zmenu bodu pohl’adu, udrzanie pohl’adu na istom mieste a mimika

tvare spojena s otvaranım ust a pohybom obocia.

Pre zakladne urcenie, na ktory monitor sa pouzıvatel’ pozera, nie je potrebna ka-

40

FEI KPI

libracia, ked’ze pre odhad sledovaneho monitora stacı pouzit’ body predstavujuce

spodok nosa s dobrymi vysledkami. Pre zabezpecenie presnosti vypocıtavaneho bodu

pohl’adu na hlavnom monitore je potrebna kalibracia. V prıpade, ze sa poloha mo-

nitorov a zariadenia kinect v danom pracovnom prostredı nemenı, nie je potrebne

system pri opatovnom pouzitı znovu kalibrovat’. Sposob vyuzitia pouzıvatel’ovych

akciı pre interakciu so systemom je potrebne nastavit’ vo forme prıkazov odosie-

lanych pozadovanym oknam. Na kalibraciu, nastavenia a urcenie sposobu vyuzitia

akciı pouzıvatel’a sluzi pouzıvatel’ske rozhranie systemu.

4.2.1 Diagram komponentov systemu

System je navrhnuty tak, aby splnil vsetky poziadavky uvedene v Kapitole 4.1.

Kazda z vyplyvajucich poziadaviek je v systeme zakomponovana sposobom zobra-

zenym na Obrazku 4 – 1.

Obr. 4 – 1 Hlavne okno systemu vypoctu polohy pohl’adu

41

FEI KPI

4.2.2 Vyber vizualizacie castı mapy tvare

Vyber vizualizaciı predstavuje komponent ”Vizualizacia snımanych castı” zobrazeny

na Obrazku 4 – 1. Vizualizacia roznych castı tvare spocıva vo vybere castı mapy tvare

pouzıvatel’a, ktore maju byt’ zobrazene pouzıvatel’ovi v snımke snımanej zariadenım

kinect. Oblasti tvare zaujımave z hl’adiska vypoctu polohy pohl’adu su nasledovne

(farba vypoveda o farebnom zobrazenı vramci vytvoreneho riesenia):

• Oci (Eyes) - svetlozelena farba

• Nos (Nose) - modra farba

• Usta (Mouth) - cervena farba

• Tvar (Face) - zlta farba

Obr. 4 – 2 Vizualizovana mapa tvare: A) vsetky casti a B) oci, nos a usta

Toto zobrazenie snımanej mapy tvare je mozne umiestnit’ nad tvar pouzıvatel’a v

snımanom priestor, do osobitneho okna alebo ho umiestnit’ vedl’a tvare pouzıvatel’a.

Vo vytvorenom systeme su zobrazovane casti mapy tvare v relatıvnom posunutı od

skutocnej tvare pouzıvatel’a pre l’ahsiu identifikaciu jednotlivych castı. Nastavenie

vizualizacie castı mapy tvare sa vo vytvorenom systeme deje pomocou samostatneho

okna. Okno nastavenia vizualizacie sa zobrazuje v pravom dolnom rohu od hlavneho

okna, avsak nasledne ho pouzıvatel’ moze presunut’ podl’a svojich potrieb. Pouzıvatel’

vytvoreneho systemu zaroven moze urcit’, aby boli vizualizovane casti tvare zobra-

zovane v hlavnej snımke aj po uzatvorenı tohto okna. Zobrazenie vizualizacie mapy

42

FEI KPI

tvare je zobrazene na Obrazku 4 – 2.

4.2.3 Nastavenia systemu

Nastavenia sluzia pre definovanie pracovneho prostredia systemu. Pouzıvatel’ tu

urcuje polohu vedl’ajsieho monitora oproti hlavnemu monitoru. Zaroven sa tu da

nastavit’ rychlost’ pohybu kalibracnych bodov pri kalibracii. Nastavenia systemu sa

tu daju ukladat’, pricom pri opatovnom zapnutı systemu su automaticky nacıtane po-

sledne ulozene nastavenia. Vzdy ked’ sa zmenı pracovne prostredie (naprıklad zmena

umiestnenia vedl’ajsieho monitora oproti hlavnemu) je potrebne nastavit’ system pre

nove usporiadanie prvkov pracovneho prostredia.

Pre rozne prostredia sa menı hodnota natocenia tvare uvedena v Kapitole 4.2.6.

Nastavenia systemu maju umoznit’ upravu tejto hodnoty, aby presnejsie odpovedala

pozadovanemu prostrediu bez pouzitia kalibracie.

Okno vytvoreneho systemu s nastaveniami sa zobrazuje v pravom hornom rohu

od hlavneho okna, avsak nasledne ho pouzıvatel’ moze premiestnit’ podl’a svojich

predstav. Okno nastavenı predstavuje riesenie komponentu ”Nastavenia systemu”

zobrazeneho na Obrazku 4 – 1.

4.2.4 Kalibracia

Kalibracia na zaklade poctu bodov z nastavenı zobrazı pouzıvatel’ovi tieto body

postupne v roznych hranicnych castiach monitora a pouzıvatel’ sa na ne postupne

musı pozerat’. Kazdy bod ostava v hranicnych castiach monitora istu casovu chvıl’u,

pocas ktorej sa pouzıvatel’ musı pozerat’ na tento bod. Pocas tohoto casu system

zaznamenava snımane body tvare pouzıvatel’a. Nasledne po tom, ako system prejde

vsetkymi kalibracnymi bodmi, pouzije system ulozene body pre vypocet polohy

pohl’adu na monitore (vid’ kapitola 4.2.5).

43

FEI KPI

Kalibracny priestor vytvoreneho systemu je zobrazeny na celu obrazovku a vypına

sa pomocou tlacidla ”Exit calibration”. Spustenie kalibracie je v systeme vyriesene

pomocou tlacidla ”Start calibration” a kalibracia moze byt’ znovu spustena pomocou

toho isteho tlacidla. Kalibracia systemu vykonava cinnost’ komponentu ”Kalibracia”

zobrazeneho na Obrazku 4 – 1.

4.2.5 Vypocet odhadovanej polohy pohl’adu na monitore

Pre vypocet odhadovanej polohy pohl’adu na monitore je potrebna kalibracia systemu.

Pocas kalibracie systemu sa pre kazdy kalibracny bod ulozia udaje o pozıcii zaujıma-

vych bodov mapy tvare pouzıvatel’a. Zaujımavymi bodmi mapy tvare potrebnymi

pre vypocet polohy pohl’adu na monitore su:

• Bod predstavujuci stred cela

• Body predstavujuce spicku nosa

• Bod predstavujuci pravy kraj tvare

• Bod predstavujuci pravu zadnu cast’ tvare

• Bod predstavujuci l’avy kraj tvare

• Bod predstavujuci l’avu zadnu cast’ tvare

Na Obrazku 4 – 3 su zobrazene body predstavujuce celo, spicku nosa, pravy kraj

tvare a pravu zadnu cast’ tvare. Z l’avej strany su analogicky body l’aveho kraju

tvare a l’avej zadnej casti tvare.

Pri prvej kalibracii systemu sa pozıcia jednotlivych bodov uklada do suboru pre

jednotlive body kalibracie. Nasledne su pre vypocet odhadovanej polohy vyuzite x-

ove a y-ove hodnoty tychto bodov a ich rozdiely. Rozdiel na osi y, medzi bodom cela

a nosa pre rovnaku vzdialenost’ tvare pouzıvatel’a od zariadenia kinect, je konstantny

a je ho mozne pouzit’ pri urcenı vzdialenosti tvare pouzıvatel’a od monitora. Rozdiely

44

FEI KPI

Obr. 4 – 3 Zaujımave body pre vypocet polohy pohl’adu

na osi x a y bodov krajov a zadnej casti mapy tvare je mozne vyuzit’ pre urcenie

intenzity natocenia tvare pouzıvatel’a po horizontalnej respektıve vertikalnej osi (vid’

Obrazok 4 – 4).

Prvym krokom vypoctu je poloha bodu pohl’adu na osi x. Pre tento vypocet sa

pouziju body pravej casti tvare (respektıve l’avej) ked’ je vedl’ajsı monitor v pra-

covnom prostredı postaveny napravo od hlavneho monitora (respektıve nal’avo). Pre

vypocet sa vzdy pouzıvaju body aktualne nasnımanej tvare pouzıvatel’a, pri pohl’ade

na l’avu stranu monitora sa pouzıvaju navyse body zaznamenane pri pohl’ade na body

3 a 4, pri pohl’ade na pravu stranu monitora body zaznamenane pri pohl’ade na body

4 a 5. Na zaklade aktualnej vzdialenosti bodov krajnej casti tvare pouzıvatel’a sa

vypocıta percentualny podiel natocenia a nasledne sa tento podiel prepocıta na

hodnotu osi x. Pre vypocet polohy bodu pohl’adu na osi y sa okrem aktualne za-

znamenanych bodov tvare pouziju body 1, 4 a 7 ak sa hodnota bodu pohl’adu na

osi x nachadza medzi zltou a tyrkysovou priamkou, body 0, 3 a 6 ak sa hodnota

45

FEI KPI

Obr. 4 – 4 System prepoctu odhadovaneho bodu pohl’adu

bodu pohl’adu na osi x nachadza nal’avo od zltej priamky alebo body 2, 5 a 8 ak sa

hodnota bodu pohl’adu na osi x nachadza napravo od tyrkysovej priamky.

V prıpade, ze sa pouzıvatel’ sustredene pozera na jedno miesto, system do dokaze

identifikovat’ pomocou toho, ze sa pozıcia bodu spicky nosa nemenı. Ak to system

registruje, trvanie sustredeneho pohl’adu vie urcit’ pomocou zaznamenania casu, od

kedy sa nos pouzıvatel’a prestal hybat’ a porovnanım tohto casu s aktualnym casom.

Pomocou spomenutych vypoctov je zabezpecena cinnost’ komponentov ”Vypocet po-

lohy pohl’adu” a ”Vypocet trvania sustredeneho pohl’adu” zobrazenych na Obrazku

4 – 1.

4.2.6 Urcenie rozlısenia pohl’adu na hlavny a vedl’ajsı monitor

Mapa hornej casti nosa pouzıvatel’a snımana zariadenım kinect sa sklada z osmych

bodov, ktore medzi sebou vytvaraju 7 trojuholnıkov, ako je to zobrazene na Obrazku

4 – 5. Kazdy z tychto bodov je dany dvoma suradnicami X a Y vyjadrenych typom

46

FEI KPI

double. Pri pohybe hlavy pouzıvatel’a sa polohy tychto bodov menia, co platı aj

pri natocenı tvare pouzıvatel’a. Z dovodu, ze je zariadenie kinect umiestnene aspon

v metrovej vzdialenosti od tvare pouzıvatel’a za hlavnym monitorom, je zariadenie

kinect schopne snımat’ body nosa pouzıvatel’a aj pri pohl’ade na vedl’ajsı monitor.

Pre urcenie, na ktory monitor sa pouzıvatel’ pozera, su zaujımave body 6, 7 a 8

zobrazene na obrazku.

Obr. 4 – 5 Osem bodov urcujucich nos pouzıvatel’a

V prıpade, ze sa vedl’ajsı monitor nachadza napravo od hlavneho monitora, potre-

bujeme pouzit’ body 7 a 8. Ak sa vedl’ajsı monitor nachadza nal’avo od hlavneho

monitora pouzijeme body 7 a 6. Bod 7 predstavuje spicku nosa. Tym, ze sa x-

ova suradnica tohto bodu priblizuje ku x-ovej suradnici susedneho bodu vieme urcit’

natocenie tvare pouzıvatel’a. Hodnota urcenia polohy sa da urcit’ pomocou kalibracie

alebo pomocou okna nastavenı. Pociatocna hodnota systemu je nastavena na hod-

notu 4,063, pricom tato hodnota dava dobre vysledky bez potreby kalibracie. V

prıpade, ze vzdialenost’ x-ovych suradnıc pozadovanych bodov je nizsia ako tato

hodnota, znacı to pohl’ad pouzıvatel’a na vedl’ajsı monitor, pricom poloha tohto

monitoru voci hlavnemu monitoru je dana pouzitymi bodmi pre vypocet. Zmena

vzdialenosti bodov spicky a strany nosa je zobrazena na Obrazku 4 – 6.

Vypocty uvedene v tejto kapitole su pouzite komponentom ”Vypocet polohy pohl’adu”

zobrazenym na Obrazku 4 – 1.

47

FEI KPI

Obr. 4 – 6 Zmena vzdialenosti bodov nosa pri natocenı hlavy

4.2.7 Nastavenie odosielanych prıkazov spojenych s aktivitou pouzıvatel’a

Nastavenie odosielanych prıkazov je cinnost’ vykonavana komponentom ”Definovanie

reakcie” zobrazenym na Obrazku 4 – 1. Vytvoreny prıkaz musı svojou strukturou

odpovedat’ poziadavkam uvedenym v kapitole 4.1.3.

Nastavenie odosielanych prıkazov spojenych s pouzıvatel’ovou aktivitou je zakladnou

kostrou celeho systemu interakcie so systemom na zaklade sledovanej aktivity pouzıva-

tel’a. Toto nastavenie by malo poskytnut’ pouzıvatel’ovi plny prıstup k definovaniu

prıkazu, ktory ma byt’ odoslany zvolenemu programu pri vyskyte aktivity pouzıvatel’a.

Zaroven by mal byt’ umozneny vyber akcie, na ktoru je vyvolana definovana reakcia.

Vyber z otvorenych okien programov je mozny naprıklad pomocou kontextoveho

okna. Pre tento program sa vykonavaju vsetky prıkazy, ktore boli pre neho priradene.

Tieto prıkazy je potrebne zobrazit’ pouzıvatel’ovi a zaroven pouzıvatel’ musı mat’

moznost’ vymazat’ nepozadovany prıkaz pre okno. Moznost’ ulozit’ prıkazy pre dane

okno a nacıtanie prıkazov vylepsuje opakovane pouzitie systemu.

Prıkaz posielany oknu programu pozostava z postupnosti klavesovych prıkazov.

Tieto znaky je potrebne pridavat’ a odstranovat’ z postupnosti prıkazov. Zakladny zo-

48

FEI KPI

znam klavesovych prıkazov je mozne skonstruovat’ pomocou vyberoveho zoznamu, v

ktorom su ulozene vsetky zakladne znaky a klavesy klavesnice. Poskytnutie moznosti

definıcie vlastnych klavesovych prıkazov, ktore je mozne poskladat’ aj ako postup-

nost’ povodnych klaves, umoznı pouzıvatel’ovi zjednodusene pouzitie systemu, ob-

zvlast’ ked’ ma moznost’ vlastne klavesove prıkazy ukladat’ a nacıtat’.

Pre system interakcie s pocıtacovym systemom na zaklade snımania aktivity pouzıva-

tel’a je potrebna definıcia zakladnej mnoziny akciı, ktoru takyto system zazna-

menava. Zakladne akcie, ktore system dokaze rozoznat’ (vid’ Kapitola 4.1.2) je mozne

priamo do systemu vlozit’ vo forme zoznamu. Nasledne pouzıvatel’ pri praci zo

systemom vybera pozadovanu akciu z tohto zoznamu. Pre system by bolo mozne vy-

tvorit’ moznost’ definıcie vlastnej akcie, avsak takato definıcia akciı vyzaduje zlozitu

strukturu a znalost’ vnutornej struktury programu.

Pre umoznenie ciastocnej upravy zakladnych akciı je mozne pridat’ k akcii cıselny

parameter (vid’ Kapitola 4.1.2). Tento cıselny parameter predstavuje naprıklad pocet

zmien pohl’adu medzi monitormi alebo casovy interval trvania akcie, kym sa na nu

vykona odozva.

Pre kazdy prıkaz je potrebne definovat’ popis prıkazu. Tento popis opisuje definovany

prıkaz a zaroven je ho mozne pouzit’ ako identifikator v zobrazovacıch zoznamoch.

Jeden prıkaz sa sklada z postupnosti klavesovych prıkazov, z akcie pouzıvatel’a s

cıselnym parametrom a z popisu prıkazu. Zoznam vsetkych ulozenych prıkazov sa

da rozsırit’ o novy prıkaz a zaroven sa da nacıtat’ pre lepsiu a rychlejsiu opatovnu

pouzitel’nost’ systemu.

Definovany prıkaz sa moze vykonavat’ pre viacero okien sucasne. Kazdemu oknu

treba prıkaz pridelit’. Vo vytvorenom systeme sa to deje pomocou tlacidla ”Add com-

mand for window”. Vykonanie takto prideleneho prıkazu sa po spustenı systemu pre

toto okno vykona v okamihu, kedy je pouzıvatel’om vykonana akcia tohto prıkazu.

Vo vytvorenom systeme sa nastavenie odosielanych prıkazov deje pomocou samos-

49

FEI KPI

tatneho okna. Vyzor tohoto okna je zobrazeny na Obrazku 4 – 7. Na uvedenom

prıklade je ukazane definovanie odosielania prıkazov pre pısany dokument pomo-

cou textoveho editoru Microsoft Word. Akonahle sa pouzıvatel’ pozrie na vedl’ajsı

monitor je do popredia vytiahnuty pısany dokument, teda pouzıvatel’ nemusı na

dany dokument klikat’ mysou. Zaroven pri kazdej tretej zmene pohl’adu z hlavneho

na vedl’ajsı monitor je nahl’ad na dokument posunuty nadol tak, aby ho nemusel

pouzıvatel’ posunut’ pomocou kolieska alebo tlacidla mysi. Pouzıvatel’ si musı pri

takto definovanom prıkaze uvedomit’ plnu funkciu tohoto prıkazu. Naprıklad pre

uvedeny prıkaz posunu nahl’adu je kriticke, aby sa kurzor indexu pozıcie pısania v

texte dokumentu nachadzal na konci, lebo v inom prıpade okrem posunu nahl’adu

dojde aj k presunutiu polohy tohto kurzoru.

Obr. 4 – 7 Okno nastavenia odosielanych prıkazov

4.2.8 Zaznamenanie akcie pouzıvatel’a

Pre zaznamenanie akcie pouzıvatel’a potrebuje vo vytvorenom systeme bezat’ ro-

zoznavanie akciı. Nakol’ko kazda akcia ma priradeny aj cıselny indikator, nastroj

pouzity pre rozpoznanie akciı musı mat’ pocıtadlo ktore sa overuje s definovanym

50

FEI KPI

indikatorom pomocou operacie vypoctu zvysku po delenı, pricom reakcia sa vy-

kona ak vysledkom tejto operacie je 0. Akcie pouzıvatel’a je mozne zaznamenavat’

sposobom, ze system ma ulozenu poslednu vykonanu akciu. V prıpade, ze pouzıvatel’

sa sustredene pozera na bod, system odstartuje vypocet dlzky trvania pohl’adu.

V prıpade, ze aktualne snımana akcia pouzıvatel’a je rozdielna ako predosla ak-

cia, system zvysi hodnotu pocıtadla vyskytu tejto akcie a vykona kazdu reakciu,

ktorej vykonanie odpoveda novej hodnote pocıtadla. V ramci diagramu komponen-

tov zobrazenom na Obrazku 4 – 1 je zaznamenanie reprezentovane komponentom

”Zaznamenanie akcie pouzıvatel’a” a vykonanie reakcie komponentom ”Vykonanie

reakcie”.

4.2.9 Okno informaciami o systeme

Kazdy zlozitejsı system by mal obsahovat’ napovedu, aby ho bol pouzıvatel’ schopny

pouzit’ aj bez manualu. Pre vytvoreny system tuto ulohu plnı okno z informaciami o

systeme. V informacnom okne sa nachadza textova a niekedy aj obrazova napoveda k

istej casti systemu. Pouzıvatel’ medzi jednotlivymi oknami napovedy prepına pomo-

cou tlacidiel. Napoveda je pre system ponuknuta v slovenskom aj anglickom jazyku.

4.2.10 Spustenie a zastavenie vyuzitia polohy pohl’adu a akcie pouzıvatel’a

To ze system vykonava reakcie ihned’ po spustenı nie je dobry riesenım z dovodu, ze

prıkazy pre okna este neboli definovane. Zaroven nie je dobre aby sa system snazil

vykonat’ reakciu na akciu pouzıvatel’a pred tym, ako bol prvy krat kalibrovany alebo

pocas toho, ako pouzıvatel’ nastavuje jednotlive prıkazy pre jednotlive programy.

Z tohto dovodu je dobre do systemu pridat’ moznost’ spustenia a zastavenia vy-

konavania reakciı na pouzıvatel’ove akcie.

Pri spustenı funkcionality systemu sa nacıtaju vsetky pouzıvatel’om definovane prıkazy

pre jednotlive okna programov. V prıpade, ze zariadenie kinect je schopne snımat’

51

FEI KPI

mapu tvare pouzıvatel’a, je to potrebne pre pouzıvatel’a zobrazit’ (naprıklad pomo-

cou farebneho indikatora alebo pomocou textu). Ked’ je system spusteny, vzdy ked’

pouzıvatel’ vykona nejaku akciu, pre ktoru definoval prıkaz, system odosle prıslusny

prıkaz vybranemu oknu programu. V prıpade, ak zariadenie kinect nie je schopne

nasnımat’ tvar pouzıvatel’a, je potrebne upozornit’ na tuto skutocnost’. To sa da

naprıklad zmenou farby farebneho indikatora alebo pomocou textu. System nie je

schopny vykonavat’ reakcie na akcie pouzıvatel’a v takomto prıpade. Vynimkou je

prıkaz, pre ktory bola akcia definovana ako strata pohl’adu z monitora.

Spustenie a zastavenie vykonavanı reakciı na akcie pouzıvatel’a je inicializovane

pouzıvatel’om a v diagrame komponentov zobrazenom na Obrazku 4 – 1 predstavuje

komponent ”Spustenie vykonavania akciı”.

4.2.11 Prıstup k jednotlivym castiam systemu

Jednotlive komponenty rozobrane v predchadzajucich kapitolach treba spojit’ do

jedneho spolocneho programu, vramci ktoreho maju komponenty moznost’ medzi

sebou vymienat’ potrebne udaje respektıve spustit’ vykonanie odozvy pozadovaneho

komponentu.

Vo vytvorenom systeme su jednotlive komponenty medzi sebou prepojene pomocou

hlavneho okna. Hlavne okno predstavuje rozhranie pre prıstup k ostatnym castiam

systemu. V pravej strane okna sa nachadzaju tlacidla ovladania systemu. Tlacidlo

”Settings” otvara okno nastavenia systemu v pravom hornom rohu od hlavneho okna.

Tlacidlo ”Calibrate” otvara rozhranie kalibracie systemu, kde pouzıvatel’ kalibruje

hodnoty pouzite pre vypocet polohy pohl’adu spolu s moznost’ou vyskusat’, ci tato

poloha odpoveda pozadovanej polohe pohl’adu. Tlacidlo ”Start” spust’a vyuzıvanie

vypocıtanej polohy pohl’adu a akcie pouzıvatel’a pre interakciu so systemom, avsak

aby ho bolo mozne pouzit’, musı byt’ system schopny vypocıtavat’ polohu pohl’adu

pouzıvatel’a - system musı byt’ kalibrovany. To neplatı v prıpade vyuzitia akcie zmeny

52

FEI KPI

pohl’adu z jedneho na druhy monitor. Tlacidlo ”Visualization” otvara okno vizu-

alizacie v pravom dolnom rohu od hlavneho okna systemu. Tlacidlo ”Command”

otvara okno rozhrania pre nastavenie vykonavanych akciı spojenych s aktivitou

pouzıvatel’a. Tlacidlo ”About” v pravom hornom rohu zobrazuje informacie o jed-

notlivych prvkoch systemu a ako ich vyuzit’.

V l’avej casti hlavneho okna sa nachadza zobrazovacı priestor, kde je pouzıvatel’ovi

ukazany zaber vyhotoveny zariadenım kinect. V tomto zabere sa moze vyskyto-

vat’ aj vizualizacia mapy tvare pouzıvatel’a podl’a toho, ako to pouzıvatel’ nasta-

vil v okne s nastaveniami vizualizacie. V prıpade, ze zariadenie kinect je schopne

snımat’ tvar pouzıvatel’a, sa ukazuje zeleny indikator v hornej casti hlavneho okna.

V prıpade, ze zariadenie kinect nie je schopne urcit’ mapu tvare pouzıvatel’a (napr.

z dovodu, ze pouzıvatel’ je v nedostatocnej vzdialenosti od zariadenia kinect alebo

je cast’ tvare pouzıvatel’a zakryta), nachadza sa na tomto mieste cerveny indikator.

Vyzor hlavneho okna ked’ zariadenie kinect nie je schopne vypocıtat’ mapu tvare

pouzıvatel’a je zobrazene na Obrazku 4 – 8.

4.3 Pouzıvanie systemu

Pouzıvanie systemu spocıva v troch krokoch. Prvym krokom je kalibracia systemu,

potrebna pre zlozitejsie akcie spojene s vypoctom pribliznej polohy pohl’adu na

hlavny monitor. V prıpade, ze sa system pouzıva len v spojenı s akciou zmeny

pohl’adu z monitora na monitor, nie je kalibracia nutne potrebna. Druhy krok

spocıva v nastavenı prıkazov riadenia prvkov v pocıtacovom prostredı, v ktorom

pouzıvatel’ pracuje. Tretı krok je spustenie systemu. Od momentu spustenia systemu

pouzıvatel’ pouzije pouzıvatel’ske rozhranie systemu len v prıpade, ze chce zastavit’

vykonavanie reakciı na svoje akcie. Pouzıvatel’ pracuje s pocıtacovym systemom ob-

vyklym sposobom, pricom vsak ma moznost’, okrem interakcie pomocou klavesnice

a mysi, vykonavat’ prıkazy v oknach programov pomocou aktivity svojej hlavy.

53

FEI KPI

Obr. 4 – 8 Hlavne okno systemu vypoctu polohy pohl’adu

Efektıvnost’ pouzitel’nosti pocıtacoveho prostredia a interakcie clovek-pocıtac sa tymto

sposobom nemusı znacne zvysit’. System vsak poskytuje uzıvatel’sky prıvetivejsiu

formu interakcie s pocıtacovym systemom, ked’ze niektore ukony, ako naprıklad

prepınanie medzi oknami, su tymto systemom ul’ahcene.

4.4 Moznosti buduceho rozsırenia

System je urceny pre pracovne prostredie s dvoma monitormi. Jednoduchym sposo-

bom sa vsak da rozsırit’ o tretı monitor za predpokladu, ze hlavny monitor a zaria-

denie kinect sa budu nachadzat’ v strede pracovneho prostredia. System je mozne

pouzit’ aj pre multimonitor, avsak v takom prıpade ide o redukciu funkcionality

systemu, ked’ze pri multimonitore nehovorıme o vedl’ajsom monitore. System je

54

FEI KPI

mozne prepojit’ aj so systemami sledujucimi oci pouzıvatel’a uvedenymi v Kapitole

2.3.1.

4.4.1 Rozsırenie pre viacero monitorov

System je mozne jednoduchym sposobom vyvinut’ pre pracovne prostredie s troma

monitormi. V prıpade prostredia z troma monitormi je potrebne, aby bolo uspo-

riadane sposobom, ze sa hlavny monitor nachadza v strede pracovneho prostredia

a za nım sa nachadza zariadenie kinect. Urcenie, na ktory monitor sa pouzıvatel’

pozera, je riesene sposobom uvedenym v Kapitole 4.2.6, pricom pouzıvatel’ nemusı

nastavovat’ rozmiestnenie monitorov v pracovnom prostredı. Vzdy ked’ je vzdiale-

nost’ pozadovanych bodov nosa pre natocenie na jeden z vedl’ajsıch monitorov mensia

ako hodnota natocenia tvare voci monitoru, body nosa, pre ktore bola tato vzdiale-

nost’ vypocıtana, urcia monitor, na ktory sa pouzıvatel’ pozera. Taketo prostredie by

mohlo byt’ pohodlnejsie pre pouzıvatel’a, ked’ze sa znizuje moznost’, ze by potreboval

mat’ otvorene na vedl’ajsom monitore viac ako jedno okno. Preto by system posky-

toval lepsie prepınanie okien do popredia nachadzajucich sa na tomto monitore.

4.4.2 Rozsırenie pre multimonitory

Pri rozsırenı systemu pre pouzitie s multimonitorom sa menı cela podstata systemu.

Pre pracovne prostredie nie su multimonitory bezne, ked’ze sa spravaju rovnako ako

jeden vel’ky monitor. Pouzitie systemu multimonitorov a urcenia polohy pohl’adu

sa vsak daju pouzit’ pri zist’ovanı zaujmu pohl’adu viacerych pouzıvatel’ov naraz.

Zariadenie kinect snıma vsetky tvare vo svojom rozlisovacom poli. Pre kazdu z

tychto tvari sa da vypocıtat’ priblizny vektor pomocou bodov nosa a pomocou tohto

vektoru sa da urcit’ priblizna poloha pohl’adu jednotlivcov. Tento princıp sa da vyuzit’

pri skumanı a ohodnocovanı rozhranı webovych stranok. System je vsak urceny pre

jedneho pouzıvatel’a a teda uprava pre taketo pouzitie by mala vysoke casove naroky.

55

FEI KPI

4.4.3 Generalizacia okien

System podporuje definovanie reakciı na akcie pouzıvatel’a pre specificke okno. V

prıpade mnohych programov sa vsak pri akcii menı meno okna, co by sposobilo ne-

vykonanie sa reakcie pre toto premenovane okno. Z tohto dovodu je mozne system

rozsırit’ o generalizaciu okna, pricom system neposiela postupnost’ prıkazov oknu

presne definovanemu menom, ale oknu, ktoreho nazov odpoveda specifikovanej pod-

mienke.

Pri prepisovanı textu zo snımkov je mozne sposobit’ prepnutie snımku pri pohl’ade na

vedl’ajsı monitor. Pri tomto prepnutı sa vsak menı nazov okna. V prıpade pouzitia

programu Windows Photo Viewer na zobrazenie tychto obrazkov platı pre povodne

aj prepnute okno, ze ich nazov sa koncı prıponou ”- Windows Photo Viewer”. Tym

padom by system poslal prıkaz na prepnutie okna pri pohl’ade na vedl’ajsı monitor,

pricom by sa prıkaz poslal oknu konciacemu pozadovanou prıponou.

Generalizacia okien by sa potom dala pouzit’ pri roznych cinnostiach s pocıtacom

a zaroven aj pre testy. Prıkladom takehoto textu by mohla byt’ schopnost’ cloveka

pamatat’ si text. Respondent by sa pozrel na text na vedl’ajsom monitore s ulohou

zapamatat’ si co najviac. Potom by text musel napısat’ v editore na hlavnom moni-

tore. Pri d’alsom pohl’ade na vedl’ajsı monitor by sa snımka pohla d’alej a ukazal by

sa d’alsı text na zapamatanie.

4.4.4 Prepojenie s kamerou pre snımanie pohybu ocı

Poloha pohl’adu urcovana pomocou nosa pouzıvatel’a neodpoveda skutocnej polohe

pohl’adu tak vierohodne, ako to robia metody, ktore urcuju PoR pouzıvatel’a pomo-

cou snımanej aktivity ocı pouzıvatel’a. System, ktory pouzıva body tvare pouzıvatel’a

by bolo mozne prepojit’ so systemom snımajucim oci pouzıvatel’a takym sposobom,

ze body tvare pouzıvatel’a by boli pouzite pre urcenie aktivity a urcenie sledovaneho

monitora a oci pouzıvatel’a by boli pouzite pre urcenie presneho bodu pohl’adu.

56

FEI KPI

Takymto sposobom by sa zvysila presnost’ systemu. Otazkou vsak ostava, na kol’ko

by bol takyto system uzitocny.

Pracovne prostredie takehoto systemu by sa muselo skladat’ minimalne z:

• Hlavneho monitora

• Klavesnice

• Pocıtacovej mysi

• Vedl’ajsieho monitora

• Zariadenia Kinect

• Kamery s dobrou rozlisovacou schopnost’ou a IR filtrom

• Zdrojom infracerveneho svetla

V prıpade pouzitia notebooku je nootebook predstaveny hlavnym monitorom a

klavesnicou. Notebook je mozne pouzit’ aj ako vedl’ajsı monitor, avsak v takom

prıpade by bolo potrebne mat’ v pracovnom prostredı d’alsiu externu klavesnicu

umiestnenu pred hlavnym monitorom. To je zaprıcinene tym, ze pouzıvatel’ pri

praci s pocıtacom potrebuje casto upriamit’ svoj pohl’ad na klavesnicu a je pre neho

prirodzenejsie, ked’ sa klavesnica nachadza pod monitorom. Ukazka udajov potvr-

dzujucim tuto skutocnost’ je ukazana v Kapitole 4.6.2.

Zlozitost’ a cena pracovneho prostredia sa v tomto prıpade zvysuju. V prıpade

pouzitia zariadenia kinect verzie 2 je mozne na sledovanie ocı pouzıvatel’a pouzit’ ka-

meru zariadenia kinect, avsak pri vyvoji sa pouzil kinect verzie 1, ktoreho technicke

parametre (vid’ kapitola 4.5) nie su dostatocne pre vypocty natocenia ocı. Zaroven

dochadza k zvyseniu poziadavky na procesorovy vykon pocıtacoveho systemu, aby

bol schopny udrzat’ odpoved’ systemu v realnom case.

57

FEI KPI

4.5 Technicke parametre zariadenia Kinect

System bol vytvoreny s pouzitım operacneho systemu Microsoft Windows 7 pri

pouzitı SDK for Kinect verzie 1.5 v spojenı so zariadenım kinect verzie 1. Kamera

zariadenia ma rozlısenie 640x480 pixelov. Obrazova frekvencia tejto kamery je 30

snımok za sekundu. Hlbkova infracervena kamera zariadenia ma rozlısenie 320x240

pixelov. Minimalna vzdialenost’ pouzıvatel’a je 40 cm, avsak snımanie mapy tvare

dava vysledky az pri vzdialenosti jeden meter.

Zariadenie kinect verzie 1 ponuka nastroje pre zakladne snımanie mapy tvare pouzıva-

tel’a. Zosnımane udaje je mozne pouzit’ pri urcenı monitora, na ktory sa pouzıvatel’

pozera, pri urcenı sustredeneho pohl’adu pouzıvatel’a a pri odhade pribliznej polohy

pohl’adu pouzıvatel’a na hlavnom monitore.

Zariadenie kinect verzie 2, ktore je mozne pouzit’ pre vyvoj systemu, pouzıva ka-

meru s rozlısenım 1920x1080 pixelov pri obrazovej frekvencii 30 snımok za sekundu.

Hlbkova infracervena kamera ma rozlısenie 512x424 pixelov. Toto zariadenie po-

skytuje vyssiu kvalitu vstupnych udajov, avsak podporuje iba Windows 8 a vyssı.

Technicke parametre zariadenı porovnal Szymczyk [32].

4.6 System vypoctu polohy v praxi

Ciel’om testov je zistit’ efektıvnost’ pouzitia systemu interakcie s pocıtacovym syste-

mom na zaklade snımania aktivity pouzıvatel’a v modernych pouzıvatel’skych roz-

hraniach. Kazdy z testov sleduje urcitu funkcnost’ systemu pri specifickom zadanı.

Testy mozno rozdelit’ do podkategoriı:

1. Trvanie pohl’adu

2. Prepisovanie textu

3. Vyvoj softveru

58

FEI KPI

4.6.1 Zaznamenavane trvanie pohl’adu

Dolezitym faktorom pri skumanı modernych prvkov pre interakciu clovek-pocıtac

je zber zıskanych udajov. V prıpade systemu pre interakciu s pocıtacom pomocou

aktivity pouzıvatel’a je zaujımavym zdrojom udajov trvanie pohl’adu pouzıvatel’a na

monitor. Z dovodu vyuzitia dvoch monitorov sucasne sa ponuka moznost’ ohodno-

tenia pracovneho prostredia vyuzıvajuceho dva monitory sucasne. System ponuka

moznost’ zistit’ trvanie pouzıvatel’ovho pohl’adu na jednotlive monitory a interval, v

akom menı pohl’ad z jedneho na druhy monitor pri roznych zadaniach.

Pri meranı trvania pohl’adu na jednotlive monitory system zaznamenava celkovy cas,

ktory pouzıvatel’ stravil pohl’adom na hlavny a vedl’ajsı monitor. Zaroven system za-

znamenava cas, kedy zariadenie kinect nebolo schopne snımat’ mapu tvare pouzıvatel’a.

Meranie casu pohl’adu je vykonane sposobom, ze v momente spustenia zaznamenavania

udajov sa vytvorı prvy zaznam s casovou peciatkou zacatia merania a udajom o mo-

nitore, na ktory sa pouzıvatel’ pozeral. V prıpade, ze sa zmenı monitor, na ktory

sa pouzıvatel’ pozera je uzavrety zaznam pohl’adu na predchadzajuci monitor s na-

stavenım konca zaznamu na aktualnu casovu peciatku. Zaroven je vytvoreny novy

zaznam pre novy monitor a zaciatok tohto zaznamu je nastaveny na cas zmeny

pohl’adu na aktualny monitor. Pri zastavenı zaznamenavania akciı pouzıvatel’a sa

scıtaju vsetky dlzky zaznamov pre sledovanie hlavneho a vedl’ajsieho monitora.

Zaroven je spomedzi tychto zaznamov vybrany najdlhsie trvajuci pohl’ad na hlavny

a vedl’ajsı monitor. Pri tomto teste pouzıvatel’ nedefinuje prıkazy pre okna.

Zaznamenavane trvanie pohl’adu na jednotlive monitory bolo vyskusane pre zadania:

• Prepisovanie textu zo snımkov

• Hl’adanie zdrojov pre pısanie referatu

• Pısanie autorskeho textu do referatu

• Pısanie textu referatu s pomocou literarneho zdroja

59

FEI KPI

• Prıprava prezentacie k referatu

• Vseobecne programovanie

Prepisovanie textu zo snımkov pojednava o cinnosti, kedy na jednom z monito-

rov sa nachadza snımok s textovou informaciou a na hlavnom textovy editor, do

ktoreho pouzıvatel’ tuto informaciu prepisoval. Cinnost’ hl’adania zdrojov pozostavala

z vyhl’adavania zdrojov na internete a nasledne ukladanie tychto dokumentov pre

nasledne spracovanie do formy referatu. Pısanie autorskeho textu predstavuje pısanie

vlastneho nazoru autora. Pısanie textu s literarnym zdrojom predstavuje pısanie

s odkazovanım sa na istu formu literarneho zdroja, ktory nevytvoril tvorca re-

feratu. Prıprava prezentacie predstavuje cas, kedy pouzıvatel’ pripravil pre referat

prezentaciu, nevzt’ahuje sa sem ale samotna prıprava na prezentovanie. Vseobecne

programovanie predstavuje priemer z dob na programovanie znamej a neznamej

problematiky. V tejto dobe je spolu zaratane programovanie pomocou jazyka C] a

Java.

Obr. 4 – 9 Percentualne zastupenie casu sledovania monitorov

Na Obrazku 4 – 9 je znazornene percentualne zastupenie pohl’adu na monitory pri

vykonavanı zadanı. Je mozne vidiet’, ze pri prepisovanı textu je cas sledovania

60

FEI KPI

vedl’ajsieho monitora minimalny. To znamena, ze pri prepisovanı textu bez potreby

pochopit’ vyznam textu potrebuje pouzıvatel’minimum casu pohl’adu na vedl’ajsı mo-

nitor a vacsinu casu travi pozeranım na hlavny monitor, pod ktorym je klavesnica

potrebna na zapısanie pozadovaneho textu. Podrobnejsie je problematika prepisova-

nia textu rozobrana v kapitole 4.6.2. Najviac casu sledovania vedl’ajsieho monitora

je pri pısanı textu s pomocou externych dokumentov rozoberajucich problematiku

pısaneho textu.

Obr. 4 – 10 Priemerny cas sledovania monitorov

Na Obrazku 4 – 10 je znazornena priemerna doba sledovania hlavneho a vedl’ajsieho

monitora. Tu je mozne si vsimnut’, ze priemerna doba sledovania hlavneho moni-

tora je najdlhsia pri programovanı a najkratsia pri pısanı autorskeho textu a pri

prepisovanı textu. Rovnako sa da z obrazku vycıtat’, ze pri programovanı pouzıvatel’

strieda pohl’ad na monitory najmenej casto, zatial’ co najcastejsie strieda pohl’ad z

monitora na monitor pri pısanı referatu. Z Obrazka 4 – 11 mozno vycıtat’ najdlhsie

trvanie sledovania jednotlivych monitorov pri vykonavanı zadanı. Je mozne vidiet’,

ze pri programovanı sa vyskytla najdlhsia doba sustavneho sledovania hlavneho mo-

nitora = 13 minut a 1 sekunda (781 sekund). Najdlhsia doba sustavneho pohl’adu na

vedl’ajsı monitor sa vyskytla pri pısanı textu s pomocou dokumentu zaoberajuceho

61

FEI KPI

Obr. 4 – 11 Najdlhsı cas sledovania monitorov

sa tematikou, v tomto prıpade to boli 3 minuty a 17 sekund (197 sekund).

Zo zıskanych udajov vyplyva, ze pri prıprave systemu snımajuceho aktivitu pouzıva-

tel’a je potrebne mysliet’ na rozne domeny problemov a pre rozne problematiky je

potrebne poskytnut’ moznost’ prisposobenia odozvy na akciu pouzıvatel’a.

4.6.2 Prepisovanie textu

Prepisovanie textu je zakladna cinnost’, ktora vo vel’kej miere prosperuje z vyuzitia

dvoch monitorov. Zakladnym bodom skumania bola efektivita vyuzitia monitorov.

Pri tomto experimente bol vyuzity notebook s klavesnicou a 17 palcovym monitorom

a externy 21,5 palcovy monitor umiestneny napravo od notebooku. Ako hlavny mo-

nitor systemu sa vzdy povazoval monitor notebooku, ked’ze sa pred nım nachadzala

klavesnica. V prvom pokuse sa na hlavnom monitore nachadzal textovy editor a na

vedl’ajsom prepisovany text. V druhom pokuse sa na hlavnom monitore nachadzal

prepisovany text a na vedl’ajsom textovy editor. Pouzıvatel’ pri tomto pokuse nede-

finuje prıkazy a meranie je vykonane sposobom uvedenym v Kapitole 4.6.1.

Vysledky experimentu poukazuju na to, ze pri prepisovanı textu nezalezı na umiest-

62

FEI KPI

nenı textu, ktory pouzıvatel’ nepozna a prepisuje. Vacsinu casu v obidvoch prıpadoch

travi pouzıvatel’ pohl’adom na hlavny monitor, pred ktorym sa nachadza klavesnica.

Druhy krok experimentu spocıva vo vyskusanı systemu snımajuceho aktivitu pouzıva-

tel’a pri prepisovanı textu, pricom textovy editor bol umiesteny na hlavny monitor

a prepisovany text na monitor vedl’ajsı.

Vhodnym testovacı subjekt pre tuto ulohu je osoba, ktora s pocıtacovymi prostre-

diami pracuje dlhsie a dobre pozna rozpolozenie klaves na klavesnici (pri prepiso-

vanı hra vel’ku ulohu rychlost’, akou dokaze testovany subjekt pısat’ slova pomocou

pocıtacovej klavesnice).

System bol v tomto prıpade nastaveny sposobom, aby pri kazdej tretej zmene

pohl’adu z vedl’ajsieho na hlavny monitor vykonal skrolovanie na koniec dokumentu

takym sposobom, aby pouzıvatel’ videl na monitore prazdny priestor a napısal text

na koniec pısaneho textu. Zaroven sa pri tejto zmene pohl’adu vytiahlo okno tex-

toveho editoru do popredia a pouzıvatel’ nemusel vykonat’ aktivaciu okna tym, ze

na neho klikol mysou. Nastavenie tohto prıkazu je zobrazene na Obrazku 4 – 7.

Obr. 4 – 12 Percentualne zastupenie casu sledovania monitorov pri prepisovanı

Na Obrazku 4 – 12 je zobrazene percentualne zastupenie sledovania monitorov pri

63

FEI KPI

prepisovanı. V prıpade prepisovania systemu je toto zastupenie takmer identicke a

to bez ohl’adu toho, ako boli rozmiestnene prvky na jednotlivych monitoroch. Pri

pouzitı systemu sa cas potrebny pre sledovanie hlavneho monitora znızil.

Obr. 4 – 13 Priemerny cas sledovania monitorov pri prepisovanı

Obr. 4 – 14 Najdlhsı cas sledovania monitorov pri prepisovanı

Na Obrazku 4 – 13 su zobrazene priemerne doby sledovania jednotlivych monitorov.

V ramci sledovania vedl’ajsieho monitora sa priemerne doby pri pouzitı systemu prılis

64

FEI KPI

nezmenili, avsak v prıpade sledovania hlavneho monitora sa priemerne doby rapıdne

znızili. To bolo zaprıcinene automatickou aktivaciou okna pri pohl’ade na hlavny

monitor a automatickym skrolovanım textu. Podobne udaje vyplyvaju z Obrazka

4 – 14, na ktorom je zobrazovana maximalna doba pohl’adu na jednotlive monitory

pri prepisovanı. Pouzitie systemu zvysilo pocet zmeny pohl’adov z jedneho monitora

na druhy. Produktıvna efektivita systemu ostala na rovnakej urovni. Pre jednotlive

sposoby prepisovania textu platı priemerna prepisovacia rychlost’:

• Prepisovanie textu s pomocou systemu: 0,4886-slov za sekundu

• Prepisovanie textu: Hlavny monitor textovy editor: 0,4796-slov za sekundu

• Prepisovanie textu: Vedl’ajsı monitor textovy editor: 0,4662-slov za sekundu

Uzitocnost’ systemu sa ukazala pri plynulosti prepisovania pre pouzıvatel’a. Auto-

maticke skrolovanie nadol odstranilo znacnu dobu interakcie so systemom pomo-

cou mysi na hlavnom monitore. Zaroven najpozitıvnejsia cast’ systemu sa ukazala

ked’ doslo k tretej zmene pohl’adu z vedl’ajsieho na hlavny monitor po prepnutı

snımky textu na vedl’ajsom monitore. V tomto prıpade pouzıvatel’ vykonal jeden klik

na vedl’ajsom monitore, presunul pohl’ad na hlavny monitor a mohol pokracovat’ s

pısanım textu.

Vseobecnym vysledkom je, ze pri pouzitı systemu snımajuceho aktivitu pouzıvatel’a

sa zlepsuje schopnost’ prirodzenej interakcie s pocıtacovym systemom. Pri prepiso-

vanı platı, ze system je najlepsie vyuzit’ pre skrolovanie dokumentu a automaticku

aktivaciu okna pri pohl’ade nan. Aktivacia okna je vhodna pri kazdej zmene pohl’adu

na monitor, na ktorom sa toto okno nachadza. Skrolovanie na koniec dokumentu je

uzitocne priblizne pri kazdej siestej zmene pohl’adu, pricom toto cıselne ohodnotenie

silno zavisı od zlozitosti prepisovaneho textu.

Negatıvnym vysledkom pri prepisovanı bol fakt, ze system odosiela prıkazy vo forme

postupnosti stlacenych klaves. Tato postupnost’ je pre skrolovanie v textovom editore

rovna postupnosti: Page Down, Up, Up, Up, Down, Down, Down. Tym padom pri

65

FEI KPI

poslanı prıkazu skrolovania sucasne s rucnym pısanım textu doslo k priblizne dvom

chybam na stranu textoveho editoru, ked’ pouzıvatel’om pısany znak bol zapısany

nad pozadovany riadok. Rovnako pri takomto pouzitı je potrebne text vzdy pısat’

na koniec dokumentu, z toho dovodu je pre editovanie textu potrebne zvolit’ odlisnu

strategiu.

4.6.3 Pouzitie systemu pri vyvoji softveru

Ako bolo ukazane v Kapitole 4.6.1, pri vyvoji softveru programator vacsinu casu

travi pohl’adom na hlavny monitor. Vedl’ajsı monitor je vyuzity pre zobrazenie in-

formaciı, z ktorych programator cerpa, respektıve pri vyhl’adavanı riesenı na inter-

nete.

System posielania prıkazov ako reakcia na akciu pouzıvatel’a nachadza aj v tomto

prıpade vel’ke uplatnenie z hl’adiska prepınania aktıvneho okna na jednotlivych

monitoroch. Sustredenie pohl’adu do jednotlivych castı obrazovky bolo v prıpade

vyvoja softveru pouzite pre vykonavanie cinnostı, ktore vyzaduju aktivitu pouzitia

pocıtacovej mysi alebo klavesovej skratky.

V prıpade vyvojoveho prostredia Visual Studio 2010 boli kladne ohodnotene sposoby

pouzitia akcie pouzıvatel’a do hornych stran monitora. Nastavenia tychto prıkazov

su zobrazene na Obrazku 4 – 15. V prıpade pohl’adu vl’avo hore na monitor sa

vyvojovemu prostrediu poslala klavesova skratka na ulozenie projektu (skratka: Ctrl

+ Shift + S; obrazok cast’ A). V prıpade pohl’adu do hornej strany stredu monitora

sa spustil beh programu (skratka: F5; obrazok cast’ B). Pri pohl’ade do praveho

horneho rohu monitora sa otvorilo okno pre pridanie novej triedy (skratka: Ctrl +

Shift + A; obrazok cast’ C).

Po nastavenı prıkazu a v momente, ked’ kinect bol schopny rozoznat’ tvar pouzıvatel’a,

system vykonania reakciı na akcie pouzıvatel’a bol spusteny. Pouzıvatel’ nasledne mu-

sel v prostredı Visual Studio 2010 naprogramovat’ jednoduchu konzolovu aplikaciu

66

FEI KPI

Obr. 4 – 15 Prıkazy v prostredı Visual Studion

podl’a vlastneho rozhodnutia s podmienkou, ze dana aplikacia ma obsahovat’ aspon

pat’ tried a kazda metoda mala byt’ po napısanı overena spustenım programu.

Testovacım subjektom pre toto zadanie musı byt’ osoba, ktora pozna objektovo orien-

tovanu paradigmu programovania, ktora ma skusenosti s pracou vo vyvojovom pro-

stredı Visual Studio a ovlada zaklady programovacieho jazyka C].

Efektivita programovania (pri hodnotenı poctu riadkov kodu) sa nezvysila, zvysena

bola pohodlnost’ systemu, ked’ze pouzıvatel’mohol drzat’ svoje ruky na ploche pısmen

a cıslic klavesnice a nemusel sam zadavat’ skratky. Problemom tohto pouzitia je

nechcene spustenie reakcie, avsak pri kazdom d’alsom pouzitı sa pocet nechcenych

spustenı reakciı znizoval. Nechcene spust’anie reakcie zaroven poukazalo na potrebu

vytvorenia slepych zon medzi jednotlivymi zaznamenavanymi oblast’ami, ktore pocet

nechcenych spustenı reakciı este d’alej znızili.

System je mozne pouzit’ aj pri vpisovanı textu. Pri tomto pouzitı vsak treba brat’

do uvahy, ze kazdy systemom zapısany text sa zapisuje od istej pozıcie kurzora.

System bol otestovany pre objektovo orientovanu paradigmu programovania, pres-

nejsie pre zapis enkapsulaciı tried private a public. Pri tomto pouzitı vsak dochadzalo

k zapisom textu na nevhodne miesta, co nasledovalo potrebu aby pouzıvatel’ tento

text manualne vymazal.

67

FEI KPI

Z testovania systemu nasledne vyplynulo, ze pri vyvoji softveru je system najv-

hodnejsie pouzit’ pri skrolovanı dokumentu a pri odosielanı klavesovych skratiek

systemu. Dalsou vyhodou je, ze klavesove skratky reakciı mohol do systemu zapısat’

a ulozit’ skuseny programator a menej skuseny pouzıvatel’ dane reakcie mohol nacıtat’

a pouzit’. Silnym aspektom systemu je podpora makier, kedy pouzıvatel’ sam defi-

nuje klavesovu skratku a akciu, ktora sa vykona, a nasledne toto makro moze spustit’

pomocou vlastnej aktivity.

68

FEI KPI

5 Zaver

System vykonavajuci reakcie na akcie pouzıvatel’a poskytuje novy sposob prace s

pracovnym prostredım. System vyuzıva pracovne prostredie s dvoma monitormi

z dovodu trendu pracovnych prostredı s viacerymi monitormi. Zariadenie kinect

poskytuje udaje o tvari pouzıvatel’a, pricom udaje su reprezentovane vo forme bo-

dov tvoriacich mapu tvare. Tieto body nasledne system pouzıva k urceniu polohy

pohl’adu pouzıvatel’a a tuto polohu vie vyuzit’ pre rozoslanie klavesovych prıkazov.

Najvacsou vyhodou systemu je jeho univerzalnost’. System poskytuje rozhranie pre

definıciu l’ubovol’nej klavesovej postupnosti, ktoru je mozne spojit’ s niektorou zo

zaznamenavanych akciı pouzıvatel’a. Akcie pouzıvatel’a je navyse mozne dodefinovat’

cıselnou hodnotou pre sprıstupnenie vacsej roznorodosti. Pre nemeniace sa pracovne

prostredie stacı jedna kalibracia, ktorej udaje su ulozene v pocıtacovom systeme,

pricom pre niektore zakladne akcie pouzıvatel’a je dokonca kalibracia nepotrebna.

Vacsinu dat je zaroven mozne systemom ukladat’ a nacıtat’ pre neskorsie pouzitie.

Nevyhodou systemu je nevyuzitie obrazu ocı pre co najpresnejsie urcenie polohy

pohl’adu pouzıvatel’a. Vypocıtana poloha pohl’adu predstavuje prienik osi nosa pouzı-

vatel’a s monitorom pracovneho prostredia. Aby doslo k aktivacii reakcie je teda

pouzıvatel’ niekedy nuteny pohnut’ hlavou viac, ako by to bolo pre neho prirodzene.

Kladom tejto skutocnosti je vsak moznost’ presnejsie rozoznat’ akciu pouzıvatel’a.

Vysledky prace je mozne aplikovat’ pri presnejsom urcovanı polohy pohl’adu pouzıva-

tel’a na monitor v spojenı so systemom snımajucim oci pouzıvatel’a. Tieto systemy v

sucasnosti znacne obmedzuju pouzıvatel’a tym, ze nemoze prirodzene hybat’ hlavou

alebo musı mat’ na hlave pripojene zariadenie. S narastajucim rozlısenım kamier

je zvysena moznost’ umiestnenia kamery v priestore, pricom v spojenı s udajmi

poskytovanymi zariadenım kinect sa daju udaje o natocenı ocı spojit’ s udajmi o

polohe hlavy pouzıvatel’a a nasledne sa da urcit’ presny bod pohl’adu.

69

FEI KPI

Literatura

[1] DIAZ, Jesus: Scientists Invent Mind-Reading System That Lets You Type

With Your Brain. [online] Gizmodo, 2012. [cit.: 2014-04-11]. Dostupne

na internete: <http://gizmodo.com/5922208/scientists-invent-mind-reading-

system-that-lets-you-type-with-your-brain>

[2] DAUGMAN, John G.: High confidence visual recognition of persons by a test

of statistical independence. In: IEEE Transactions on Pattern Analysis and

Machine Intelligence, 1993. s. 1148-1161. ISSN 0162-8828

[3] POOLE, Alex – BALL, Linden J.: Eye Tracking in Human-Computer Interac-

tion and Usability Research: Current Status and Future Prospects. In: Encyc-

lopedia of Human-Computer Interaction. 2006. s. 211-217. ISBN 1591407982

[4] Vnımanie svetla [online] eSoft s.r.o. Proxia, 2014 [cit.: 2014-04-11]. Do-

stupne na internete: <http://ami.proxia.sk/sk/Article/138/Category/350/In

dex%20farebn%C3%A9ho%20podania.proxia>

[5] VOJNIKOVIC, Bozo - TAMAJO, Ettore. Gullstrand’s Optical Schematic Sys-

tem of the Eye – Modified by Vojnikovic & Tamajo. Velika Gorica University

of Applied Sciences, Velika Gorica, Croatia, 2013. Coll. Antropol. 37 Suppl. 1:

41-45. PMID: 23841130

[6] GLENSTRUP, Arne John - ENGELL-NIELSEN, Theo. Eye Con-

trolled Media: Present and Future State [online] University of

Copenhagen 2015. [cit.: 2014-04-12]. Dostupne na internete:

<http://www.diku.dk/ panic/eyegaze/article.html>

[7] Jan Evangelista Purkyne [online] 25. August 2014 [cit.: 2014-11-09]

<http://monoskop.org/Jan Evangelista Purkyn%C4%9B>

[8] HANSEN, Dan Witzner. Committing Eye Tracking. The IT University of Co-

penhagen, 2003. ISBN: 87-7949-053-3

70

FEI KPI

[9] ADAM. Red Eye – what causes it and how to avoid it? [online] 6. December

2011 [cit.: 2014-11-09]. Dostupne na internete: <http://photrain.com/red-eye-

what-causes-it-and-how-to-avoid-it/#sthash.awyZsrLl.dpbs>

[10] MORIMOTO, Carlos H. - MIMICA, Marcio R.M. Eye gaze tracking techniques

for interactive applications. New York: Elsevier Science Inc., 2005. s.4-24 ISSN

1077-3142

[11] BALUJA, Shumeet – POMERLAU, Dean. Non-Intrusive Gaze Tracking Using

Artificial Neural Networks. In: Non-Intrusive Gaze Tracking Using Artificial

Neural Networks. San Francisko: Morgan Kaufmann Publishers. 1994. CMU-

CS-94-102

[12] MULLER, P. U.- CAVEGN, D.- d’YDEWALLE, G. - GRONER, R. A com-

parison of a new limbus tracker, corneal reflection technique, purkinje eye

tracking and electro-oculography. In: Perception and Cognition: Advances in

eye-movement research. Amsterdam: North Holland, 1993. s.393-401 ISBN-10:

0444899383

[13] SCOTT, D.; FINDLAY J. Visual search, eye movements and display units.

Human factors report. University of Durham, South Road, Durham DH1 3LE,

UK. 1993

[14] CLAY, Johnson. NEC Productivity Study 0208 [online] Scribd, 2010 [cit.: 2014-

11-23]. Dostupne na internete: <http://www.scribd.com/doc/34875662/NEC-

Productivity-Study-0208>

[15] BERGER, Ivan. The Virtues of a Second Screen [online] The

New York Times, 2006 [cit.: 2014-12-02]. Dostupne na internete:

<http://www.nytimes.com/2006/04/20/technology/20basics.html? r=2&>

71

FEI KPI

[16] DOSTAL, Jakub – KRISTENSSON, Per Ola – QUIGLEY, Aaron. Subtle

Gaze-Dependent Techniques for Visualising Display Changes in Multi-Display

Environments. In: IUI ’13 Proceedings of the 2013 international conference on

Intelligent user interfaces. New York 2013. s. 137-148. ISBN 978-1-4503-1965-2.

[17] PRATEEK. How To Set Up A Multi Monitor Computer [on-

line] MyTechLogy, 2013 [cit.: 2014-11-23]. Dostupne na internete:

<http://www.mytechlogy.com/IT-blogs/992/how-to-set-up-a-multi-monitor-

computer/#.VHG9xtKG8eg>

[18] BECK, MR – LEVIN, DT – ANGELONE, B. Change blindness blindness: Be-

liefs about the Roles of Intention and Scene Complexity in Change Detection.

2006 In: Consciousness and cognition 16. s. 31-51. PMID 16531072

[19] KOCEJKO, Tomasz – WTOREK, Jerzy. Gaze tracking in multi-display en-

vironment. In: Human System Interaction (HSI), 2013 The 6th International

Conference on. Sopot: IEEE, 2013. s. 626-631. ISBN 978-1-4673-5635-0

[20] Kinect for Windows [online] Microsoft, 2014 [cit.: 2014-12-03]. Dostupne na

internete: <http://www.microsoft.com/en-us/kinectforwindows/>

[21] Face Tracking [online] Microsoft, 2014 [cit.: 2014-12-03]. Dostupne na inter-

nete: <http://msdn.microsoft.com/en-us/library/jj130970.aspx>

[22] GIREESHKUMAR, T. – POORNASELVAN, K.J. – SATTVIKSHARMA –

GULSHANKUMAR – SREEVATHSAN, R. Tracking a Nose Tip: An Alter-

native for Mouse. In: Data Engineering and Management. Berlın: Springer-

Verlag Berlin Heidelberg, 2012. s. 219-225. ISBN 978-3-642-27872-3

[23] Nose as Mouse. Assistive Technology [online] Nouse TM 2014 [cit. 2014-12-08].

Dostupne na internete: <http://www.nouse.ca/>

[24] DUCHOWSKI, Andrew. A Breadth-First Survey of Eye Tracking Applications.

Department of Computer Science, Clemson University, 2012. ISSN 1532-5970

72

FEI KPI

[25] VELICHKOVSKY, Boris – SPRENGER, Andreas – PIETER, Unema. To-

wards gaze-mediated interaction: Collecting solutions of the ”Midas touch

problem“. In: INTERACT ’97 Proceedings of the IFIP TC13 International

Conference on Human-Computer interaction. Londın: Campman & Hall, Ltd.,

1997. s. 509-516. ISBN 0-412-80950-8

[26] TRUBAN, Vlado. Zmurkanie a myslenie [online] Mak-

rosvet 2014 [cit.: 2014-10-27]. Dostupne na internete:

<https://makrosvet.wordpress.com/2011/04/22/zmurkanie-a-myslenie/>

[27] King Midas and the Golden Gaze. [online] EyeTrac-

king Inc. 2012. [cit.: 2014-04-21]. Dostupne na internete:

<http://www.eyetracking.com/News/EyeTracking-Blog/EntryId/57/King-

Midas-and-the-Golden-Gaze>

[28] ZHAI, Shumin - MORIMOTO, Carlos - IHDE, Steven. Manual and Gaze Input

Cascaded (MAGIC) Pointing. Human Factors. In: Computing Systems: CHI

’99 Conference Proceedings. New York: ACM Press, 1999. s. 246-253. ISBN

0-201-48559-1

[29] MASOOD, Shayaan. Mimicking Human Body Movement and Facial Ex-

pressions. [online] Behance 2013 [cit.: 2015-01-17]. Dostupne na inter-

nete: <https://www.behance.net/gallery/9082913/Mimicking-Human-Body-

Movement-and-Facial-Expressions>

[30] Face Tracking Basics-WPF C] Sample [online] Microsoft, 2012 [cit.:

2015-04-14]. Dostupne na internete: <https://msdn.microsoft.com/en-

us/library/jj131044>

[31] SendKeys Class [online] Microsoft, 2011 [cit.: 2015-04-

14]. Dostupne na internete: <https://msdn.microsoft.com/en-

us/library/system.windows.forms.sendkeys(v=vs.100).aspx>

73

FEI KPI

[32] SZYMCZYK, Matthew. How Does The Kinect 2 Compare To The Ki-

nect 1. [online] Zugara 2014 [cit.: 2015-02-04]. Dostupne na internete

<http://zugara.com/how-does-the-kinect-2-compare-to-the-kinect-1>

74