1
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikWarum Augen-/Blickbewegungen?
Finde die rote 9!
x
x x
x
xxx
xx
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikWarum Augen-/Blickbewegungen?
Unterschiedliche Aufgaben
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Finde die rote 9!
Finde die 5!
2
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikWarum Augen-/Blickbewegungen?
Unterschiedliche Aufgaben
• Examine at will
• Estimate wealth
• Estimate ages
• Guess previous activity
• Remember clothing
• Remember position
• Time since last visit
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikWarum Augen-/Blickbewegungen?
• Augenbewegungen sind sehr individuell und können selbst bei der selben Person unter verschiedenen Bedingungen sehr unterschiedlich ausfallen.
• Die Dauer der Fixationen und das Muster und die Längen der Sakkaden sind nicht nur abhängig von allgemeinen Eigenschaften wie Geschlecht und Alter, sondern richten sich auch stark nach Gewohnheiten, Fähigkeiten, Interesse und Absichten des Betrachters.
• Auch biologische Faktoren wie etwa Drogen- oder Koffeinkonsum können die Augenbewegungen sehr stark beeinflussen.
• Die für die Forschung wichtigsten Eigenschaften sind jedoch die starke Veränderung der Augenbewegungen aufgrund der dargebotenen visuellen Reize, z.B. der Schwierigkeit eines Textes oder der Komplexität eines Bildes, und der Aufgabenstellung.
• Erst diese Abhängigkeiten legen die sog. eye-mind Hypothese nahe, nämlich daß das Sehen und die kognitive Verarbeitung des Gesehenen sich gegenseitig beeinflussen und experimentell begründbare Rückschlüsse aufeinander zulassen.
• Den Vorgang des Sehens selbst bezeichnet man deshalb heute auch als intentionales Sehen, also einer aktiven, bewußt gesteuerten Handlung durch den Sehenden.
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
3
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
• Kernaussage: “the eye commonly fixates on the symbols currently being processed by the brain” (Originalzitat: “there is no appreciablelag between what is being fixated and what is being processed” (p. 331))
• Identifikation und Parametrisierung perzeptueller & kognitiver Prozesse
• Einblicke in das “Wie?” und “Warum?” beim Problemlösen(z.B. Suchstrategien)
• Informationsaufnahme ist physiologisch begrenzt →Aufmerksamkeitsmechanismus
• Physiologie des Auges koppelt Augenbewegungen an Aufmerksamkeit
• Projektion der “region of interest” auf die fovea centralis
Die eye-mind Hypothese (Just & Carpenter, 1980)
Warum Augen-/Blickbewegungen?
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Kognition / kognitiv
• Wir bezeichnen hier mit diesem Begriff die im Gehirn ablaufendenInformationsverarbeitungsprozesse, die für intelligentes Handeln notwendig sind, z.B. Erkennungs- oder Abstraktionsleistungen oder das Interpretationsvermögen – also, im Falle visueller Wahrnehmung, die Fähigkeit, aus einem visuellen Reiz ein bedeutungstragendes Objekt zu machen.
Einschub: Definition
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
4
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
• Konsequenz: So kann man z.B. Such- oder Entscheidungsprozesse als kognitive Prozesse bezeichnen. Ein visueller Suchprozeß etwa ist demnach eine bestimmte Aneinanderreihung visueller Perzepte, visueller Eindrücke, die sich ergeben durch eine intelligente Verschaltung senso-motorischer Eingaben wie Augenbewegungen und retinal aufgenommener und dann kortikal weiterverarbeiteter Information.
Augenbewegungen sollten uns erlauben, Aufmerksamkeits-mechanismen zu identifizieren, damit Einblick in kognitive Aspekte der Informationsverarbeitung zu gewinnen und so high-levelVerarbeitungs- oder Problemlösestrategien abzulesen
vertikale Organisation von sensomotorischer, perzeptiver und kognitiver Verarbeitungsebene
Die eye-mind Hypothese
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikDie eye-mind Hypothese
Finde die rote 9!
Finde die 5!
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
5
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikErfassung von Augenbewegungen
• Eye Tracking bezeichnet die Technik bzw. Methode der Augenbewegungsmessung
• In Untersuchungen werden verschiedene Apparaturen zur Augenbewegungsmessung, sog. Eye Tracker, eingesetzt
• Eye Tracker arbeiten mit unterschiedlichen Verfahren zur Erfassung und Aufzeichnung der Augenbewegungen
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Buswell, 1935 Koesling et al., 2007
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikErfassung von Augenbewegungen
• Wie ausführlich diskutiert, lassen sich aus den aufgezeichneten Augenbewegungsdaten raum-zeitliche Blicktrajektorien und somit Aufmerksamkeitsverteilungen gewinnen
• Augenbewegungsdaten stellen ein prozeß-basiertes Maß dar
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Buswell, 1935 Koesling et al., 2007
6
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikAlternative Methoden
• Verbalisierung von Problemlöse-Strategien (retrospektiv)
• Räumlich-zeitliche Schlußfolge-Techniken (Williams et al., 1999)
• Analyse produkt-basierter psychophysischer Daten, z.B. Antwortverhalten oder Reaktionszeiten
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Vorteile der Messung von Augenbewegungen
• Indirekt, nicht-invasiv
• Beobachtung natürlichen (unbewußten) Informationsverarbeitens
• Prozeß-basiertes Maß
Kritik / Grenzen der Eye Tracking Methode
• Entkoppelung von Aufmerksamkeit & Blick („Looking without seeing“)
• Periphere Verarbeitung („Seeing without looking“)
• Vorwissen / Verarbeitung vorheriger Informationen
• Höhere kognitive Verarbeitungsprozesse
AUGENAUGEN--BEWEGUNGENBEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
7
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikTechnische Aspekte der Augenbewegungsmessung
• Invasiv erfasst werden:
– Elektrookulographie (EOG)
– Kontaktlinsenmethode
• Nicht invasiv erfasst werden:
– Corneareflex Tracking
– Purkinje Tracking
– Limbus / Pupil Tracking
– 1990er Jahre: Videobasiertes Eye Tracking
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie (EOG)
• Spannungsmessung zwischen zwei Elektroden, die links und rechts (oder oberhalb und unterhalb) des Auges auf der Haut angebracht sind
• Auge stellt elektrischen Dipol dar, d.h. es existiert eine Spannungs-differenz zwischen Netzhaut (negativ) und Hornhaut (positiv)
• Ruhepotential wird als konstant angenommen
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
8
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie (EOG)
• Durch Augenbewegungen nähert sich die Vorderseite des Auges der einen Elektrode an, während die Rückseite sich der anderen Elektrode annähert.
• Änderung der elektrischen Feldes • Dadurch kommt es zu einer Spannungsdifferenz zwischen den
Elektroden, die verstärkt und aufgezeichnet wird.
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie (EOG)
• Die Spannungsdifferenz ist ungefähr proportional zum Blickwinkel.• Probleme:
• Schwankungen des (Ruhe-) Potentials• Abweichung durch Lidschläge• Elektrisches Rauschen
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
9
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
QuelleQuelle: : DuchowskiDuchowski//VertegaalVertegaal: Eye: Eye--Based Interaction in Based Interaction in Graphical Systems: Theory & Practice. Graphical Systems: Theory & Practice. SiggraphSiggraph 2000.2000.
Elektrookulographie (EOG)
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikElektrookulographie (EOG)
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Quelle: Völpel, 2004, S. 22
10
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikKontaktlinsenmethode
• Einsetzen einer genau angepaßten Kontaktlinse auf der Hornhaut des Nutzers
• Anforderungen: • Kein Verrutschen auch bei schnellen Augenbewegungen• Auge darf nicht geschädigt werden
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikKontaktlinsenmethode
Spiegel
• Befestigung eines Spiegels auf der Kontaktlinse • Einfallendes Licht wird so in einem bestimmten Winkel reflektiert, diese
Reflektion kann durch z.B. eine Kamera aufgezeichnet werden.
Search coil
• Magnetische Spule in der Kontaktlinse • Durch ein Wechselfeld, erzeugt durch
Spulen am Kopf oder in einem Rahmen um den Kopf des Probanden und für jede Raumrichtung anders, wird den Kontakt-linsen-Spulen Spannung indiziert.
• Diese verändert sich proportional zur Lage der kleinen Spulen im Feld und kann gemessen werden
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
11
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.
Kontaktlinsenmethode
• genau, aber aufwendig
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikBeispiel-Trajektorien
Quelle: http://diwww.epfl.ch/lami/team/smeraldi/saccadic/yarbus.html
Quelle: http://www.franzdodel.ch/haiku/haiku_bild/r_yarbus.htm
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
12
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
Limbus Tracking
Pupillen Tracking
Purkinje-Bilder
Corneareflex Tracking
Quelle: Carbone/Kösling: Eye-Tracking. Blickbewegungsmessung im Überblick. IK 2001.
Quelle: Duchovki/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000.
Tracking optischer Charakteristika
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikTracking optischer Charakteristika
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Videobasierte Verfahren
• Die heutzutage am weitesten verbreitete Methode um Augen-bewegung zu erfassen ist die videobasierte.
• Dabei nimmt eine Videokamera, das Bild eines oder beider Augen auf. • Dieses Sigal wird dann rechnergestützt ausgewertet und interessante
Merkmale des Auges (z.B. Limbus, Pupille, Blutgefässe, Reflexionen) werden extrahiert, ebenso wie die Position und der Blickfokus berechnet werden.
13
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPurkinje Tracking
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
1. 2. 3. 4. Purkinje - Bilder
• Die Berechnung des Blickfokus ist mittels Reflexionen, die auf der Vorder- und Rückseite der Cornea und Linse entstehen, wenn das menschliche Auge durch eine punktförmige Lichtquelle angestrahlt wird.
• Diese Reflexionen, auch Purkinje-Bilder genannt, geben Aufschluß über Lage der Cornea bzw. Linse und damit über den Blickfokus.
• Es existiert eine große Zahl von Eye-Tracking-Verfahren, welche mehrere Reflexionspunkte in die Berechnung mit einbeziehen, ausreichend ist aber z.B. das erste Purkinje-Bild, d.h. die erste Reflexion.
Cornea-Reflex Verfahren
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPurkinje Tracking
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Technik
• Rechnergestützte Erkennung der Pupille und des Reflexionspunktes. • Kontrastbasierte Algorithmen (hoher Kontrast zwischen Pupille,
Reflexionspunkt und Umgebung, genaueres später):• „bright pupil“-Methode: Pupille erscheint bei Ausleuchtung mit
infrarotem Licht sehr hell• „dark pupil“-Methode: Pupille erscheint fast schwarz
14
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPurkinje Tracking
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Technik
• Der Abstand zwischen Mittelpunkt der Pupille und Reflexionspunkt wird anschließend in einen Vektor umgerechnet.
• Dieser Vektor wird nach einer Kalibrierung (anhand mehrerer Punkte an einem festen Bezugsfeld, z.B. einem Monitor) als Referenz benützt, um einen Bezug herzustellen zwischen Lage bzw. Länge des Vektors und Blickpunkt auf dem Blickfeld.
• Diese Umrechnung ist bei den höchstauflösenden Systemen und guter Kalibrierung bis in den Millimeterbereich exakt.
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPurkinje Tracking
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Purkinje Eye Tracker
15
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPupil Tracking
• Ausleuchtung des Auges mittels Infrarotlichtquelle• Erfassung der Auslenkung der Pupille mittels Kamera• Erkennung und Extraktion der Pupille mittels
Bildverarbeitungsalgorithmen
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPupil Tracking
„Bright Pupil-Verfahren“
• Infrarot-Quelle nahe der Kameralinse und auf einer Achse mit dieser• Trennung des vom Auge reflektierte Infrarotlichtes vom Tageslicht
mittels Infrarotfilter Auge erscheint einem weißen Farbton im Kamerbild
• Einfache Erkennung und Extraktion durch Bildverarbeitungsalgorithmen
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
16
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikPupil Tracking
„Dark Pupil-Verfahren“
• Analog zum „Bright Pupil-Verfahren“.• Unterschied: Lichtquelle seitlich zur Kameraachse angeordnet
Kamera erfaßt nun nicht mehr direkte Infrarotreflexion der Iris, sondern den Schatten, der neben dem auftreffenden Infrarotstrahl auf der Iris entsteht. Dadurch erscheint die Pupille für die Kamera in einem schwarzen Farbton.
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikVergleich verschiedener Eye Tracking Verfahren
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Räumliche Genauigkeit
• Elektro-Okulogramm (EOG): ± 2 Grad• Search Coil (Spule): ± 0.05 Grad• Purkinje-Tracking: ± 0.2 Grad• Pupil-Tracking: ± 0.5 Grad
Zeitliche Auflösung
• Elektro-Okulogramm (EOG): bis 1 kHz• Search Coil (Spule): bis 4 kHz• Purkinje-Tracking: max. 1-2 kHz• Pupil-Tracking: max. 1-2 kHz
17
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikVerschiedene Eye Tracking Systeme
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
StationärVi
suel
le A
ufm
erks
amke
it un
d Bl
ickb
eweg
unge
n
AG NeuroinformatikVerschiedene Eye Tracking Systeme
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Remote
18
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG NeuroinformatikVerschiedene Eye Tracking Systeme
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
Head-mountedVi
suel
le A
ufm
erks
amke
it un
d Bl
ickb
eweg
unge
n
AG NeuroinformatikEyeLink I / EyeLink II Systeme
• SMI-EyeLink I Eye Tracker
• Pupil Tracking (EyeLink II zusätzlich Corneareflex)
• Binokulares Tracking
• Berechnung der Blickposition– Kalibrierung– Kompensation von
Kopfbewegungen
• Zeitliche Auflösung 250 Hz(EyeLink II 500 Hz)
• Räumliche Genauigkeit 0,5 – 1o
• Online-Verfügbarkeit der Daten und nachfolgende Analyse (delay ca. 15 ms)
SMI EyeLink I
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
19
Visu
elle
Auf
mer
ksam
keit
und
Blic
kbew
egun
gen
AG Neuroinformatik
LC Technologies EyeGaze
SR Research EyeLink II
AUGEN-BEWEGUNGEN
METHODIKMETHODIKEYE TRACKINGEYE TRACKING
FORSCHUNGS-GEBIETE
EyeLink II / EyeGaze Systeme