ambient intelligence -...
TRANSCRIPT
Ambient Intelligence
#2 Interaction Design
05.05.2014
Dr.-Ing. Christoph Stahl
Eigenschaften von AmI
• Die wesentlichen Eigenschaften von Ambient Intelligence
Systemen sind:
Embedded Devices sind in die Umgebung integriert und
vernetzt.
Kontextsensitive Geräte erkennen Situation der Nutzung.
Personalisierbare Geräte lassen sich an die individuellen
Bedürfnisse des Nutzers anpassen.
Adaptive Geräte passen sich selbstständig an den Nutzer
und die jeweiligen Aufgaben an.
Pro-aktive Systeme versuchen die Pläne und Absichten des
Nutzers zu antizipieren.
Ambient Intelligence
Übersicht
• Interaction Design
Paradigmen
► Bestimmte Ansätze der Vorgehensweise, bezüglich der
zugrundeliegenden Annahmen und Konzepte
» PC, VR, Mixed Reality, Ubiquitous Computing, etc.
Interface Metaphern
► Schreibtisch, Virtuelle Charaktere
• Intelligente Benutzerschnittstellen
Adaptive Systeme
► Benutzer, Kontext und Aktivität
Zielorientierte Interaktion
Multimodal
► Beispiel SmartKom: Sprache, Zeigegesten, Emotionen
Ambient Intelligence
Paradigmen
Interaction Design
Ambient Intelligence
Paradigmen Übersicht
Ambient Intelligence
Interaction Paradigms
Desktop
Computer WIMP
All virtual
Ubiquitous Computing Context awareness relates to real world
Mixed Reality Some real, some virtual
Virtual Reality All virtual, immersive
experience
Dual Reality Two complete realities that
can influence each other
by sensor- actuator
networks
Mobile Computing PDA, Smartphone, TabletPC
Location-Awareness
Pervasive Computing Middleware, networks
Intelligent Environments Sensor-based, implicit interaction
Ambient Intelligence User-Centered Design
Ambient Assisted Living Care for elderly
Tangible Interfaces Comp. augmentation into the physical
environment
Internet of Things Thing-to-thing interaction
REAL WORLD VIRTUAL WORLD
Augmented Reality All real, some virtual
Collaborative Interfaces Social Computing, CSCW
Wearable Computing clothes, glasses, jewelery, implants
Technology transfer
Strong Influence
Specialization
Personal Computer (PC)
• WIMP / GUI Interface
Windows: Verschiedene Programme können gleichzeitig
laufen, frei angeordnet werden
Icons: Repräsentieren Programme und Dateien
Menus: Listen von Optionen und Funktionen
Pointing Device: Typischerweise eine Maus, aber auch
Trackball, Stift oder Finger
• XEROX Alto (1973)
Erste Workstation
mit WIMP GUI und Maus ► http://www.catb.org/esr/writings/taouu/html/ch02s05.html
Ambient Intelligence
Personal Computer: Mac
• Macintosh Finder in 1985
Ambient Intelligence
Windows
Icons
Menus
Pointer
Virtual Reality
• VR zielt darauf, den Benutzer künstliche Welten so echt wie
möglich erleben zu lassen
z.B. mit Oculus Rift Head-Mounted-Display
► 90°Sichtfeld, Stereoskopisches 3D
► Head-Tracking
» Beschleunigungssensoren, Magnetometer, Kamera
Ambient Intelligence
Augmented Reality
• Der Benutzer blickt durch ein Display (z.B. Smartphone) auf
die reale Welt, in die digitale Informationen an passender
Stelle eingeblendet werden.
z.B. mit Hilfe von Markern und dem ARToolKit (links)
Z.B. mit Hilfe von GPS: Nokia City Lens App (rechts)
Dual Reality
• Symmetrie zwischen Realer und Virtueller Welt
Josh Lifton at MIT is interested in virtual worlds like Second
Life. He animates virtual worlds based on sensor networks in
the real world, to make them more interesting.
Dual Reality
http://www.media.mit.edu/resenv/dual_reality_lab/
Duale Realität im BAALL
• Symmetrie zwischen realer und virtueller Welt
Virtuelle Welt
Reale Welt
Duale Realität
Home Automation
Steuerung
Visualisierung
Duale Realität im BAALL
Wearable Computing
• Hardware wird am Körper getragen oder in Kleidung
integriert; im Gegensatz zu PDA stets aktiv
Remembrance Agent, B. Rhodes 1997 (links) ► http://alumni.media.mit.edu/~rhodes/Papers/wear-ra.html
Google Glass, 2014 (rechts)
Twiddler2
Chording-keyboard
Wearable Computing
• Beispiel Mbody (Myontec)
Mshorts misst Muskelanspannung am Oberschenkel
Ambient Intelligence
weitere
Wearables:
Tangible User Interfaces
Ambient Intelligence
Tangible User Interfaces
• Tangible User Interfaces (TUIs) give physical forms to
digital information and computation (Ishii, 2008a).
The physical forms serve as both representations and
controls for their digital counterparts, facilitating the direct
manipulation of bits with our hands.
TUIs are built upon people’s sophisticated skills for sensing
and manipulating their physical environments, which are not
employed in graphical user interfaces.
Ishii (2008b) describes typical TUI applications that combine
haptic input and projected visual output, allowing the user to
sculpt and manipulate digital information through tangible
media, such as clay, sand, or building models, for example.
Reactable uses pucks on a touch-sensitive table surface to
control sound and music.
Ambient Intelligence
Tangible User Interfaces
• Beispiel Reactable
Ambient Intelligence
https://www.youtube.com/watch?v=I9AeUISg-Og&list=PLBEBF9C43496ADC50
Ubiquitous = Allgegenwärtige Computer
Zeit
Verb
reitung
Rechenzentrum
1 Computer
Viele Nutzer
PC
1 Computer
1 Nutzer
Ubicomp
Viele Computer
1 Nutzer
2000 2020 1980 1960
1992: Windows 3.1
Marc Weiser
The computer for the 21st century
Article in Scientifc American 1991
2007: Apple iPhone Abgabe von Lochkarten zur Programmierung
Ubiquitous Computing
• Ubiquitous Computing wurde 1992 von M. Weiser geprägt
Neue Geräteklassen zur Kollaboration im Büro (CSCW)
unabhängig vom PC
► ParcTab (links), entspricht Smartphones
» R. Want et al.: The ParcTab Ubiquitous Computing Experiment http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.331.6451&rep=rep1&type=pdf
► ParcPad (mitte), entspricht Tablets
► LiveBoard (rechts)
Ambient Intelligence
Weitere Informationen über Mark Weiser und Ubicomp: http://www.ubiq.com/weiser/weiser.html
Pervasive Computing
• Pervasive Computing
Im Vergleich zu Ubicomp stehen nahtlose Integration und
Vernetzung der Geräte im Vordergrund
► Netzwerke
► Middleware
► Cloud Computing
• Anmerkung: Die Grenzen verschwimmen mehr und mehr
zwischen den Paradigmen von Ubiquitous-, Pervasive-,
Mobile- und Wearable Computing.
Mobile Geräte und Smart-TVs integrieren heute so viele
Technologien wie nie zuvor, und vereinen damit die
verschiedenen Ansätze.
Ambient Intelligence
Interface Metaphern
Interaction Design
Ambient Intelligence
Interface Metaphern
Ambient Intelligence
Embodied conversational agents Conversational abilities
Anthropomorphic Interfaces
Animatronic Interfaces Aibo, Nabaztag, Pleo, Paro
Interface Metaphors
Desktop 2D Navigation
Windows/Icons/Menus/Pointer
Virtual Characters Figures in virtual environments
Augmented Artifacts RFID, Sensor nodes
Virtual Environments 3D Navigation
Avatar Human agent
Virtual Human Realistic human appearance
Nachteil: uncanny valley
Lifelike Character Suspension of disbelief
REAL WORLD VIRTUAL WORLD
Telepresence Robot as avatar
Desktop Metapher
• Ergänzt WIMP um Konzepte vom Schreibtisch kennt
Dokumente, Ordner, Papierkorb sind dem Nutzer vertraut
• XEROX Star (1981)
Zahlreich kopiert
► Lisa / Mac (1983)
► X (1984)
► Windows 1.0 (1985)
► Workbench (1985)
Bis heute erfolgreich
► >30 Jahre!
Ambient Intelligence
Desktop Metapher
• Macintosh Finder in 1985
Ambient Intelligence
Papierkorb
Drucker
Taschenrechner
Metapher: CD-Spieler
Ambient Intelligence
Virtuelle Charaktere
• Einige Beispiele für Konversation mit virtuellen Charakteren
Ambient Intelligence
Peedy (Microsoft) Anna (IKEA)
VirtualHuman (DFKI / BMBF)
Uncanny Valley
• Sind Roboter oder virtuelle Charaktere einem Menschen zu
ähnlich, werden sie uns unheimlich (uncanny)
Ambient Intelligence
Quelle: Wikipedia
Animatronik
• Verwenden Robotik zur Animation
• Teils anthropomorphe (menschliche) Züge
• Berührung und Bewegung als Modalitäten, teils Sprache
• Erfolgreicher Einsatz zur Therapie (Kinder, Senioren)
Ambient Intelligence
Aibo (Sony) Pleo (Jetta) Huggable (MIT)
Robbe Paro
Anthropomorphe Produkte
• Beispiel Digitaler Sommelier (DFKI)
Bei der Herausnahme einer Flasche aus dem
instrumentierten Regal stellt sich das Produkt per
Sprachausgabe dem Kunden vor.
Auf einem Monitor werden die Eigenschaften des
herausgenommenen Weins angezeigt, sowie seine
aktuelle Temperatur.
Werden zwei Flaschen gleichzeitig aus dem Regal
genommen, so erscheint auf dem Monitor eine
Vergleichstabelle mit den Eigenschaften beider Produkte.
Beim Betrachten der Rückseite des Produkts wird auf dem
Monitor automatisch die Webseite des Herstellers geöffnet.
Ambient Intelligence
Anthropomorphe Produkte
• Beispiel Digitaler Sommelier (DFKI)
Ambient Intelligence
Anthropomorphe Objekte
• Sprechender Cocktail-Shaker (DFKI)
http://www.dfki.de/web/aktuelles/dfki-newsletter/nl27_de.pdf
Ambient Intelligence
Telepräsenzroboter
• Z.B. von Giraff
http://www.giraff.org/?lang=en#
Willow Garage‘s Texai robot in
Big Bang: "The Cruciferous Veg„
Adaptive Systeme
Intelligente Benutzerschnittstellen
Ambient Intelligence
Adaption an Benutzer
• Definitionen
A User Model is a knowledge source in a natural-language
dialog system which contains explicit assumptions on all
aspects of the user that may be relevant to the dialog
behavior of the system.
► (Wahlster & Kobsa, 1989)
Adaptable Systems can be manually configured by the
user according to their preferences.
A User-Adaptive System is an interactive system that
adapts its behavior to individual users on the basis of
processes of user model acquisition and application that
involve some form of learning, inference, or decision making.
► (Jameson, 2006)
Ambient Intelligence
Adaption an Benutzer
• Schema für die Verarbeitung von Informationen über den
Benutzer in einem Adaptiven System. (Jameson, 2006)
Ambient Intelligence
USER MODEL
USER MODEL ACQUISITION USER MODEL APPLICATION
PREDICTIONS ORDECISIONS ABOUT U
INFORMATIONABOUT U
Adaption an Benutzer
• UAS unterstützen bei der
Bedienung/Nutzung eines Systems
► Unterstützung bei lästigen Routineaufgaben, z.B. Spam Filter
► Anpassung der Schnittstelle, z.B. häufig genutzte Funktionen
wandern nach oben im Menü (Nachteil: Inkonsistent)
► System gibt aktiv Ratschläge zur Bedienung (z.B. Peedy)
► Anpassung von Spracheingabe an Umgebungsgeräusche,
Reduktion auf Ja/Nein Fragen
Suche nach Informationen
► Wissen über Interessen des Nutzers hilft bei der Suche
► Anpassung der Präsentation von Suchergebnissen an die
Bildschirmgröße, z.B. Reduktion auf mobilen Displays
► Vorschläge basierend auf Entscheidungen anderer Nutzer,
z.B. ähnliche oder beliebte Produkte (z.B. bei Amazon)
Ambient Intelligence
Adaption an Benutzer
• Herausforderungen
Vorhersehbarkeit und Transparenz
► Änderungen an der Oberfläche können Verwirrung stiften
Kontrolle über Anpassungen
► Bestätigung von Anpassungen durch den Benutzer
Unaufdringlich
► Zu häufige Vorschläge lenken Aufmerksamkeit von der
eigentlichen Aufgabe ab.
Datenschutz
► Konflikt mit Werbeinteressen
Ambient Intelligence
Adaption an Situation und Kontext
• Context-aware computing is the ability of a mobile user's
applications to discover and react to changes in the
environment they are situated in. (Schilit and Theimer,
1994)
• Klassifikation von Kontext (Dix, 2000)
Infrastructure: network bandwidth, reliability, and display
resolution.
System: other devices, applications, and users.
Domain: application domain, style of use, and identification
of user.
Physical: physical nature of the device, environment, and
location.
Ambient Intelligence
Adaption an Situation und Kontext
• Definition von Kontext nach A. Dey (2001):
Context is any information that can be used to characterize
the situation of an entity. An entity is a person, place, or
object that is considered relevant to the interaction between
a user and an application, including the user and
applications themselves.
► Bei mobilen Geräten ist der Ort ganz wesentlich (Location-
Based Services)
A system is context-aware if it uses context to provide
relevant information and/or services to the user, where
relevancy depends on the user’s task.
► presentation of information and services to a user
► automatic execution of a service for a user
► tagging of context to information in order to support retrieval
Ambient Intelligence
Kontext im Fahrzeug: Smart Destinations
XEROX parc Heute
• Contextually intelligent systems can do better than be
triggered by current context; they can:
combine information about the current situation from
calendar, email, and location — along with statistical models
of past behavior — to proactively predict future situations;
and
accurately target information to personal preferences,
interests, and activities.
• The result? Services that can help us reach each other at
convenient times to talk, conserve energy resources,
remember meetings and other important events in our lives,
coach us about healthy life choices, and so on. Quelle: http://blogs.parc.com/blog/2010/09/its-time-to-reap-the-context-aware-harvest/
Ambient Intelligence
Aktivitätserkennung
Semantic Cookbook
Rezepte Erkennen
idle
v1
v2
0.09, enter kitchen
0.11, enter kitchen
1.0, turn lights on
v3
0.4, move to fridge
0.8, other 0.6, other
v4
0.5, pick eggs
v9
0.21, pick whisk
v7 0.7, pick pan
v11
v19
0.25, use whisk incorrectly
0.75, use whisk correctly
0.2, use whisk correctly
v20 0.8, use whisk incorrectly
v8 v17
0.6, use whisk correctly 0.09,
pick whisk
v16
0.4, stir eggs
v10 0.06, fry
eggs
v14
0.54, fry eggs
v15
0.95, fry eggs
0.05, stir eggs
v18
0.2, dispose eggs
0.3, other
have good fried eggs
have bad fried eggs
have scrambled eggs
have inedible mayonnaise
dispose eggs
have tasty mayonnaise
have icky mayonnaise
v12
v13
out of kitchen with lights off
out of kitchen with lights on
v5
1.0, leave kitchen
v6
1.0, none
0.09, turn lights off
0.011, leave kitchen
0.099, leave kitchen
0.2, use whisk incorrectly
Plan Bibliothek: Eier zubereiten
v14 have good fried eggs
idle
v1
v2 v3 v4
v9
v7
v11
v19
v20
v8 v17
v16
v10 v15
1, idle v18
have bad fried eggs
have scrambled eggs
have inedible mayonnaise
dispose eggs
have tasty mayonnaise
have icky mayonnaise
v12
v13
out of kitchen with lights off
out of kitchen with lights on
v5
v6
1, idle
0.9, use whisk correctly
0.1, use whisk incorrectly
0.15, use whisk correctly
0.05, fry eggs
0.95, stir eggs
0.05, use whisk incorrectly
0.8, dispose eggs
2
Turn off lights active intervention
3 Propose alternative plan „scrambled eggs“ passive decision support
4
Advise disposal of eggs passive decision support
5 Explain use of whisk passive decision support
1
Turn on lights on behalf of the user active anticipation
0.8, dispose eggs
0.15, use whisk correctly
0.05, use whisk incorrectly
Drei Arten von Assistenz
Ontology
User Model
Plans
Activity Model
Rules
Plan Recognition
Activity Adaptation
Explanation
User Adaptation
Lo
catio
n M
od
el
UA
S
AA
S
Adaptive Systeme
• User-Adaptive (UAS) vs. Activity-Adaptive Systems (AAS)
Zielorientierte Interaktion
Intelligente Benutzerschnittstellen
Ambient Intelligence
COGNITIVE ACTIVITY
GOALS
INTENTION
ACTION
SPECIFICATION INTERPRETATION
EXECUTION PERCEPTION
EVALUATION
Klassisches Interaktionsmodell
COMPUTATIONAL ACTIVITY
USER
SYSTEM
Zielorientierte Interaktion
• Am Beispiel Projekt EMBASSI (2001)
Dialogmanager übersetzt Anfragen des Benutzers in Ziele
Assistenz-Komponente erstellt Pläne, um Ziele zu erreichen
Ambient Intelligence
Quelle: Heider and Kirste, 2002:597
COGNITIVE ACTIVITY
GOALS
INTERPRETATION
PERCEPTION
EVALUATION
Zielorientierte Interaktion
COMPUTATIONAL ACTIVITY
USER
SYSTEM ASSISTANCE
INTENTION
GOAL
SPECIFICATION
ACTION
PLANNING
EXECUTION
REQUEST
Multimodale Interaktion
Intelligente Benutzerschnittstellen
Ambient Intelligence
SmartKom`s SDDP Interaction Metaphor
SDDP = Situated Delegation-oriented Dialogue Paradigm
Anthropomorphic Interface = Dialogue Partner
User
specifies goal
delegates task
cooperate
on problems
asks questions
presents results
Service 1
Service 2
Service 3
Personalized
Interaction Agent
Wahlster et al. 2001 , Eurospeech: http://www.dfki.de/~bert/eurospeech-01.pdf
Multimodale Eingabe und Ausgabe
• Zahlreiche Kanäle
Ambient Intelligence
Input
Speech Gestures Facial
Expressions
Multimodal Fusion
Symmetrische Multimodalität
• Symmetric multimodality means that all input modes (speech, gesture,
facial expression) are also available for output, and vice versa
Output
Speech Gestures Facial
Expressions
Multimodal Fission
USER
SYSTEM
I‘d like to
reserve tickets
for this movie. Where would
you like to
sit?
I‘d like
these two
seats.
Dialog mit einem virtuellen Agenten
User Input:
Speech and Gesture
Smartakus Output:
Speech, Gesture and
Facial Expressions
User Input:
Speech and Gesture
• Reservierung eines Kinotickets mittels Sprache und Gestik
Unification of Scored Hypothesis Graphs
Word Hypothesis
Graph with
Acoustic Scores
Clause and
Sentence
Boundaries
with Prosodic
Scores
Scored
Hypotheses
about the User‘s
Emotional State
Gesture Hypothesis
Graph with Scores
of Potential
Reference Objects
Intention Recognizer Selection of Most Likely Interpretation
Modality Fusion Mutual Disambiguation
Reduction of Uncertainty
Intention Hypotheses Graph
Using Facial Expression Recognition
Processing ironic or sarcastic comments
(1) Smartakus: Here you see the CNN program for tonight.
(2) User: That’s great.
(3) Smartakus: I’ll show you the program of another channel for tonight.
(2’) User: That’s great.
62
Zielorientierte Sprache im Auto
What's the
temperature
in the car?
Please close
my window
partially.
Open all
windows! Set the
temperature
at 22 degrees!
Warmer seat
please! I'm cold.
Multimodale Interaktion im Auto
• Disambiguation von gesprochenen Äußerungen je nach
Kontext im Fahrzeug (Haptik)
Scheibenwischer vs. Tempomat
63
„Schneller!“ „Schneller!“
Multimodale Interaktion im Auto
• Sensoren und Aktoren im Auto
Sensoren
► Mikrofon (Spracheingabe)
► Taster (Fenster, Klima, etc.)
► ZBE (Kontextabhängig)
► Lenkrad
► Bremse
Aktoren
► Fenster
► Klima
► Sitzheizung, -Position
• Kommunikation über CAN
(Controller Area Network) Bus
Multimodale Interaktion im Auto
Multimodale Interaktion im Auto
• Disambiguierung von Sprache und Haptik je nach Kontext
Results of the experiment with respect to the driving performance (ISO
standardized Lane Change Task)
Subjective rating of demand (Driver Activity Load Index
based on NASA TLX)
Sandro Castronovo, Angela Mahr, Margarita Pentcheva, Christian Müller:
Multimodal Dialog in the Car: Combining Speech and Turn-And-Push Dial to
Control Comfort Functions. Proceedings of Interspeech ’10, 510-513
Pizza Szenario
Ambient Intelligence
Sprachsteuerung SIRI
Ambient Intelligence
Sprachsteuerung SIRI
• Die Realität sieht oft anders aus:
Ambient Intelligence
Literatur
• Siehe Referenzen auf den Folien
Ambient Intelligence