ihm multimodale jean caelen. historique en france convergence : dialogue + interaction théorie de...

IHM Multimodale

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système

Jean Caelen

Historique en France

Convergence : dialogue + interaction

théorie de l’action // manipulation directe

1990 : émergence grenobloise, action du GdR-PRC CHM

1991 : école de printemps ECL (+70 participants)

1992 et suivantes : ateliers du GdR-PRC CHM

1993 : fondements théoriques

TerminologieModal

— philosophie« L’homme est un être modal et conditionnel » (Spinoza) Modalité

— logique (déontique, épistémique, ontique, temporelle)— sensorielle (audition, vision, etc.)— de communication dictum et modus (locutoire et

illocutoire) Mode

— sens commun (forme, méthode)— grammatical : forme verbale (traduit l’attitude d’un sujet

vis-à-vis d’événements dénotés par le verbe) Média / Canal

média = moyen + intermédiaire (=> support + canal)

Sémiosis

Média : substance (signal sur un canal)

Mode : forme (signe)

Système multimédia : véhicule des signaux de nature différente

Système multimodal : interprète des signes appartenant à plusieurs systèmes sémiotiques => deux niveaux de traitement

événements ( signaux) informations ( signes)

Paradigmes

Domaine

Complexité

Type : innovation routine

Système cognitif perceptif, moteur

variations inter-individuelles

intr

a-in

div

idu

elle

s

Mo

dal

ités

UsagerInterface

Tâche

Contrôleur de Dialogue

MultisensorielMulti-mode de traitement

CASE (côté machine)

Interprétation/génération

UsageSéquentiel Parallèle

Combiné

Indépendant

Alterné Synergique

Exclusif Concurrent

C = Concurrent, deux tâches

distinctes, en parallèle, pas de

coréférence

• A = Alterné, une tâche,

entrelacement temporel, en

coréférence de modalités

• S = Synergie, une tâche, en

parallèle, en coréférence de

modalité

• E = Exclusif, une tâche à la fois

sans usage de la multimodalité

CARE (côté utilisateur)

• C = Complémentarité, chaque

mode est nécessaire (et contribue)

à la compréhension de l’action,

• A = Assignation, l’usager choisit

un mode récurrent particulier (ou

un sous-ensemble de modes) pour

s’exprimer,

• R = Redondance, l’usager utilise

simultanément plusieurs modes à

travers lesquels les informations

sont redondantes,

• E = Equivalence, l’usager choisit

indifféremment tel ou tel mode (ou

un sous-ensemble de modes).

Modes

ButAction Information

Multi

Mono Redondant

Complémentaire

Assigné

Equivalent

Complémentaire

• parole et regard sur objet• “mets ça là” + gestes

Assignation libre ou imposée

• Sélection(objet) par souris vs. parole

Redondance

• parole entendue et parole vue (lecture du mouvement des lèvres)• “détruis le cercle rouge” + geste de destruction sur cercle rouge

Equivalence

• fonctionnelleSélec(cercle) = ButtonDown(cercle) = “sélectionne le cercle rouge” = “sélectionne ce cercle” + geste• actionnelleSélec(cercle) +Poser(cercle) = “Dessine un cercle”

CARE (exemples)

Premières applications

Parole + geste

Mets ça là

Les problèmes fondamentaux

• Adéquation des modalités aux tâches

• Adéquation aux usages et aux profils d’utilisateurs

• Fusion des entrées

• Fission des sorties

Adéquations…

Quelle est l'adéquation d'une forme d'interaction à une tâche donnée ? à un utilisateur donné ?Comment tenir compte des contraintes environnementales pour optimiser l'efficacité et la fiabilité des commandes de l'utilisateur mais aussi celles des messages restitués par la machine ?Quels liens faut-il établir entre les modalités de sortie et les modalités d'entrée ?Comment circonscrire un espace d'interaction pertinent au regard de la tâche ?

Adéquations…Mode parlé

entrée : commandes, macro-commandes (mots isolés, parole continue), entrée de données

sortie : guides, exemples, requêtes, explications, relances, etc. (synthèse, phrases à trous)

Mode écritentrée : identificateurs, nombres (clavier, tablette graphique)sortie : explications détaillées (écran)

Mode gestuel

entrée : désignation 2D ou 3D (souris, gant numérique, écran tactile), langage de signes (caméra), action ergative (clavier interactif)

sortie : retour d’effort, effet tactilo-kinesthésique

Mode visuelentrée : orientation du sujet, expression du visage, suivi du geste

(reconnaissance d’images)sortie : visualisation de résultats ou de mondes virtuels (synthèse

d’images, graphique animé)

Adéquations…

La prédiction par Moz

Le modèle ICS (Interactive Cognitive Sub-system)

L’évaluation

Sous-systèmeacoustique

(AC)

Sous-systèmemorphono-lexical

(MPL)

Sous-systèmearticulatoire

(ART)

Sous-systèmeétat physique

(BS)

Sous-systèmeimplicationnel

(IMPLIC)

Sous-systèmepropositionnel

(PROP)

Sous-systèmeobjet(OBJ)

Sous-systèmevisuel(VIS)

Sous-systèmemouvement

(LIMB)

Adéquations…Mode parlé• la satisfaction globale des usagers dépend de la catégorie des personnels• l’apprentissage de l’interface est plus rapide• l’efficacité dans la réparation des erreurs est améliorée• les contraintes d’utilisation sont souvent limitatives (contexte bruyant, confidentialité, gêne, etc.)• le niveau de langage compris par la machine nécessite une adaptation• les langages opératifs observés utilisent des phrases courtes avec une prosodie indiquant assez clairement les frontières de mots

Mode gestuel• les habitudes sont héritées de l’usage de la souris• la désignation gestuelle est directe et fiable, le retour d’effort est très épistémique• les signes gestuels sont peu naturels (leur reconnaissance est difficile)etc.

Le geste : propriétés• Ergative :

interaction avec le monde physique, échange d’énergie

• Epistémique :

boucle action-perception (tactilo-proprio-kinesthésique)

• Sémiotique :

— langage— appuis : déixis, rythme, iconicité — idéographie, dessin, écriture— geste instrumental : musique

Effets du monde extérieur sur le monde intérieur

Tactile Proprioceptif Kinesthésique

fovea tactile au niveau des doigts

intègre action et perception

La langue orale : propriétésL’ellipse

du verbe : Dessine un cercle. Un triangledu nom : Détruis le rouge

L’anaphore et la cataphorerégression : Dessine un cercle. Déplace-leprogression : Détruis-le, ce cercle

La déixisMets çà ici. Le cercle là.

La repriseDessine un cercle rouge...non un vertDessine un cercle rouge...non un triangleDessine un cercle rouge...non détruis-le

L’hésitationDessine e: un cercle rouge

Ex : “Pivote les” + Sélection(zone)les = tous les objets visibles (+anticipation) => anaphore + déictiqueles = les objets sélectionnés => cataphore

ÉvénementDéfinitionDébut, fin de signaux externes : changements perceptibles sur un média

Les événements sourisclic = kappuyer = Arelâcher = Rdéplacer = Traj = (dT, fT)etc.

Les événements paroledébut-parole = dPfin-parole = fPdébut-mot = dMfin-mot = fMetc.

____________________________________________________________

Relations temporelles entre événements (Allen)(dP, (A, R), fP) (dP, fP)+ autres relations (indépendance, recouvrement, etc.

dP fP dP fP

A R

ParoleGeste

Événement

Le système multimodal est un serveur. Il peut être distribué. Cela conditionne le transport et la datation des événements. Tous les clients n'ont pas forcément les mêmes dispositifs multimodaux

Serveurs

Médias

Système multimodal

messages

Modes

(réseau en anneau ou en étoile, etc.)

Événement

Structures événementielles i(k) = ième acte en mode k reçu (émis) par le système multimodal de (vers) un ensemble de serveurs {}

événement-de-acte : attaché-à i(k)| type : ei(k) = {di(k), fi(k)}| mode : k| date : (ei(k))| n°-ordre : i| provenance / destination : {}

uij(k) = jème unité contenue dans i(k)

événement-d’unité : attaché-à uij(k)| type : eij(k) = {duij(k), fuij(k)}| acte : i(k)| date : (eij(k))| n°-ordre : j

Événement

Relations événementielles

1- chronologiques (), monomodaleseij-p(k) eij(k) ssi p1, (eij-p(k))(eij(k))

2- synchroniques (), multimodaleskk’, eij(k)ei’j’(k’)

ssi eij(k) [dui’j’(k’), fui’j’(k’)] ou ei’j’(k’) [duij(k), fuij(k)]avec,eij(k) [dui’j’(k’), fui’j’(k’)] ssi (dui’j’(k’)) (eij(k)) (fui’j’(k’)) PROPRIETES : () est une relation d’ordre partiel, () est une relation d’équivalence

InformationDéfinitions

Unité sémiotique pour l’usager (unité signifiante)Unité référentielle pour la machineActe : suite d’unités délimitée par des marqueurs propres à chaque mode

(pause pour la parole, enfoncement, relâchement de la souris, etc.)

Les informations gestuellesActek(carré).A(lieu).Trajectoire.R => dessiner un carré, ici, tailleUnitésk(carré), A(lieu), Trajectoire : syntagmatiquesR : méta-gestuelle (marqueur)etc.

Les informations langagièresActeActe de langageUnitéslexicales, syntaxiques, sémantiques, prosodiquesméta-discursivesetc.

dP fP dP fP

A R

ParoleGeste

U

U

U

U

U U1

2

3

4

5 6

Informationunités (actes) synchronesdeux unités (actes) sont synchrones s’ils possèdent deux événements synchroneskk’, uij(k)ui’j’(k’) ssi eij(k)ei’j’(k’) la durée de deux unités (actes) synchrones est :(uij(k)ui’j’(k’)) = max[(eij(k)),(ei’j’(k’))]-min[(eij(k)),(ei’j’(k’))]

Définition du “présent” “présent” instantanédurée de l’unité la plus courte à un instant donné épaisseur du “présent”intervalle de temps défini par la durée de tous les actes synchrones à un instant donné. Cette épaisseur est variable au cours du temps. Cas particuliers :— dans un système alterné il n’y a pas d’unités ni d’actes synchrones— dans un système concurrent la gestion des modes s’effectue comme dans un système synergique mais il n’y a pas de niveau de fusion d’informations

Traitement des informations…

• Fusion des entrées

+ Contexte interactionnel

+ Proximité temporelle

+ Co-référence

sémantique

• Fission des sorties

+ Contexte interactionnel

+ « Affordance »

Contexte interactionnel

Concurrent

____________________________________________________________

Co-référence : L{uij(k), ui’j’(l)} = Ø pour i≠i’Pas de contraintes temporelles Anaphore1. “Dessine un cercle” + k(vert)2. k(carré).A(lieu).Traj.R3. “Détruis-le” Deictique

“Mets ça ici” ne peut être traité____________________________________________________________

Problèmes- de coréférence (déixis, anaphore, etc.)- de spécificité des modes

M1

M2

u11(1) u12 (1)

u11(4)u21(2) u22(2)

u13 (3)u12(3)u11(3)

1 2 3


Alterné

____________________________________________________________

Alternance : Débuti(k) Fini’(k-1) avec i i’Pas de contraintes co-référentielles

Anaphore et déictique1. ”Dessine un cercle ici”2. k(lieu)3. k(vert)4. k(carré).A(lieu).Traj.R5. “Détruis-le”____________________________________________________________

Problèmes- de synchronie- de spécificité des modes

M1

M2

u11(1) u12(1)

u11(4)u21(2) u22(2)

u13(3)u12(3)u11(3)

1 2 3 4 5


Synergique

____________________________________________________________

Pas de condition Anaphore et déictique1. ”Dessine un cercle ici” +k(lieu) 2. “vert” - k(carré).A(lieu).Traj.R3. “Détruis-le” ____________________________________________________________

Problèmes- de dépendance temporelle (+, -)- de spécificité des modes

M1

M2

u11(1) u12(1)

u21(4)u21(2) u22(2)

u13(3)u12(3)u11(3)

1 2 3


Défini par la boucle action-perception et les contraintes mécaniques du système ex. Mettre(Objet, Lieu)

“mets ça ici” < d(ça) < d(ici) = alterné(“mets ça ici” d(ça)) < d(ici) = synergique(p+)(“mets ça” d(ça)) < (“ici” d(ici)) = synergique“mets” < (“ça” d(ça)) < (“ici” d(ici)) = synergique(g+)

défini par les relations sémantiques/pragmatiques ex. d(triangle) “déplace le cercle” = concurrent

Ces deux critères permettent de "calculer" le contexte interactionnel. A son tour, il permet d'interpréter les actes et leurs relations.

Exemples

Référence à une collection d’objets

si dépendance temporelledétruire “tous les” triangles parmi ceux qui sont sélectionnés (les =

déictique)si anticipation du geste

détruire “les” triangles référencés dans le passé (les = anaphore)si anticipation de la parole

détruire “les” triangles référencés dans le futur (les = cataphore) ou dans le passési conflit inter-modal

entourage d’un ensemble d’objets ne contenant pas de trianglesi erreur intra-modale

“détruis les triangles” => “déduis les trois angles”

passé futurprésent

"détruis les triangles"

entourage

Parole

Geste

ExemplesRéférence à une suite d’objets

Référence à un objet en mouvement

Référence indirecte

k


"détruis ces triangles"Parole

Gestek k k

"stop"


mets-le sur le carré vert

déplace(carré-vert)

Parole

Geste

"rouge"


tracé d'une courbe à main levée

Parole

Geste

"vert"

Fusion / Fission

Fusion : résolution de la co-référence : mettre en relation les référents multimodaux

Fission : résolution de la différence : activer les référents les plus adéquats

FusionL’effet McGurkimage de “ga” + parole “ba” ==> perception de “da”

Les logogènes de Morton

Les boucles action-perception et leur contrôle• audition-production (théorie de l’action)• mouvement-vision (intentionnalité)• tactilo-kynesthésique (proprioceptif)

Parole Image

Analyse auditive

Analyse visuelle

Logogènes

Système cognitif

Parole Image

Analyse auditive

Analyse visuelle

Système cognitif

Catégorisation Catégorisation

Modèle 1 Modèle 2

Fusion

Syntaxe

Contexte discursif

Morphologie

Pragmatique des 1er et 2ème degrés Contexte

interactionnel

Sémantique

Morphosyntaxe

Unités sémiotiques

CMR (Common Meaning Representation)

Référents

Signes

Lexique

Marqueurs Indexicaux

Structures Phèmes

Focus Topos

Pragmatique du 3ème degré Action

Locutoire Illocutoire Perlocutoire

Règles syntaxiques

Analyse morpho-syntaxiqueAnalyse morphologique de chaque acte modal sur l’épaisseur du présent


"détruis les triangles"

entourage

Parole

Geste

Détruis les triangles

Détruire V, imp., 2° pers., sing.

le Art., déf., plur. Pr., plur.

triangle Nom C., masc., plur.

A Traj R

GNGV

GSP

Désigner Sélectionner

MarqueurCourbe Positions Déplacer

GSG

(Cod)

V(détruire)+Obj(triangles)

V(sélectionner)+Lieu((x0,y0), (x1,y1))

Analysemonomodale

Analyse pragmatique 1et2Analyse des indexicaux et des marqueurs par liage intermodal

Contexte interactionnel : synergiqueContexte discursif : action en cours

-----------------------Traitement des indexicaux : “les” objets) : Contrainte (objet Domaine) Objet = Objet instancié HistoriqueDomaine = Lieu((x0,y0), (x1,y1)) liste d’objets

--------------Traitement des marqueurs : Prosodie, R Prosodie assertiveR marqueur de fin d’action gestuelle action synergique complète

Analyse sémantiqueConstruction d’une CMR (Common Meaning Representation)

La base de connaissances des actionsAction : Détruire

Activation = double-clic($SObj) | Verbe($Sdétruire)OBJ = GN($Dominant = $SObj) | clic($SOb)Temps = GP(prép($CTemps).GN) | Adv($CTemps)

Action : MettreActivation = mvt-clic($SObj) | V($SDéplacer)OBJ = GN($Dominant = $SObj) | clic($SObj)Lieu = GP(prép($CLieu).GN) | Adv($CLieu) | clic($SLieu)Temps = GP(prép($CTemps).GN) | Adv($CTemps)

etc.__________________________________________________________

La base de connaissance des objetsTriangle : Sorte-de Objet-géométrique

Taille : GA($Dominant = $SObj) | mvt-clic($SObj)Couleur : CN($Dominant = $SObj) | clic($Spalette)Position : (x,y)Actions : {Détruire, Mettre}

__________________________________________________________

Les règlesRègles d’instanciation des scripts et des objets

So

luti

on

sH

ypot

hès

es t

rans

mis

es a

u co

ntrô

leu

r d

e d

ialo

gue

Pou

r u

ne f

usio

n p

ragm

atiq

ue d

e ni

veau

3

Analyse pragmatique

Traitée par le module d’interprétation sous le contrôle de dialogue• les référents et co-référents• les actes de dialogue• les implicatures conversationnelles• les présupposés• etc.

Fission

Choix des modalités de présentation• Complémentaire

en fonction de la situation ou des dispositifs disponibles (ex. cockpit d’avion)

• Assignéstatique et stable (favorise la mémorisation)

• Redondantaugmenter la prégnance (ex. alerte)

• Équivalentlaisser le choix à l’utilisateur (préférences)

FissionCritères de classification des modalités de sortie (Bernsen 94)

Langagière / Non Langagière : indique si la modalité utilisée repose ou non sur la préexistence d'un lexique plus ou moins important, d'une syntaxe plus ou moins complexe et sur des représentations sémantiques et pragmatiques.Analogique / Non Analogique : une modalité analogique véhicule des informations qui tirent leurs représentations de l'entité signifiée (représentation iconique ou isomorphique).Arbitraire / Non Arbitraire : une modalité non arbitraire repose sur la préexistence d'un système de représentations sémantiques connu des utilisateurs. Une modalité arbitraire nécessite l'apprentissage des conventions de représentation utilisées dans un contexte donné.Statique/Dynamique : indique l'influence du temps sur la structure des informations.Média d'expression : graphique, sonore ou tactile.

Différentes modalités possibles

Sphère Sphère tronquée

Cylindre Colline

Évolutions de la notion de modalité

• Modalités sensorielles et de présentation

• Modalités d’action (tâches)

Par exemple « naviguer » et « dialoguer » pour

atteindre le but

Présentation des résultats dans la Fish-Eye-View

(avec hyperliens)

Historique du dialogue

Zone de détaild’un document

Boîte de dialogue de l’usager

Boutons d’interactions vocales

TâchesUne tâche est caractérisée par un but B à atteindre

Une tâche est multimodale si les actions pour l’effectuer sont multimodales en soi ou si les actions utilisent différentes modalités au cours de la réalisation de la tâche.

Multimodalité alternée une seule modalité est utilisée à un instant donné, mais plusieurs sont

utilisées pour une même tâche au cours du temps,

Multimodalité exclusiveune seule modalité est utilisée à un moment donné, et pour toute la tâche,

Multimodalité synergiqueplusieurs modalités sont utilisées pour une même action,

Multimodalité concurrenteplusieurs actions sont produites en même temps en utilisant des modalités

différentes (ces actions concourent ou non à la même tâche)

Exemples

Soit une activité sur deux fils : B1 et B2 deux buts à atteindre• a1 et a2 sont synergiques, ils contribuent au même but et se déroulent en parallèle,• a3, a5 sont alternés,• a5 et a6 sont séquentiels.• a6 et a7 sont concurrents puisqu’ils se déroulent dans la même fenêtre temporelle et qu’ils portent sur des buts différents.

T-CCARE

• C = Conflit (contradiction des actions portées par des modes différents)

• C = Complémentarité (de deux actions exprimées sur deux modes différents mais non nécessairement en même temps)

• A = Assignation (une modalité à une tâche c-a-d pour toutes les actions de la tâche)

• R = Redondance (deux actions ont été exprimées 2 fois sur des modes différents)

• E = Équivalence (deux actions pourraient être faites sur plusieurs modes)

... au niveau de la tâche

Exemples

Le conflitla désignation gestuelle et orale ne concerne pas le même objet

00:00:18 geste clic-cercle

00:00:22 parole tout sélectionner

0:00:56 geste geste-cercle

0:00:57 parole réduire l'ensemble

La complémentarité

00:33:05 geste déplace-répertoire

00:33:11 parole ajouter correspondant

Exemples

La redondancela redondance porte sur l'objet.

0:00:04 geste clic-barre

0:00:49 parole barre horizontale

la redondance porte sur l’action

02:17:55 geste déplace-répertoire et clic-bouton éditer

02:18:09 parole ,,, dans le répertoire, modifier la fiche de Mireille Parran

Exemples

Exemple de tâche multimodalela tâche du sujet est composée de deux sous-buts : agrandir un objet et le déplacer.

hh:mm:ss actions

1 00:00:00

2 00:00:04 clic-cercle droit + parole plus grand

3 00:00:06/00:00:12 Réalisation machine

4 00:00:12 parole « plus grand »

5 00:00:13/00:00:19 Réalisation machine

6 00:00:22 clic-cercle droit

7 00:00:25 déplace-cercle droit

8 00:00:27 déplace-ajustement-cercle droit

ICPdraw : interface

ICPdraw : Editeur graphique multimodalparole (reconnaissance, synthèse)geste (croquis, désignation, sélection)clavier (langage naturel)

File Edit Configure

Iconbox

ICPdraw

ICPdraw

Which color?

draw>green

Events

Speaking...

Sentence hyp.

1. green 0.95 2. blue 0.2

ICPdraw : composants parole

• Reconnaissance : HMM (parole continue)• Analyse linguistique par grammaire CF— entrée : parole— sortie du module de traitement : mots + c-structure + f-structure

• Synthèse : PSOLA— entrée : texte + marqueurs prosodie— sortie : parole

GN

GV

P

COD

c-structure

f-structure V SUJ

()

GN

GP

V Dét Nom Prép Adj-qNomContrôle Indef Obj_graph Prop Coloris

CN

dessine un cercle de couleur noire

ICPdraw : la syntaxe

Action V.GN1.Lieu2Action V.PrRéit GN1.Lieu2Rectif non.GN1.Lieu2Rectif plus.AdjTGN1 Dét2.AdjT.N.AdjCPr {le, les}V {dessine, déplace, détruis, change, annule,

sélectionne, duplique, quitte}Dét {le, les, un, deux, trois, quatre, ce, ces}AdjT {grand, petit}N ObjObj {carré, cercle, triangle}AdjC {blanc, noir, bleu, jaune, rouge, rouge, vert}Lieu GN2 | LocP2 | LocAGN2 LocP1.N.AdjCLocP1 {sous le, sous ce, sur le, sur ce, à côté du, à

côté de ce}LocP2 {à droite, à gauche, en haut, à gauche, au

centre}LocA {ici, là, là-bas, vers ici, vers là, par ici, par là}

Dans ce langage tous les éléments peuvent être facultatifs : “dessine cercle vert” ou “non... vert” sont deux formes admissibles.

ICPdraw : le geste

dessine un carré

dessine un triangle

dessine un cercle

détruis (obj)

sélectionne objet(s)

déplace un objet duplique (obj) désigne (lieu)

k(Lieu).A(Lieu).Traj(carré).R

k(Lieu).A(Lieu).Traj(triangle).R

k(Lieu).A(Lieu).Traj(cercle).R

ou A(Obj).(Traj(Z) | Traj()).R

ou k(Obj) | A(Lieu).Traj.R

A(Obj). Traj.R

k(Obj).A(Obj). Traj.R

k(Lieu)

ICPdraw : architecture

APPLICATION

DIALOGUE CONTROLLER

Task model

User model

Language model

EVENT MANAGER

Dialogue model

Interaction modes

SPEECH VISION SERVER

Dedicaced hardware

History

History

Arc

hite

ctur

e en

cou

ches

ICPdraw : contrôle du dialogue

Action

si-err

Réaction Question

Réitération Rectif.

si-err si-err

Continu.

abandon

• si l’action est correctement interprétée et exécutable alors le système passe dans l’état “réaction” et attend une nouvelle commande d’action, de réitération ou de rectification,• si l’action conduit à une situation incohérente, le système pose une question et se met en attente d’une réponse de rectification. Deux erreurs consécutives ne sont pas tolérées, le système passe dans l’état “continuation” c’est-à-dire en attente d’une nouvelle action. Les incidences du dialogue sont volontairement évitées, elles sont traitées comme des abandons implicites (avec retour à une nouvelle action).

Le modèle d’interaction : automate à états finis

Stratégie réactive

ICPdraw : fusion

Action-Dessinersi Action.(V(Dessine) | k(Lieu).A(Lieu))

Quoi = GN1($N) | Pr | Traj(Obj).Rsi-défault = Obtenir (, quoi)

Combien = GN1($Dét(1) | $Dét(2))si-défault = Obtenir (, combien)

Taille = GN1($AdjT)si-défault = Historique(Taille)

Couleur = GN1($AdjC) | k(Palette)si-défault = Historique(Couleur)

Où = Calcul(Lieu) | k(Lieu)si-défault = Obtenir (, où)

Scripts d’actionRectification-Dessinersi Rectif.Hist(V)=Dessine | Question.Réit.Hist(V)=Dessine

Quoi = GN($N) | A(Lieu).Traj(Obj).Rsi-défault = Hist(Obj)

Combien = GN($Dét(1) | $Dét(2))si-défault = 1

Taille = GN($AdjT) | plus($AdjT)si-défault = Hist(Taille)

Couleur = GN($AdjC) | k(Palette)si-défault = Hist(Couleur)

Où = Calcul(Lieu) | k(Lieu)si-défault = Hist(curseur)si-erreur = Q(où)

Réitération-Dessinersi Réit.(Hist(V)=Dessine)

Quoi = GN($N) | A(Lieu).Traj(Obj).Rsi-défault = Hist(Obj)

Combien = GN($Dét(1) | $Dét(2))si-défault = 1

Taille = GN($AdjT)si-défault = Hist(Taille)

Couleur = GN($AdjC) | k(Palette)si-défault = Hist(Couleur)

Où = Calcul(Lieu) | k(Lieu)si-défault = Hist(curseur)si-erreur = Q(où)

ICPplan : dessin architectural

Salon

Cuisine

Outils

Menus

Conception de plans architecturaux

Dialogue multimodal

U : « Mets une fenêtre ici » + geste-sourisM : « Il ne peut y avoir de fenêtre sur un mur intérieur »

ICPplan : architecture

Dialogueur

Interacteur multimodal

Concepteur Modeleur

Connaissances du domaine Lois

d'interaction

Utilisateur

Interface

ObjetsConnaissances du domaine

• Agents autonomes— Concepteur (abstraction)— Modeleur (contrôle)— Interface (présentation)

• Fonctions distribuées

Ergonomie : magicien d’Oz

• Côte à côte • Planification imposée• Vocabulaire et langage limités Action = [dessiner] [déplacer] [effacer] [stop]Objet = [ligne verticale] [ligne horizontale] [grand triangle] [petit triangle] [grand cercle] [petit cercle] [carré] [anaphoriques = il, elle, le, la, les, etc.] [déictiques = ce, cette, ça, celui-ci, celui-là, etc.] Lieu = [PosRelative(objet)] [PosAutoRelative]PosRelative(objet) = [au dessus de(objet)] [au dessous de(objet)] [à gauche de(objet)] [à droite de(objet)] PosAutoRelative = [plus haut] [plus bas] [plus à gauche] [plus à droite] [déictiques = ici, là]

• Figures géométriques• Rôle du compère = assistance• Modes = mul (parole+geste), p (parole) ou s (souris)

Ergonomie : mesures

• 26 sujets• propriétés CARE pour chaque action en contexte • relations temporelles( d>P, d=P, d<P, d<<P) pour indiquer respectivement que (a) le geste est consécutif au mot prononcé, (b) le geste est sensiblement simultané avec le mot prononcé, (c) le geste précède le mot prononcé, (d) le geste précède la séquence parlée qui contient la deixis, il reste posé sur l’écran ensuite pendant l’énoncé verbal.

Dessiner(obj)

Déplacer(obj)

Mettre en place{commande}

Effacer(obj)

Draw

Désigner (obj)

Désigner (obj)

Désigner (obj)

Désigner (dest_lieu)

Désigner (lieu)



Ergonomie : résultats

Equivalence fonctionnelle(sur action de désignation)

(précision) toutes catégories de sujets(mul) (p) (s)66% 14% 20% categorie expert(mul) (p) (s) 81% 9% 10% categorie occasionnel(mul) (p) (s) 53% 17% 30% categorie novice(mul) (p) (s) 78% 22% 0%

Equivalence de résultat (dessin d’une figure)

a priori : les modes sont équivalentsa posteriori : 40% mul, 16% s, 6% p, 38% mixte


Equivalence : selon la tâche de désignation… expert ———————————————désignation-lieu désignation-objetdoigt parole doigt parole90% 10% 22% 78% occasionnel ————————————désignation-lieu désignation-objetdoigt parole doigt parole87% 13% 23% 77% novice ———————————————désignation-lieu désignation-objetdoigt parole doigt parole88% 12% 22% 78% Usage de la modalité “doigt” ou “parole” pour désigner un lieu ou un objet selon le type d’usager


Assignation = spécialisation (naturelle) des modes

(a) pour les cas de réussite de l’action“dessiner”

(s) (p) (mul)18,6% 6,6% 74,8%

“déplacer”(s) (p) (mul) 5,8% 31,4% 62,8%

“effacer” (s) (p) (mul) 22% 27% 51%

• biais de l’expérience car “déplacer” suit “dessiner”action principale (“dessiner”) mul ou sraffinement (“déplacer”) mul ou p

• pas de spécialisation pour “effacer”• échecs réduits avec la souris

(b) pour les cas d’échec de l’action “dessiner”

(s) (p) (mul)1 1 15

“déplacer”(s) (p) (mul)0 2 3

“effacer” (s) (p) (mul)0 2 0


Redondance : pour le multimodal seulement “dessiner” “déplacer” “effacer”——————————————————————désignation désignation désignationobjet lieu objet lieu objet——————————————————————7.4% 2.4% 19.8% 20.9% 42% • redondance forte pour “effacer” => sécurité ? • redondance pour “déplacer” => précision ? • pas de redondance pour “dessiner” => économie ?

Complémentarité : pour le multimodal seulement(résultats opposés à Redondance)

——————————————————————"dessiner "déplacer" "effacer" moyenne 90.2% 59.3% 58% 66.6%—————————————————————— • complexité sémantique ou grand nombre d’arguments (“dessiner”) => complémentarité

Relations temporelles ——————————————————————d<<P d < P d = P d>P et d>>P 3,2% 28,8% 67,3% 0,7%——————————————————————


Ergonomie : autres résultats

• Réparation des erreursmode ayant provoqué l’erreur

mode correction p muls 0% 0%p 12% 6%mul 88% 94%

• la reformulation n’était pas possible (syntaxe limitée)

=> réitération dans un autre mode • mul apparaît comme un mode plus sécurisé

• Usage des ellipses et anaphores

• Stratégies de placement des objets - des usagers procèdent par approximation successive pour placer les objets. Cela engendre des cas d'ambiguïté de déictiques. - des usagers désignent les lieux ou les objets par entourage. - pour déplacer un objet, certains usagers font re-dessiner un nouvel objet identique au premier puis font effacer l'ancien.

Ergonomie : recommandations

le geste SANS CONTRAINTE INSTRUMENTALE est compatible avec la multimodalitéDans cette expérience :

• usage de la multimodalité attestée

+ plus économique (complémentaire)+ plus fiable (redondance)+ plus adapté (selon type de tâche)

• à confirmer sur d’autres tâches(et avec une véritable IHM)

• mesurer la contribution cognitif/perceptif

• effets négatifs de la multimodalité(multiplication des hésitations, des erreurs d’expression,

entrelacement des buts, mauvaise coordination sensorielle, etc.)

Usage

Les interfaces multimodales sont-elles utilisées ?

Si oui comment ? Pour quelles tâches ?

QuickSet

10 mythes (S. Oviatt)

Ce n’est pas parce qu’une interface est multimodale que les utilisateurs vont utiliser la multimodalité.

Dans QuickSet la multimodalité est utilisée dans 20% du temps d’une session de travail. Les utilisateurs passent d’un mode à l’autre sans raison apparente et restent unimodaux certainement pour des raisons de confort personnel. Cependant les commandes spatiales sont plus fréquemment multimodales ainsi que les informations de taille, de forme des objets, de nombres, de lieux et d’orientations. La richesse sémantique de l’action favorise la multimodalité.


Le pattern parole-pointage n’est pas le plus intéressant. Depuis le fameux « mets ça là » de Bolt, la multimodalité a

été centrée sur le paradigme de l’interaction synergique. Dans ce paradigme la parole est considérée comme mode sémantique dominant et le geste de désignation comme subordonné. En fait cette conception est une survivance du concept clavier/souris (c’est-à-dire de sélection sur une icône ou un menu), bien plus pauvre qu’une interaction qui utiliserait les mouvements gestuels, les expressions faciales ou corporelles, etc. Par exemple des études avec un stylo/voix montrent que la multimodalité est de 14% plus utilisée qu’avec une entrée souris/voix. L’utilisation des déictiques est aussi plus fréquent de 20%.


La multimodalité ne signifie pas obligatoirement « parallélisme ».

En effet on a constaté que bien souvent le geste précède la parole (99% des cas), même lorsque les deux modes dénotent des informations synchrones comme les déictiques. Le degré d’anticipation dépend de la langue. Il n’y a finalement que 25% des énoncés qui sont véritablement simultanés : synchronie ne signifie pas simultanéité.


La parole n’est pas un mode « de base » dans un système multimodal.

Cela n’est vrai que sur le plan historique. Depuis il y a bien des systèmes qui utilisent la main et le regard par exemple comme modes d’entrée, notamment dans les systèmes militaires. Le problème général de la multimodalité ne se pose donc pas en termes de commande+sélection, la commande étant linguistique et la sélection manuelle. Le problème ne se pose pas non plus en terme de source principale/source secondaire dans lequel on utiliserait la source secondaire dans le cas où la source principale serait dégradée.


Le langage multimodal ne diffère pas du langage unimodal.

On peut dire seulement que le langage utilisé en contexte multimodal est syntaxiquement moins complexe, que les énoncés sont plus courts et que le débit est moins hésitant. Les ellipses sont plus fréquentes et les constructions linguistiques sont moins ambiguës, car les énoncés sont plus compacts. Il semble que ces propriétés rendent le langage multimodal plus apte à une intégration dans un système homme-machine.


L’interaction multimodale ne favorise pas la redondance.

On pourrait croire le contraire, mais cela ne va pas dans un sens d’économie du point de vue de l’utilisateur. Celui-ci va donc privilégier la complémentarité. Même dans le cas d’échec puis d’essais de correction, l’usage de la redondance n’augmente pas de façon significative. La redondance n’est pratiquement utilisée que dans le sens d’une recherche de fiabilité


Les erreurs sur un mode ne sont pas compensées par un autre mode.

Il est illusoire de penser que l’on va masquer les insuffisance d’un mode (par exemple les erreurs de reconnaissance de la parole) par un autre mode. En réalité les erreurs se cumulent d’un mode à l’autre. Mais les utilisateurs optimisent l’usage d’un mode au profit de tel autre, après expérience faite de ses performances, ce qui rend somme toute, par effet indirect de l’usage, l’interaction plus robuste. Dans quelques cas cependant, lorsque une double incertitude se produit dans les deux modes d’entrée, il est parfois possible de recouper l’information sur un critère de cohérence sémantique.


Les utilisateurs n’organisent pas « leur » multimodalité de la même manière.

Pour les uns, ce qui est séquentiel, est parallèle chez les autres. Tel mode est dominant chez les uns, et ne l’est pas chez les autres. Tel mode est persistant, etc.


Les modes ne sont pas équivalents.

Leur pouvoir d’expression est différent sans parler de leur pouvoir perceptuel, qui paraît plus évident. Cela signifie que le geste (et inversement la parole) ne peut tout exprimer dans une interaction, il y a des limitations cognitives. Même si parfois on eut rapprocher deux modes, ils n’en différent pas moins par leurs propriétés différentes : précision, latence, etc. Certains modes sont plus inconscients ou passifs que d’autres : la direction du regard par exemple.


Un système multimodal n’est pas plus efficace qu’un autre.

On croit souvent qu’un système multimodal sera plus efficace qu’un système monomodal, car on pourra faire plusieurs choses en même temps, se reposer en passant d’un mode à l’autre, réduire la charge perceptive et cognitive, économiser le temps de planification, etc. Des expériences ont prouvé le contraire : une commande multimodale est souvent plus longue à exprimer qu’une commande monomodale, car il y a un coût dû à la multimodalité (par exemple la multimodalité produit un débit de parole plus saccadé et des hésitations plus fréquentes).

PERSPECTIVES ...

en multimodalité(s)

Trois points clés

• Physicalité

• Mobilité

• Plasticité

Physicalité

• Les principes de la Réalité Augmentée

– Conservation des objets qui nous sont familiers

– Amplification fonctionnelle par le calcul électronique

• L’ordinateur évanescent mais doué d’ubiquité

– Disparition de la boîte grise

– Capacités de calcul réparties dans l’environnement

Physicalité• Exemple : Le Tableau Magique (F. Bérard)

• Modalité d’entrée

– le doigt, dispositif de pointage

– feutres naturels, dispositifs d’écriture

• Modalité de sortie

– inscriptions électroniques et physiques (complémentarité/redondance)

• Migration entre l’électronique et le physique

– Post-Its

Physicalité

• Exemple : Le Tableau Magique

Physicalité• Le Tableau Magique ... dans son environnement naturel

– Reflets

– Ombres

– Changement d’éclairage– suivi du doigt

– colorisation

Physicalité et Environnements perceptifs

• Capteurs et effecteurs (caméra, dét. de bruit, mouvement, etc.)

• Apport :

– migration de tâche vers le «système»

– modélisation du «contexte» interactionnel


• Capteurs et effecteurs (caméra, dét. de bruit, mouvement, etc.)

• Apport :



Niveau de disponibilité


• Capteurs et effecteurs (caméra, dét. de bruit, mouvement, localis., etc.)

• Apport :



• Multimodalité à de multiples niveaux d’abstraction

– fusion de données (robustesse du système, enrichissement sémantique)

– fusion spatio-temporelle : la localisation du capteur importe

Mobilité

• Mobilité de l’utilisateur mais le dispositif d’interaction est fixe

(bornes interactives)

– contexte d’interaction connu et système figé

– migration des données personnelles de l’utilisateur

Mobilité

• Mobilité de l’utilisateur et du dispositif d’interaction

– contexte d’interaction dynamique

– tâches dépendantes de la localisation.

– variabilité de la pertinence d’une tâche et des concepts

observables

• Modélisation de modalités : équivalence fonctionnelle avec adaptation

dynamique

– modalité des retours d’informations

– modalité selon la connectivité : dégradation courtoise

Plasticité

• Interactivité

– En grand : le mur augmenté (cave)

– En petit : le téléphone portable

• Tâche accomplie avec

– un seul système à la fois (en grand ou en petit)

en équivalence fonctionnelle

– plusieurs systèmes à la fois (en grand et en petit)

en complémentarité ou en redondance

Plasticité

• La plasticité des Interfaces : analogie avec certains

matériaux

• Une forme d’adaptation

– au contexte d’interaction

– à la variété des dispositifs d’interaction

• La multimodalité est un élément clé dans la plasticité

En résumé : agenda de recherche

• Modalité à bas niveau d’abstraction et contexte

– modèle d’architecture

– boîtes à outils

• Modalité à haut niveau d’abstraction pour la plasticité

– modélisation





• Modalité à haut niveau d’abstraction pour la plasticité

– modélisation

– coûts système et humain

ihm multimodale jean caelen. historique en france convergence : dialogue + interaction théorie de...

Documents