interface homme-machine linda khalil – m2eid professeur: catherine recannati 2010-2011
TRANSCRIPT
![Page 1: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/1.jpg)
Interface Homme-Machine
Linda KHALIL – M2EIDProfesseur: Catherine Recannati 2010-2011
![Page 2: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/2.jpg)
Introduction I-Concepts de multimodalité
1. Mode2. Modalité3. Taxonomie des modalités
II-Architecture1. Modèles et contrôleurs2. Modèle de la tâche
III-Exemples d’interfaces multimodales1. Exemple divers2. Tableau numérique3. Télétact
![Page 3: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/3.jpg)
Concepts de multimodalité 1. Mode
2. Modalité
3. Taxonomie des modalités
![Page 4: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/4.jpg)
Concepts de multimodalité 1. Mode
Communication entre deux entités○ Hommes○ Animaux○ Machines○ Êtres vivant
Mode de communication○ Organes utilisés par chaque entité○ Mode d’entrée/Mode de sortie
![Page 5: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/5.jpg)
Modes de communication Modes d’entrée chez l’Homme
Organes Modes correspondants
Yeux Visuel
Oreille Auditif
Nez Olfactif
Langue Gustatif
Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires
Tactilo-proprio-kinesthésique (TPK)
![Page 6: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/6.jpg)
Modes de sortie chez l’Homme
Système vocale: poumons, cordes vocales, langue, lèvres …
Système musculaire: mains bras, tête, visage…
Organes Modes correspondants
Système vocale Orale
Système musculaire Actionnel ou gestuel
Modes de communication
![Page 7: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/7.jpg)
Modes de communication Modes non humain
VégétalAnimal liste non-exhaustiveMachine
Machine: liste en évolution
}
![Page 8: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/8.jpg)
Modes de communication Communication Homme/Homme: relations
Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK
Oral Non Oui Non Non Non
Gestuel Oui Non Non Non Oui
![Page 9: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/9.jpg)
Modes de communication Communication Homme-machine: relations
Caméra: gestes du corpsOculomètre: gestes de l’œilJoystick, souris,…: gestes de la main
Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre
Système de reconnaissance vocale
Oral Non Oui
Gestuel Oui Non
![Page 10: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/10.jpg)
Modes de communication Communication machine-Homme: relations
Visuel Auditif Olfactif Gustatif TPK
Ecrans 2D et 3D Oui Non Non Non Non
Afficheur Braille Oui Non Non Non Oui
Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...)
Non Oui Non Non Non
Systèmes avec retour tactile et/ou retour d'effort
Non Non Non Non Oui
![Page 11: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/11.jpg)
Modalités
Positionnement côté humain
Structure des informations échangée
Perception par le sujet
Machine: perçue comme un être humain
![Page 12: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/12.jpg)
Taxonomie des modalités Différentes formes de présentation
État de l’utilisateur
État de l’environnement
![Page 13: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/13.jpg)
Taxonomie des modalités Selon Bernsen :
Modalités de sortie par rapport à la machineModalités pures
○ Profil de la modalité○ Le média d’expression
Modalités particulières○ Héritent des modalités pures○ Caractéristiques plus spécialisée
![Page 14: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/14.jpg)
Concepts de multimodalité 3. Taxonomie des modalités
Critères de modalité Description
Langagière / Non langagière
préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques
Analogique / Non analogique
Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée.
Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné.
Statique / Dynamique influence du temps sur la structure des informations.
Média d’expression graphique, sonore ou tactile
![Page 15: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/15.jpg)
Concepts de multimodalité 3. Taxonomie des modalités
Média: ○ Pas au même niveau que les autre critères○ Graphique
Mode visuelMode tactile
Critères incompatibles○ Arbitraire vs analogique
![Page 16: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/16.jpg)
Taxonomie des modalités Nouvelle approche :
Multidimensionnel
Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie
Visuel Oui Oui Oui Oui Non
Auditif Non Oui Oui Oui Oui
Oral Non Non Oui Non Oui
Gestuel Oui Oui Oui Non Non
TPK Oui Non Oui Oui Non
![Page 17: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/17.jpg)
Taxonomie des modalités Temporel
Visuel et TPK: animations○ Clignotements○ Rotations ○ Déplacements○ Changement de couleurs …
Gestuel○ Gestes statiques○ Gestes dynamiques: déplacements pris en
compte
![Page 18: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/18.jpg)
Taxonomie des modalités Spatial
Visuel: type de projectionAuditif: son mono, stéréo ou 3DGestuel: 1D, 2D ou 3D
Critère langagierTout modeCritère à valeurs continues
![Page 19: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/19.jpg)
Taxonomie des modalités Analogie
Visuel: ○ ressemblance représentation/représenté○ Distinction photo/peinture/graphique…
Auditif: distinction des sons
ProsodieAuditif et Oral
○ Distinction chant / parole
![Page 20: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/20.jpg)
Architecture
1. Modèles
2. Contrôleurs
![Page 21: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/21.jpg)
Architecture
Utilisateur Application
Contrôleur de
l’interaction
Contrôleur de dialogue
Contrôleur du flot
Application
Modèle de l’Interaction
Modèle du dialogue
Modèle de la tâche
Modèle de l’environnement
Modèle de l’utilisateur
![Page 22: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/22.jpg)
Modèles
Modèle du dialogueStructure hiérarchiqueEnchaînement de situation
Modèle de la tâcheDescription sémantiqueRelations conceptuelles entre les objetsReprésentation de buts et sous-buts
![Page 23: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/23.jpg)
Modèles
Modèle de l’utilisateur
Connaissances de niveau linguistiqueModélisation du savoir Modélisation du niveau d’expertiseInterprétation des gestes, mimiquesInterface en fonction des préférence,
caractéristiques, aptitude de l’utilisateurGestion dynamique de l’interaction
![Page 24: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/24.jpg)
Modèles
Modèle de l’environnementInformation sur le contexteChoix des médias à utiliserRègles d’exploitation des connaissancesCapteurs de contexte: mises à jour
Modèle de l’interactionSpécificité de l’interaction multimodaleDescription des médiasHistorique d’interaction
![Page 25: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/25.jpg)
Contrôleurs
Contrôleur de dialogueContenu sémantique des échanges
Contrôleur d’interactionFormes de présentation des messagesTransmission de la sémantique des entrées
au contrôleur de dialogueChoix de la présentation en fonction des
autres modèles
![Page 26: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/26.jpg)
Interfaces multimodales
1. Exemple divers
2. Tableau numérique
3. Télétact
![Page 27: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/27.jpg)
Interfaces multimodales
WiimoteModalité: le geste
○ Mouvements de la main○ Pression sur bouttons
Sortie○ Vibrations ○ Affichage
![Page 28: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/28.jpg)
Interfaces multimodales
Bornes d’achats tactilesEntrée: Gestes de la main
Billeterie
Passage de commande dans les Fast Food○ Sortie: information envoyé à la cuisine
![Page 29: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/29.jpg)
Interfaces multimodales
![Page 30: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/30.jpg)
Interfaces multimodales
Iphone, Ipad …
Système de reconnaissance vocal
Voice Painter
Tableau numérique
![Page 31: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/31.jpg)
Tom Pouce
![Page 32: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/32.jpg)
Tom Pouce
![Page 33: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/33.jpg)
Tom Pouce
![Page 34: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/34.jpg)
Tom Pouce
![Page 35: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/35.jpg)
Télétact
Profilomètre laser Mesure sur 15 mères de rayon Oreillette
32 notes musicales: intervalles de distances
2 types de vibrations sur 2 doigts 4 intervalles de distancesDétection jusqu’à 12 mètres.
![Page 36: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011](https://reader035.vdocuments.pub/reader035/viewer/2022062318/551d9db9497959293b8dd724/html5/thumbnails/36.jpg)
Conclusion
Nombreuses interfaces
Différentes structures
Différents objectif
Architecture d’interaction commune