![Page 1: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/1.jpg)
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistance à l’interaction
Modèles, Outils, Usages, Evaluation
Jean-Paul Sansonnet LIMSI-CNRS
![Page 2: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/2.jpg)
Assistance à l’interaction 2
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Analyse et Modèles pour l’Interaction
1. Modèles et outils pour l’interaction– Visualisation interactive d’information
– Plasticité des interactions
– Agents conversationnels animés
2. Analyse et modèles des interactions– Analyse des comportements et des émotions
– Analyse sémantique des usages
– Analyse des traces pour la socio-informatique
![Page 3: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/3.jpg)
Assistance à l’interaction 3
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Visualisation interactive d’information
![Page 4: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/4.jpg)
Assistance à l’interaction 4
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Plasticité des interactions• Interaction dynamique• Interaction contextuelle• Interaction multimodale
• Approches de conception• Modèles d’architecture• Représentations de connaissances• Outils logiciels
Tournez à droite
![Page 5: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/5.jpg)
Assistance à l’interaction 5
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents Assistants : applications
• Accueil– Accueil des utilisateurs sur les applications et services en ligne
– Présentation de fonctionnalités et de procédures pour les applications et services en ligne
• Aide interactive– Traitement de requêtes : questions sur la structure et le
fonctionnement, commandes, contrôle à distance
– Médiation avec des apprenants : apprentissage humain, scolarisation, entrainement, aide aux handicaps
• Médiation sociale– Dialogues : Chatbots, conversations artificielles de type Eliza
– Collectifs : Mondes mixtes humains/agents, avatars, jeux de rôles
![Page 6: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/6.jpg)
Assistance à l’interaction 6
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Trois niveaux de personnages
Têtes Parlantes
Fixes
Lip Synch
Dialogue
Emotions
Agents Déictiques
Fixes - bras mobiles
Référence Extensionnelle
Tutorat - Explications
Emotes
Agents In Situ
Personnages mobiles
Réalité Virtuelle et augmentée
Training - Action
GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC)
![Page 7: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/7.jpg)
Assistance à l’interaction 7
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents : Dialogiques – Rationnels - Animés
Agent Assistant
Usager novice
Représentation Symbolique
Composant
![Page 8: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/8.jpg)
Assistance à l’interaction 8
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistants de composants Java
![Page 9: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/9.jpg)
Assistance à l’interaction 9
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Assistants de sites web : GT ACA
![Page 10: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/10.jpg)
Assistance à l’interaction 10
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Action Incitative « Tête Parlante »• Action incitative intergroupe : AMI-PS-LIR• Application : Agent Assistant pour la Recherche d’Information
– Outil permettant des études perceptives : audio, graphique, émotions, …– Audio 3D : synthèse sensible aux mouvements de tête– Interpolation graphique entre expressions en temps-réel
Poser 5
![Page 11: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/11.jpg)
Assistance à l’interaction 11
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Texte Parole 3D
• Texte à partir de RITEL (LIR)– « Bonjour et bienvenue » bOZur" e bjIvny"
– Phonème visème pour l’animation du visage
– Phonème parole synthétisée
• Ajustement dynamique de la synthèse selon l’orientation de la tête (PS)
– Mesure de patterns de rayonnement pour plusieurs phonèmes discrets (effectuée en nov-2005)
Pattern de rayonnement Phonème : « i »
Pattern de rayonnement Phonème : « m »
![Page 12: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/12.jpg)
Assistance à l’interaction 12
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Animation et Rendu visuel
Tête parlante
Ch Jacquemin (AMI)
![Page 13: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/13.jpg)
Assistance à l’interaction 13
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Emotions Complexes & Spontanées
Annotation multi-niveaux : Emotions, Multimodalité, Contexte
ReX
FP
6 H
um
ain
e -
Th
èse S
. A
bri
lian
(co-d
ir.
J.-C
. M
art
in &
L.
Deville
rs)
ANVIL
![Page 14: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/14.jpg)
Assistance à l’interaction 14
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Agents multimodaux : études perceptives
• H et F extravertis – Redondance positive
• H introvertis– Moins de différence entre redondance et
complementarité
• F introverties– Non influencées par
redondance/complémentarité
Impact de la Redondance vs Complémentarité sur le rappel écrit et les évaluations des explications et des l’expressivité des agents
![Page 15: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/15.jpg)
Assistance à l’interaction 15
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Outils d’interaction pour l’autisme
• Etude exploratoire : Lycée– Domaines d’apprentissage
• Jeux de dialogue• Planification spatiale (plus court chemin)
– Modalités : Synthèse, Image, Texte
• Expressions faciales– Reconnaissance à partir d’images : oui– Reconnaissance avec dialogues et
ambiguités sémantiques : non
Thèse O. Grynszpan (co-dir. J.C. Martinet J. Nadel CNRS Salpétrière)
![Page 16: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/16.jpg)
Assistance à l’interaction 16
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Dialogue avec expressions faciales humaines
Images réalisées avec Poser 5
d’après le codage de Ekman, 2003
Dialogue qui nécessite un raisonnement pragmatique
Une des 3 affirmations correspond à une interprétation littérale incorrecte du dialogue
L’expressions affichée correspond à la réplique sélectionnée
![Page 17: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/17.jpg)
Assistance à l’interaction 17
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Pratiques Collectives Distribuées
• Quatre modes d’interaction – Personne document: une personne
produit, supprime, modifie, annote, consulte ou traite un document;
– Personne personne: l’envoi de messages par E-mails, groupes de discussion, forums, chat…) pour demander, informer, commander, (“actes de langage”)
– Document personne: un document actif anticipe les besoins de l’usager (notification d’un événement, besoin d’information,…)
– Document document: un document actif produit, supprime, modifie, annote, consulte ou traite un autre document.
Bill Turner (AMI) - Financement UNESCONuméro Spécial « Journal of Computer Supported Cooperative Work » (été 2006)
![Page 18: Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet](https://reader035.vdocuments.pub/reader035/viewer/2022062621/551d9d8c497959293b8c1915/html5/thumbnails/18.jpg)
Assistance à l’interaction 18
Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur
Objets de socio-informatique• Objets produits lors d’un traitement automatique des données y compris linguistiques
• Destinés à augmenter la réflexivité de l’action collective et à faciliter les liens sociaux
• L’annotation de l’usage des objets informationnels est réalisée avec ANVIL
Les objets en contexte
Les classes d’objets
Les objets dans le temps
Les objets dans les textes