Conception, Implémentation et Evaluationde Systèmes Interactifs Mixtes :
une Approche basée Modèles et Centrée sur l’Interaction
Emmanuel DuboisSoutenance d’HDR, 30 Septembre 2009
Université de ToulouseIUT de Tarbes
Laboratoire IRIT Equipe IHCS
E. Dubois, soutenance HDR, 30 sept. 09 2
System Human
Gulf of Evaluation
Gulf of execution1
2
1 3
2 4
5
6
De l’IHM aux SIM• Exploiter les capacités
systèmes (1, 2) Manipulation directe
+ WIMP + Métaphore
• Accroitre le nombre et le type de manipulations possibles (3, 4) Multimodalité + Collaborativité
• Tirer profit des capacités de l’Homme (5,6)– Intégrer les ressources et aptitudes
physiques de l’utilisateur et de son environnement :
Une nouvelle forme d’interaction : Systèmes Interactifs Mixtes (SIM)• Armée, maintenance, grand public, …
E. Dubois, soutenance HDR, 30 sept. 09 3
Systèmes Interactifs Mixtes : Une Définition
• Système interactif• Combine les mondes physique et numérique • Pour bénéficier des– Capacités des systèmes informatiques– Ressources physiques et aptitudes physiques des
utilisateurs• Autres termes employés :– interface tangible, réalité augmentée, virtualité
augmentée, réalité mixte, environnements virtuels interactifs, systèmes pervasifs, …
Nombreuses variantes = grande variabilité
E. Dubois, soutenance HDR, 30 sept. 09 4
Sources de variabilité d’un SIM (1/4)• Place du monde physique dans le système
= qu’est ce qui est utilisé / impacté du monde physique– En entrée :
• Détecter une position / présence, orientation / mouvement, obtenir un ID / reconnaître, détecter un son / une forme, etc.
– En sortie : • Ajouter une information dans le contexte,
déplacer ou contraindre un objet, déclencher une action numérique
E. Dubois, soutenance HDR, 30 sept. 09 5
Sources de variabilité d’un SIM (2/4)• Formes de communication en Entrée / Sorties utilisées
= comment est utilisé / impacté le monde physique– Entrées :
• champs visuels (images, mouvements, couleurs), sonore (bruits, mots, musique), Champs magnétiques (présence, intensité, seuil, orientation),
– Sortie : • Visuel (texte, image, photo, graphiques) ,
son (parole, son, bruit) , proprioceptif
E. Dubois, soutenance HDR, 30 sept. 09 6
Sources de variabilité d’un SIM (3/4)
• Cohérence entre les espaces d’interaction IN / OUT= type de “continuité” induite : 2 facteurs– Superposition des espaces d’interaction en entrée (IN)
et en sortie (OUT)– Importance du focus en entrée (IN)
Espace IN = Espace OUT Espace IN ≠ Espace OUT
Faible focus sur l’espace IN
Fort focus sur l’espace IN
E. Dubois, soutenance HDR, 30 sept. 09 7
Sources de variabilité d’un SIM (4/4)
• Cohérence entre les mondes physiques et numériques = types de liens– Représentation en entrée SIMILAIRE / DIFFERENTE
des représentations en sortie– Comportement en entrée SIMILAIRE / DIFFERENT
des comportements en sortie
E. Dubois, soutenance HDR, 30 sept. 09 8
Synthèse de ces points de vue• Mise en évidence– Spécificités et grande hétérogénéité– Différentes préoccupations liées aux SIM
Cohérence entre les mondes physique et
numérique
Cohérence entre les mondes physique et
numérique
Cohérence entre les espaces
d’interaction
Cohérence entre les espaces
d’interaction
Formes de communication
en entrée
Formes de communication
en entrée
Formes de communication en
sortie
Formes de communication en
sortie
Place du monde physique en entrée
Place du monde physique en entrée
Place du monde physique en sortie
Place du monde physique en sortie
Technologies utilisables en sortie
Technologies utilisables en sortie
Technologies utilisables en entrée
Technologies utilisables en entrée
Impacts sur l’interaction
Impacts sur l’implémentation
Usage du SIM
Technologies du SIM
Contour du SIM
E. Dubois, soutenance HDR, 30 sept. 09 9
Bilan des SIM existants• Domaine d’application et forme d’interaction en plein essor
SIM = une nouvelle forme d’IHM à fort potentiel
• Simultanéité et multiplicité des échanges d’information avec les mondes physique et numérique
SIM = système interactif multi-facetté
• Richesse et hétérogénéité des différentes facettes de l’interaction plus marquées qu’en IHM traditionnelle
SIM = une forme complexe d’interaction
Besoins d’approches de développement adaptées, pour– intégrer et comprendre les multiples facettes de la conception,
de l’implémentation et de l’évaluation des SIM.
E. Dubois, soutenance HDR, 30 sept. 09 10
On veut des SIM ! Comment faire ?• Approches basées sur les technologies utilisées
– Approches ad hoc : démontrent la faisabilité technique• Digital desk, situation de rétro-ingénierie
– Boites à Outils : regroupent des fonctionnalités de base (détection, localisation) pour faciliter leur mise en œuvre• AR Toolkit, Phidgets
– Plateformes de développement : fournissent un cadre pour un développement complet (architecture, protocole de communication, support au runtime)• DART, Amire, Studierstube et Wcomp (Wearable)
• Limites– Aucune aide à la suggestion de nouvelles formes d’interaction /
dispositifs / associations des 2– Peu d’attention accordée à la combinaison des multiples facettes
intrinsèques à l’interaction avec un SIM
Alternative: adopter un point de vue plus abstrait
E. Dubois, soutenance HDR, 30 sept. 09 11
Approches abstraites• Patrons de conception et recommandations ergonomiques
– Une solution à un (ensemble de) problème(s) connu(s)– Basé sur des approches empiriquesLimité à des problèmes et solutions existants ou rencontrés
or manque de recul pour les SIM.
• Modèles– Notations permettant de [MBL, AVI’04]
• Décrire• Comparer• Générer
– Pour favoriser• Exploration systématique et rationnelle de l’espace des possibles• Capitalisation des solutions de conception• Raisonnement au sujet d’aspects de conceptions sans se centrer sur (ou être
influencé par) des considérations technologiques
E. Dubois, soutenance HDR, 30 sept. 09 12
Approches par modèles• Décrire des propriétés physiques
– Savoirs préexistants liés à la vie quotidienne (RBI framework, [Jacob’08])
– Place et rôle du corps humain ([Klemmer’06])
– Relation entre objets physiques (TAC paradigm, [Shaer’04])
• Décrire les éléments d’interaction– Métaphores ([Fishkin’04])
– Eléments impliqués, relations, caractéristiques ([Trevisan’08, Chalon’04, Dubois’03])
• Décrire les mécanismes sous-jacents à l’interaction mixte– Périphériques d’entrée / sortie (APRIL, [Ledermann’05])
– Modalités requises (MIM, [Coutix’06])
– Flux de données lors des interactions haptiques (Flow Nets, [Smith’06])
• Décrire des articulation de modèles– Liens entre aptitudes humaines / dispositifs requis / modèles de tâches :
pour mesurer l’adéquation de ces différents aspects ([Klug’07]) – Liens entre story-board et des situations de travail réelles
pour accélérer la transition entre conception et implémentation (DART, [MacIntyre’04])
Différents aspects couverts, mais tous restent complémentaires.
E. Dubois, soutenance HDR, 30 sept. 09 13
Bilan des approches de développement
• Approches pratiques– Prennent en charge la complexité des SIM
• Implémentation facilitée• Réutilisation et capitalisation de solutions favorisée
• Approches par modèle– Caractérisent les multiples facettes
• Gros grain = approches globales, structurantes– Pour organiser le domaine
• Fin grain = approches détaillées, formalisées, souvent opérationnalisées– Pour spécifier des systèmes (décrire, générer)
Premières briques utiles à la maturation du domaine
E. Dubois, soutenance HDR, 30 sept. 09 14
Objectif de mon activité de recherche
• Fournir un support au développement des SIM – SIM = complexes et prometteurs– Approches existantes trop cloisonnées
• … centré sur l’interaction de l’utilisateur avec un SIM …– Prise en compte du caractère multi-facetté de l’interaction
avec un SIM
• … en adoptant une approche basée modèles.– Approches clés pour l’exploration du champ des possibles– Intégration des différentes dimensions de conception d’un
SIM – Connexions ultérieures de considérations complémentaires
E. Dubois, soutenance HDR, 30 sept. 09 15
Contraintes et Verrous induits• Développement centré sur l’interaction
Approche centrée utilisateur = 4 étapes distinctes à considérer• Analyse, Conception (interaction et logicielle), prototypage, évaluation• Verrou A : la transmission des choix de conception est nécessaire
Domaine émergeant = cycles itératifs requis pour générer /améliorer des idées• Verrou B : il faut pouvoir « re-travailler » les choix de conception de chaque étape
• Stratégies actuelles de développement des SIM sujettes à variations Utilisation de multiples modèles = Flexibilité requise
• Eviter l’utilisation d’un unique outil universel, de type UML• Verrou C : l’utilisation de modèles et outils spécifiques doit être possible
Þ Complémentarité des multiples modèles = Combinaison requise• Verrou D : une cohésion entre les résultats de conception des différentes étapes
du développement doit être assurée
E. Dubois, soutenance HDR, 30 sept. 09 16
Approche de travail
Il faut pouvoir « re-travailler » les choix de conception d’une étape
L’utilisation de modèles / outils spécifiques doit être possible
Une cohésion entre toutes les étapes du dévelop--pement est nécessaire
Chacune des 4 étapes doit être outillée spécifiquement
Les 4 étapes du développement
doivent être articulées / liées
Les principes de chaque articulation doivent
être observables
A
B
C
D
Transmission des choix de conception est nécessaire
E. Dubois, soutenance HDR, 30 sept. 09 17
Insertion globale dans un processus adapté
Contexte d’application
• Transformer un contenu muséographique en expérience interactive– Muséum de Toulouse– Société Metapages (Toulouse)
• Volet complémentaire à la démarche– Nécessité de s’inscrire dans un processus de
développement plus large, adapté aux spécificités du domaine
E. Dubois, soutenance HDR, 30 sept. 09 18
Deux modèles différents• Modèle et MM ASUR :
Conception de l’Interaction (E. Dubois, G. Gauffre, P. Gray)[IHM’04, IDM’05, EIS’07, HCI’07, DSVIS’08]
– Participating entities• Physiques, Numériques,
Adaptateurs– Canaux d’interaction– Caractéristiques
• Mécanismes de capture / modification (PE)
• Medium / représentation (IC)– Groupings
• Chemin d’Interaction path, proximité physique / mixte, cohérence
• Modèle et MM ASUR-IL : Conception de l’Architecture Logicielle (G. Gauffre) [IHM’06, Book LNCS ’08]
– Sous-assemblages de composants et définition de leur rôle • Entities : concepts numériques au
cœur de l’interaction– Structurée en M, V, C– Distingue le concept et In / Out
• Adapters : processus de capture / émission– Structuré en Devices + API– Sépare Interaction Physique /
Logique
– Spécifie les échanges• Ports = type de données
– Traite de l’interaction uniquement
Chacune des 4 étapes doit être
outillée spécifiquement
E. Dubois, soutenance HDR, 30 sept. 09 19
Outillage : Plugin Eclipsehttp://ihcs.irit.fr/guideme/
Chacune des 4 étapes doit être
outillée spécifiquement
E. Dubois, soutenance HDR, 30 sept. 09 20
Et les autres étapes ?• Analyse (D. Scapin, INRIA Rocquencourt)
– Basée sur le modèle de tâches existant : KMad• Implémentation (JY Tigli, INRIA Nice)
– Basée sur une plateforme de prototypage existante : Wcomp• Evaluation (S. Charfi, D. Scapin) [IHM’08, EICS’09]
– Sélection de résultats expérimentaux relatifs aux SIM– Extraction de recommandations ergonomiques pour les SIM
• Formatage, classification par cibles
– 140 recommandations– 51 extraites– 87 adaptées– 2 exitantes– Environ 30 publications retenues + recueil de R.E pour RV
– Outillage : application web
Chacune des 4 étapes doit être
outillée spécifiquement
E. Dubois, soutenance HDR, 30 sept. 09 21
Outillage : web http://ihcs.irit.fr/resim/
Chacune des 4 étapes doit être
outillée spécifiquement
22
Liaison entre analyse et conception de l’interaction
• KMAD / ASUR [Tamodia’07, Book Mixer’09]
(S. Charfi, R. Bastide)– Principe : initialiser la conception
de l’interaction à partir d’éléments du modèle de tâches• Basé sur l’identification de liens entre
les concepts des MM
– Apport pour le développement :• 7 règles d’articulation structurant /
guidant le passage entre les deux étapes : forme de systématisation
• Cohérence accrue entre les principaux concepts de l’analyse de tâches et la conception de l’interaction
– Outillage : aucun E. Dubois, soutenance HDR, 30 sept. 09
Les 4 étapes du développement
doivent être articulées / liées
E. Dubois, soutenance HDR, 30 sept. 09 23
• ASUR / ASUR-IL (G. Gauffre) [Book LNCS’08, Book Mixer’09]
– Principe : initialiser la conception de l’architecture logicielle à partir du modèle d’interaction• Basé sur l’identification de
correspondances entre concepts des deux MM : règles et ontologie
– Apport pour le développement :• Efficience : outil spécifique distinct• Modifiabilité : modularité +
réutilisabilité (basé composant)
– Outillage : • ATL transformation + OWL (ontologie) • Plugin Eclipse
Les 4 étapes du développement
doivent être articulées / liées
Liaison entre conception de l’interaction et conception logicielle
ASUR-IL
Dispositif
API
Ain
MédiumReprésentation
Représentation
ASUR
E. Dubois, soutenance HDR, 30 sept. 09 24
Liaison entre conception et implémentation
• SIMBA (W. Abou Moussa, JP Jessel) [ISMAR’06, VRIC’07, HandBook’08, ISUVR’08, Ubimob’08]
– Principe : produire un prototype « moyenne fidélité » d’un SIM à partir d’un modèle d’interaction• Prototypage basé sur la description ASUR et permettant la simulation dans
un environnement 3D de l’interaction avec le système modélisé
– Apports pour le développement : • Dépasser les contraintes intrinsèques aux dispositifs et leur langage• Mesurer l’adéquation et la suffisance des moyens de capture mis en œuvre • S’affranchir de la non disponibilité de dispositifs ou ressources requises • Tendre incrémentalement vers une solution complète
– Outillage :• Environnement graphique + édition et transformations de modèles +
plateforme distribuée (CORBA)
Les 4 étapes du développement
doivent être articulées / liées
E. Dubois, soutenance HDR, 30 sept. 09 25
Et les autres liaisons ?• Conception logicielle / Implémentation (G. Gauffre)
– Transformations ATL + XPAND : ASUR-IL / Wcomp (et OI)• Génération de code / squelettes : C#• Génération d’assemblages WComp (ou OI) : XML
– Outillage : • Plugin Eclipse + Ontologie complétée + Environnement WComp (ou OI)
• Evaluation / conception de l’interaction (S. Charfi)– Classification des recommandations ergonomiques par
• Éléments constitutifs du MM ASUR• Règles KMAD / ASUR associées
– Outillage :• RESIM complété par des fonctionnalités de recherche
Les 4 étapes du développement
doivent être articulées / liées
E. Dubois, soutenance HDR, 30 sept. 09 26
Observabilité des transitions
• KMAD / ASUR suggère un ensemble de points de départ– Une liste des possibilités est
produite
• ASUR / ASUR-IL propose un ensemble d’assemblage possible– L’ontologie liste d’autres
solutions – Extension possible de
l’ontologie par ajout
Les principes de chaque articulation
doivent être observables
• Evaluation / ASUR – Un concept ASUR = plusieurs
recommandations applicables
– Une R.E. = une ou plusieurs parties de modèles
• SIMBA– Modèles intermédiaires– Distinction entre simulé et
finalisé
• ASUR-IL / WComp– Un assemblage ASUR-IL = un
assemblage WComp ou un composant WComp
– Ontologie liste d’autres solutions
E. Dubois, soutenance HDR, 30 sept. 09 27
Processus de développement de SIM pour la médiation culturelle• Spécificités (C. Bach)
[ICHIM’05, IHM’06, SELF’07, Book PUF’09]
– Domaine peu familiarisé avec la technologie / les principes IHM, en particulier les SIM
– Accès limité : besoin d’optimiser les phases
– Pluridisciplinarité exacerbée • Besoin d’identifier la place de
chaque spécialiste
• Principes– Recenser, décrire, valider les
différentes étapes
Insertion globale dans un processus
adapté
Optimisation
Evaluation Prototypage
ConceptionAnalyse
• Utilisabilité• Interaction• Nature de l’expérience• Mise en scène• Socio-cognitif
Analyse Préliminaire
Recueil Filtrage Catégorisation
Analyse des Principes InteractifsCorpus de PF Canevas Interactif
Phasage
Principes Directeurs
Apport sur Thématique
Principes Fonctionnels
Proposition Initiale
Production
Sélection Solution Intégration Tests
N fois
E. Dubois, soutenance HDR, 30 sept. 09 28
Processus de développement de SIM pour la médiation culturelle• Apport– Séparation entre les analyses métier et interaction
• Nécessaire car demandes souvent floues
– Replace le soucis d’homogénéité tôt dans le processus– Constitue un guide pour l’articulation des multiples
compétences impliquées
• Outillage– Recensement d’outils disponibles pour chaque étape– En particulier : ressources pour la conception de SIM
applicables en phase d’optimisation
Insertion globale dans un processus
adapté
E. Dubois, soutenance HDR, 30 sept. 09 29
Des SIM pour le Muséum
MIME 07/08
RAPACE 06/07
INFLATABLE UI 07/08
CLADIBULLE 07/08S3M 08/09
E. Dubois, soutenance HDR, 30 sept. 09 30
Conclusion• Analyse approfondie du domaine des SIM
– Justifier mes objectifs et ma démarche• Survol des contributions produites au travers de
– 3 thèses : W.Abou Moussa, S. Charfi et G. Gauffre– Des collaborations institutionnelles :
• Locales – IRIT : IHCS, VORTEX– LECP et Muséum de Toulouse
• Nationales– INRIA Rocquencourt et Sophia, – LIG - Université de Grenoble, LIMSI – Université Paris XI– UTT, ESTIA
• Internationale– University of Glasgow
– Des collaborations industrielles• Metapages, GVS, Immersion
– Contrats• Région• ANR
E. Dubois, soutenance HDR, 30 sept. 09 31
AnalyseConceptio
n
ImplémentationEvaluation
KMAD : modèle de
tâche
Implémentationbasée
composants
ASUR : Modèle de
l’interaction utilisateur - SIM
Phase de Développement
SIMBA : Plateforme de
Simulation
ASUR-IL : Modèle d’architecture logicielle pour un SIM
Recommendations Ergonomiques pour les
SIM
Wcomp :Plateforme
d’implémentation
Modèles existantsContributionsArticulations
Processus de développement d’expériences interactives avancées en milieu muséal
E. Dubois, soutenance HDR, 30 sept. 09 32
Perspectives (1/3)• Finaliser et éprouver les contributions– Produire des recueils illustratifs et documentés de • modèles, • mise en œuvre des transformations
– Mettre en place un protocole d’utilisation communautaire des recommandations ergonomiques (accès et ajout)
– Caractériser les impacts / apports des articulations
Elargir la diffusion de ces contributions et leur mise en œuvre
E. Dubois, soutenance HDR, 30 sept. 09 33
Perspectives (2/3)• Etudier et élaborer de nouvelles ressources de conception
– Lien entre analyse informelle et conception formelle • Thèse en cours : Christophe Bortolaso
– Impact des SIM sur des tâches spécifiques en environnement 3D • Thèse à venir : Bénédicte Schmitt
– Analyse plus fine de la relation entre l’Homme et les Objets physiques manipulés
Compléter les ressources support au développement de SIM
• Approfondir l’intégration des ressources de développement– Patron de conception de SIM ergonomiques– Evaluation prédictive sur modèle (performance, ergonomie)– Management du processus de conception
Renforcer la cohérence entre les éléments de conception
E. Dubois, soutenance HDR, 30 sept. 09 34
Perspectives (3/3)
• Elargir l’intégration à – D’autres domaines :
• Interaction avec des EV 3D, • Prise en compte de déficiences (humaines, contextuelles, logicielles)
– D’autres disciplines : • systèmes multi-agent, SI, réseaux, …
car ils forment un tout : notre quotidien
S’inscrire dans les efforts de recherche liés aux systèmes ambiants (Projet AMIE)
• Globalement : contribuer à la maturation du domaine, mais …
E. Dubois, soutenance HDR, 30 sept. 09 35
Une grande question en arrière plan
• Comment évaluer ces contributions ? • Comment démontrer leur pouvoir ?• Pistes envisagées :– Lisibilité, utilisabilité, apprentissage par différents
profils– Adéquation de la granularité, complétude, générativité – Qualité des systèmes produits
• Performance, satisfaction, coût, robustesse, temps requis ?
– Collaborations pluridisciplinaires nécessaires (ethnologues, sociologues, spécialistes de l’IHM ? )
Conception, Implémentation et Evaluationde Systèmes Interactifs Mixtes :
une Approche basée Modèles et Centrée sur l’Interaction
Emmanuel DuboisSoutenance d’HDR, Septembre 2009
Université de ToulouseIUT de Tarbes
Laboratoire IRIT Equipe IHCS