environnement de réalité augmentée collaboratif : manipulation d’objets réels et virtuels
Post on 30-Dec-2015
31 Views
Preview:
DESCRIPTION
TRANSCRIPT
iMAGIS-GRAVIR / IMAG
Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels
et Virtuels
Raphaël GrassetJean-Dominique Gascuel
iMAGIS-GRAVIR/IMAG
iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF
iMAGIS-GRAVIR / IMAG
MotivationsRéalité
Augmentée (RA)
Intégration R+V
Réalité (R)
Métaphores naturelles de communications
(verbales, gestuelles expressions)
interaction 3D intuitive
Réalité Virtuelle (RV)
Simulation, AnimationCalculs Complexes
Informations évolutives
iMAGIS-GRAVIR / IMAG
Motivations•Applications
– Visualisation scientifique – Architecture, urbanisme– Ingénierie– Jeu – Éducation
..Etc..
iMAGIS-GRAVIR / IMAG
Motivations
Difficultés:– Calibrage et Alignement des deux mondes.– Erreur de mesures + latence (délai mesure-vision).– Techniques d’interaction intuitive.– Intégration visuelle des deux mondes (occultations, éclairage).– Gestion multi-utilisateurs.
But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur.
Approche : (simplicité, rapidité) / (fiabilité, robustesse)
iMAGIS-GRAVIR / IMAG
Etat de l ’Art Approche Réalité Virtuelle[Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96]
Approche Interface Homme-Machine[Well1ner91], [Krueger91], [Rekimoto94], [Berrard99]
iMAGIS-GRAVIR / IMAG
Système collaboratif en RA[Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01]
[Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99]
Etat de l ’Art
iMAGIS-GRAVIR / IMAG
Plan
•Motivations et Etat de l’Art
•Configuration : Petit Groupe et Environnement Informatique
•Calibrage : Rapide et Intuitive
•Nouvelles Techniques d’interactions
•Gestion multi-utilisateurs
•Conclusion et Futurs Travaux
iMAGIS-GRAVIR / IMAGUnix, X
OpenGL Performer, AL, VL, Qt
Architecture LogicielleBut : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés.
Approche : Architecture modulaire + Configuration par fichier XML.
GestionObjets
( chargement, droit,
initialisation..)
GestionInteractions
( Navigation, Manipulations,
Outils)
Gestionmatériel(capteur,
graphique, vidéo, son..)
GestionUtilisateurs(configuration, initialisation )
Application
iMAGIS-GRAVIR / IMAG
Gestion matérielBut : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système.
Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plug’n calib’ n play » ([Studierstube]).Complexité masqué par fichier configuration XML ([RS01]).
Fichier XML
Calibrage + Configuration
Environnement
Application
p->GetData()
iMAGIS-GRAVIR / IMAG
Configuration : Petit GroupeConfiguration centralisé :
– utilisateur autour d’une table : collaboration face à face.
– Aire partagée et Aire privée.Aire partagée
Aire personnelle(menu virtuel, donnée privée)
iMAGIS-GRAVIR / IMAG
Configuration : Environnement Informatique
•Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids.
•Interaction: stylo
facilement utilisable.
•Tracking: capteur magnétique
rapide,
pas de ligne de visibilité.
iMAGIS-GRAVIR / IMAG
Plan
•Motivations et Etat de l’Art
•Configuration : Petit Groupe et Environnement Informatique
•Calibrage : Rapide et Intuitive
•Nouvelles Techniques d’interactions
•Gestion multi-utilisateurs
•Conclusion et Futurs Travaux
iMAGIS-GRAVIR / IMAG
Calibrage
World CS
Image CS
Transmitter CS
Receptor CS
Emitter CS
Eye CSHead CS
Tip CS
But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]).
Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide.
HMD Calibration
Pen Calibration
World Calibration
iMAGIS-GRAVIR / IMAG
•Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel.
• Calibrage du stylo ([Fuhrmann99], [Tuceryan95]) : orienter le stylo dans 4 directions très représentatives.
•
• Calibrage du monde ([Fuhrmann99], [Tuceryan95]): sélection de 4 points du plateau.
Calibrage : Méthode
Point fixe
P2P3
P1P4
iMAGIS-GRAVIR / IMAG
Calibrage : Résultats
Erreur largement acceptable pour un grand nombre d’applications.
Erreur Dynamique : Filtrage de Kalman ([Azuma94]).
2 cm
iMAGIS-GRAVIR / IMAG
Plan
•Motivations et Etat de l’Art
•Configuration : Petit Groupe et Environnement Informatique
•Calibrage : Rapide et Intuitive
•Nouvelles Techniques d’interactions
•Gestion multi-utilisateurs
•Conclusion et Futurs Travaux
iMAGIS-GRAVIR / IMAG
Manipulations d ’objets
But : manipulation intuitive des objets.Approche : « retour haptique » favorise interaction.
=> contact avec la table.=> respect de la gravité.
Métaphore naturelle / Métaphore virtuelle ([Kato00]).
Outils dans la zone personnelle de l’utilisateur (déplacer, tourner, détruire, ajout d’objets).
iMAGIS-GRAVIR / IMAG
Manipulations d ’objets : Déplacement objets
Approche : adapté des méthodes réels (pas de « clic »).
Saisir, Soulever, Déplacer Toucher, Pousser
iMAGIS-GRAVIR / IMAG
Déplacement d’objets •Méthode « Lever-Déplacer »
Stylo
Plan de travail
Objet virtuel
iMAGIS-GRAVIR / IMAG
Déplacement d’objets•Méthode « Glisser »
• Animation du déplacement
Plan de travail
Objet virtuel
Stylo
iMAGIS-GRAVIR / IMAG
Ajout d ’objetsBut : ajouter objets réels et virtuels de façon dynamique ([Szalavari97], [Kato00]).
Approche : -Ajouter des objet virtuels : menu virtuels.-Ajouter des objets réels : digitaliser ces objets. Pourquoi ?
Décor (statique), TUI (dynamiques).
Quel Type ? Modèle connu/inconnu.
iMAGIS-GRAVIR / IMAG
Ajout d ’objets : modèle connu
But: obtenir la transformation entre le repère de l’objet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle.
Objet réel Objet virtuelObject CS
iMAGIS-GRAVIR / IMAG
Ajout d ’objets : modèle inconnu
P1
5 DOF
But:obtenir la position et la géométrie de l’objet générique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.
exemple: ajout rectangle.
iMAGIS-GRAVIR / IMAG
P1
5 DOF
But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.
exemple: ajout rectangle.
Ajout d ’objets : modèle inconnu
iMAGIS-GRAVIR / IMAG
P1
2 DOF
P2
But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.
exemple: ajout rectangle.
Ajout d ’objets : modèle inconnu
iMAGIS-GRAVIR / IMAG
P1
0 DOF
P2
But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points.
exemple: ajout rectangle.
Ajout d ’objets : modèle inconnu
iMAGIS-GRAVIR / IMAG
Tangible User Interface (TUI)But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]).
Contraintes: un capteur et plusieurs objets réels à manipuler.
Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés.
Objets réel
iMAGIS-GRAVIR / IMAG
Passage RA/RVBut : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion) ([Kiyokawa99], [Kato00]).
Approche : « plonger dans la scène ». ( WIM [Stoakley95]).
t1
t2
t1
t2
ArbresPersonnage
Plan de travail
iMAGIS-GRAVIR / IMAG
Multi-utilisateursBut : Informations suivant le rôle d’un utilisateur.Approche : vue personnelle ( [Smith96], [Agrawala97], [Szalavari98],
[Butz99]).Matrice creuse pour chaque objet.
Utilisateur Visibilité Déplacement Annotation
Défaut
Architecte
Maurice
Clients Joe Robert
iMAGIS-GRAVIR / IMAG
Conclusions et Futurs Travaux• Environnement de RA basé sur une architecture souple.
• Support # utilisateurs, # périphériques, # données.
• Techniques de manipulation d’objets réels et virtuels dans un même espace (stylo « mixte » + TUI).
• Simulation dans l’espace de travail.
• Réalisme de l’intégration : éclairage, ombres.
• Occultations mains, doigt, bras.
• Déplacement d’objets sans capteurs (TUI + « Real Reality »).
• Évaluation.
iMAGIS-GRAVIR / IMAG
Travaux précédentsInteractions avec des objets réels
•Whitaker[1995]
•Shared Space[1999]
•Build-IT[1997]
iMAGIS-GRAVIR / IMAG
Reconaissance de gesteProblème : passage de commandes rapidement [Starner,1995]•Geste simple : déplacement horizontal sur le plateau de jeu
•Extension à une trajectoire complexe : successions de segments Ex : “CFC “
iMAGIS-GRAVIR / IMAG
Plan• Motivations et Etat de l’Art• Configuration : Petit Groupe et Environnement Informatique
– Architecture Logiciel– Gestion Souple du Materiel– Configuration de Test
• Nouvelles Techniques d ’interactions– Manipulation d ’Objets – Ajout d ’objets– Passage RA<->RV: exocentric egocentric
• Gestion multi-utilisateurs• Conclusion et Futurs Travaux
top related