imagis-gravir / imag environnement de réalité augmentée : vers les jeux vidéos raphaël grasset...
TRANSCRIPT
![Page 1: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/1.jpg)
iMAGIS-GRAVIR / IMAG
Environnement de réalité augmentée : vers les jeux vidéos
Raphaël GrassetProjet de DEA IVR
Responsable : JD GascueliMAGIS/GRAVIRprojet CNRS/INRIA/UJF/INPG
![Page 2: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/2.jpg)
iMAGIS-GRAVIR / IMAG
Introduction : Motivations
Contexte : proposer un environnement de jeu utilisant un système informatique.
•Conservation des avantages d'un jeu réel– Communication, interaction ..etc.. pour de petits
groupes
•Conservation des avantages d'un jeu virtuel– animations (personnages, effets spéciaux)– calculs complexes– informations évolutives
![Page 3: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/3.jpg)
iMAGIS-GRAVIR / IMAG
Réalité Augmentée: Historique Rapide (1/2)
Définition : superposition d'informations virtuelles à l'environnement réel
[Feiner,1992]
•Projet KARMA : Première démonstration de faisabilité
(guide de Maintenance)
![Page 4: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/4.jpg)
iMAGIS-GRAVIR / IMAG
Mettent en avant un certain nombre de “points durs” :
• Alignement Réel/Virtuel(Calibration)
• Erreur de mesures• Latence (délai mesure-vision)• Occultations (devant et
derrière)
[Bajura,1992]
[Sims, 1994]
Réalité Augmentée: Historique Rapide (2/2)
![Page 5: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/5.jpg)
iMAGIS-GRAVIR / IMAG
PLAN
• Introduction
•Matériel
•Acquisition de « Qualité »
• Interaction 3D
•Conclusion
![Page 6: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/6.jpg)
iMAGIS-GRAVIR / IMAG
Le capteur SAGEIS•Principe
Caméra linéaire àoptique cylindrique
Intersection entrele plan gauche et le plan de droite
PointD'intersection
Caméra
Poutre de support
filtre infrarouge
![Page 7: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/7.jpg)
iMAGIS-GRAVIR / IMAG
Manipulations avec le capteur SAGEIS
•Expérimentation (15 jours)
•Calcul et simulation hors-ligne
LEDinfrarouge
LEDinfrarouge
![Page 8: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/8.jpg)
iMAGIS-GRAVIR / IMAG
Le capteur "Flock of Birds"•Moins précis, mais disponible
•Principe
RepèrePointeur
RepèreCapteur
RepèreCapteur
RepèreCamera
RepèreEmetteur
Repère duMonde
![Page 9: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/9.jpg)
iMAGIS-GRAVIR / IMAG
Manipulation avec le capteur "Flock of Birds"
capteurs
émetteur
caméra pour la soutenance
![Page 10: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/10.jpg)
iMAGIS-GRAVIR / IMAG
PLAN• Introduction
•Matériel
•Acquisition de « Qualité »– Filtrage (Kalman)– Calibrage du stylet– Reconnaissance de geste
• Interaction 3D
•Conclusion
![Page 11: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/11.jpg)
iMAGIS-GRAVIR / IMAG
Utilisation d'un filtre de Kalman (1/2)
•Principe
[Kalman,1961]
[Liang,1991]
•Utilisation– filtrage du bruit de mesure– prédiction : solution à la latence
Initialisation de X et P
Etat X, Covariance P
Etape de mise à jour de la prédiction
(Predicteur)
Etape de mise à jour de la mesure
(Correcteur)
Extrapolation basé sur X
positionprédite
EntréeCapteur
![Page 12: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/12.jpg)
iMAGIS-GRAVIR / IMAG
Utilisation d'un filtre de Kalman (2/2)
![Page 13: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/13.jpg)
iMAGIS-GRAVIR / IMAG
Calibration du stylet (1/2)Problème : Où est la pointe du stylet par rapport au capteur ?• Recherche du point fixe par minimisation [Tuceryan,1995]
Pw
R1,T1R3,T3 R2,T2
Pt
![Page 14: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/14.jpg)
iMAGIS-GRAVIR / IMAG
Callibration du stylet (2/2)•Optimisation de la procédure
– 4 mesures – "approximativement pyramidale"
Désalignement
![Page 15: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/15.jpg)
iMAGIS-GRAVIR / IMAG
Reconaissance de gesteProblème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu
•Extension à une trajectoire complexe : successions de segments sur le plateau de jeu Ex : “CFC “
![Page 16: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/16.jpg)
iMAGIS-GRAVIR / IMAG
PLAN• Introduction
• Matériel
• Acquisition de « Qualité »
• Interaction 3D
– Boutons et Menus
– Ajout d’objets
– Déplacement de pions
• Conclusion
monde horizontale
![Page 17: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/17.jpg)
iMAGIS-GRAVIR / IMAG
Boutons et Menus (1/2)
•PIP [Szalavari,1997] Sensation de contact
•Déplacement vertical pour la sélection d’un élement
•Validation
![Page 18: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/18.jpg)
iMAGIS-GRAVIR / IMAG
Boutons et Menus (1/2)
sélectiondu deuxième itemsélection
du première item
barre de menus
![Page 19: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/19.jpg)
iMAGIS-GRAVIR / IMAG
Ajout d’objets•Pourquoi ajouter des objets Réels ?
• interaction (pion virtuel placé dessus)
• occultation (pion virtuel placé derrière)
•Pourquoi ajouter des objets Virtuels ?
2 cas : – pour des objets dont le modèle 3D est inconnu – pour des objets dont le modèle 3D est connu
![Page 20: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/20.jpg)
iMAGIS-GRAVIR / IMAG
Exemple : digitalisation d’un parallélogramme (1/2)
![Page 21: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/21.jpg)
iMAGIS-GRAVIR / IMAG
Exemple : digitalisation d’un parallélogramme (1/2)
point librepoint librepremier pointfixé plan créé cube virtuel
superposé
![Page 22: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/22.jpg)
iMAGIS-GRAVIR / IMAG
Placement d ’un objet connu par une arête
•Géométrie connue
•Méthode d’ajout par arête commune
•Contrainte d’horizontalité
2 clics suffisent
Boîte englobante
Arête de réference
Base
Repère du mondeRepère du monde
Objet réel
Objet virtuel
Faire tourner l’objet pourFinir l’alignement
Objet réel superposéAu virtuel
On a la position et l’orientation de l’objet
Objet virtuel
![Page 23: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/23.jpg)
iMAGIS-GRAVIR / IMAG
Placement par rotation Z d ’un objet
•Pas d’arête “simple”
•Méthode d’ajout par centrage
•Contrainte d’horizontalité
1 clic-glissé suffit
Objetvirtuel
Repère du monde
Faire coincider l’objet par rotation autour du centre
Repère du monde
Objet réel aligné avec le virtuel
On connait la position et l’orientation de l’objet
Base
Boîte englobante
![Page 24: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/24.jpg)
iMAGIS-GRAVIR / IMAG
Placement sur un objet réel
pion réel
![Page 25: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/25.jpg)
iMAGIS-GRAVIR / IMAG
Déplacement de pion virtuel (1/3)
•Méthode “Lever-Déplacer”
Pourquoi : action principale dans un jeu !
![Page 26: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/26.jpg)
iMAGIS-GRAVIR / IMAG
Déplacement de pion virtuel (2/3)
•Méthode“Glisser”
•animation du déplacement
![Page 27: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/27.jpg)
iMAGIS-GRAVIR / IMAG
Déplacement de pion virtuel (3/3)
trajectoire
pion virtuel
![Page 28: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/28.jpg)
iMAGIS-GRAVIR / IMAG
Contributions•Procédure de calibrage de la tête et du stylet•Ajout dynamique d’objets•Déplacement de pions•Reconnaissance de gesteExtensions futurs• illumination
– ombres– modèle réaliste
•navigation dans un espace virtuel
![Page 29: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/29.jpg)
iMAGIS-GRAVIR / IMAG
Creation de la scène•utilitaires de créations
![Page 30: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/30.jpg)
iMAGIS-GRAVIR / IMAG
Calibration de la camera (1/4)
Repèrecapteur
Repèrecamera
![Page 31: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/31.jpg)
iMAGIS-GRAVIR / IMAG
Calibration de la camera (2/4)
Repèrecamera
Repèrecapteur
cube réel + cube virtuel
Vue fixe
![Page 32: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/32.jpg)
iMAGIS-GRAVIR / IMAG
Calibration de la camera (3/4)
![Page 33: IMAGIS-GRAVIR / IMAG Environnement de réalité augmentée : vers les jeux vidéos Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR](https://reader036.vdocuments.pub/reader036/viewer/2022062318/551d9d93497959293b8c984e/html5/thumbnails/33.jpg)
iMAGIS-GRAVIR / IMAG
Calibration de la camera (4/4)