la modélisation 3d à des fins de réalité augmentée mobile : une première expérience
DESCRIPTION
Bien que les produits de la géomatique se démocratisent, ce domaine disciplinaire est encore bien méconnu du grand public. Dans ce contexte, la sensibilisation des jeunes adolescents à l’omniprésence de la géomatique dans leurs activités quotidiennes constitue un aspect promotionnel à développer. Pour être efficace, cette sensibilisation devrait idéalement s’arrimer aux activités éducatives et ludiques de ce jeune public “zappeur” et nomade. Les jeux en Réalité Augmentée (RA) mobile présentent les caractéristiques requises pour explorer de manière immersive, réactive et interactive les diverses exploitations faites de la géomatique dans des environnements réels. En particulier, des modèles 3D sont nécessaires dans ce type d’application à des fins de positionnement, de visualisation, ou bien encore en tant qu’éléments du jeu ou pour fournir des informations contextuelles aux joueurs. Cependant, la disponibilité des modèles 3D permettant de jouer partout est limitée. Les techniques classiques d’acquisition de données 1D-3D (i.e. arpentage/géomatique) et de traitement ultérieurs présentent des contraintes fortes en coût et en temps et elles sont jugées plus ou moins adaptées pour produire rapidement les modèles 3D nécessaires aux jeux en RA mobile dans un environnement qui n’est pas préparé d’avance. Notre présentation explique d’abord ce nouveau contexte applicatif de la géomatique que sont les jeux en RA mobilité. Puis, nous décrirons plus spécifiquement une chaîne de production de modèles 3D adaptée pour ce contexte, exploitant à la fois des techniques de vision numérique et de photogrammétrie. Un exemple de mise en œuvre de la chaîne de production préliminaire sera finalement présenté, impliquant l’exploitation de l’iPhone et de ses nombreuses composantes associées (i.e. caméra, accéléromètres, GPS).TRANSCRIPT
![Page 1: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/1.jpg)
Vincent Thomas – Candidat MSc.Direction Dre. Sylvie Daniel
Co-direction Dre. Jacynthe PouliotDépartement des sciences géomatiques
Université Laval – Québec - Canada
La modélisation 3D à des fins de réalitéaugmentée mobile : Une première
expérimentation avec l’iPhone
![Page 2: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/2.jpg)
Plan de la présentation■ Réalité augmentée (RA) mobile■ Nécessité des modèles 3D■ Environnement non-préparé■ Défis à relever■ Solution proposée■ Conclusion
Colloque Géomatique 2009 – 21-22 Octobre 2009 2
sd1
sd2
![Page 3: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/3.jpg)
Diapositive 2
sd1 Essayer de choisir des termes moins académiques en ce qui à trait à la problématique, objectif et solution.
Par ex.: Défis à relever; difficultés à résoudre; Besoins....
Solution proposée....sylvie daniel; 2009-10-16
sd2 Raccourcir le point: Nécessité des modèles 3Dsylvie daniel; 2009-10-16
![Page 4: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/4.jpg)
Réalité augmentée mobile■ Augmentation de l’environnement réel
avec des éléments graphiques virtuels
Colloque Géomatique 2009 – 21-22 Octobre 2009 3
![Page 5: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/5.jpg)
Contextes d’application
Colloque Géomatique 2009 – 21-22 Octobre 2009 4
Graz University of Technology underground infrastructure ISMAR '08
Génie civil Jeu
Architecture / urbanisme
http://graphics.cs.columbia.edu
Epidemic Menace ‐ http://iperg.fit.fraunhofer.de/
![Page 6: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/6.jpg)
Réalité augmentée mobile■ Progrès technologique
Colloque Géomatique 2009 – 21-22 Octobre 2009 5
http://farm4.static.flickr.com/3128/2756996849_b15bb86dac.jpg
ARQUAKE ‐ http://wearables.unisa.edu.au/arquake/
![Page 7: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/7.jpg)
Nécessité des modèles 3D■ Utilisation de modèle 3D de
l’environnement réel afin d’enrichir davantage l’augmentation◘ Visualisation cohérente (occlusions)
◘ Positionnement
◘ Rôle dans l’API
Colloque Géomatique 2009 – 21-22 Octobre 2009 6
![Page 8: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/8.jpg)
Gestion des occlusions
Colloque Géomatique 2009 – 21-22 Octobre 2009 7
Vincent Lepetit ‐ http://www.loria.fr/%7Eberger/lepetit/Occlusions/index.html
Occlusion
Élément graphiquevirtuel
Occlusion
Élémentgraphiquevirtuel
Occlusion
Élémentgraphiquevirtuel
Élémentgraphiquevirtuel
![Page 9: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/9.jpg)
Environnement non-préparé■ Pour des applications de RA
permettant de riches interactions il faut des modèles 3D
■ Cependant …◘ Les modèles 3D ne sont pas toujours disponibles partout◘ Aucun modèle 3D disponible pour notre environnement?
• Nous sommes dans un contexte d’environnement non-préparé
Colloque Géomatique 2009 – 21-22 Octobre 2009 8
sd4
sd3
![Page 10: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/10.jpg)
Diapositive 8
sd4 Il ne sont pas rares maisl il ne sont pas forcément disponibles partout, ni tout le temps en fonctiond e l'endroit où l'on se trouve.
A nouveau, pour le point suivant, reste général, ne mentionne pas le contexte applicatif du jeu.sylvie daniel; 2009-10-16
sd3 Reste général et pas forcément relatif au contexte du jeu. Pour des applications de RA permettant de riches interactions il faut des modèle 3D.sylvie daniel; 2009-10-16
![Page 11: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/11.jpg)
Défis à relever■ Environnement non-préparé
◘ Approches d'acquisition disponibles à des fins de modélisation 3D
Colloque Géomatique 2009 – 21-22 Octobre 2009 9
sd5
![Page 12: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/12.jpg)
Diapositive 9
sd5 Indique plutôt: approches d'acquisition disponibles à des fins de modélisation 3D. sylvie daniel; 2009-10-16
![Page 13: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/13.jpg)
Solution proposée■ Développer une solution peu coûteuse,
rapide et facile de modélisation 3D en utilisant un appareil mobile afin de pouvoir déployer des applications de RA mobile n’importe où et n’importe quand
■ Solution : iModelARColloque Géomatique 2009 – 21-22 Octobre 2009 10
sd6
![Page 14: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/14.jpg)
Diapositive 10
sd6 Afin de pouvoir déployer des applcations de RA mobile n'importe où et n'importe quandsylvie daniel; 2009-10-16
![Page 15: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/15.jpg)
Principe de fonctionnement
Colloque Géomatique 2009 – 21-22 Octobre 2009 11
Intérêt actuel: bâtiments
■ Calcul des coordonnées 3D du toit d’un bâtiment en utilisant plusieurs composantes d’un appareil portable;
■ Modélisation 3D par extrusion de la trace du bâtiment au sol jusqu’àl’altitude moyenne du toit;
![Page 16: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/16.jpg)
Notre appareil mobile :
Colloque Géomatique 2009 – 21-22 Octobre 2009 12
![Page 17: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/17.jpg)
Pourquoi ?
Colloque Géomatique 2009 – 21-22 Octobre 2009 13
Z
Y
X
GPS Google Maps
Accéleromètres
Caméra
![Page 18: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/18.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 14
Position du joueur
1‐ En utilisant Google Maps, ajouter des
marqueurs aux coins du bâtiment
![Page 19: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/19.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 15
2‐ Relever avec la vuephotographique les
coins au niveau du toitRelever!
![Page 20: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/20.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 16
3 – Calcul de la distance entre l’utilisateur
(position par GPS) et le marqueur àrelever (position par Google Maps)
d
Position de l’utilisateur
![Page 21: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/21.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 17
4 – Calcul de l’altitude du bâtimentà l’aide de la distance et de
l’inclinaison verticale de l’iPhone
dh Altitude du bâtiment
dh = d • tan(dz)
dz
d
![Page 22: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/22.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 18
5 – Extrusion de la trace du bâtiment jusqu’à l’altitude
moyenne du toit
0
h
![Page 23: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/23.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 19
6 – Encodage automatique et visualisation du modèle 3D
![Page 24: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/24.jpg)
Précision■ Écart moyen par rapport à la vérité
terrain◘ 2 mètres en horizontal;◘ 4 mètres en vertical;
■ Source principale d’erreur: récepteurGPS de l’iPhone
Colloque Géomatique 2009 – 21-22 Octobre 2009 20
![Page 25: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/25.jpg)
Travaux actuels■ Insertion d’objets
graphiques dans le flux vidéo exploitant le modèle 3D construit
■ Gestion des occlusions et des mouvements de l’utilisateur
Colloque Géomatique 2009 – 21-22 Octobre 2009 21
![Page 26: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/26.jpg)
Conclusion■ Nouvelle solution de modélisation 3D
rapide et intuitive◘ avantages: portable; adaptée à tout utilisateur;
■ Potentiel de pouvoir augmenter la réalité n’importe où et n’importequand;
■ Intérêts?Colloque Géomatique 2009 – 21-22 Octobre 2009 22
sd7
sd8
![Page 27: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/27.jpg)
Diapositive 22
sd7 Cela tombe un peu à plat comme conclusion, surtout le 1er point. Mettre quelque chose de plus relevé telle:
Nouvelle solution de modélisation 3D rapide et intuitiveavantages: portable; adaptée à tout utilisateur; ...sylvie daniel; 2009-10-16
sd8 Ajoute un 3ème point qui met de l'avant l'intérêt de la RA n'importe où, n'importe quand (ses perspectives)sylvie daniel; 2009-10-16
![Page 28: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/28.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 23
Questions ?Pour en savoir plus:
www.geoeduc3d.scg.ulaval.ca
![Page 29: La modélisation 3D à des fins de réalité augmentée mobile : une première expérience](https://reader034.vdocuments.pub/reader034/viewer/2022051817/5480f2dd5906b5fa6c8b45de/html5/thumbnails/29.jpg)
Colloque Géomatique 2009 – 21-22 Octobre 2009 24
Déjà quelques résultats …
« iModelAR »: application sur iPhonepour la création simple et rapide de modèles
3D