1 introduction à la réalité virtuelle a. branzan-albu et d. laurendeau dép. de génie...
TRANSCRIPT
1
Introduction à la réalité virtuelle
A. Branzan-Albu et D. Laurendeau
Dép. de génie électriqueet de génie informatique
Université Laval
A. Branzan-Albu & D. Laurendeau GIF-66800
2
Pourquoi enseigner la Réalité Virtuelle?
- Marché d’emploi pour les spécialistes en RV.
- Spectre élargi des applications profitables de la RV dans différents secteurs de l’économie, de l’éducation etc.
Tiré de Burdea, « Teaching Virtual Reality : Why and How? », Presence, 13(4), Aug. 2004.
3
Structure et organisation du coursObjectifs comprendre l’importance de la réalité virtuelle comme
outil immersif et interactif de communication, de simulation et de visualisation scientifique;
maîtriser les concepts technologiques de base pour la réalisation d’applications de la réalité virtuelle;
développer et utiliser des composantes logicielles adaptées à la manipulation des objets virtuels et à la navigation dans l’environnement;
réaliser et documenter un projet fonctionnel de simulation et modélisation virtuelle.
4
Structure et organisation du coursPlan Introduction
Aperçu sur les systèmes actuels de réalité virtuelle.
Les "frameworks" de simulation en réalité virtuelle
Comment construire un monde virtuel? Introduction aux modèles conceptuels
Aperçu des composantes hardware utilisées dans un système de réalité virtuelle: outils de visualisation, de retour de force et de suivi de mouvement
5
Structure et organisation du coursPlan (suite)
Techniques de design des environnements virtuels
Interaction avec l’environnement virtuel : manipulation des objets virtuels et navigation
Environnements virtuels distribués et collaboratifs
Évaluation des environnements virtuels. Avenir de la RV.
6
Structure et organisation du cours
Bibliographie suggérée : Sherman & Craig : Understanding Virtual
Reality. Interface, application and design.
supplémentaire (en ligne) : Survey of the State-of-the-Art on Synthetic Environments, Sensori-Motor Activities in Synthetic Environments, Simulation Frameworks and Real-World Abstraction Models
7
Structure et organisation du cours
ÉvaluationExamen final – 50%Projet d’équipe – 50% Voir page Web pour détails
8
Structure et organisation du cours
Projet d’équipe Description générale :- Création d’un jeu en réseau.- Description plus détaillée sur la
page web.La semaine prochaine :- Composition des équipes.
9
Structure et organisation du cours
Assistant d’enseignement à venir
Disponible sur rendez-vous.
10
Cours introductif Qu’est-ce que la réalité virtuelle? Concepts de base : immersion, imagination, interaction Environnements collaboratifs Réalité augmentée, réalité artificielle Cyberspace Court historique de la réalité virtuelle
LectureSurvey of the State-of-the-Art on SyntheticEnvironments, Sensori-Motor Activities in SyntheticEnvironments, Simulation Frameworks and Real-WorldAbstraction Models : Chapitres 1 et 2
11
Qu’est-ce que la Réalité virtuelle
Nouveau domaine, donc sa définition évolue rapidement et dépend du champ d’application
perspective différente : utilisateur versus programmeur, communauté scientifique versus marketing etc.
L’impact de la réalité virtuelle sur le grand public par le mass-media a conduit à de nombreuses interprétations, parfois inconsistantes, du terme en question
12
Quelques définitions Business Week, octobre 1992 : couverture
consacrée à ce nouvel « outil qui amplifie l’esprit »
Newsweek, mai 1993 : la réalité virtuelle est une « zillion dollar
industry » Spectrum IEEE, octobre 1993 : « Although virtual reality has become a popular
buzzword with frivolous connotations, its ability to immerse users in interactive 3D worlds is of great relevance for many scientific and industrial endeavours »
13
Réalité virtuelle - définition
« Un système de réalité virtuelle est une interface qui implique de la simulation en temps réel et des interactions via des multiples canaux sensoriels » [Burdea & Coiffet «La réalité virtuelle», 1993]
- Interface homme-machine [Burdea, 1993]
- Nouvel outil de communication [Sherman &Craig, 2003]
14
Concepts de base
Les quatre éléments-clé d’une expérience de réalité virtuelle
Monde virtuel
Immersion
Réponse sensorielle
Interaction centrée sur l’utilisateur
15
Monde virtuel Espace imaginaire qui peut exister en dehors d’un contexte
technologique Imagination=le point de départ de la plupart des mondes
virtuels • Monde virtuel généré par ordinateur : description dynamique des objets faisant partie d’une simulation
• lois d’interaction ex : simulation d’un comportement physique, attraction gravitationnelle, friction etc.• relations entre les objets ex. topologiques, collision, contact physique etc.
16
Immersion L’utilisateur est immergé dans un monde
virtuel. Réalité virtuelle = réalité alternative par
rapport au quotidien
• Immersion mentale : - peut être créée par des livres, des films etc. - le contenu du monde virtuel est décrit à partir des symboles (mots, sons, images etc.) qui sont interprétés mentalement par les participants
17
Immersion(cont) Réalité virtuelle : Immersion physique
(ou sensorielle) : - les stimuli sont synthétiques via
l’usage de la technologie - dans la plupart des cas, l’immersion
sensorielle n’implique pas la totalité des sens : vue, toucher, ouïe, odorat, goût. - l’immersion physique conduit à une
immersion mentale et au sens de la présence.
18
Immersion physique versus immersion mentale
L’immersion physique intervient dans le processus de proprioception
Selon dr. Oliver Sacks : Proprioception is "... that
continuous but unconscious sensory flow from the movable parts of our body (muscles, tendons, joints), by which their position and tone and motion is continually monitored and adjusted, but in a way which is hidden from us because it is automatic and unconscious" (Tiré de Sacks, The Man Who Mistook His Wife for a Hat. Picador, London, 1985)
Proprioception = Connaissance des parties du corps, de leur position et de leur mouvement dans l'espace, sans que l'individu ait besoin de les vérifier avec ses yeux (Tiré de Blouin, Bergeron et. al. Dictionnaire de la réadaptation. Québec 1995)
19
Interaction basée sur la rétroaction sensorielle
La rétroaction sensorielle créée par un système de RV doit être cohérente avec la position et les actions du sujet participant.
Vue=changement de point de vue (mouvement de la tête, déplacement global du sujet), manipulation des objets
Toucher=interfaces haptiques, manipulation des objets.
20
Tracking Pour avoir une rétroaction
sensorielle précise, le sujet doit être suivi :
Tracking de la tête, des mains et des objets manipulés etc.
Capteurs de position 3D magnétiques, ultrasonores etc.
21
Capteurs de position 3D Casques de visualisation (Head-
Mounted Display HMD) Récepteur placé sur la tête de
l’utilisateur, suivant ses mouvements
22
Capteurs de position 3D (cont)
Tiré de Burdea&Coiffet[1993]
23
Capteurs de position 3D (cont) Le mouvement de la tête est
échantillonné et envoyé à l’ordinateur; La nouvelle direction du regard est
déterminée à partir du signal de mouvement échantillonné.
La scène virtuelle affichée sur les LCD est mise à jour par rapport au point de vue courant de l’utilisateur
latence
24
Les trois I de la réalité virtuelle
Tiré de Burdea&Coiffet [1993]
25
Environnements collaboratifs La définition de l’interaction
change! Des utilisateurs multiples
interagissent dans le contexte d’un même espace virtuel.
Avatar=représentation d’un utilisateur
Interaction mutuelle entre les participants
Multi-présence
26
Pourquoi des environnements virtuels collaboratifs?
Applications militaires : simulateur de combat, de guerre urbaine etc.
Jeux Applications médicales : chirurgie
à distance (téléprésence)
27
Environnements collaboratifs non-virtuels
Conversation téléphonique
28
Cohérence des environnements virtuels collaboratifs (CVE) Des participants multiples peuvent
explorer, communiquer et interagir entre eux ou avec le contenu du monde virtuel.
Normalement, chaque participant accède le CVE à partir de son propre ordinateur, connecté en réseau avec les autres postes de travail individuels et avec les systèmes de gestion et de mise à jour du CVE.
29
Cohérence des CVE (cont) Un CVE cohérent possède trois
propriétés de base : a) simultanéité de la présentation b) cohérence interne de
l’environnement c) cohérence entre la perception
de soi dans le monde réel et dans le CVE.
30
Autres formes d’environnements immersifs Réalité augmentée : type de réalité virtuelle où
l’information additionnelle, autrement imperceptible pour le système visuel humain est surimposée sur une scène réelle.
Défi principal : recalage d’images 3D en temps réel.
31
Autres formes d’environnements immersifs Réalité artificielle Myron Krueger [1991] :« La promesse des réalités artificielles n’est pas
de reproduire la réalité conventionnelle ou d’agir sur le monde réel. Elle est précisément l’opportunité de créer des réalités synthétiques pour lesquelles il n’y a pas d’antécédents réels. Ce qui est conceptuellement excitant et ultimement important du point de vue économique »
32
Autres formes d’environnements immersifs
Télépresence versus téléopération
33
Cyberspace Espace virtuel de communication et
d’interaction en temps réel Les techniques de réalité virtuelle
peuvent être utilisées pour créer un cyberspace
L’information échangée en temps réel ne doit pas être multisensorielle :
- texte (chatting en ligne) - téléphone ( communication audio en
temps réel) - vidéoconférence
34
Tiré de Sherman & Craig
35
Court historique de la Réalité Virtuelle
Un système de RV = une interface homme-machine avancée;
Années 90 : révolution technologique comparable en ampleur à la révolution informatique des ordinateurs personnels (années 70-80).
Les premiers concepts de réalité virtuelle ont émergé dans des milieux académiques : University of Utah (1965), University of Wisconsin (1983), University of North Carolina (1986), MIT.
36
Court historique de la Réalité Virtuelle (cont.) Parmi les premiers domaines d’application de la RV : le
domaine militaire – simulateurs de vol (Thomas Furness, Scott Fisher).
Années 80- NASA Ames - projet VIEW (Virtual Interactive Environment Workstation) (Scott Fisher).
Simulateur personnel générique (téléprésence, visualisation des données) et multi-sensoriel
Configuration initiale : - tracking de la tête et des mains (Polhemus); - HMD stéréo avec champ large de vue (LEEP Optics &
monochrome LCDs) - système audio 3D (Crystal Rivers Engineering Convolvotron) - gant pour la reconnaissance des gestes (VPL Research
Dataglove) - réseau de caméras à distance (remote camera platform –
Fakespace)
37
Court historique de la Réalité Virtuelle (cont.)
Les collaborations entre NASA Ames et plusieurs compagnies privées ont conduit à une expansion rapide des compagnies de RV (fin des années 80).
Domaines ciblés : jeux (concept de « consumer VR »), mais aussi contrats gouvernementaux et industriels sur les marchés de la défense, aérospatial, pétrochimique, et de l’automobile.
La RV devient un sujet favori des mass-média (fin des années 80, début des années 90).
38
Court historique de la Réalité Virtuelle (cont.)
Début des années 90 : progrès technologiques importants - Environnements virtuels collaboratifs
La réalité virtuelle devient un outil de communication!
39
Contributions marquantes à la RV
Ivan Sutherland, University of Harvard - propose en 1963 un premier système intéractif de
graphique par ordinateur : « Sketchpad: A Man-Machine Graphical Communications System »
- définit en 1965 le concept de « ultimate display » vers un monde virtuel :
The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked.
40
Contributions marquantes à la RV
Premier HMD développé par I. Sutherland (1968)
Images de type wireframe surimposées sur le monde réel
Système de tracking (en position et en orientation) incorporé :
- mécanique (très lourd)
- ultrasons (erreur accumulative)
41
Contributions marquantes à la RV
Frederic Brooks, University of North Carolina - premières investigations sur le potentiel de la technologie RV
dans le domaine de la visualisation scientifique 1967-1990 projet GROPE - développement d’une première interface haptique avec retour
de force en RV pour l’étude de l’interaction moléculaire. - étude de la perception humaine basée sur le sens tactile. - GROPE-1 : système 2D pour l’exploration des champs de force
continus - GROPE-2 : saisir et manipuler des objets virtuels sur une
surface virtuelle plane. - GROPE-3 : trouver des combinaisons moléculaires stables à
partir des minima locaux d’énergie potentielle; interface haptique
42
Arrimage moléculaire avec le Argonne Remote Manipulator (ARM)
43
Contributions marquantes à la RV Myron Krueger, University of Wisconsin, USA- aspects artistiques et psychologiques de
l’interaction homme-machine- définit le concept de réalité artificielle en 1973 - responsive environments – le participant à une
expérience de RV ne porte pas d’équipement encombrant (ex. HMD)
- 1969 – Glowflow; 1970 – Metaplay- 1975 - Videoplace
A. Branzan-Albu & D. Laurendeau GIF-66800
44
45
Contributions marquantes à la RV
Applications potentielles des concepts de Videoplace (tracking basé sur la vision par ordinateur) :
Interfaces gestuelles Téléconférence Enseignement interactif
46
Contributions marquantes à la RV Massachusetts Institute of Technology, USA - Développement des nouvelles techniques
pour une interaction homme-machine plus naturelle, centrée sur l’utilisateur;
- Simulation et modélisation en temps réel; - The Aspen Movie Map (Lippman& Naimark,
MIT Architecture Machine Group, 1980) - Put-That-There (1980)
47
Contributions marquantes à la RV
Tiré de www.artmuseum.net
Utilisation de l’écran sensitif au toucher dans une démo de AspenMovieMap
A. Branzan-Albu & D. Laurendeau GIF-66800
48
Contributions marquantes à la RV
MIT Put-that-there Tiré de R. Bolt (1980)2004 : F. Rioux, F. Rudzicz, M. Wozniewski
The Modeller’s Apprentice
A. Branzan-Albu & D. Laurendeau GIF-66800
49
50
Contributions marquantes à la RV domaine militaire
Début des années 80 - Simulateurs de vol- Interfaces multimodales plus appropriées pour
le transfert rapide de l’information vers le pilote
- 1986 : Thomas Furness (Wright Patterson Air Force Base, USA) : «The Super Cockpit»
- Étude du facteur humain en interaction avec des simulateurs virtuels de vol (fiabilité des systèmes de tracking, reconnaissance de la parole etc.)
51
Tiré de Furness (1986)
52
Contributions marquantes à la RV- domaine militaire NASA Ames 1985-… Projet VIEW (Virtual interactive
environment workstation) – premier système de réalité virtuelle à faible coût, permettant à l’opérateur humain l’exploration à 360° d’un environnement synthétique où à distance.
- partenariat avec des compagnies privées : Leep optics, Crystal Rivers, VPL Research etc.
- présentement, Advanced Displays and spatial perception laboratory, NASA Ames Research Center
53
Commercialisation des interfaces de RV
VPL Research Inc. 1985-1992- Interfaces de RV à prix raisonnable
: Dataglove, Eyephone, etc.- Logiciels pour la programmation
des interfaces de RV : RB2 (mise en réseau des deux HMD pour former un espace virtuel partagé).
54
Commercialisation des interfaces de RV
Mattel : Powerglove Gant pour la saisie et la
manipulation des objets virtuels compatible avec Nintendo Entertainment System.
Fakespace Labs nouvelle interface visuelle
(projet VIEW) 1990 : BOOM (Binocular
Omni Orientation Monitor) – NASA Ames, Virtual Wind Tunnel project.
55
RV- un outil de communication
Développements technologiques importants (début des années 90) :
Internet Affichage graphique basé sur la projection. VRML (Virtual Reality Modeling Language) –
programmation des environnements collaboratifs distribués;
1995 – VRML 1.0 Langage standard pour la description des mondes virtuels statiques (architecture)
1996 – VRML 2.0 - nouvelles options pour la génération interactive des formes 3D, l’animation, l’ajout du son, etc.
56
RV- un outil de communication
1992 – CAVE Cave Automatic Virtual
Environment) - Electronic Visualization Laboratory, U. of Illinois
- environnement audio et vidéo 3D à haute résolution adapté aux dimensions de la pièce et qui permet l'interaction entre plusieurs personnes.
- Des graphiques sont projetés en stéréo sur les murs et le sol et visualisés à l'aide de lunettes stéréo.
57
RV- un outil de communication 2000 – téléimmersion The National Tele-immersion initiative – Advanced
Networks & Services, Inc., USA - but : développement des projets de recherche
d’envergure nationale et internationale - regroupe plusieurs universités aux É. U. afin de créer
une infrastructure de recherche - téléimmersion - EV collaboratifs - audio et vidéo conférence - ressources de supercomputation - base de données partagées
58
RV - outil de communication
Tiré de Sherman & Craig
A. Branzan-Albu & D. Laurendeau GIF-66800
59
Communication des idées à travers un milieu
Tiré de Sherman & Craig
60
Site web du cours http://wcours.gel.ulaval.ca/2010/h/GIF4102/ Présentations ppt disponibles dans Notes Description du projet : Travaux Bibliographie Supplémentaire : Références