A. García-Alonso 1
Masters : SIA & ICSI
Alex (Alejandro) García-Alonso
http://www.sc.ehu.es/ccwgamoa
A. García-Alonso 2
Presentación Profesor
• Biografía– etapas
A. García-Alonso 3
Presentación alumnas/os
• Presentación – nombre,
– titulación y procedencia,
– ubicación: empresa, grupo investigación, buscando …
• Encuesta
A. García-Alonso 4
Asignaturas
• SIA : Visualización Interactiva y Cooperativa en Realidad Virtual y de Simulación 3D– Realidad Virtual
• ICSI Realidad virtual y aumentada: interacción 3D multimodal– Realidad Virtual
– Realidad Aumentada
– interacción 3D multimodal : hápticos
A. García-Alonso 5
Temas I ( 3 a 21 febrero)
• Conceptos, Hª, terminología, equipos• Rendering (generación imágenes en VR)
– Conceptos
– Generar imágenes
– 3D (tecnología estéreo)
• Problemas geométricos en VR– Modelos
– Problemas
• APIs (práctica) : openGL
A. García-Alonso 6
Temas II ( 24 febrero a 12 marzo)
• (obligatorio para ICSI, libre para SIA)
• AR– Markers
– Sin markers
– Generación imágenes para AR
• Hápticos– equipos
– geometría
– “haptic rendering”
A. García-Alonso 7
Repositorio (links)
Profesor: http://www.sc.ehu.es/ccwgamoa/
Repositorio asignatura: http://www.sc.ehu.es/ccwgamoa/clases/2013-14-Master Otras presentaciones : http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones
Otro material : http://www.sc.ehu.es/ccwgamoa/docencia/Material
VR-Introducción A. García-Alonso 8
Generar Imágenes (Gráficos por Computador)
&Interacción
A. García-Alonso 9
Areas de aplicación
• Viedojuegos
• “Simuladores”
• Medicina
• Entrenamiento de operadores (máquinas y vehículos)
• Arquitectura y decoración
• CAD, fabricación, montaje, mantenimiento, ...• Visualización científica (fluidos, deformaciones)
• Preparación de efectos especiales en cine
• Mundos virtuales
VR-Introducción
A. García-Alonso 10
GxC apuntes históricos
• 1970 Plotter
• 1975 Vector images (“osciloscopio”) Tektronix
• 1980 raster (“terminals”, PCs, micros)
• 1983 (z) depth-buffer (3D, Clark “geometry engine”)
• 1985 Workstation Silicon Graphics
• 1992 VR : CAVE (Carolina Cruz Neira, Tom DeFanti)
• 2000 GPU NVidia …
• 2005 Consolas Nintendo, Sony, Microsoft
TfnoMóvil, TVstereo, autostereoVR-Introducción
A. García-Alonso 11
Interacción persona-computador
• Historia– Tarjetas perforadas (lotes)
– Terminal alfanumérico (interacción)
– Gráficos por ordenador (interacción gráfica : GUI )
– Sistemas de ventanas (desktop metaphor)
• Presente y Futuro– Realidad Virtual y Realidad Aumentada
– Sistemas colaborativos
– 3D GUI (sobremesa, proyectado, aumentado)
– Wearable computing
VR-Introducción
A. García-Alonso 12
Terminología
• Telepresencia Visualización– retransmitir (Mars Rover) vs. generar (videojuego)
• Simulación Visualización – Prudencia al usar el término “simulación”(siguiente
transparencia : “real time”)
• Animación– variedad hasta el equívoco
• 3D– Academia : modelos, animación, simulación
– Público gral : imágenes estereoscópicas
VR-Introducción
A. García-Alonso 13
Terminología
• Visualización– Interactiva (“tiempo real”) (videojuegos,…)
• GPU, sombras, …
– Imagen a imagen (cine, animación, …)• Raytracing, Radiosity
• Real time (tiempo respuesta / cps Hz)
– Control (electrónica, mecánica,…)
– GxC, VR (videojuegos, ingeniería, modelado, animación) • Capturar interación del usuario (input devices, visual, táctil,…)• Actualizar procesos• Generar Feedback (imágenes, haptico, audio, …)
VR-Introducción
A. García-Alonso 14
Terminología
• Interfaces– “Desktop”– Visualización imágenes “modelos/entornos 3D”
(visualización interactiva)
– 3D estéreo
– Inmersiva (VR, AR, MR)
VR-Introducción
A. García-Alonso 15
Terminología : 3D (estereo)
• Pasivo, Activo, Autoestereo
• Cines, home, publicidad
• Otros : – anaglyph images (anaglifos),
– goggles (+ lentillas, proyección directa sobre ojo),
– holográficos
VR-Introducción
A. García-Alonso 16
Terminología : immersión
• Pantalla (NO inmersivo)
• Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial)
• Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted
display-, CAVE) (SI inmersivo)
• Consideraciones sobre 3D
VR-Introducción
A. García-Alonso 17
Inmersión
• Recibir acciones de la(s) persona(s)
+
• Modelo físico (geometría + propiedades)
+
• Simulación ( leyes físicas + relaciones + IA )
+
• Generar sensaciones
=> I N M E R S I Ó N
ligaduras mecánicasgravedad, electrostática, ...
térmicascomportamientos (rebaños/ia)
VR-Introducción
A. García-Alonso 18
Inmersión
• Recibir de la(s) persona(s) input devices ( capture )
+
• Modelo físico estruct. Datos ( modelado )
+
• Simulación algorit. ( animación )
+• Generar sensaciones output devices ( rendering )
=> I N M E R S I Ó N
VR-Introducción
A. García-Alonso 19
Comunicación : RE / VE
• Real environment (medio ambiente real: mundo y personas)
– Vista gestos, acciones
– Oído habla
– Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.)
– Gusto
– Olfato
• Virtual environment– Nos limitaremos a comunicación : VE ↔ usuario
– Prescindimos de : avatar(es) ↔ usuario
VR-Introducción
A. García-Alonso 20
Comunicación : del VE al usuario
• Nos muestra imágenes
• Nos habla o genera sonidos
• Realimentación háptica
• Nos ofrece sabores u olores
VR-Introducción
A. García-Alonso 21
Comunicación : del usuario al VE
• Nos ve: capta posiciones (visión/sensores) e interpreta– Cuerpo y extremidades, mano, cara (o sólo boca)
– Reconoce gestos (posiciones o secuencia movimientos)
• Nos oye (comando, lenguaje natural)
• Realimentación háptica
• ¿nos saborea o nos huele?
Acción directa input devices : mouse, wand, haptic, glove, …
VR-Introducción
VR-Introducción A. García-Alonso 22
Gráficos por Computador
• Base para el principal subsistema de salida en VR– (recordar esquema)
• IGS : Image Generation System– distintos niveles de abstraccion o encapsulamiento
• librerías gráficas• sistemas gráficos• visualizadores de ficheros
– problemas de I/O
VR-Introducción A. García-Alonso 23
IGS : Image Generation System
• librerías gráficas– OpenGL, Direct3D, ...
• sistemas gráficos
– Inventor, Performer, Ogre, OSG, …
– Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life)
– Simuladores
• visualizadores de ficheros– DXF, Catia, SolidEdge, ... VRML, X3D
VR-Introducción A. García-Alonso 24
Conceptos básicos
• frame buffer– pixel, resolución
– memoria en la tarjeta gráfica• 256 colores• tabla de colores + índice de color• true color (8 + 8 + 8)
– refresco de la memoria gráfica
– información referida a un pixel:• RGB (8 x 3 bits)• RGBA• profundidad Z (2 ó 4 bytes)• doble buffering• GPUs
VR-Introducción A. García-Alonso 25
Conceptos básicos
• “frame” o cuadro– tiempo real
– “off line”
• generación / reconocimiento (síntesis/análisis)– cooperación
• texturas• i/f de usuario
• generación, síntesis, infografía, GxC– modelos
– animación
– visualización
VR-Introducción A. García-Alonso 26
Elementos de GxC
• modelos– geometría y topología
– materiales
– fuentes de luz
• animación– posición cuerpos, luces, cámaras, ...
– transformación de cámara (perspectiva, paralela, ...)
– cambios de propiedades en el tiempo,
– deformaciones,
– crecimiento,
– leyes físicas o comportamientos, ...
VR-Introducción A. García-Alonso 27
.....
• Visualización– interactiva o en tiempo real / en espera o en lote
– visibilidad e iluminación
– modelo interacción luz-superficie
– luz ambiente
– sombras
– transparencia
– reflejos
– profundidad de campo, .....
VR-Introducción A. García-Alonso 28
El proceso de generación de imagen
limpiar frame buffer y z-buffer
definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame)
( definir luces )
recorrer cuerpos
declarar su posición (matriz)
recorrer superficies
definir material
enviar los polígonos
“swap” de frame buffers