servicios de recomendación contextual para instituciones de educación superior mediante realidad...
DESCRIPTION
El objetivo de esta tesis es el análisis, diseño e implementación de componentes tecnológicos para sistemas de recomendación sensibles al contexto aplicados a instituciones de educación superior, que utilicen tecnologías de realidad aumentada para mostrar información de personas, lugares y objetos de conocimiento mediante dispositivos multisensoriales.TRANSCRIPT
Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales
Ing. Rodrigo Alejandro Morán Leal
Director: Dr. Juan Gabriel González Serna
Codirectora: Dra. Azucena Montes Rendón CARS
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
2
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
3
Introducción En los sistemas de recomendación sensibles al contexto
(SRSC) se analizan y toman en consideración diferentes factores contextuales para inferir el contexto en que se encuentra el usuario (situación) y adaptar las recomendación a esas circunstancias.
Serminario II
4
Introducción En el laboratorio de Sistemas Distribuidos del
CENIDET se ha desarrollado un Sistema de Recomendación Sensible al Contexto (SRSC) denominado T-Guía.
Con esta SRSC, se le podía proporcionar al usuario información de contexto enriquecido a través de su dispositivo móvil.
5 Estacionam
iento 1
Edificio de Computación
Edificio de Electrónica
Edificio Administrativo
Estacionamiento 2
Cafetería
Introducción Sistema T-Guía
6
T-GuíaServidor
Gestor de conocimiento
Módulo de pre-filtrado de ítems
Módulo de extracción de items
Generador recomendaciones adaptativo
Módulo para actualizar ítems pre-filtrados
Cliente T-Guía
Bitácora de actividad
Aplicaciones WebSistema de poblado de ontologías
Sistema generador de mapas SVG
Módulo para el monitoreo de acciones y evaluación
Módulo gestor de mapas SVG
Servicios de Ubicación
Repositorio de recursos ontológicos
Repositorio de recursos no ontológicos
Base de hechos semántica
Módulo de ubicación WiFi/BT
Módulo de ubicación RFID/NFC
Módulo de ubicación QRCode
Mapeo de espectro inalámbrico
Repositorio de Mapas SVG
Repositorio de Recomendaciones
Base de Conocimiento Generador de argumentación adaptativo
Servicios de Guiado
Módulo de gestión de mapas SVG
Módulo de gestión RA
Sistema de poblado automático
Recomendaciones
Módulo para gestión de Realidad Aumentada
Módulo de entrenamiento para servicio de ubicación
Módulo para servicio de ubicación Wifi/BT/RFID/QRC
Módulo gestor de recomendaciones
Mapas SVG
Módulo gestor de argumentación
Argumentación
Sistema de entrenamiento RA
Sistema de entrenamiento servicio de ubicación wif/BT/RFID/QRCode
Base de hechos Relacional
cenidet
Edificio Computación- Aula 1 (Cañón, Smartboard, pinzarrón)Actividades:-7-8 Clase-8-10 Libre-10-12 Clase-12-14 Seminario-14-18 Libre
Mapa Computación
Ver Planta alta>>
Introducción 7
Empresas Academia IES/CI
Dependencia de Gobierno
Sistema Recomendador
Capacidades Tecnológicas
Capital Intelectual
Infraestructura Tecnológica
Serv
icio
s
Productos
Mapas SVG POIs
Organización
Repositorio de USUARIOS
Usuarios
Usuario
Introducción Para innovar la interacción con la información
contextual de la organización en esta tesis se diseñaron e implementaron componentes tecnológicos de realidad aumentada para complementar T-Guía.
8
Interfaz convencional
Objetivo
El objetivo de esta tesis es el análisis, diseño e implementación de componentes tecnológicos para sistemas de recomendación sensibles al contexto aplicados a instituciones de educación superior, que utilicen tecnologías de realidad aumentada para mostrar información de personas, lugares y objetos de conocimiento mediante dispositivos multisensoriales.
9
Descripción del Problema La técnica de interacción multimodal que explota técnicas de realidad
aumentada implica insertar información contextual del entorno real a través de objetos virtuales sobre las imágenes de video en tiempo real.
Para la inserción de objetos virtuales en el video en tiempo real se requiere que el dispositivo utilice sus capacidades sensoriales para determinar la orientación del campo electromagnético y la orientación hacia donde está apuntando la cámara para poder visualizar los ítems seleccionados por el SRSC que se encuentran contextualmente .
10
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
11
Computación ubicua
La computación ubicua se encarga del diseño de ambientes inteligentes que integran computadoras o dispositivos que sean capaces de registrar los cambios o actividades que se efectúan en el entorno [Weiser 1993]
12
Tecnologías sensoriales en los Smartphones Un sensor es un dispositivo capaz de transformar los datos recibidos del
entorno y permite que algún dispositivo móvil pueda interpretarlos [Akyildiz 2002].
Los sensores que ayudan al dispositivo a conocer su orientación son los siguientes: Magnetómetro
Giroscopio
Acelerómetro
13
Magnetómetro
Es el tipo de sensor que permite medir la intensidad y dirección de alguna señal magnética.
Se utiliza para saber hacia donde quedan los puntos cardinales, utilizando el norte magnético de la tierra
14
Giroscopio
El giroscopio registra el posicionamiento de la orientación con respecto a los 3 ejes del dispositivo
15
Acelerómetro
El acelerómetro se encarga de medir las aceleraciones y las vibraciones del dispositivo en determinada dirección
Algunos dispositivos implementan acelerómetros de 3 ejes para conocer la orientación
16
Realidad aumentada
Es un área de investigación que se procura mejorar la interacción con el entorno real mediante la superposición de información virtual [Schmalstieg 2011]
Se enfoca en 3 principales características Inserción de objetos virtuales en entornos reales
Identificación de elementos en el entorno
Interacción en tiempo real
17
Realidad aumentada
Los elementos del entorno pueden ser identificados mediante diferentes tipos de técnicas Marcadores visuales
Reconocimiento visual
Identificación sensorial
18
Marcadores visuales
Son imágenes que contienen un código preestablecido Ayudan a controlar los patrones visuales que serán identificados
19
Reconocimiento visual
Se identifican formas y puntos clave de los objetos en tercera dimensión
Requieren algoritmos de reconocimiento visual de objetos
20
Identificación sensorial
Se emplean los sensores de orientación para identificar los elementos del entorno
21
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
22
Estado del arte Se analizaron sistemas y herramientas que tuvieran un objetivo similar a
este proyecto de tesis
Se evaluaron las técnicas utilizadas para identificar los diversos elementos en el entorno
23
Estado del arte 24
Entorno Captura Aumentación Dispositivo Usuario
[Park 2010] Museo de patrimonio cultural, suele utilizar el GPS para la localización
Reconocimiento visual y por orientación
Inserción personas y objetos virtuales en los objetos contextualizados del entorno
· Cámara · GPS · Acelerómetro · Giroscopio · Magnetómetro
inserción de objetos virtuales para representar información de las exhibiciones
[Zöllner 2009] museos de arqueología y patrimonio cultural
Reconocimiento visual de pinturas en el entorno
inserción de lugares virtuales, cuadros con mensajes de texto
· Cámara · Acelerómetro · Giroscopio
El usuario podía obtener información y visualizar lugares virtuales desde distintas perspectivas
[Turk 2010] institución de educación superior
Identificación sensorial por orientación y reconocimiento visual de objetos en 3D
Remarca la figura de los objetos detectados
· Cámara · Acelerómetro · Giroscopio · Magnetómetro
Permitió desarrollar una metodología para insertar objetos de manera precisa
[Ajanki 2011] institución de educación superior
reconocimiento facial, marcadores visuales, reconocimiento de voz
Recuadros transparentes con texto informativo
· Cámara · Micrófono
Proporcionaba al usuario información del entorno a partir su interacción y el contexto en que se encuentre
25
Entorno Captura Aumentación Dispositivo Usuario
[Zhu 2008] Centro comercial, se implementó localización por marcadores visuales
reconocimiento visual de los productos
elabora un acercamiento del producto y muestra información y recomendaciones de otros productos similares
· Cámara Se tiene un registro del historial del usuario para elaborar las recomendaciones de los productos
[Bellón 2011] Considera la implementación en cualquier entorno, incluye servicios de localización Wi-Fi
Reconocimiento sensorial por orientación de los objetos
capaz de insertar objetos en 2D y 3D
· Magnetómetro · Acelerómetro · Giroscopio
permite insertar objetos virtuales especificando la orientación de estos
[Woo 2009] diseñado para cualquier entorno en interiores
Reconocimiento visual de los objetos
Genera un entorno virtual con anotaciones de acuerdo a los modelos de reconocimiento de objetos
· Cámara Permite insertar objetos en 2D y 3D sobre los objetos del entorno
[Woo 2010] Orientado para museos, implementa un servicio de localización por marcadores visuales
Reconocimiento visual de objetos
se basa en el Framework de [Woo 2009], integra el reconocimiento por localización y orientación del dispositivo
· Acelerómetro · Giroscopio · Cámara
Le permite insertar a los usuarios anotaciones sobre las exhibiciones del museo
Proyecto desarrollado
institución de educación superior
Reconocimiento por orientación
Insertará iconos representativos e información de los objetos
· Magnetómetro · Acelerómetro · Giroscopio
proporciona recomendaciones del entorno de acuerdo al contexto y al perfil del usuario
Estado del arte
Muchos de estos proyectos implementaron varias tecnologías para la identificación de POI’s
A pesar que el proyecto desarrollado esta orientado a IES puede ser adaptado fácilmente a cualquier otra organización
26
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
27
Metodología de solución 28
Estacionamiento 1
Edificio de Computación
Edificio de Electrónica
Edificio Administrativo
Estacionamiento 2
Cafetería
Repositorio de ontologías organizacionales
Extrae la información necesaria de la ontología
para elaborar recomendaciones
Genera un archivo XML con recomendaciones Archivo XML
Recibe el archivo de recomendaciones
generado
Obtiene la ubicación del
usuario
Envía la información
de ubicación
Presenta información mediante realidad
aumentada
Metodología de solución
El usuario descubre elementos que pueden ser de su interés enfocando la cámara del dispositivo el cual despliega información contextual de la IES.
29
Arriba
Abajo
9
10 Norte
Sur
Este
Oeste
Arriba
Metodología de solución
Este método de identificación de elementos que rodean a un usuario cuando está dentro de una IES depende de su ubicación.
El modelo desarrollado propone 10 (8+2) orientaciones, ocho con respecto a los puntos cardinales, y dos orientaciones adicionales (arriba y abajo).
30
N
S
E O
NE
SE SO
NO
1 2
3
4 5
6
7
8
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
N
S
EO
NE
SESO
NO
12
3
45
6
7
8N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Arriba
Abajo
9
10 Plano de un edificio
Metodología de solución
Las orientaciones pueden apuntar a varios puntos de interés y estos pueden ser referenciados desde las orientaciones de otros nodos en donde puede estar el usuario.
Serminario II
31
POI1
POI2
POI n
.
.
.
N
S
E O
NE
SE SO
NO N
S
E O
NE
SE SO
NO
Ubicación 1 Ubicación 3 Ubicación 2
Metodología de solución
Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.
32
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Metodología de solución
Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.
32
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Metodología de solución
Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.
32
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Metodología de solución
Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.
32
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Metodología de solución
Para poder capturar la información contextual de una IES se desarrollo un sistema de información semántico.
32
N
S
EO
NE
SESO
NO
12
3
45
6
7
8
Modificaciones a la ontología
Para poder modelar los aspectos anteriores se decidió implementar la ontología ONALIN [Dudas 2009]
Esta ontología permite modelar aspectos de orientación, localización del usuario, puntos de interés y rutas de navegación
33
Modificaciones a la ontología
La ontología ONALIN se integro a la red de ontologías de la siguiente manera
34
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
35
Pruebas Se elaboraron pruebas mas completas con ayuda de los archivos de
prueba desarrollados en [González 2012]
El archivo JSON instanciará la infraestructura y referenciará a los POIs en el archivo XML
36
Generación de objetos virtuales
Elaboración de pruebas Las recomendaciones están orientadas a 3 tipos de usuarios Se consideraron 9 archivos para cada tipo de usuario, 27 en total Para cada uno de estos archivos se generara un archivo JSON de la planta
alta y la planta baja Para cada uno de los niveles se probará la aplicación en 4 ubicaciones de
manera aleatoria
En total se hicieron 108 pruebas en cada nivel, dando 216 pruebas en total
37
Pruebas
La aplicación probó las características que ayudaron a comprobar los requerimientos del proyecto Inserción de los objetos virtuales en el entorno Lectura de la información de la ontología Acceso a las recomendaciones creadas en [González
2012] Características excluidas
Precisión del sistema Información recibida en las recomendaciones
38
Escenario de pruebas 39
9
3 8 2
7
1
6 5 4
2 3 7
1
5
4
6
Escenario de pruebas 40
10 11
12 13
14 15
16
17
11
12
13 14 15 16
17 18 19 20 21 22
23
25 24
27 26
29 28
34
33
30
31 32
Resultados 41
Resultados 42
Resultados
En la primera ejecución de las pruebas el 98.14% resultaron exitosas
Los errores principalmente se debieron a la sintaxis de los archivos JSON y XML
Una vez corregidos esos errores se volvieron a ejecutar las pruebas, obteniendo un 100% de éxito
43
Contenido
Introducción
Marco Teórico
Estado del Arte
Metodología de Solución
Pruebas y Resultados
Conclusiones
44
Conclusiones
Pudo desarrollarse una aplicación capaz de presentar las recomendaciones del entorno a través de tecnologías de realidad aumentada
Se implementaron algoritmos que permiten aprovechar los sensores de orientación para descubrir los diferentes elementos en el entorno
46
Aportaciones se publico en el CIINDET el articulo con el título “Análisis de Técnicas para
el Reconocimiento de Objetos en Aplicaciones de Realidad Aumentada” Se elaboró un modelo de identificación por orientaciones, capaz de
reconocer POI’s que estén fijos o que se encuentren temporalmente fijos Se amplio la red de ontologías, incluyendo un segmento de la ontología
ONALIN para modelar orientaciones y conexiones entre pasillos, áreas funcionales y plantas de edificios
47
Trabajos futuros
Esta aplicación puede integrarse al sistema junto con las aplicaciones desarrolladas anteriormente
Puede aprovecharse la implementación de la ontología ONALIN para implementar un sistema de navegación, que utilice los estándares definidos para proporcionarle rutas de navegación a usuarios con discapacidades motrices
Otro proyecto que se contempla es la generación semiautomática de los mapas SVG a partir de la instanciación de las ontologías de infraestructura y ONALIN
48
Referencias 49
[Ajanki 2011] An Augmented Reality Interface to Contextual Information, Antti Ajanki, Mark Billinghurst, Hannes Gamper, Toni Järvenpää, Melih Kandemir, Samuel Kaski, Markus Koskela, Mikko Kurimo, Jorma Laaksonen, Kai Puolamäki, Teemu Ruokolainen, Timo Tossavainen, Special Issue on Augmented Reality, Volumen 15, 2011
[Akyildiz 2002] A survey on sensor networks, Ian F. Akyildiz, Weilian Su, Yogesh Sankarasubramaniam, and Erdal Cayirci, IEEE communications magazine, Agosto del 2002
[Bellón 2011] Look!: Framework para Aplicaciones de Realidad Aumentada en Android, Sergio Bellón Alcarazo, Jorge Creixell Rojo, Angel Serrano Laguna, Jorge J. Gómez Sanz, Universidad Complutense de Madrid, Facultad de Informática, 2011
[Dudas 2009] ONALIN: Ontology and Algorithm for Indoor Routing, Patrick M. Dudas, Mahsa Ghafourian, Tenth International Conference on Mobile Data Management: Systems, Services and Middleware, 2009
[Estrada 2010] Generación y explotación de mapas semánticos de instalaciones organizacionales mediante el uso de ontologías, Ricardo Estrada Peláez, CENIDET, México 2010
Referencias 50
[González 2012] Servicio de recomendación contextual mediante ontologías multidimensionales para dispositivos Smartphone, Nimrod González Franco, CENIDET, México 2012
[Park 2010] A Tracking Framework for Augmented Reality Tours on Cultural Heritage Sites, Byung-Kuk Seo, Kangsoo Kim, Jungsik Park, Jong-II Park, Proceedings of the 9th ACM SIGGRAPH Conference on Virtual-Reality Continuum and its Applications in Industry, Estados unidos 2010
[Turk 2010] Location-based augmented reality on mobile phones, Rémi Paucher, Matthew Turk, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2010
[Woo 2009] CAMAR Tag Framework: Context-Aware Mobile Augmented Reality Tag Framework for Dual-reality Linkage, Hyejin Kim, Wonwoo Lee, Woontack Woo, International Symposium on Ubiquitous Virtual Reality, 2009.
Referencias
[Woo 2010] Unified Context-aware Augmented Reality Application Framework for User-Driven Tour Guides, Choonsung Shin, Hyejin Kim, Changgu Kang, Youngkyoon Jang, Ahyoung Choi, Woontack Woo, International Symposium on Ubiquitous Virtual Reality, 2010.
[Yris 2012] API Para servicios de localización basada en tecnología RFID, QRCode, WIFI y Bluetooth, Miguel Ángel Yris Pastor, CENIDET, México 2010
[Zhu 2008] Personalized In-store E-Commerce with the PromoPad: an Augmented Reality Shopping Assistant, Wei Zhu, Charles B. Owen, Hairong Li, Joo-Hyun Lee, Electronic Journal for E-commerce Tools, 2008
[Zöllner 2009] An Augmented Reality Presentation System for Remote Cultural Heritage Sites, M. Zöllner, J. Keil, H. Wüst, D. Pletinckx, The 10th International Symposium on Virtual Reality, Archaeology and Cultural Heritage VAST, 2009
51
¡Gracias! 52