máster en desarrollo de software - universidad de granada
TRANSCRIPT
![Page 1: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/1.jpg)
Máster en Desarrollo de Software
Prof. Ramón López-Cózar Delgado
Sistemas de Diálogo Hablado y Multimodal
Procesamiento
del Habla
en Call Centers
Automáticos
Interacción
Multimodal
en Entornos
de Inteligencia
Ambiental
![Page 2: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/2.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal2
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
![Page 3: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/3.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal3
http://sisdial.ugr.es
![Page 4: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/4.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal4
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
![Page 5: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/5.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal5
1.1 Procesamiento del habla
� Reconocimiento automático del habla
� Comprensión del habla
� Gestión del diálogo hablado persona-ordenador
� Generación del habla
![Page 6: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/6.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal6
1.1 Procesamiento del habla: Sistemas de diálogo
![Page 7: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/7.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal7
1.1 Procesamiento del habla: Sistemas de diálogo
![Page 8: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/8.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal8
1.1 Procesamiento del habla: Sistemas de diálogo
RAH
RAH
Comprensión
Comprensión
Gestor diálogo
Gestor diálogo
GLN
GLN
Sintetizador
Sintetizador
Vocabulario,
modelos acústicos
y de lenguaje
Vocabulario,
modelos acústicos
y de lenguaje
MemoriaMemoria
Voz
Usuario
Voz
Usuario
Voz
sistema
Voz
sistema
Palabras y
reglas de
gramática
Palabras y
reglas de
gramática
Patrones y
reglas
Patrones y
reglas
Interfaz de EntradaInterfaz de Entrada Interfaz de SalidaInterfaz de Salida
Palabras
reconocidas
Palabras
reconocidas
Representación
semántica
Representación
semántica
Información
a generar
Información
a generar
Expectativas
Expectativas
Frases en
formato texto
Frases en
formato texto
Modelo de
diálogo,
estrategias
Modelo de
diálogo,
estrategias
Base datos localBase datos local Base datos remotaBase datos remota
![Page 9: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/9.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal9
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de aplicaciones en Android
1.6 Interacción humano-robot
![Page 10: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/10.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal10
1.2 Interacción multimodal
![Page 11: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/11.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal11
1.2 Interacción multimodal
Aut. speechrecognition
Handwritingrecognition
Gesturerecognition
Lipreadingrecognition
Faceloc. & track.
Nat. lang.generation
Graphicgeneration
Speechsynthesis
Multimodaldata storage
Gazetracking
Nat. lang.processing
DatabaseTask
Multimodaldata fusion
Dialoguemanager
Responsegenerator
Input interface
Output interface
Multimodal processing
![Page 12: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/12.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal12
1.2 Interacción multimodal
![Page 13: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/13.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal13
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
![Page 14: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/14.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal14
1.3 Inteligencia Ambiental (AmI)
![Page 15: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/15.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal15
1.3 Inteligencia Ambiental (AmI)
![Page 16: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/16.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal16
1.3 Inteligencia Ambiental (AmI)
Home.cfg
ROOMS
APPLIANCES
Home.cfg
ROOMS
APPLIANCES
Light.xml(SRGS Grammar)
ACTIONS
Light.xml(SRGS Grammar)
ACTIONS
Light.cfg
ATTRIBUTES
VALUES
(range)
Light.cfg
ATTRIBUTES
VALUES
(range)
SPEECH
INTERFACE
GUI
INTERFACE
![Page 17: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/17.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal17
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de aplicaciones en Android
1.6 Interacción humano-robot
![Page 18: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/18.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal18
1.4 Computación afectiva
� Objetivo
– Lograr interfaces más naturales
� Aproximaciones
– Detección de estados emocionales de usuarios
– Generación de estados emocionales en usuarios
� Tarea muy dificultosa
– No se comprende totalmente como ser humano “procesa” las emociones
– Subjetividad de las emociones
– Conocimiento disperso en varias disciplinas
– Número limitado de emociones para tener éxito
![Page 19: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/19.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal19
ASR
NLP
Dialog Manag.
NLG
Synthesiser
Memory
User
voice
System
voice
Input Interface
Output
Interface
Recognised
words
Semantic
representation
Response
to generate
Response in
text form
at
Emotion
Detection
� Detección de estados emocionales de usuarios
![Page 20: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/20.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal20
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
![Page 21: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/21.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal21
1.5 Desarrollo de Voice apps en Android
Objetivo: comunicarnos con nuestros smarphones y smart devices de forma más natural y flexible•Desarrollo de asistentes personales•Desarrollo de interfaces para nuevos dispositivos
![Page 22: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/22.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal22
1. Investigación
1.1 Procesamiento del habla
1.2 Interacción multimodal
1.3 Inteligencia Ambiental (AmI)
1.4 Computación afectiva
1.5 Desarrollo de Voice apps en Android
1.6 Interacción humano-robot
![Page 23: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/23.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal23
1.6 Interacción humano-robot
Objetivo: dotar a los robots de capacidades conversacionales:• Modelos del usuario• Modelos del diálogo humano-robot
• Modelos de personalidad para el robot
![Page 24: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/24.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal24
Bibliografía
![Page 25: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/25.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal25
Bibliografía
![Page 26: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/26.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal26
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
![Page 27: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/27.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal27
2. Cursos del Máster
� Procesamiento del Habla en Call-Centers
Automáticos (PHCCA)
�2 ETCS
�Profesorado:
– Zoraida Callejas Carrión (UGR)
–Ramón López-Cózar Delgado (UGR)
![Page 28: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/28.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal28
2. Cursos del Máster
� Interacción Multimodal en Entornos de
Inteligencia Ambiental (IMEIA)
�2 ECTS
�Profesorado
– Zoraida Callejas Carrión (UGR)
–Ramón López-Cózar Delgado (UGR)
–Germán Montoro Manrique (Univ. Autónoma de Madrid)
![Page 29: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/29.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal29
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
![Page 30: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/30.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal30
3. Oferta de Trabajos de Fin de Máster
� Cualquier trabajo relacionado con los temas de investigación comentados
� Ejemplo de TFM sobre “Procesamiento del habla”
– “Centralita Avanzada: Integración y Desarrollo
de una Centralita VoIP con un Sistema de
Procesamiento del habla”
�Autor: Jesús Gumiel Ramírez
![Page 31: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/31.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal31
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Sistemas de diálogo”
– “Técnicas de Evaluación de Sistemas de
Diálogo: Aplicación al Sistema Mayordomo”
�Autora: Nieves Ábalos Serrano
![Page 32: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/32.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal32
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Interacción Multimodal”
– “ORIENTA: Un Asistente Multimodal para la
Educación Universitaria”
�Autora: Ana María Gutiérrez Castillo
![Page 33: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/33.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal33
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Inteligencia Ambiental”
– “Diseño y Desarrollo de una Habitación
Inteligente con Interfaz del Habla y Localización
de Usuarios”
�Autor: Gonzalo Espejo Pérez
![Page 34: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/34.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal34
3. Oferta de Trabajos de Fin de Máster
� Ejemplos de TFM sobre “Computación afectiva”
– “Análisis de requisitos y diseño de una
aplicación para el desarrollo y evaluación de la
capacidad de reconocimiento de emociones de
los niños con trastorno del espectro autista”
�Autora: Mª Isabel Molina Caballero
– “Emotional Space: The Soul of Emotions – A
representation system of emotions for affective
computing”
�Autor: Fernando J. Porcel Sánchez
![Page 35: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/35.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal35
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Desarrollo de apps en Adroid”
– “Desarrollo de una app Android para el control
remoto de una TV-Box”
�Autor: José Alfonso Albarral Camino
![Page 36: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/36.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal36
3. Oferta de Trabajos de Fin de Máster
� Ejemplo de TFM sobre “Interacción humano-robot”
– “Desarrollo de un agente cuentacuentos infantil
expresivo con modelo afectivo y de
personalidad”
�Autor: Ángel Ariza Osuna
![Page 37: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/37.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal37
Puntos a tratar
1. Investigación
2. Cursos del Máster
3. Trabajos de Fin de Máster
4. Profesorado
![Page 38: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/38.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal38
4. Profesorado
� Zoraida Callejas Carrión
Dpto. LSI, UGR, Telf. 958240580
� Ramón López-Cózar Delgado
Dpto. LSI, UGR, Telf. 958240579
� Germán Montoro Manrique
Dpto. Ingeniería Informática
Universidad Autónoma de Madrid, Telf. 914972210
![Page 39: Máster en Desarrollo de Software - Universidad de Granada](https://reader035.vdocuments.pub/reader035/viewer/2022081614/62c8f5980b18e2091d54a765/html5/thumbnails/39.jpg)
Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal39
¿Preguntas?
Gracias por la
atención