evaluación e integración de toma de decisiones en los...
TRANSCRIPT
![Page 1: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/1.jpg)
Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación
Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki
![Page 2: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/2.jpg)
Índice
Introducción
Estado del Arte
Evaluación de Algoritmos que Toman Decisiones
Experimentos y Resultados
Conclusiones y Trabajo Futuro
Toma de Decisiones en Algoritmos de Recomendación
2
![Page 3: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/3.jpg)
1. Introducción - Motivación
Interacciones Pasadas de los Usuarios
Recomendaciones
Sistema de Recomendación
3
![Page 4: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/4.jpg)
1. Introducción - Hipótesis
4
Es mejor no recomendar que fallar
![Page 5: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/5.jpg)
1. Introducción - Objetivos
Introducir la toma de decisión en algoritmos de recomendación
Analizar cómo influye la toma de decisión en diferentes dimensiones
Estudiar cómo evaluar los nuevos sistemas y proponer nuevas métricas
1
2
3
5
![Page 6: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/6.jpg)
2. Estado del Arte
Sistemas de Recomendación
Filtrado Colaborativo
Basado en Contenido
Híbridos
K Vecinos Próximos
Factorización de Matrices
Basado en Usuarios
Variational Bayesian
6
![Page 7: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/7.jpg)
2. Estado del Arte – Evaluación
Sistema de Recomendación
Precisión
Cobertura
Diversidad Novedad
Serendipia
Confianza
Eficiencia Robustez
7
![Page 8: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/8.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Estimaciones
Interacciones Pasadas de los Usuarios
Estimaciones
Sistema de Recomendación
8
![Page 9: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/9.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Taxonomía de Técnicas de Toma de Decisión
Independiente del Modelo
Según el Soporte de la Predicción
Según la Incertidumbre de la Predicción
KNN Basado en Usuarios
KNN Basado en Usuarios
Variational Bayesian
9
![Page 10: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/10.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Independiente del modelo
IDEA: Recomendar ítem cuyo valor de rating sea mayor que un umbral
Aplicable a cualquier algoritmo de recomendación
Estimación
10
![Page 11: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/11.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Según el Soporte de la Predicción IDEA: Cuantas más opiniones se conocen sobre un ítem más confianza genera la estimación final
Aplicable a KNN
¿El ítem ha sido votado por al menos n de los k
vecinos del usuario?
Estimación aplicando KNN
basado en usuarios
11
![Page 12: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/12.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Según la Incertidumbre IDEA: La desviación típica es sinónimo de incertidumbre. A mayor desviación típica mayor incertidumbre en la estimación y menor confianza en ella.
Aplicable algoritmo que proporcionan fórmula para σ
Estimación
12
![Page 13: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/13.jpg)
3. Toma de Decisión en Algoritmos de Recomendación
Según la Incertidumbre
K Vecinos Próximos (KNN)
Variational Bayesian
Media Ponderada
13
![Page 14: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/14.jpg)
Toma de Decisión
2,5 3,1 4, 5
4,5 3,1 3, 5
4,1 2,1 3, 7 4,1 3,7
Lista Recomendación @2
3,5
4. Evaluación de Algoritmos que Toman Decisiones
Precisión vs Cobertura
HIPÓTESIS:
Integración Toma de Decisión
PRECISIÓN
COBERTURA
P@N
USC
Usuario sin recomendación
Usuario lista incompleta
Usuario lista completa
![Page 15: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/15.jpg)
4. Evaluación de Algoritmos que Toman Decisiones
Precisión vs Cobertura
Combinar P@N y USC
F-score:
G-score: 15
HIPÓTESIS:
Integración Toma de Decisión
PRECISIÓN
COBERTURA
P@N
USC
![Page 16: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/16.jpg)
4. Evaluación de Algoritmos que Toman Decisiones
Métricas Correctness IDEA: Crear una métrica que premie no recomendar a fallar
P@N = TP/N NR/N
P@N
R@N
Para la lista de recomendación de cada usuario calculamos:
16
![Page 17: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/17.jpg)
4. Evaluación de Algoritmos que Toman Decisiones
Métricas Correctness IDEA: Aplicar la misma idea pero desde el punto de vista de ítem
Para cada ítem calculamos: TP/|U| NR/|U|
17
![Page 18: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/18.jpg)
5. Experimentos y Resultados - Implementación
RankSys
Rival RankSys
Implementación Evaluación
Implementación Algoritmos
Modificaciones KNN
Implementación completa y modificaciones Variational Bayesian
18
![Page 19: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/19.jpg)
5. Experimentos y Resultados - Datasets
943 1,7K 100K 1,33% [1, 5] ML100K
6,0K 3,9K 1M 4,26% [1, 5] ML1M
59,1K 150 1,7M 1,33% [-10, 10] Jester
Dataset Usuarios Ítems Ratings Densidad Rango
Se han utilizado diferentes conjuntos de distintos dominios para poder obtener conclusiones consistentes de los algoritmos sin depender del conjunto que se haya usado
19
![Page 20: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/20.jpg)
5. Experimentos y Resultados
20
Experimentos realizados
Independiente del Modelo
Según el Soporte de la Predicción
Según la Incertidumbre de la Predicción
KNN Basado en Usuarios
KNN Basado en Usuarios
Variational Bayesian
KNN Basado en Usuarios
Variational Bayesian
![Page 21: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/21.jpg)
5. Experimentos y Resultados
Según la incertidumbre de la predicción Variational Bayesian
Precisión vs Cobertura de Usuario
21
Estimación
![Page 22: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/22.jpg)
5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian
Detalle evaluación ML100K
Mejora del 250%
22
![Page 23: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/23.jpg)
5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian
Novedad y Diversidad
23
![Page 24: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/24.jpg)
5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian
24
![Page 25: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/25.jpg)
Var
iati
on
al B
ayes
ian
K
Vec
ino
s P
róxi
mo
s
25
![Page 26: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/26.jpg)
5. Experimentos y Resultados Según el soporte de la predicción (KNN)
Precisión vs Cobertura de Usuario
26
¿El ítem ha sido votado por al menos n de los k vecinos del
usuario?
Estimación
![Page 27: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/27.jpg)
5. Experimentos y Resultados Según el soporte de la predicción (KNN)
Mejora del 562%
27
![Page 28: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/28.jpg)
5. Experimentos y Resultados Según el soporte de la predicción (KNN)
Novedad y Diversidad
28
![Page 29: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/29.jpg)
6. Conclusiones y Trabajo Futuro
Propuesta de taxonomía de técnicas para incorporar la toma de decisión. Con mejoras en P@N de hasta el 560% disminuyendo cobertura, novedad y diversidad.
Propuesta de cómo combinar P@10 y USC a través de métricas parametrizables.
Creación de métricas Correctness: UC, RUC, IC y RIC. Métricas que premian no contestar frente a fallar y que no necesitan parametrización
29
![Page 30: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/30.jpg)
6. Conclusiones y Trabajo Futuro
Ampliar experimentos con nuevos datasets y métricas
Estudiar nuevas formas de incorporar la toma de decisión en nuevos algoritmos de recomendación
Realizar estudios con usuarios
Estudiar cómo combinar otras métricas
30
![Page 31: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/31.jpg)
![Page 32: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/32.jpg)
4. Evaluación de Algoritmos que Toman Decisiones
Métricas Correctness EJEMPLO
![Page 33: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/33.jpg)
5. Experimentos y Resultados Independiente del modelo KNN
Precisión vs Cobertura de Usuario
![Page 34: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/34.jpg)
5. Experimentos y Resultados
34
Independiente del modelo KNN
![Page 35: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/35.jpg)
5. Experimentos y Resultados
Novedad y Diversidad
35
Independiente del modelo KNN
![Page 36: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/36.jpg)
5. Experimentos y Resultados Independiente del modelo Variational Bayesian
Precisión vs Cobertura de Usuario
![Page 37: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/37.jpg)
5. Experimentos y Resultados Independiente del modelo Variational Bayesian
![Page 38: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/38.jpg)
5. Experimentos y Resultados
Novedad y Diversidad
38
Independiente del modelo Variational Bayesian
![Page 39: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/39.jpg)
5. Experimentos y Resultados
39
Según la incertidumbre de la predicción KNN
![Page 40: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/40.jpg)
5. Experimentos y Resultados
40
Según la incertidumbre de la predicción KNN
Mejora del 95%
Mejora del 322%
![Page 41: Evaluación e Integración de Toma de Decisiones en los ...ir.ii.uam.es/~alejandro/2016/RMMJ_slides.pdf · 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo](https://reader034.vdocuments.pub/reader034/viewer/2022052101/603adf2547072b5a683da63f/html5/thumbnails/41.jpg)
5. Experimentos y Resultados
41
Según la incertidumbre de la predicción KNN
Novedad y Diversidad