evaluación e integración de toma de decisiones en los...

Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación

Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki

Índice

Introducción

Estado del Arte

Evaluación de Algoritmos que Toman Decisiones

Experimentos y Resultados

Conclusiones y Trabajo Futuro

Toma de Decisiones en Algoritmos de Recomendación

2

1. Introducción - Motivación

Interacciones Pasadas de los Usuarios

Recomendaciones

Sistema de Recomendación

3

1. Introducción - Hipótesis

4

Es mejor no recomendar que fallar

1. Introducción - Objetivos

Introducir la toma de decisión en algoritmos de recomendación

Analizar cómo influye la toma de decisión en diferentes dimensiones

Estudiar cómo evaluar los nuevos sistemas y proponer nuevas métricas

1

2

3

5

2. Estado del Arte

Sistemas de Recomendación

Filtrado Colaborativo

Basado en Contenido

Híbridos

K Vecinos Próximos

Factorización de Matrices

Basado en Usuarios

Variational Bayesian

6

2. Estado del Arte – Evaluación

Sistema de Recomendación

Precisión

Cobertura

Diversidad Novedad

Serendipia

Confianza

Eficiencia Robustez

7

3. Toma de Decisión en Algoritmos de Recomendación

Estimaciones

Interacciones Pasadas de los Usuarios

Estimaciones

Sistema de Recomendación

8

3. Toma de Decisión en Algoritmos de Recomendación

Taxonomía de Técnicas de Toma de Decisión

Independiente del Modelo

Según el Soporte de la Predicción

Según la Incertidumbre de la Predicción

KNN Basado en Usuarios

KNN Basado en Usuarios

Variational Bayesian

9

3. Toma de Decisión en Algoritmos de Recomendación

Independiente del modelo

IDEA: Recomendar ítem cuyo valor de rating sea mayor que un umbral

Aplicable a cualquier algoritmo de recomendación

Estimación

10

3. Toma de Decisión en Algoritmos de Recomendación

Según el Soporte de la Predicción IDEA: Cuantas más opiniones se conocen sobre un ítem más confianza genera la estimación final

Aplicable a KNN

¿El ítem ha sido votado por al menos n de los k

vecinos del usuario?

Estimación aplicando KNN

basado en usuarios

11

3. Toma de Decisión en Algoritmos de Recomendación

Según la Incertidumbre IDEA: La desviación típica es sinónimo de incertidumbre. A mayor desviación típica mayor incertidumbre en la estimación y menor confianza en ella.

Aplicable algoritmo que proporcionan fórmula para σ

Estimación

12

3. Toma de Decisión en Algoritmos de Recomendación

Según la Incertidumbre

K Vecinos Próximos (KNN)

Variational Bayesian

Media Ponderada

13

Toma de Decisión

2,5 3,1 4, 5

4,5 3,1 3, 5

4,1 2,1 3, 7 4,1 3,7

Lista Recomendación @2

3,5

4. Evaluación de Algoritmos que Toman Decisiones

Precisión vs Cobertura

HIPÓTESIS:

Integración Toma de Decisión

PRECISIÓN

COBERTURA

P@N

USC

Usuario sin recomendación

Usuario lista incompleta

Usuario lista completa

4. Evaluación de Algoritmos que Toman Decisiones

Precisión vs Cobertura

Combinar P@N y USC

F-score:

G-score: 15

HIPÓTESIS:

Integración Toma de Decisión

PRECISIÓN

COBERTURA

P@N

USC

4. Evaluación de Algoritmos que Toman Decisiones

Métricas Correctness IDEA: Crear una métrica que premie no recomendar a fallar

P@N = TP/N NR/N

P@N

R@N

Para la lista de recomendación de cada usuario calculamos:

16

4. Evaluación de Algoritmos que Toman Decisiones

Métricas Correctness IDEA: Aplicar la misma idea pero desde el punto de vista de ítem

Para cada ítem calculamos: TP/|U| NR/|U|

17

5. Experimentos y Resultados - Implementación

RankSys

Rival RankSys

Implementación Evaluación

Implementación Algoritmos

Modificaciones KNN

Implementación completa y modificaciones Variational Bayesian

18

5. Experimentos y Resultados - Datasets

943 1,7K 100K 1,33% [1, 5] ML100K

6,0K 3,9K 1M 4,26% [1, 5] ML1M

59,1K 150 1,7M 1,33% [-10, 10] Jester

Dataset Usuarios Ítems Ratings Densidad Rango

Se han utilizado diferentes conjuntos de distintos dominios para poder obtener conclusiones consistentes de los algoritmos sin depender del conjunto que se haya usado

19

5. Experimentos y Resultados

20

Experimentos realizados

Independiente del Modelo

Según el Soporte de la Predicción

Según la Incertidumbre de la Predicción

KNN Basado en Usuarios

KNN Basado en Usuarios

Variational Bayesian

KNN Basado en Usuarios

Variational Bayesian

5. Experimentos y Resultados

Según la incertidumbre de la predicción Variational Bayesian

Precisión vs Cobertura de Usuario

21

Estimación

5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian

Detalle evaluación ML100K

Mejora del 250%

22

5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian

Novedad y Diversidad

23

5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian

24

Var

iati

on

al B

ayes

ian

K

Vec

ino

s P

róxi

mo

s

25

5. Experimentos y Resultados Según el soporte de la predicción (KNN)

Precisión vs Cobertura de Usuario

26

¿El ítem ha sido votado por al menos n de los k vecinos del

usuario?

Estimación

5. Experimentos y Resultados Según el soporte de la predicción (KNN)

Mejora del 562%

27

5. Experimentos y Resultados Según el soporte de la predicción (KNN)

Novedad y Diversidad

28

6. Conclusiones y Trabajo Futuro

Propuesta de taxonomía de técnicas para incorporar la toma de decisión. Con mejoras en P@N de hasta el 560% disminuyendo cobertura, novedad y diversidad.

Propuesta de cómo combinar P@10 y USC a través de métricas parametrizables.

Creación de métricas Correctness: UC, RUC, IC y RIC. Métricas que premian no contestar frente a fallar y que no necesitan parametrización

29

6. Conclusiones y Trabajo Futuro

Ampliar experimentos con nuevos datasets y métricas

Estudiar nuevas formas de incorporar la toma de decisión en nuevos algoritmos de recomendación

Realizar estudios con usuarios

Estudiar cómo combinar otras métricas

30

4. Evaluación de Algoritmos que Toman Decisiones

Métricas Correctness EJEMPLO

5. Experimentos y Resultados Independiente del modelo KNN

Precisión vs Cobertura de Usuario

5. Experimentos y Resultados

34

Independiente del modelo KNN

5. Experimentos y Resultados

Novedad y Diversidad

35

Independiente del modelo KNN

5. Experimentos y Resultados Independiente del modelo Variational Bayesian

Precisión vs Cobertura de Usuario

5. Experimentos y Resultados Independiente del modelo Variational Bayesian

5. Experimentos y Resultados

Novedad y Diversidad

38

Independiente del modelo Variational Bayesian

5. Experimentos y Resultados

39

Según la incertidumbre de la predicción KNN

5. Experimentos y Resultados

40

Según la incertidumbre de la predicción KNN

Mejora del 95%

Mejora del 322%

5. Experimentos y Resultados

41

Según la incertidumbre de la predicción KNN

Novedad y Diversidad