construcción en línea e incremental de diccionarios visuales
DESCRIPTION
Los diccionarios visuales son una de las herramientas que se utilizan para resolver los problemas relacionados con reconocimiento de clases (objetos o escenas) en visión por computador. Normalmente se crea un diccionario visual para un problema en particular y un grupo de clases. El proceso de creación del diccionario visual necesita de un periodo de aprendizaje para seleccionar las palabras visuales. Este aprendizaje, se vuelve una limitación cuando tenemos muchas clases de donde obtener las palabras visuales, o cuando queremos agregar una nueva clase a nuestro grupo actual de clases, dado que necesitaremos volver a crear el diccionario visual. Se presenta un algoritmo basado en técnicas de aprendizaje máquina, que permite crear diccionarios y además agregar nuevas clases sin necesidad de volver ejecutar el aprendizaje completo nuevamente.TRANSCRIPT
![Page 1: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/1.jpg)
CONSTRUCCIÓN EN
LÍNEA E INCREMENTAL
DE DICCIONARIOS
VISUALES
Cristóbal Rojas
Profesor Guía: Álvaro Soto
26 de octubre de 2012
![Page 2: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/2.jpg)
Motivación
• Visión por computador, clasificación
• Escenas y objetos en imágenes
• Técnicas usadas
![Page 3: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/3.jpg)
Diccionario Visual
• Visión por Computador
![Page 4: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/4.jpg)
BoW (Bag of Word)
• Usado en Text Mining
• Queremos clasificar textos (según sus temas)
• Uso de Bag of Word (BoW)
![Page 5: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/5.jpg)
Bag of Word
• Usando BoW para clasificar
![Page 6: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/6.jpg)
Bag of Word
• Diccionario y representación usando BoW
![Page 7: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/7.jpg)
Bag of Word
• ¿Basta solo con la representación BoW?
• Necesitamos un algoritmo de clasificación
![Page 8: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/8.jpg)
ML (Machine Learning)
![Page 9: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/9.jpg)
Diccionario Visual
• Palabras Visuales
• BoW
![Page 10: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/10.jpg)
Palabras Visuales
![Page 11: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/11.jpg)
Palabras Visuales
![Page 12: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/12.jpg)
BoW
![Page 13: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/13.jpg)
BoW
![Page 14: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/14.jpg)
Diccionario Visual
• ¿Cómo formamos el BoW?
• Matching de puntos de interés
![Page 15: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/15.jpg)
Matching de puntos de interés
• Actualmente es tratado como un problema de
clasificación de múltiples clases.
• Lepetit et al. (2005)
![Page 16: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/16.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
• Matching de puntos de interés, problema de clasificación
• Usa Random Forest
![Page 17: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/17.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
• Set de entrenamiento
![Page 18: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/18.jpg)
Randomized Tree for Real –Time
Keypoint Recognition
![Page 19: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/19.jpg)
Pregunta de Investigación
• ¿Podemos construir un algoritmo de matching de puntos
de interés que funcione en línea?
![Page 20: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/20.jpg)
Propuesta
• ¿Podemos crear un diccionario visual que se pueda
actualizar en línea?
• ¿Qué necesitamos para permitir que esto ocurra?
![Page 21: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/21.jpg)
Propuesta
• Buscamos Clasificador de múltiples clases que funcione
en línea
• ECOC
![Page 22: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/22.jpg)
ECOC (Error Correcting Output Codes)
• Clasificador de múltiples clases.
• Separa el problema en muchas clasificaciones binarias.
• Un código ternario a cada clase
• Codificación, Decodificación, Matriz de códigos.
![Page 23: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/23.jpg)
Matriz con Códigos
• Columnas como particiones y tantas filas como clases,
esta formada por 0, 1 y -1
![Page 24: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/24.jpg)
Codificación
• Etapa que genera los códigos de cada clase.
• Existen diversas formas de realizar esta tarea
![Page 25: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/25.jpg)
ECOC: Decodificación
• Etapa de inferencia
• Distintos métodos
![Page 26: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/26.jpg)
ECOC online
• Podemos incluir clases al clasificador sin necesidad de
reentrenar todo el clasificador
![Page 27: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/27.jpg)
ECOC online
![Page 28: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/28.jpg)
Propuesta
• Construir sistema de Matching de puntos clave usando un
clasificador ECOC
![Page 29: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/29.jpg)
Set de entrenamiento
• Datos de lugares del DCC
• Usando SIFT para encontrar puntos de interés
![Page 30: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/30.jpg)
Set de entrenamiento
• Crear Set de clases de los puntos de interés usando
homografías
![Page 31: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/31.jpg)
Codificación
• One vs One
![Page 32: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/32.jpg)
Decodificación
• Weighted decoding
![Page 33: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/33.jpg)
Limitaciones
• Complejidad (tiempo-espacio)
![Page 34: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/34.jpg)
Pasos a seguir
• Terminar de formular un clasificador que puede agregar
puntos de interés de manera online
• Construir el algoritmo que permita verificar si un punto es
nuevo o no
![Page 35: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/35.jpg)
CONSTRUCCIÓN EN
LÍNEA E INCREMENTAL
DE DICCIONARIOS
VISUALES
Cristóbal Rojas
Profesor Guía: Álvaro Soto
26 de octubre de 2012
![Page 36: Construcción en línea e incremental de Diccionarios Visuales](https://reader033.vdocuments.pub/reader033/viewer/2022042715/559752ec1a28abe75b8b46bb/html5/thumbnails/36.jpg)