Slide 1

Apresentao do Artigo: Gradient Field Descriptor for Sketch Based Retrieval and Localization RUI HU, MARK BARNARD AND JOHN COLLOMOSSE CENTRE FOR VISION, SPEECH AND SIGNAL PROCESSING UNIVERSITY OF SURREY, GUILDFORD, SURREY, UK

Slide 2

Introduo Geralmente as bibliotecas de imagens so indexadas utilizando palavras chaves de contedo (tags): As tags no so suficientes para descrever uma forma mais complexa; QVE Querying databases by Visual Example: Requer uma imagem realstica, que pode estar indisponvel; SBIR Sketch Based Image Retrieval - Esboos; Imagens adaptadas de: Eitz, M.; Hildebrand, K.; Boubekeur, T.; Alexa, M., "Sketch-Based Image Retrieval: Benchmark and Bag-of- Features Descriptors," Visualization and Computer Graphics, IEEE Transactions, vol.17, no.11, pp.1624,1636, Nov. 2011

Slide 3

SBIR Sketch Based Image Retrieval

Slide 4

Bag of Visual Words Utilizam um dicionrio de palavras visuais para discriminar features (descritores) de uma imagem; Ambas as imagens (query e database) so descritas utilizando um histograma de frequncia de palavras visuais nelas presentes; Para realizar a recuperao o histograma da query comparado com os da base de dados; Problemas do Sketch: No rico em detalhes, tornando o descritor pouco discriminativo; Diferentes escalas e localizaes e deformaes na forma do objeto; O BoW carece de informaes espaciais dos descritores; eficiente para imagens que rica em detalhes e as relaes espaciais so menos importantes;

Slide 5

Proposta dos Autores Utilizar um novo descritor por eles proposto para a tarefa de recuperao de imagens de uma base de dados a partir de esboos; Gradient Field Descriptor; O novo descritor uma adaptao do HOG que supre a falta de informao espacial das palavras visuais do BoW; A adaptao feita pelos autores apresentou melhorias significantes em relao a outros descritores como SIFT e HOG padro; Tambm demonstrado como o mtodo capaz de localizar o objeto desejado na imagem;

Slide 6

Pr-Processamento Primeiramente as imagens da base de dados so transformadas em um mapa de arestas utilizando o mtodo Canny Edge Detector; Resultado: M(x, y) = {0, 1} Para os esboos apenas detectado os contornos; Fonte: http://www.cs.umd.edu/~yluo1/Projects/canny.htmlhttp://www.cs.umd.edu/~yluo1/Projects/canny.html

Slide 7

Gradient Field

Slide 8

Multi Scale Histogram of Gradient Relembrando o HOG: O descritor computado para uma janela w centrada em um ponto de interesse; A janela dividida em n x n grids e um histograma de frequncias calculado para cada grid; Os histogramas so divididos em q bins; Os histogramas so concatenados e normalizados, formando o descritor; A partir do campo de gradientes calculado um conjunto de descritores, de forma similar ao HOG, para cada ponto da aresta, ou seja, M(x, y) = 1. Para tanto estabelecido um grid de n x n O artigo proposto utiliza os seguintes parmetros para o clculo: n = [5, 10, 15] w = 3 q = 9 Ao contrrio de abordagens multi- escala, onde os descritores so concatenados para formar uma nica feature, os autores consideram cada escala de descritor de forma independente.

Slide 9

Sketch Based Retrieval Os descritores de todas as imagens so clusterizados para formar um codebooks de palavras visuais, utilizando o k-means; Um histograma H I calculado para cada imagem; Para cada query calculado um histograma H S. As imagens so ordenadas de acordo com a similaridade entre os dois histogramas.

Slide 10

Object Localization Estimao da localizao do esboo na imagem recuperada; Aplicao do RANSAC para encaixar o esboo imagem, por meio de uma transformao rgida; Linear Conformal Affine Transform (LCAT): Uniform Scale, Rotation e Translation; Primeiramente realizado uma correspondncia putativa entre os descritores das duas imagens, resultando nos conjuntos abaixo: Depois, randomicamente, so amostrados pares de correspondncia calculando o LCAT:

Slide 11

Experimentos

Slide 12

Slide 13

Concluso dos Autores Os autores demonstraram a viabilidade da utilizao do descritor proposto para a tarefa de recuperao de imagens a partir de um esboo; Por meio de experimentos, foi constatado a superioridade, em termos de acurcia, em relao aos seguintes descritores: HOG SIFT SSIM Como trabalho futuro sugerido a utilizao de sketchs coloridos;