cvim saisentan-21-tomoaki

This slide is made by Tomoaki Teshima.Nothing related to the authors

このスライドは CV 勉強会＠関東の

ために手島が作成したもので、著者らには何ら関係ありません

Size Matters: Exhaustive Geometric Verification for Image Retrieval

Henrik Stewenius, Steniar H. Gunderson and Julien Pilet

Presenter:Tomoaki Teshima (@tomoaki_teshima)

Abstract

• Image/Word Search• Verification ( 位置の照合 )• Experimental Result ( 実験結果 )– 再現できるかバカヤロー

• Summary ( まとめ )

画像検索 (Image Search)

Query Image

http://en.wikipedia.org/wiki/Google_Images

By 2010, the index reached 10 billion images.

How to search?

Lena

Image Search Computation cost

TOOOOOOOOOOOO SLOOOOOWWWWW!!!

Word Search

I bought a new MacBook Pro

I bought a new MacBook Pro

I bought a new MacBook Pro

I bought a new MacBook Pro

bought MacBook Pro

Binary vector

Quantized vector 同士の距離

類似度が高い＝近い

類似度が低い＝遠い

Visual Word + Feature Extraction

Quantized Feature Vector

• Computation cost– Indexing -> offline– Query -> バイナリのマッチング

• 速い！

Abstract

• Image/Word Search• Verification ( 位置の照合 )• Experimental Result ( 実験結果 )– 再現できるかバカヤロー

• Summary ( まとめ )

DAAT vs TAAT

• Verifying done on matched features• None of them can be matched if they don’t

exist in query image.• Matching first or verifying first ?

Document at a time

Term at a Time

Posting list

• データベース内の画像を解析– 特徴量の quantization value– Document identifier – Normalized image position– Normalized scale

Geometric verification

Binary vector

Document No.: 1,2,3 Scale: 0.9Position: (0.1, 0.5)

Feature descriptor

• 参考文献 [21]• ただし、回転不変性は取り除いた

[21] Zheng, Y.T., Zhao, M., Song, Y., Adam, H., Buddemeier, U., Bissacco, A., Brucher,F., Chua, T.S., Neven, H.: Tour the world: Building a web-scale landmark recognitionengine. In: CVPR (2009)

Counting min tree

1,5,2

1,5,1

2,5,1

0,6,1

1,5,1

2,5,1

3,8,1

Quantized local feature

• Query image から retrieve して quantize する

• RANSAC で verification– Verify では RANSAC 使ってはじく

実験• 実験って所属が Google で画像検索の話で

しょ• 実験って実際の画像検索の裏側でしょ？• 実装しようにも無理でしょ• この章はスルーします

と思ったら• The most important part is the equation• Equation って実験の章にしか書いてない

んだけれど・・・• 実験スルーできないじゃないか・・・

実験のグラフ

Summary

• 量子化特徴ベクトルと Posting-list を使った高速な画像クエリ手法– Min-Count Tree を使った Posting-list による

ソーティング（？）で効率的にマッチングを行う

• Size Matters– 設計 / 利用としてるデータベースのサイズ、

画像の枚数、特徴量の数に応じて、クエリ手法を変える必要がある