cvim saisentan-21-tomoaki

25
This slide is made by Tomoaki Teshima. Nothing related to the authors こここここここ CV こここ こここ こここここここここここここここここここここここここここ

Upload: tomoaki0705

Post on 06-May-2015

3.120 views

Category:

Technology


0 download

DESCRIPTION

第21回コンピュータビジョン勉強会@関東 手島担当分のスライド Size Matters: Exhaustive Geometric Verification for Image Retrieval

TRANSCRIPT

Page 1: Cvim saisentan-21-tomoaki

This slide is made by Tomoaki Teshima.Nothing related to the authors

このスライドは CV 勉強会@関東の

ために手島が作成したもので、著者らには何ら関係ありません

Page 2: Cvim saisentan-21-tomoaki

Size Matters: Exhaustive Geometric Verification for Image Retrieval

Henrik Stewenius, Steniar H. Gunderson and Julien Pilet

Presenter:Tomoaki Teshima (@tomoaki_teshima)

Page 3: Cvim saisentan-21-tomoaki

Abstract

• Image/Word Search• Verification ( 位置の照合 )• Experimental Result ( 実験結果 )– 再現できるかバカヤロー

• Summary ( まとめ )

Page 4: Cvim saisentan-21-tomoaki

画像検索 (Image Search)

Query Image

http://en.wikipedia.org/wiki/Google_Images

By 2010, the index reached 10 billion images.

How to search?

Lena

Page 5: Cvim saisentan-21-tomoaki

Image Search Computation cost

TOOOOOOOOOOOO SLOOOOOWWWWW!!!

Page 6: Cvim saisentan-21-tomoaki

Word Search

I bought a new MacBook Pro

I bought a new MacBook Pro

I bought a new MacBook Pro

I bought a new MacBook Pro

bought MacBook Pro

Binary vector

Page 7: Cvim saisentan-21-tomoaki

Quantized vector 同士の距離

類似度が高い=近い

類似度が低い=遠い

Page 8: Cvim saisentan-21-tomoaki

Visual Word + Feature Extraction

Page 9: Cvim saisentan-21-tomoaki

Quantized Feature Vector

• Computation cost– Indexing -> offline– Query -> バイナリのマッチング

• 速い!

Page 10: Cvim saisentan-21-tomoaki

Abstract

• Image/Word Search• Verification ( 位置の照合 )• Experimental Result ( 実験結果 )– 再現できるかバカヤロー

• Summary ( まとめ )

Page 11: Cvim saisentan-21-tomoaki

DAAT vs TAAT

• Verifying done on matched features• None of them can be matched if they don’t

exist in query image.• Matching first or verifying first ?

Document at a time

Page 12: Cvim saisentan-21-tomoaki

Term at a Time

Page 13: Cvim saisentan-21-tomoaki

Posting list

• データベース内の画像を解析– 特徴量の quantization value– Document identifier – Normalized image position– Normalized scale

Page 14: Cvim saisentan-21-tomoaki

Geometric verification

Binary vector

Document No.: 1,2,3 Scale: 0.9Position: (0.1, 0.5)

Page 15: Cvim saisentan-21-tomoaki

Feature descriptor

• 参考文献 [21]• ただし、回転不変性は取り除いた

[21] Zheng, Y.T., Zhao, M., Song, Y., Adam, H., Buddemeier, U., Bissacco, A., Brucher,F., Chua, T.S., Neven, H.: Tour the world: Building a web-scale landmark recognitionengine. In: CVPR (2009)

Page 16: Cvim saisentan-21-tomoaki

Counting min tree

1,5,2

1,5,1

2,5,1

0,6,1

1,5,1

2,5,1

3,8,1

Page 17: Cvim saisentan-21-tomoaki
Page 18: Cvim saisentan-21-tomoaki
Page 19: Cvim saisentan-21-tomoaki

Quantized local feature

• Query image から retrieve して quantize する

• RANSAC で verification– Verify では RANSAC 使ってはじく

Page 20: Cvim saisentan-21-tomoaki

実験• 実験って所属が Google で画像検索の話で

しょ• 実験って実際の画像検索の裏側でしょ?• 実装しようにも無理でしょ• この章はスルーします

Page 21: Cvim saisentan-21-tomoaki

と思ったら• The most important part is the equation• Equation って実験の章にしか書いてない

んだけれど・・・• 実験スルーできないじゃないか・・・

Page 22: Cvim saisentan-21-tomoaki

実験のグラフ

Page 23: Cvim saisentan-21-tomoaki
Page 24: Cvim saisentan-21-tomoaki
Page 25: Cvim saisentan-21-tomoaki

Summary

• 量子化特徴ベクトルと Posting-list を使った高速な画像クエリ手法– Min-Count Tree を使った Posting-list による

ソーティング(?)で効率的にマッチングを行う

• Size Matters– 設計 / 利用としてるデータベースのサイズ、

画像の枚数、特徴量の数に応じて、クエリ手法を変える必要がある