Download - Tartalomalapú médiavisszakeresés
2
Bevezetés A webre egyre több multimédia tartalom (kép, hang, videó) kerül
fel. A multimédia tartalmak kategorizálása, szöveges leírása
– rengeteg emberi munka lenne,
– a leírások nem biztos, hogy elég pontosak.
A tartalom alapú keresők– a multimédia adatokat a jellemzők (features) értékei alapján egy
többdimenziós térben ábrázolják. Ezek után osztályozási, mintaillesztési feladatokat oldanak meg.
– Tipikus, hogy egy képhez keresünk hasonlókat. Lehet hangminta, dúdolás alapján is keresni.
Alkalmazások: – például röntgen képeket összehasonlítva a hasonló képek alapján
segít diagnózist alkotni.
9
Tartalomalapú keresés Hogy adjuk meg a keresési feltételt:
– Szöveges leírással.– Egy vagy több mintaképet, hangot, klippet adunk meg.– Rajzolunk egy egyszerű vázlatot, például sötét háttérben egy
narancssárga kört, ha naplementés képeket keresünk.– Kombináljuk fentieket.
Az eredmény formája– Egy lista, például kicsinyített képekkel.– Azok a klipprészek, amit kerestünk, például, ahol autós üldözési
jelenet látható.– Az eredményből strukturált weboldalt vagy más dokumentumot
állítunk elő.– A felhasználó finomíthatja, véleményezheti az eredményt, ezzel
tovább jaívthatja a kereső algoritmust. A kereséshez az alapvető feladata médiaadatok összehasonlítása.
10
Hogyan értékeljük ki a keresési algoritmus jóságát?
Pontosság (Precision) és Recall– Precision = (# releváns elemek) / (# összes visszaadott
elem)– Recall = (# releváns elemek) / ( # reof related items
in the dataset)
The procedure of drawing a Recall-Precision Curve:– Compute the relevance score for each item in the database.– Sort the list.– Assume the sorted list is like
r r r n n r r r n n …
and we have total 6 relevant items in the database
11
The Recall-Precision Curve
1/6 2/6 3/6 4/6 5/6 1
1
Precision
Recall
Short list is like: r r r n n r r r n n …
Q: Why do not we just use a single value instead of a curve?
12
The “Best” Recall-Precision Curve
1
Precision
Recall1/(# of relevant items)
(# of relevant items)/(# of total items)
1
13
Image Retrieval Methods
To find images in a database, we have to compare images quantitatively based on “features”.
We can compare the images as a whole using features like:– Color, textures and their spatial layouts.
We can also segment images into regions and use similar features in object detection.
In some recent systems, people use salient features such as SIFT (Scale Invariant Transform) like features, learning and pattern recognition methods.
16
Szín-hisztogram továbbfejlesztése
Definiáljunk térbeli tartományokat és köztük lévő kapcsolatokat.
ColorBlob 2
ColorBlob 1
17
Keressünk hasonló alakzatokat
Finding similar shapes is a very useful tool in managing large number of images.
Chamfer matching is a standard method to compare the similarity of shapes.
General Hough Transform can also be used to find shapes in images.
18
Shape Context
Shape context is another widely used feature in shape retrieval.
Cij is the distance of shape contexts hi and hj
19
Improve Matching Efficiency
Fast pruning in matching– Reprehensive shape contexts
– Shapemes
Greg Mori, Serge Belongie, and Jitendra Malik, Shape Contexts Enable Efficient Retrieval of Similar Shapes, CVPR, 2001
21
Current Trends and Challenges
We now show a more “recent” work
L. Fei-Fei, R. Fergus, and P. Perona. A Bayesian approach tounsupervised One-Shot learning of Object categories. ICCV 2003.
The goal is to detect whether an objectappears in an image.
24
Competitions about Object Recognition
http://www.pascal-network.org/challenges/VOC/voc2007/
25
Retrieve Other Multimedia Data
Audio retrieval– Find a audio clip in a large database.
Video retrieval– Find a specific video clip.– Find a video short that has specific person or action.– Browsing video …
26
Data Structures in Media Retrieval
In multimedia data retrieval we often need to find the “nearest Neighbor” in the database from the exemplar.
We can abstract each media object as a feature vector. Our goal is to organize the database so that we can locate the most similar vector as quickly as possible.
Q: Think of some data structures that help to improve the searching.
27
K-d Tree
A 2D k-d tree
a
b
c
d e
f
a
b
c d f
28
Summary
Content based multimedia retrieval is still not mature. Many problems still need to be solved.
There is no single method that solves all the problems.
We need better object detection and classification schemes.
Other related problems like multimedia data mining are also attracting more and more interest.