Tartalomalapú
médiavisszakeresés
Kiss Attila
Információs Rendszerek Tanszék kiss@inf.elte.hu
Bevezetés
A webre egyre több multimédia tartalom (kép, hang, videó) kerül fel.
A multimédia tartalmak kategorizálása, szöveges leírása
– rengeteg emberi munka lenne,
– a leírások nem biztos, hogy elég pontosak.
A tartalom alapú keresők
– a multimédia adatokat a jellemzők (features) értékei alapján egy többdimenziós térben ábrázolják. Ezek után osztályozási,
mintaillesztési feladatokat oldanak meg.
– Tipikus, hogy egy képhez keresünk hasonlókat. Lehet hangminta, dúdolás alapján is keresni.
Alkalmazások:
– például röntgen képeket összehasonlítva a hasonló képek alapján segít diagnózist alkotni.
An Image Retrieval Example (Viper)
The query input.
An Image Retrieval Example
(Viper)
User feedback.
Refined results. Better?
Another query for paintings.
Painting Search Result
The shortlist returned from the search.
Tartalomalapú keresés
Hogy adjuk meg a keresési feltételt:
– Szöveges leírással.
– Egy vagy több mintaképet, hangot, klippet adunk meg.
– Rajzolunk egy egyszerű vázlatot, például sötét háttérben egy narancssárga kört, ha naplementés képeket keresünk.
– Kombináljuk fentieket.
Az eredmény formája
– Egy lista, például kicsinyített képekkel.
– Azok a klipprészek, amit kerestünk, például, ahol autós üldözési jelenet látható.
– Az eredményből strukturált weboldalt vagy más dokumentumot állítunk elő.
– A felhasználó finomíthatja, véleményezheti az eredményt, ezzel tovább jaívthatja a kereső algoritmust.
A kereséshez az alapvető feladata médiaadatok összehasonlítása.
Hogyan értékeljük ki a keresési algoritmus jóságát?
Pontosság (Precision) és Recall
– Precision = (# releváns elemek) / (# összes visszaadott elem)
– Recall = (# releváns elemek) / ( # reof related items in the dataset)
The procedure of drawing a Recall-Precision Curve:
– Compute the relevance score for each item in the database.
– Sort the list.
– Assume the sorted list is like r r r n n r r r n n …
and we have total 6 relevant items in the database
The Recall-Precision Curve
1/6 2/6 3/6 4/6 5/6 1
1 Precision
Recall Short list is like: r r r n n r r r n n …
Q: Why do not we just use a single value instead of a curve?
The “Best” Recall-Precision Curve
1 Precision
Recall
1/(# of relevant items) (# of relevant items)/
(# of total items)
1
Image Retrieval Methods
To find images in a database, we have to compare images quantitatively based on “features”.
We can compare the images as a whole using features like:
– Color, textures and their spatial layouts.
We can also segment images into regions and use similar features in object detection.
In some recent systems, people use salient features such as SIFT (Scale Invariant Transform) like
features, learning and pattern recognition methods.
Szín-hisztogram módszer
Sok rossz találat is lesz.
Szín-hisztogram javítása
Válasszuk szét az előteret és a hátteret.
Foreground Background
Szín-hisztogram továbbfejlesztése
Definiáljunk térbeli tartományokat és köztük lévő kapcsolatokat.
Color Blob 2
Color Blob 1
Keressünk hasonló alakzatokat
Finding similar shapes is a very useful tool in managing large number of images.
Chamfer matching is a standard method to compare the similarity of shapes.
General Hough Transform can also be used to find shapes in images.
Shape Context
Shape context is another widely used feature in shape retrieval.
Cij is the distance of shape contexts hi and hj
Improve Matching Efficiency
Fast pruning in matching
– Reprehensive shape contexts
– Shapemes
Greg Mori, Serge Belongie, and Jitendra Malik,
Shape Contexts Enable Efficient Retrieval of Similar Shapes, CVPR, 2001
Example Results
Current Trends and Challenges
We now show a more “recent” work
L. Fei-Fei, R. Fergus, and P. Perona. A Bayesian approach to
unsupervised One-Shot learning of Object categories. ICCV 2003.
The goal is to detect whether an object appears in an image.
SIFT features are used.
The good features are In fact learned from Small set of training images.
Motor bike Results.
Competitions about Object Recognition
http://www.pascal-
network.org/challenges/VOC/voc2007/
Retrieve Other Multimedia Data
Audio retrieval
– Find a audio clip in a large database.
Video retrieval
– Find a specific video clip.
– Find a video short that has specific person or action.
– Browsing video …
Data Structures in Media Retrieval
In multimedia data retrieval we often need to find the
“nearest Neighbor” in the database from the exemplar.
We can abstract each media object as a feature
vector. Our goal is to organize the database so that we can locate the most similar vector as quickly as possible.
Q: Think of some data structures that help to improve the searching.
K-d Tree
A 2D k-d tree
a b c
d e
f
a
b
c d f
Summary
Content based multimedia retrieval is still not mature.
Many problems still need to be solved.
There is no single method that solves all the problems.
We need better object detection and classification schemes.
Other related problems like multimedia data mining are also attracting more and more interest.
