ALMA MATER STUDIORUMUNIVERSITÀ DI BOLOGNAFACOLTÀ DI INGEGNERIACORSO DI LAUREA IN INGEGNERIA INFORMATICA

INDICIZZAZIONE DI COLLEZIONI VIDEO

INTERFACCIA MIDDLEWARE

CANDIDATO RELATRICE

Daniele Campogiani Prof.ssa Ilaria Bartolini

CORRELATORE

Prof. Marco Patella

19 Dicembre 2012

Scenario

● Estensione del framework di gestione di collezioni video SHIATSU (© MultiMedia DataBase Group –

Università di Bologna) arricchendolo del supporto per interrogazioni di similarità basate su indici– Realizzazione di algoritmi per la ricerca di video

di interesse basate su indici– Realizzazione di interfaccia middleware

indipendente dalla rappresentazione di key frame di una sequenza video

Rappresentazione di un video

● Il video è un oggetto multimediale complesso– video diviso in

sequenze (shot)

– shot rappresentati da un insieme di key frame

Il problema del confronto di video● La similarità tra due video è ottenuta partendo dalla

similarità tra gli shot che costituiscono i video● La similarità tra due shot è ottenuta grazie a somiglianza

tra key frame rappresentativi● Quali scegliere?

– Il primo il mediano e l'ultimo– Campionando ad intervalli di tempo prefissati

● Come aggregare informazioni sui singoli key frame?

Il problema del Matching

● Trovare similarità tra due shot si traduce in assegnare i keyframe dei due shot

Matching 1-1 Matching N-M

Similarità tra shot

● Estrazione keyframe rappresentativi● Matching dei keyframe● Calcolo distanza tra singoli keyframe● Tramite funzione di aggregazione si ottiene

somiglianza dei due shot– SHIATSU solo su Earth's Mover Distance che

offre una soluzione efficiente per il problema del trasporto

Implementazione indici

● Utilizzo di indice M-Tree (© MultiMedia DataBase Group –

Università di Bologna) :– Recuperare oggetti simili ad un oggetto query

in modo efficiente

● Due tipi di indice:– Su oggetti completi : Shot

– Su frammenti degli oggetti: Key frame

Le rappresentazioni dei key frame

Immagini alla Windsurf (© 2009 MultiMedia DataBase Group – Università di Bologna)

Immagine suddivisa in regioni grazie a informazioni su colore, forma e texture

● Pro : elevata precisione

● Contro : costo computazionale elevato

Istogrammi HSV

Utilizzo delle sole informazioni sul colore

● Pro : basso costo computazionale

● Contro : minor precisione

Risultati ottenuti

Windsurf Istogrammi HSV

FirstFirst - Last

First - Middle - LastAll

0

200

400

600

800

1000

1200

1400

294.4

563.2

845.5

1303

0.54 1.89 3.51 6.34

Sequenziale

k-NN-ShotIndex

Te

mp

o (

se

con

di)

FirstFirst - Last

First - Middle - LastAll

0

100

200

300

400

85.5

175.5

271335

0.1 0.2 0.34 0.48

Sequenziale

k-NN-ShotIndex

Te

mp

o (

se

con

di)

FirstFirstLast

FirstMiddleLastAll

00.10.20.30.40.50.60.70.80.9

1

Precision

Recall

FirstFirstLast

FirstMiddleLastSeven

00.10.20.30.40.50.60.70.80.9

1

Precision

Recall

Esempio di query

Conclusioni● È stata realizzata un'interfaccia middleware Java che permette

l'utilizzo di codice nativo C++ (libreria M-Tree) tramite JNI– Tale libreria in garantisce prestazioni migliori

● scalabilità

● Interfaccia middleware indipendente dalla rappresentazione dei key frame.– Immagini alla Windsurf

– Istogrammi HSV

Si è raggiunto l'obiettivo di scalabilità per il framework SHIATSU che ne permette l'applicazione su collezioni video di elevate dimensioni– Applicazioni reali