Analisi e sperimentazione di tecnologieper l’identificazione e il riconoscimentodi contenuti multimediali nel QuadruplePlay

Ing. Marco BarbatoProf. Massimo Panella

Dipartimento di Ingegneria dell’Informazione, Elettronica e Telecomunicazioni (DIET)Via Eudossiana, 18 00184 Roma

Telecom Italia S.p.A. – Presentazione dei risultati raggiunti

Riconoscimento di contenuti multimediali nel Quad Play

Pagina 2

Inquadramento dello scenario

Starting point: diffusione massiva di smart devices

Aree di riferimento• Comunicazione Adattiva Multicanale: modello di diffusione delle informazioni che

sfrutta diversi canali di comunicazione per raggiungere interlocutori diversi.• Quadruple Play: integrazione in un’unica connessione dei flussi voce, dati e video in

ottica wireless, utilizzando uno stesso dispositivo per la fruizione dei suddetti servizi.• Audio Data Retrieval: estrazione di dati che consente l’indicizzazione su DB e

l’identificazione (acustica) di tracce musicali opportunamente codificate attraverso latecnica del FINGERPRINTING.

Il Second Screen consiste nell’ottenimento di uncollegamento diretto con il device durante ilconsumo di un contenuto di intrattenimento.Tipicamente ci si riferisce all’utilizzo in parallelo deldispositivo mobile mentre si guarda un film, unatrasmissione, un evento sportivo, etc., risultando inuna modalità di fruizione attiva.

dimensioni displayaffidabilità connessionifruizione di contenuti

Riconoscimento di contenuti multimediali nel Quad Play

Pagina 3

Caratteristiche dell’idea progettuale

• Orientamento alla e all’utente (non più broadcastà canale di ritorno)• Relazione fortemente con l’utente (mi avvalgo dei diversi sensori)• Diversificazione dei da trasmettere (più o meno avanzati e

personalizzati)• Moltiplicazione dei con l’utente

Ambiti applicativi: ADVERISEMENT e INFOTAINMENT

Oggetto dell’identificazione: RICONOSCIMENTO DI SPOTPUBBLICITARI

Obiettivo finale -­ CUSTOMER ENGAGEMENTInstaurare un rapporto diretto con il cliente eaumentarne il coinvolgimento

• Attivazione contenuti studiati ad hoc• Integrazione in un’app sperimentale già sviluppata

Riconoscimento di contenuti multimediali nel Quad Play

Pagina 4

Riepilogo del lavoro svoltoLa precedente collaborazione tra Telecom e Sapienza aveva portato alla realizzazione di unapplicativo desktop basato su Echoprint, un software con licenza open source orientatoall’identificazione e alla catalogazione dei propri archivi musicali.Per proseguire tale lavoro, si è scelta la strada dell’integrazione all’interno di un’app (giàsviluppata a livello sperimentale) fortemente orientata all’interazione multicanale e al quadplay;; per tale motivo, è stata implementata un’app per piattaforma Android.

Caratteristiche di base della soluzione• utilizzo del modello del : l’utente registra una canzone, la

etichetta e la invia• orientamento al riconoscimento in modalità : sono implementate alcune

funzioni per ripulire il segnale di input• applicabilità a : musica, spot pubblicitari, eventuali estratti di film

Pagina 5Riconoscimento di contenuti multimediali nel Quad Play

Descrizione dell’architettura di riferimento

Utente(client)

CODIFICA idTagEyzge6hEuw54tg5g…

SERVER

Data Base(jingle)

QUERY

Identificazione e

riconoscimento

Content Repository

Rich Content

RISPOSTA

L’idea è quella di creare un opportuno DB con tutti gli spot di interesse, etichettarli eassociargli dei contenuti addizionali da presentare all’utente. L’utilizzatore finale dovràsemplicemente attivare l’applicazione, attendere l’esito della ricerca, e godere dellavisualizzazione di un contenuto appositamente studiato direttamente sul proprio display.

idContenthttp://tagMsgSvr/…

Pagina 6

Problematiche legate al riconoscimento

ROBUSTEZZA

SCALABILITA`E

AFFIDABILITA`

ETEROGENEITA`

Riconoscimento di contenuti multimediali nel Quad Play

Rispetto ad un semplice confronto, la tecnica del fingerprinting consente di stabilire il grado disomiglianza tra 2 file.

Degradazioni del segnale-­ rumore: brusii di sottofondo, interferenze ambientali-­ distorsione: riproduzione degradata, riverbero, microfoni a

banda limitata

Gestione database-­ricerca efficiente nel DB: indipendenza dal numero di record-­riduzione dei falsi positivi-­granularità: quanti secondi sono necessari per una query?

Generazione delle impronte acustiche-­ fingerprint di dimensioni minime-­ fingerprint ad alto contenuto informativo-­ invarianza alle traslazioni (temporali)

Pagina 7

Composizione del Database

Riconoscimento di contenuti multimediali nel Quad Play

• Si sono scelti degli spot pubblicitari che fossero sotto diversi punti divista:-­ lunghezza-­ qualità di partenza-­ maggiore o minore presenza di parlato

• Verifica del : utilizzo di uno spot che cambia colonna sonora

• Inserimento di 3 spot appartenenti alla

Pagina 8

Descrizione del processo funzionale del sistema

Riconoscimento di contenuti multimediali nel Quad Play

-­ ID della traccia + foto associata-­ Durata totale della registrazione-­ Durata del processo di codifica-­ Tempo impiegato per la query

1) Codifica di tutte le tracce originali di interesse.2) Utilizzo di un url attraverso cui accedere al server.3) Caricamento sul database (ingest) delle relative etichette.4) Registrazione dal vivo di ciascuno spot:

a. l’utente avvia la registrazioneb. la traccia viene codificata e inviata al serverc. viene effettuato un confronto di somiglianza tra

tag inviato e tag su DB5) Il risultato contiene le seguenti informazioni:

Pagina 9

Aspetti interessanti e limiti riscontrati

Risultati positivi:• il riconoscimento avviene per tutte le tracce;;• il riconoscimento avviene a partire da qualsiasi istante, a patto che si rispetti il vincolo

della durata minima della query;;• esito positivo sia in caso di variazione della percentuale di presenza della voce o della

musica, sia in caso di cambio colonna sonora;;• distinzione spot simili;;• la qualità delle registrazioni è bassa!• percentuale di falsi positivi prossima allo 0%;;• tempi necessari all’interrogazione e alla codifica minimi (decimi di secondo);;• riduzione della durata degli estratti (in alcuni casi fino a 7-­8 secondi).

Limiti:• no riconoscimento melodico (versioni dal vivo, riarrangiamenti acustici, remix, etc.);;• variabilità lunghezza query;;• database limitato e poche connessioni (contemporanee);;• maggiore instabilità dovuta a fattori esterni caratteristici dell’ambiente di registrazione e

alla diversificazione dei dispositivi Android.

Riconoscimento di contenuti multimediali nel Quad Play

Pagina 10

Nuovi contesti e sviluppi futuri

L’orientamento alla mobilità e la creazione di sistemi trasversali, eterogenei epersonalizzabili apre allo sviluppo, in ambito adevertisement e infotainment, di strategieincentrate su nuovi livelli comunicativi:

• relazione interattiva con l’utente• push di contenuti di diversa natura

La principale conseguenza di tale approccio consiste in una moltiplicazione dei possibilipunti di contatto con il cliente.

Sviluppi futuri:• estensione del Database in funzione delle nuove specifiche e di eventuali contenuti

appositamente concepiti;;• livellamento della durata delle query e miglioramento prestazionale dell’interrogazione

al DB;;• miglioramento della fase di pre-­processing ed eventuale sperimentazione con algoritmi

alternativi e intelligenti;;• progetti di ricerca mirati alla sperimentazione sul campo e al trasferimento tecnologico

in contesti applicativi reali (beni e attività culturali, multimedialità, etc.).

Riconoscimento di contenuti multimediali nel Quad Play

Grazie per l’attenzione!

Pagina 11Riconoscimento di contenuti multimediali nel Quad Play