tracciamento automatico dei movimenti del volto umano tesi di laurea in ingegneria informatica v.o....
TRANSCRIPT
Tracciamento Automatico dei Tracciamento Automatico dei Movimenti del Volto UmanoMovimenti del Volto Umano
Tesi di laurea in
Ingegneria Informatica V.O.
Relatore: Prof. Marco Schaerf
Correlatore: Ing. Marco Fratarcangeli
Candidato: Gabriele Fanelli
Sommario
Obiettivi
Descrizione del metodo: Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
Obiettivi
Sistema capace di determinare:Posizione e forma di un volto generico da immagini statiche
Movimenti globali e deformazioni in un volto specifico da sequenze video
Immagini provenienti da telecamere di fascia bassa (webcam)
Active Appearance ModelsModelli generativi e parametrici del volto
FormaApparenza
Costruiti statisticamente da immagini esempio (training)
Apprendimento delle variazioni permesse
Algoritmo di adattamentoRicerca dei parametri che rendono il modello simile ad una nuova immagine
Sommario
Obiettivi
Active Appearance Models
Costruzione
Adattamento
Risultati
Conclusioni
AAM generici - specifici
Set espressivo
Set identità
FormaDef.: Maglia triangolata
Vettore delle coordinate dei vertici
Modellazione:Collezione dei vettori
Allineamento
Principal Component Analysis: Calcolo media
Calcolo matrice di covarianza
Selezione degli autovettori corrispondenti agli autovalori maggiori
Modello lineare di forma
Nuova forma
Forma media(base)
Vettori di forma
Parametri di controllo
Apparenza
• Intensità dei pixel all’interno della forma base
• Le immagini di training vanno normalizzate rispetto alla forma
Modello lineare di apparenza
Eigenfaces
Parametri di apparenza
Texture media
Nuova texture
Istanza completa
Immagine: cortesia di Simon Baker
Sommario
Obiettivi
Active Appearance ModelsCostruzione
Adattamento
Risultati
Conclusioni
Algoritmo di adattamento
Minimizzare la differenza tra:Immagine in ingresso mappata sulla forma base
Istanza del modello (apparenza)
Utilizzato l’Inverse Compositional Algorithm
Algoritmo di adattamento
Immagine in ingresso
Texturedeformata
Apparenzacorrente
Forma corrente
Immagine
differenza
sottrazione
Algoritmo di adattamento
Apparenzacorrente
Forma corrente
Immagine
differenza
∆p
∆λ
Inizializzazione
Punto d’inizio adeguato per la ricerca
Localizzatore di facce - OpenCV
Adattamento
Sommario
Obiettivi
Active Appearance ModelsCostruzione
Adattamento
Risultati
Conclusioni
Test 1: immagini “viste”
Entrambi i modelli adattati a immagini presenti nel training set
Oggetto:Qualità dell’algoritmo
Dipendenza dalla traslazione iniziale
Misura: errore RMSDisponibili le coordinate selezionate manualmente
Test 1: immagini “viste”
Distanza iniziale dal centro della faccia in % dell’altezza dell’immagine
Errore
RMS
Test 1: immagini “viste”
Test 2 : Immagini “non viste”
Immagini non presenti nel training set
Oggetto:Qualità algoritmo
Capacità del modello generico di descrivere nuove facce
Giudizio visivo60% di risultati positivi
Immagini “non viste” - successo
Immagini “non viste” - fallimento
Test 3: video
Test 3: video
Test 3: video
Conclusioni
Sistema implementato:Migliorabile per caso generico
Buoni risultati nello specifico
Sviluppi futuri:Ampliamento training
Tempo reale
3D