arbeitsberatung der itg fachgruppe 3.1.2 dirk albrecht ilmenau, 30.06.2000 1 fakultät für...

Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht

Ilmenau, 30.06.2000

1

Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme

Technische Universität Ilmenau

Dirk AlbrechtDirk Albrecht

Arbeitsberatung der ITG Fachgruppe 3.1.2Arbeitsberatung der ITG Fachgruppe 3.1.2““Digitale Bildcodierung”Digitale Bildcodierung”

Ilmenau, 30.06.2000Ilmenau, 30.06.2000

3D-Objektmodellierung 3D-Objektmodellierung für Facial Animationfür Facial Animation


Ilmenau, 30.06.2000

2



1. Objektorientierte Bildcodierung

2. 3D parametrisches Gesichtsmodell

3. Objekterkennung / Objektverfolgung

4. Auswertung der Mimikparameter

5. Zusammenfassung und Ausblick

GliederungGliederung


Ilmenau, 30.06.2000

3










Ilmenau, 30.06.2000

4

Synthetic Natural Hybrid Coding (SNHC)Synthetic Natural Hybrid Coding (SNHC)




Ilmenau, 30.06.2000

5



Objektbasierte VideocodierungObjektbasierte Videocodierung

Object based Analysis-Synthesis

Coding

Knowledge based Object Coding

Semantic based Object Coding

2D- und 3D-Source Models,Wireframes

Face Model, Candide

Gesichtsausdruck etc.


Ilmenau, 30.06.2000

6



Einschränkung auf Head and Shoulder SzenarioEinschränkung auf Head and Shoulder Szenario

Gesicht frontal zur Kamera

Gemäßigte Kopfbewegung

Trennung von Kopf- und Schulterbereich

Lokale Gesichtsbewegung

Video VideoAnalyse SyntheseKanal

FAP-, FDP-Encoder

FAP-, FDP-Decoder


Ilmenau, 30.06.2000

7

Head and Shoulder Szenario - BedingungenHead and Shoulder Szenario - Bedingungen




Ilmenau, 30.06.2000

8










Ilmenau, 30.06.2000

9



3D-Kopfmodell nach Rydfalk3D-Kopfmodell nach Rydfalk

Parametrisches Gesichts-Parametrisches Gesichts-

modell Candidemodell Candide

lokales KO-System• 79 Knoten• 108 Dreiecke

im Bildsystem

P = [R] • P* + PU

MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet


Ilmenau, 30.06.2000

10



Animation über Action Units (AU)Animation über Action Units (AU)

Ausgangspunkt: Neutrales Gesicht Blick in Richtung z-Achse alle Muskeln entspannt Augenlider tangential zur Iris Pupillen haben 1/3 des Iris-Durchmessers Mund geschlossen, Linie zwischen Lippen ist horizontal Zähne aufeinander liegend Zunge berührt die Linie zwischen den Zähnen

Facial Action Coding System (FACS)46 AU für Gesichtsausdrücke

12 AU für Blickrichtung u. Kopforientierung

basierend auf Gesichtsanatomie

korreliert mit Muskelbewegungen

Onset Apex End of

ApexOffset


Ilmenau, 30.06.2000

11

Klassifikation von FAPsKlassifikation von FAPs



FAP Groups Primary facial expressions as defined for FAP 2


Ilmenau, 30.06.2000

12










Ilmenau, 30.06.2000

13



Finden der Gesichtsform (Farbansatz)Finden der Gesichtsform (Farbansatz)

Textur Rg

By

Median

–

Textur-Amplitude

RGB IRgBy Median

Median IRgBy HSI

Farbton Sättigung

Schwellwert-operator

Binäres Hautbild

Ausgangs-bild

Probleme:Beleuchtungsverhältnisseunterschiedliche Hautfarben


Ilmenau, 30.06.2000

14



Gesichtserkennung über BewegungGesichtserkennung über Bewegung

1. Differenzbildberechnung2. Schwellwertoperator3. Rauschreduktion4. Histogramm der bewegten Pixel

Typisches Bewegungsbild Histogramm

Problem: statischer Hintergrund


Ilmenau, 30.06.2000

15

Elastic Bunch Graph MatchingElastic Bunch Graph Matching

Zuordnung eines Gitternetzes ("Labeled Graph“) zu einem Gesicht

Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts

Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus

Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets)

Jet, bestehend aus 12 Gabor-Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen)

Labeled Graph

3D Gabor-Wavelets




Ilmenau, 30.06.2000

16



Gesichtserkennung über EigenfacesGesichtserkennung über Eigenfaces

Gesichter bilden einen

Untervektorraum des

Originalbildes


Ilmenau, 30.06.2000

17



2D Template Matching2D Template Matching

Suchbild mit eingeschränktem Suchraum

Normiertes Template

Drehung und Skalierungentsprechend Kopfgröße u. -drehung

Kreuzkorrelation

parametrisch

deformierbar

Ausnutzung symmetrischer

Charakteristiken

Evolutionäre

Navigationsroutinen

Problem: Training Set


Ilmenau, 30.06.2000

18



Optischer FlußOptischer Fluß

Bewegung eines Pattern in der Bildebene

Exu + Eyv + Et =0

Fluß Bewegung des Modells

Ergebnis ist Vektorfeld

Annahme: Helligkeit der

Objektpunkte gleich

über Zeit

für lokale Bewegung

hinreichend

Probleme mit starken

Texturen, bewegenden

Kanten etc.


Ilmenau, 30.06.2000

19










Ilmenau, 30.06.2000

20



GesichtsmerkmaleGesichtsmerkmale

Primäre Merkmale Augen

Mund

Nase

Augenbrauen

Zähne

Ohren

Zunge

Kinn

Wangen

Haar

Sekundäre Merkmale Textur der Haut, Adern

physische Verletzungen / Krankheiten

Geschlecht

Rasse

Größe / Alter

Feature SelectionUntersuchung der Wichtung der

Parameter


Ilmenau, 30.06.2000

21



Parametrische 2D-ModelleParametrische 2D-Modelle

W

VV1

V2

V3

V4

hr hl

L2D

do

du

oo

ou

W

VV1

V2

V3

L2D

do

du

t

hr hl

L2D

oo

ou

hchr hl

V1

V2

V3

V

Wr

Schätzverfahren

für Augen-und Mundwinkelpositionen

Augenöffnungsgrad

Auswahl des Mundmodells


Ilmenau, 30.06.2000

22

Skalierungs- und MimikparameterSkalierungs- und Mimikparameter



Gesichtsgröße Ausgangspunkt Dreieck der Augen und Mundmittelpunkt Verifikation der Ergebnisse anhand der äußeren Gesichtsform Schätzung der Tiefeninformation Normalenvektor des Dreiecks bestimmt Blickrichtung Projektion in Bildebene

Augengröße Bestimmung der Skalierungs- parameter Projektion in das 3D-Modell

Mundgröße Bestimmung der Lippengöße Projektion in das 3D-Modell

Projektion auf Action Units

Erkenntnisse: Solide Vorverarbeitung Robuste Schätzung der Augen-und Mundwinkel- positionen


Ilmenau, 30.06.2000

23










Ilmenau, 30.06.2000

24



Ausblick und ZusammenfassungAusblick und Zusammenfassung

Arbeitsbereich mit zahlreichen weltweiten Aktivitäten

beachtliche Ergebnisse

Standard für Übertragung gegeben (MPEG-4/SNHC)

Problem der Robustheit ist zu lösen, um eine Umsetzung in

kommerziellen Systemen zu erreichen

arbeitsberatung der itg fachgruppe 3.1.2 dirk albrecht ilmenau, 30.06.2000 1 fakultät für...

Documents