simulation der mimik-präsentation[1] · 13 25/27 martina fröhlich - simulation der mimik...
Post on 14-Jun-2020
2 Views
Preview:
TRANSCRIPT
1
1/27
Martina Fröhlich - Simulation der Mimik
Simulation der Mimik
Mimic Morphing
Emotionssensitive Avatare
2/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
2
3/27
Martina Fröhlich - Simulation der Mimik
Anwendungsbeispiele
Darsteller in ComputerspielenVirtuelle Nachrichtensprecherin
Synface – Gesicht hilft Schwerhörigen
4/27
Martina Fröhlich - Simulation der Mimik
Sonstige Anwendungsgebiete
• Virtuelle Lehrer
• Virtuelle Kundenbetreuer
• Darsteller in computeranimierten Filmen
• Avatare in der virtuellen Realität
• Medizinische Modelle zur Operationsplanung
3
5/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
6/27
Martina Fröhlich - Simulation der Mimik
Probleme
• Es muss möglichst echt wirken:
- Gesichter sollen natürlich aussehen- Bewegungen müssen fließend ablaufen- Emotionen müssen realistisch dargestellt werden
• Es darf nicht zuviel Rechnerkapazität beanspruchen
4
7/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
8/27
Martina Fröhlich - Simulation der Mimik
Die 6 Basisemotionen
5
9/27
Martina Fröhlich - Simulation der Mimik
Facial Action Coding System
• Von Ekman und Friesen 1978 eingeführt
• 64 Action Units (AU`s)
• Gesichtsausdrücke aus Teilbewegungen aufgebaut
Bsp.: - Heben der Augenbraue
- Senken der Mundwinkel
- Neigen des Kopfes
10/27
Martina Fröhlich - Simulation der Mimik
Morphing
• Manuell festgelegte Orientierungspunkte werden ineinander überführt
6
11/27
Martina Fröhlich - Simulation der Mimik
Concatenation
• Gesichter werden in definierte Abschnitte unterteilt und können beliebig neu zusammengefügt werden
12/27
Martina Fröhlich - Simulation der Mimik
Statistische Modelle
• Pixel einer Bitmap über Dimensionen dargestellt
• Bild mit 512 * 512 Pixeln entspricht einem
262 144 - dimensionalen Vektor
• Reduzierung des Vektorraumes über Principal Component Analyse
7
13/27
Martina Fröhlich - Simulation der Mimik
Video-Rewrite-System
• Eingeführt von Bregler et al. (1997)
• Vorhandene Videosequenz bleibt unverändert, nur Mundregion wird angepasst
• Sprache in Form von Triphonen eingebaut
• Eigenpoint-Model
• Morphing
14/27
Martina Fröhlich - Simulation der Mimik
Eigenpoint-Modell
8
15/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
16/27
Martina Fröhlich - Simulation der Mimik
Modellbasierte Systeme -Grundlagen
• Polygon-Modell
• Subdivision/ Metanurbs
• Metaballs/ Metashapes
• Splines
• NURBS
• Tesselation
9
17/27
Martina Fröhlich - Simulation der Mimik
Polygon-Modell
18/27
Martina Fröhlich - Simulation der Mimik
Interpolation
• Knoten in verschiedenen Gesichtsausdrücken werden gespeichert und ineinander überführt
• Lineare Interpolation
������������� � ������������������ ���
• Non-Lineare Interpolation
10
19/27
Martina Fröhlich - Simulation der Mimik
Direkte Parameterisation
• Positionsänderungen der Knoten basieren auf einfachen geometrischen Berechnungen
• Bewegungen über verschiedene Parameter gespeichert
• Parameter in zwei Kategorien eingeteilt
- Bewegungen
- Grundlegende Gesichtsformen
20/27
Martina Fröhlich - Simulation der Mimik
Datengesteuerte Anwendungen
• Laserbasierendes Scannen
• Projektionstechniken
• Motion Capturing
- Face Tracking
11
21/27
Martina Fröhlich - Simulation der Mimik
Bilderfassungssysteme
22/27
Martina Fröhlich - Simulation der Mimik
Muskuläre und Pseudomuskuläre Modelle
• Direkte Parameterisation, tatsächliche Muskelstruktur als Basis für Berechnungen
• Thalmann und Kalra (pseudomuskulär) -Freiformdeformationen
• Water`s Muskelmodell – verschiedene Muskeln
• Platt und Badler - Oberflächenspannung
• Lee (Spring-Mass-Model)
12
23/27
Martina Fröhlich - Simulation der Mimik
Spring-Mass-Model
• Dreischichtiges Hautmodell
• Knoten stellen Massepunkte dar, die über Federn miteinander verbunden sind
24/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
13
25/27
Martina Fröhlich - Simulation der Mimik
Zusammenfassung
• Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann
• Die Optimale ist abhängig davon, welche Funktion das Gesicht erfüllen soll
• Oft werden mehrere Techniken kombiniert, um zum Ziel zu kommen
26/27
Martina Fröhlich - Simulation der Mimik
Inhaltsangabe
• Anwendungsbeispiele
• Probleme
• Methoden/Techniken
-videobasierende Techniken
-modellbasierende Techniken
• Zusammenfassung
• Blick in die Zukunft
14
27/27
Martina Fröhlich - Simulation der Mimik
Blick in die Zukunft
• Das A und O : mehr Rechnerkapazität
top related