人脸对齐技术

xueminzhao@tencent.com4/3/2014

detect => align => represent => classify9-layer deep NN120 million parameters4 million images, 4000 identities97.25%

大纲• 什么是人脸对齐？• 人脸对齐的应用

- 人脸识别、表情识别、人脸动画、人脸姿态估计、视线跟踪、嘴唇跟踪、 人脸高分辨率重建、疲劳检测、人机交互、特效 ( 比如”换脸”、 Morphing) 等

• 人脸对齐技术及其数学原理- Active Contour Models (Snakes)- Active Shape Models

- Active Appearance Models (2D 、 3D…)

大纲• 什么是人脸对齐？• 人脸对齐的应用

- 人脸识别、表情识别、人脸动画、人脸姿态估计、视线跟踪、嘴唇跟踪、 人脸高分辨率重建、疲劳检测、人机交互、特效 ( 比如”换脸”、 Morphing) 等

• 人脸对齐技术及其数学原理- Active Contour Models (Snakes)- Active Shape Models

- Active Appearance Models (2D 、 3D…)

人脸检测 (Face Detection)

人脸识别 (Face Recognition)

人脸对齐 (Face Alignment)

图像配准 (Registration)

大纲• 什么是人脸对齐？• 人脸对齐的应用

- 人脸识别、表情识别、人脸动画、人脸姿态估计、视线跟踪、嘴唇跟踪、 人脸高分辨率重建、疲劳检测、人机交互、特效 ( 比如”换脸”、 Morphing) 等

• 人脸对齐技术及其数学原理- Active Contour Models (Snakes)- Active Shape Models

- Active Appearance Models (2D 、 3D…)

人脸对齐的应用• 具体见 Demos

大纲• 什么是人脸对齐？• 人脸对齐的应用

- 人脸识别、表情识别、人脸动画、人脸姿态估计、视线跟踪、嘴唇跟踪、 人脸高分辨率重建、疲劳检测、人机交互、特效 ( 比如”换脸”、 Morphing) 等

• 人脸对齐技术及其数学原理- Active Contour Models (Snakes)- Active Shape Models

- Active Appearance Models (2D 、 3D…)

Photoshop “ 套圈”

ACM (Snakes)

Internal Energy

Image Forces

Image Forces (cont.)

Image Forces (cont.)

ACM (Snakes)

• 对形状没有太多约束；• 没有使用纹理信息。

• 人脸形状大致固定；• 人脸器官以及人脸形状边缘有明显的纹理

变化。

ASM Applications

Shape Training

Labeling the Training Set

Alignment

Alignment (cont.)

Aligned Shape Statistics

Face Examples

ASM Algorithm

Adjusting Model Points

Examples

ASM

• 有 2D 形状模型；• 少量的纹理信息。

• 怎样使用整个人脸区域内部的纹理？

PCA

Warped

PCA

RI, CMU

Building Active Appearance Models

Model Instantiation

Active Appearance Models

AAM (2D)

• 有 2D 形状模型；• 使用了整个人脸区域的纹理信息。

• 3D 人脸形状成像时有约束。

3D Morphable Models

AnExample

Fitting with 3D Shape ConstraintsAAM

3D Shape Constraints

K→ +∞

Parameters:

小结• 什么是人脸对齐？• 人脸对齐的应用

- 人脸识别、表情识别、人脸动画、人脸姿态估计、视线跟踪、嘴唇跟踪、 人脸高分辨率重建、疲劳检测、人机交互、特效 ( 比如”换脸”、 Morphing) 等

• 人脸对齐技术及其数学原理- Active Contour Models (Snakes)- Active Shape Models

- Active Appearance Models (2D 、 3D…)

Thank You!