PowerPoint Presentation

Mtodo Semi-Automtico para el modelado de caras 3D a partir de Mltiples Vistas.Bowen Aguayo, Lincoln Emilio

NDICEIntroduccin.Objetivos.Conceptos previos.Desarrollo del mtodo utilizado para el alineamiento de caras en las imgenes.Desarrollo del mtodo para la reconstruccin de caras en 3D.Experimentos.Conclusin.1/23

INTRODUCCIN

2/23

INTRODUCCIN

APLICACIONES:

VideojuegosPelculasAvatares

NBA 2K15 for PS3 [1]Siggraph 2014 [3]

Automatic Acquisition of High-fidelity[2]

Automatic Acquisition of High-fidelity[2]

3/23

OBJETIVOS

4/23

OBJETIVOS

Mtodo de alineamiento de cara.

Ajuste de los puntos 2D alineados con los puntos de control en el modelo 3D.Interpolacin RBF desde los puntos de control a todos los vrtices del modelo.5/23

CONCEPTOS PREVIOSDescriptores de imgenes (Image Descriptors)Regresin lineal mltiple Interpolacin con funciones de base radial6/23

CONCEPTOS PREVIOSDescriptores de imgenes

Orb descriptorSIFT descriptorSURF descriptorLocal Binary Features (LBF)Histogram of Gradients (HOG)

HOGSIFT7/23

CONCEPTOS PREVIOSRegresin lineal

Regresin lineal simpleRegresin lineal mltiple

8/23

CONCEPTOS PREVIOSInterpolacin de funciones con base radial.

GaussianMulti-cuadrticaCuadrtica inversaMulti-cuadrtica inversa

9/23

ENTRENAMIENTO DEL MODELODESARROLLO DE ALINEAMIENTO DE CARA10/23

DESARROLLO DE ALINEAMIENTO DE CARA

ENTRADADESARROLLOSALIDA

Direccin descendente genrica.11/23

DESARROLLO DE ALINEAMIENTO DE CARA

12/23

DESARROLLO DE CONSTRUCCIN DE CARA

ENTRADADESARROLLOSALIDA

Ubicar los puntos de control en cada una de las imgenes.Deformar los puntos de control de la imagen 3D, dependiendo de la ubicacin de los puntos 2D.Interpolar los desplazamientos que se han obtenido por la deformaciones de los puntos de control hacia toda la cara (RBF).Calibrar la cmara 3D-a-2D utilizando EPnP.

13/23

DESARROLLO DE CONSTRUCCIN DE CARA

14/23

EXPERIMENTOS

Experimentos con alineamiento de caras

15/23

EXPERIMENTOS

A medida que se avanza en el nmero de perturbaciones, el error va disminuyendo hasta llegar a una asntota.

Experimentos con alineamiento de caras16/23

EXPERIMENTOS

Experimentos con alineamiento de caras

17/23

Experimentos con la reconstruccin 3D.Aqu se observan los errores normalizados correspondientes al alineamiento de cara.

EXPERIMENTOS

Experimentos con alineamiento de caras18/23

EXPERIMENTOS

Experimentos con la reconstruccin 3D.

19/23

Aqu se observan los errores normalizados una vez obtenido el modelo final en comparacin con la posicin de los puntos de control colocados manualmente.EXPERIMENTOS

Experimentos con la reconstruccin 3D.

20/23

CONCLUSIN

El mtodo es rpido, tarda aproximadamente 4 segundos una vez que se tiene todos los puntos de control en los sitios correspondientes. Se lo prob en un ordenador con un procesador Intel(R) Core i5-3330 CPU @ 3.00 GHz 3.20 GHz. El tiempo depende de la cantidad de vrtices de los que est compuesto el modelo 3D y la cantidad de iteraciones que se quieren hacer. Es bastante flexible y robusto para la aplicacin en diversas caras.Se puede trabajar con una sola imagen, permitiendo de esta manera la automatizacin completa, ya que resulta ms fcil la deteccin de los puntos frontales. As mismo se pueden encontrar diversas bases de datos con puntos de dicho perfil.21/23

FUTUROS TRABAJOS

MEJORAR TEXTURIZADOIMPLEMENTACIN DE UN MTODO DE ALINEAMIENTO DE CARA QUE APRENDA CON CADA MODELO NUEVO.

MEJORAR LAS PERTURBACIONES AL MOMENTO DE ENTRENAR EL MODELO

Akshay Asthana, Stefanos Zafeiriou, Shiyang Cheng and Maja Pantic [4]Xuehan Xiong and Fernando De la Torre [5]22/23

23/23GRACIASPREGUNTAS?

BIBLIOGRAFA[1] Available for the PS4 and Xbox One, the face scan feature maps your entire face into small points and creates your features and look. Your time has come to scan. Watch how it works: https://www.youtube.com/watch?v=6eAkgVC3moo[2] Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos SIGGRAPH Asia 2014. www.simplyshredded.com, Ken Taylor, and Hollywood Foreign Press Association, used with permissions. We have presented a facial performance capture system that automatically captures high-fidelity facial performances using uncontrolled monocular videos (e.g., Internet videos): https://www.youtube.com/watch?v=Fsktl1vUzGg [3] We present a fully automatic approach to real-time facial tracking and animation with a single video camera: https://www.youtube.com/watch?v=mAGEiv3UNEU [4] Akshay Asthana, Stefanos Zafeiriou, Shiyang Cheng, and Maja Pantic. Incrementalface alignment in the wild. Computer Vision and Pattern Recognition, 2014. [5] Xuehan Xiong and Fernando De la Torre. Supervised descent method and its applicationsto face alignment. Computer Vision and Pattern Recognition, 2013