DeepFace: Closing the Gap to Human-Level

Performance in Face Verification

Yaniv Taigman* Ming Yang* Marc’Aurelio Ranzato* Lior Wolf**

*:Facebook AI Research**:Tel Aviv University

Tomoaki Teshima @tomoaki_teshima

Contributions• DNN architecture• Facial alignment based on 3D model• Result

• LFW – human performance• YTF – low error rate

Verification とは

CV 勉強会第 6 回からの抜粋 (@dandelion1124 さんの資料 )

• Verification• Object categorization• Identification• Detection• Scene and context categorization

DeepFace: Closing the Gap to Human-Level Performance in Face Verification

Modern face recognition

detect align represent classify

Constrained/Unconstrained

Face Alignment

Face Alignment in 2D ( 前処理 )

6 点を使って回転と並進とスケールする

顔を検出するCropped area から基準点を検出する

• 両目 (2点 )• 鼻先• 唇中央• 口角 (2点 )

Face Alignment in 3D ( 前処理 )Second SVR を使って 2D aligned な image に USF Human ID database 平均顔をのっける

Frontalization （こっちだ）

DNN architecture

Face feature

SFC に 4030人いたから

Max pooling と Convolution

L4 層と L5 層と L6 層

全結合の L7 層と L8 層

Dropout を適用するのも、全結合の L7 層から

SFC とは

Shonan Fujisawa Campus Super Famicom

SFC とは ( 海外において )•Santos Futebol Clube, a Brazilian football club•Scarborough F.C., a dissolved English football club•Servette FC, a Swiss football club•Sevilla FC, a Spanish football club•SFC Opava, a Czech football club•Shelbourne F.C., an Irish football club •Sheffield F.C., an English football club •Southampton F.C., an English football club •Southport F.C., an English football club •Spartans F.C. A Punes football club •Sriwijaya F.C., an Indonesia football club •Stamford F.C., an English football club •Stenhousemuir F.C., a Scottish football club •Stevenage F.C., an English football club •Stranraer F.C., a Scottish football club •Sydney FC, an Australian football club •Syrianska FC, a Swedish football club

http://en.wikipedia.org/wiki/SFC

SFC とは ( 今回の論文 )

The proposed face representation is learned from a largecollection of photos from Facebook, referred to as the Social Face Classification (SFC) dataset.

全結合の L7 層と L8 層 ( 再掲 )

Dropout を適用するのも、全結合の L7 層から

Normalization明度の変化からくる影響を軽減するために正規化する

コントラスト正規化

教師データ内の最大値で除算し、 L2 正規化する

Verification MetricWeighted χ2 distance

Simanse network

http://www.cs.columbia.edu/~jebara/papers/metricfromnetwork.pdf

http://bengio.abracadoudou.com/lce/slides/andrews.pdf

dataset• SFC

Social Face Classification• LFW

Labeled Faces in the Wild• YTF

Youtube Faces

• SFC は人によりラベリングされてるが、 3%ぐらいエラーがある• SFC は、光源環境、ノイズ、 expression に幅がある• LFW や YTF だと、通常プロに撮影されている

5.2. Training on the SFC

5.3. Results on the LFW dataset

5.4. Results on the YTF dataset

5.5 Computational efficiency

SIMD でチューニングして、キャッシュヒットを考慮

Intel2.2GHz で画像の読みこみ→ アライメント→Feed forward network→classificationTotal で 0.33s

結論• Deep Face は顔の位置合わせと Deep Learning を組み合わせました。• Verification の結果で人間とほぼ同等の性能• 顔認識全般にもこの恩恵があるだろう

参考文献• 第六回「コンピュータビジョン最先端ガイド２」勉強会～第１章物体認識のための画像局所特徴量～

http://www.atinfinity.info/doc/cvsaisentan/cvsaisentan_20101023_dandelion.pdf, @dandelion1124

• http://shusse.kyokasho.biz/archives/685• http://upload.wikimedia.org/wikipedia/commons/3/30/Super_

Famicom_JPN.jpg

• http://en.wikipedia.org/wiki/SFC• http://www.cs.columbia.edu/~jebara/papers/metricfromnetwo

rk.pdf

• http://bengio.abracadoudou.com/lce/slides/andrews.pdf