Disentangled Representation Learning GAN for Pose-Invariant Face Recognition

@51takahashi

Representation Learning by Rotating Your Faces

@51takahashi

• さのまる

• @51Takahashi

• 顔認証の研究開発やっています

• 今回の発表は所属組織と関係ありません

自己紹介 CVPR2017輪読会

3

はじめに CVPR2017輪読会

4

• CVPR2017の顔関連の研究はどれくらい？

– 検索条件: タイトルから手動で判定

» 783件中38件

» 全部は読めてません（まだ読めません）

はじめに CVPR2017輪読会

5

• CVPR2017の顔関連の研究はどれくらい？

– 検索条件: タイトルから手動で判定

» 783件中38件

» 全部は読めてません（まだ読めません）

– 研究動向

» 3D顔モデル推定 7件

» 顔属性認識(表情とか) 7件

» 顔画像処理(超解像とか) 6件

» 顔認証 6件

» 顔特徴点検出 4件

» 顔検出 3件

» 姿勢推定 2件

» 読唇 1件

» データセット 1件

» カラーキャリブレーション 1件

はじめに CVPR2017輪読会

6

• CVPR2017の顔関連の研究はどれくらい？

– 検索条件: タイトルから手動で判定

» 783件中38件

» 全部は読めてません（まだ読めません）

– 研究動向

» 3D顔モデル推定 7件 ⇒ 全盛期

» 顔属性認識(表情とか) 7件 ⇒ ディープで殴る系

» 顔画像処理(超解像とか) 6件 ⇒ ディープで殴る系

» 顔認証 6件 ⇒ 超ワイルド顔認証が流行

» 顔特徴点検出 4件 ⇒ 停滞期？

» 顔検出 3件 ⇒ 超ワイルド顔検出が流行

» 姿勢推定 2件 ⇒ 停滞期？

» 読唇 1件 ⇒ !?

» データセット 1件 ⇒ 毎年新しいのが出てる

» カラーキャリブレーション 1件 ⇒ !?

論文の概要 CVPR2017輪読会

7

• タイトル

– Disentangled Representation Learning GAN for Pose-Invariant Face

Recognition

– 顔向きに頑健な顔認証のための、GANによる分解表現学習

• どこの研究？

– Michigan State Universityの人たち（この大学は顔認証で有名）

• どんな研究？

– GANで顔認証の特徴量を学習しよう！

• どんな手法？

– 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習

» Gで正面顔に変換して、その画像から特徴量を学習…しない！！

» 正面顔を生成するGの中間表現が特徴量として有効

• どんな結果？

– 正面と横顔との照合性能が高い

» IJB-AデータセットでSOTA（当時）

予備知識１: 顔認証ベンチマーク CVPR2017輪読会

8

• 最近の顔認証：MegaFace・IJB-A

– 超ワイルド顔認証用のDB

– 少し前までLFWがメジャーだったけど…

• MegaFace [Klare+, CVPR2016]

– University of Washingtonの人たちが作った

– 100万人の中からある人物を検索する顔認証ベンチマーク

» 最近、MegaFace2も出た [Nech+, CVPR2017]

• IJB-A [Kemelmacher-Shlizerman+, CVPR2015]

– NIST（アメリカ国立標準技術研究所）の人たちが作った

– 複数画像vs複数画像の顔認証ベンチマーク

» 最近、IJB-Bも出た

類似度

特徴量 特徴量

予備知識2: DeepFace・DeepID CVPR2017輪読会

9

• ディープラーニングを使った顔認証

– 学習方法

» n人の学習データをnクラス分類するようにネットワークを学習

– 顔認証方法

» 最後の隠れ層の出力を特徴量として利用

» 特徴量のコサイン類似度を計算することで顔認証の類似度になる

DeepID, CVPR2014 Bottleneckとも

GAN CVPR2017輪読会

10

Noise z

x’

ホンモノ？ D

x

G

GAN CVPR2017輪読会

11

Noise z

x’

ホンモノ？ D

x

G

ニセモノ(合成)

ホンモノ

DR-GAN CVPR2017輪読会

12

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

Noise z

x

x’ Pose c

ホンモノ？

…

－90°

－75°

＋90

…

Person

f(x) Genc

Gdec

DeepFace・DeepID CVPR2017輪読会

13

…

さのまる

くまもん

ふなっしー

…

D

x

DR-GAN CVPR2017輪読会

14

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

ニセモノ(合成)

ホンモノ

DR-GAN CVPR2017輪読会

15

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

エンコーダ

デコーダ

DR-GAN CVPR2017輪読会

16

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

個人性を表現

DR-GAN CVPR2017輪読会

17

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec 顔向きを指定

DR-GAN CVPR2017輪読会

18

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

その他の摂動

DR-GAN CVPR2017輪読会

19

Noise z

x

x’ Pose c

…

さのまる

くまもん

ふなっしー

ホンモノ？

…

－90°

－75°

＋90

…

…

D Person

f(x)

x

Genc

Gdec

さのまるを入れると cで指定した顔の向きの さのまるが出てくる

Multi-image DR-GAN CVPR2017輪読会

20

x1

Person

f(x1)

Genc

Weight

w1

xn

x2 …

Person

f(x2)

Genc

Weight

w2

Person

f(xn)

Genc

Weight

wn

Person

f(X)

x’ Pose c

Gdec

Noise z

Multi-image DR-GAN CVPR2017輪読会

21

x1

Person

f(x1)

Genc

Weight

w1

xn

x2 …

Person

f(x2)

Genc

Weight

w2

Person

f(xn)

Genc

Weight

wn

Person

f(X)

x’ Pose c

Gdec

Noise z n枚の入力画像の

個人性を加重平均

Multi-image DR-GAN CVPR2017輪読会

22

x1

Person

f(x1)

Genc

Weight

w1

xn

x2 …

Person

f(x2)

Genc

Weight

w2

Person

f(xn)

Genc

Weight

wn

Person

f(X)

x’ Pose c

Gdec

Noise z

n枚の入力画像から 1枚の画像を生成

GAN vs L2-loss CVPR2017輪読会

23

Disentangled Representation CVPR2017輪読会

24

Multi-image DR-GAN CVPR2017輪読会

25

面白いところ CVPR2017輪読会

26

• 正面顔を生成してDの出力を特徴量として利用するより、Gencの出力

f(x)を利用したほうが性能がいい

– IJB-Aの場合、TAR@R1で86.1% → 90.1%

– Gの中間表現が、実は表現学習に有効

• DR-GANでは、DよりGの方が支配的

– 学習が収束したら、GencをDにすり替えて再学習すると性能が上がる

– 何が起こってるのかは不明

実験結果: IJB-A CVPR2017輪読会

27

・DR-GAN(avg.)は、Single DR-GAN＋平均類似度を利用したもの ・DR-GAN(fuse)は、Multi-image DR-GANを利用したもの

論文のまとめ CVPR2017輪読会

28

• タイトル

– Disentangled Representation Learning GAN for Pose-Invariant Face

Recognition

– 顔向きに頑健な顔認証のための、GANによる分解表現学習

• どこの研究？

– Michigan State Universityの人たち（この大学は顔認証で有名）

• どんな研究？

– GANで顔認証の特徴量を学習しよう！

• どんな手法？

– 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習

» Gで正面顔に変換して、その画像から特徴量を学習…しない！！

» 正面顔を生成するGの中間表現が特徴量として有効

• どんな結果？

– 正面と横顔との照合性能が高い

» IJB-AデータセットでSOTA（当時）

おつかれさまでした