安全・安心で豊かな社会を支える顔認証技術 · 2018-05-06 ·...

安全・安心で豊かな社会を支える顔認証技術

ＮＥＣバイオメトリクス研究所

リサーチフェロー＆ダイレクター

今岡仁

2018年5月14日

2 © NEC Corporation 20182018

自己紹介：今岡仁

研究分野：顔認証アルゴリズム

▌新聞記事昔の写真から本人識別（2010 日経）1cm角の顔でも瞬時に人物照合(2012日経)

顔認証広がる実用(2012読売)

顔認証照合率で世界を圧倒(2013朝日)顔認証「ブラックリストの人、瞬時に」(2017朝日) 等

▌テレビ取材ＷＢＳ（テレビ東京）、夢の扉＋(TBS)、クローズアップ現

代、顔面白ＴＶ(NHK) 等

ＮＥＣの顔認証システムは45ヶ国で採用実績


生体認証技術(バイオメトリクス個人認証技術)とは

証明書

鍵

カード

指紋

掌

静脈

顔

その他

暗証番号

パスワード

物理認証

知識認証

生体であることが前提

◎唯一性により、なりすましが困難◎忘れない、なくさない！

生体認証

認証技術

所有していることが前提×紛失、盗難、貸借の可能性あり

知っていることが前提×忘失の可能性、他人に推測される可能性あり


顔認証がもつ強み

顔認証は、「利便性」と「高い認証精度」を両立する唯一の技術

犯罪捜査・出入国管理等の国家レベルから、ATM・PCログイン等の企業・個人レベルまで幅広い利用

利便性大小

精度

低

高

静脈

サイン

音声

掌形

虹彩指紋

顔

バイオメトリクス認証の各技術の位置づけ


顔認証技術の特長

①非接触での認証が可能であり、特別なユーザ操作が不要

両手がふさがった状態でも認証可能(ハンズフリー)

②専用機器が不要であり、普通に使われているカメラを利用

タブレットやスマホなどモバイル機器との相性がよい

③照合結果の顔画像を人間が確認することができる

指紋、静脈などにはないメリット。パスポート写真等、様々な場面で利用

年齢による顔の変化、撮影環境の変化により精度低下が発生…

「認証精度の向上」が技術開発の方向性

顔認証技術開発の歴史


顔認証の歴史(1)

▌1973年

金出教授の博士論文により、自動顔認識システムの研究が開始。

▌1991年

TurkとPentrandにより、主成分分析を用いた固有顔法(Eigenface)による顔認証アルゴリズム

の提案

自動の顔認識技術の開発促進に多くの関心が寄せられた

その後、線形判別分析を用いたFisherface法(1997)など様々な手法が提案

▌1993年

米国陸軍研究所により顔認証ベンチマークが開始

以降、数年おきに実施(FERET 1993, 1997, FRVT2000, 2002, 2006, MBE2010)

▌1995年

Visionics, Viisage などのメーカーが商品化を開始


顔認証の歴史(2)

▌2001年

米国同時多発テロ発生、顔認証技術の導入に対する要望が高まる

国際民間航空機関(ICAO)により、電子パスポート関連仕様の策定

（2003-05)

▌2006年

日本で、顔画像情報をＩＣチップに格納した電子パスポート発給開始

各国で電子パスポートの導入が進む

▌2009年

Face.com, PolarRose, Viewdleにより、顔認証技術のWeb、モバイル利用加速

FacebookによるFace.comによる顔認証買収(2012年)

▌2012年

羽田・成田空港の出入国審査に、顔認証自動化ゲートの実証実験

▌2016年

リオ・オリンピックの顔認証ゲートの実証実験

▌2017年

iPhone 8に顔認証が搭載


ＮＥＣにおける顔認証技術の取り組み

1989 顔認証技術の研究開発を開始鑑識向けに特徴点ベースのマッチング手法

1996 3次元顔認証技術の研究開発を開始3Dレンジファインダの開発

2000 2次元顔認証技術の研究開発を開始

2002 顔検出・顔照合SDK “NeoFace™“の製品化

2004 海外出入国管理システムに初導入

2007 ユニバーサルスタジオのゲートシステム導入年間スタジオパスの本人確認

2009～

米国立標準技術研究所のベンチマークテストでトップ獲得 (4回連続初参加以来、常にトップ獲得)

MBGC(2009): 屋外データMBE(2010): 1toN認証、1toN認証FRVT(2013): 1toN認証FIVE(2017): 動画認証

2016 顔認証技術開発センター設立

現在米国、ブラジル、オーストラリア、英国等、40カ国、100システム以上で採用実績

顔認証アルゴリズムこれまでの歴史


顔認証の仕組み

照合画像

登録画像

顔検出処理

顔正規化処理

特徴抽出処理

目鼻の凹凸や傾き等顔の特徴を数値化する

4.0

3.0

5.0

1.0

3.0

6.0

5.0

2.0

5.0

3.0

1.0

6.0

2.0

1.0

特徴選択処理

個人を特定しやすい特徴を選択する

照合処理

照合スコア

比較

本人ならば100%他人ならば0%に近い値になる

顔の位置、大きさを合わせる

顔を見つける

本人らしさを表わすスコアを求める


顔照合アルゴリズムとは


顔認証アルゴリズムの進化


第１世代: Eigenface（主成分分析）


第１世代: Fisherface （判別分析）



第１世代（1990～）

第２世代（2000～）

第３世代（2010～）

Basic methodLinear Subspace

method

Non-Linear

methodSparse Representation

Metric learning

Complex feature

線形モデル

Eigenface

Fisherface Deep Learning

識別モデル生成モデル

非線形モデル

単純特徴複合特徴


第2世代: Metric Learning Approach（計量学習）

Metric Learning Approach

)()(),( ji

T

jiji xxMxxxxd

クラスxiとxjの距離を定義

M is a symmetric positive definite matrix

本人クラスと他人クラスの分離度が高くなるように行列Mを学習

Query image

Target image

optimize

matrix M

Mate

or

Non-mate


第2世代: Metric Learning Approach （計量学習）

▌ YANIV TAIGMAN, LIOR WOLF, AND TAL HASSNER.

MULTIPLE ONE-SHOTS FOR UTILIZING CLASS LABEL INFORMATION.

BRITISH MACHINE VISION CONFERENCE (BMVC), 2009.

LFW DATABASE 1-EER= 89.5%

Information Theoretic Metric Learning (ITML)



第１世代（1990～）

第２世代（2000～）

第３世代（2010～）

Basic methodLinear Subspace

method

Non-Linear

methodSparse Representation

Metric learning

Complex feature

線形モデル

Eigenface

Fisherface Deep Learning

識別モデル生成モデル

非線形モデル

単純特徴複合特徴


第3世代: Deep Learning (DeepFace)


第3世代: Deep Learning (DeepID)

▌顔を領域毎に分割して、複数のconvolutional neural

networksで学習

LFW DATABASE 1-EER= 99.15%

YI SUN, XIAOGANG WANG, AND XIAOOU TANG.

DEEP LEARNING FACE REPRESENTATION BY JOINT IDENTIFICATION-VERIFICATION.


アルゴリズム進化の方向性

Accuracy(識別性能)

Robustn

ess（頑健性）

Face Recognition

BeyondHuman Ability

Eigenface

Fisherface

Linear

Subspace

Method

Deep

Learning

1K

1M

1G

人間の識別性能限界を超える性能

G flops

T flops

P flops

顔認証技術ベンチマークテスト

の紹介


米国国立標準技術研究所(NIST*)とは

米国国立の標準技術研究所であり、技術革新や産業競争力を強化するために設立された機関

指紋認証やテキスト含意認識のコンテストにも参加

*National Institute of Standards and Technology

• 技術革新や産業競争力を強化するため、計測学、規格、産業技術を促進

• ナノサイエンス、コミュニケーション、エンジニアリング、IT、マテリアル、物理などさまざまな分野を推進

• ITでは、暗号やテキスト分析においてもコンテストを開催

指紋認証(2004, 2007, 2009, 2012, 2013)

他、計5コンテスト

テキスト含意認識(2012)


NISTによる顔認証評価プログラム

世界中の有力ベンダが参加して公正に実力を競う、客観的なベンチマークテスト

NECは参加以来常にトップ評価を獲得

• 過去20年以上にわたり、ベンチマークテストを開催

• 世界各国の有力ベンダ・大学・研究所が参加

• 完全ブラインドテストであり、評価は厳密・公正

• 多様な人物（性別・年齢・人種）が認証対象、実運用を想定

• NECは2009年より参加、以降全てのテストでトップ評価(2009年、2010年、2013年、2017年)

1993 1996 2000 2002 2005 2006 2009 2010 2013 2017


Face In Video Evaluation (FIVE) 参加企業

世界中の有力ベンダーが集い、切磋琢磨している

• 企業・大学・研究所が参加可能

• 16チームが参加、今回は企業のみ参加

• 国別の参加数は米国5社、日本3社、豪、英、仏などが各1社

• 参加企業名と評価結果が報告書に記載

企業名国FRVT2013

参加企業

Vigilant Solutions アメリカ

Vapplica アメリカ

3M Cognet アメリカ ○

CyberExtruder アメリカ

Rank One Computing アメリカ

NEC Corporation 日本 ○

Toshiba Corporation 日本 ○

Ayonix 日本 ○

Digital Barries イギリス

HBInno 韓国

Neurotechnology リトアニア ○

Safran Morpho フランス ○

Eyedea Recognition チェコ

Beijing Hisigh Technology 中国

Cognitec Systems ドイツ ○

Imagus オーストラリア


評価例１：乗客ゲート

カメラに気づかず、こちらに立ち止まらずに1人ずつ歩いてくる人物を認証空港などでのウォークスルー認証を想定

• 1人ずつ歩いてくる人物が、顔を事前登録した人物のうち誰かを認証

⁻ 事前登録人数： 480名（1旅客機の搭乗者を想定）

⁻ 認証対象：動画248本（1つの動画につき1人の入場の様子を収録）

⁻ 1位照合率（アルゴリズムが「最も似ている」と挙げた顔の正解率）で評価

• 顔がカメラに近く、1人ずつであるため

動画顔認証としては好環境

※NISTのレポート中では ” DATASET U: PASSENGER GATE”と記載

注）写真はプライバシー保護のため加工してあります https://www.nist.gov/programs-projects/face-video-evaluation-five


評価例１：乗客ゲート評価結果

2位の4分の1以下のエラー率を達成「カメラを気にせず立ち止まらない」という実環境下での高い性能を証明

90.7%

87.5%

41.9%

33.9%

31.5%

28.2%

27.4%

7.7%

7.7%

6.5%

5.6%

5.2%

4.4%

4.0%

3.6%

0.8%

Q

F

C

L

D

A

B

R

I

E

G

K

J

N

H

NEC

エラー率

Results shown from the Face In Video Evaluation (FIVE) do not constitute endorsement of any particular product by the U.S. Government.https://www.nist.gov/programs-projects/face-video-evaluation-five

4分の1以下

H

N

J

K

G


評価例２：競技場

屋内監視カメラの映像から、登録済みの人物を認証被写体がカメラから遠く、顔向き変動も大きい悪環境下での性能評価

• 監視カメラ動画内の人物全てにつき、登録済み人物のうち誰かを認証

⁻ 登録人数： 480名

⁻ 合計 133時間15分の動画から認証

⁻ NISTが設定した閾値を越え「似ている」とアルゴリズムが判定した顔画像の正解率で判定

• カメラから遠い（低解像度）、多人数、顔向き変動大

と動画顔認証としてもかなりの悪環境

※NISTのレポート中では ” DATASET P: SPORTS ARENA”と記載

注）写真はプライバシー保護のため加工してあります https://www.nist.gov/programs-projects/face-video-evaluation-five


評価例２：競技場評価結果

監視に重要な、小さい顔画像や顔向き変動に対する強さを証明2位に比べ半分以下のエラー率

99.9%

99.9%

99.6%

98.2%

97.8%

92.0%

86.4%

85.3%

74.7%

74.1%

65.7%

63.0%

55.4%

46.6%

38.6%

14.6%

F

Q

C

L

K

B

D

A

E

N

J

H

R

G

I

NECNEC 14.6%

NISTのコメント

“Only one (NEC) handles the low resolution yielding

about half as many errors as algorithm from the

next most accurate vendor”

NECは低解像度でも照合できる唯一のベンダー

Results shown from the Face In Video Evaluation (FIVE) do not constitute endorsement of any particular product by the U.S. Government.https://www.nist.gov/programs-projects/face-video-evaluation-five

高い不審者検知率

NEC 85.4%、2位は61.4%

導入事例の紹介


顔認証技術の幅広い用途

重要施設監視

入退場管理スマートデバイスログオン認証

会員管理（顔パス入場）

出退勤管理

ロボットロッカー

国民ID似顔検索

出入国管理

TARO SUZUKITARO SUZUKI08/07

携帯電話

インフォメーション思い出写真検索

PCセキュリティ

国家インフラ・エリアセキュリティ流通・サービス

エンタープライズ機器組込み


事例：チケット本人確認システム

ファンクラブ会員ページで事前登録した顔画像とイベント当日に会場設置のタブレット端末で撮影した来場者顔画像の照合にて、本人を確認。

顔写真付き身分証明書を用いた目視での本人確認方法と比較し、確認時間を最大30％短縮し、来場者の円滑な入場を実現。

アーティストのコンサートでの運用実績など、数万人～十万人規模のイベントにも対応

※ NECプレスリリース http://jpn.nec.com/press/201412/20141205_01.html

コンサートのチケット転売防止と円滑な入場を実現！


事例：顔認証再来受付システム

※ NECホームページ（事例紹介） http://jpn.nec.com/case/tachibanadai-hp/

電子カルテシステムへの顔写真掲示連携により、患者様の誤認防止にも寄与

今後、電子カルテ連携強化や、リストバンドや投薬処置などでも連携を検討予定

再来患者様は、受付端末での顔認証と診療科目の選択により、スムーズな受診を実現

患者の抵抗感が少ない生体認証方式として、顔認証を採用

全国初、顔認証による再来受付にて、受付プロセスを簡略化！


▌Klontz and Jain, “A Case Study on Unconstrained Facial Recognition Using the Boston Marathon” Technical Report MSU-CSE-13-4 (ミシガン州立大学テクニカルレポート 2013/5/30発行)

▌ボストンマラソン爆破事件で公開された犯人の顔画像を利用

▌2社の製品版顔認証ソフトウェアを使って検証

▌顔認証を利用する機会として、事件発生から犯人逮捕まで88時間の猶予

【事例】ボストンマラソン爆破事件(米大学報告書)


【事例】ボストンマラソン爆破事件：実験条件

FBI手配写真

容疑者1

容疑者2

照合画像

登録画像

容疑者1

容疑者2

他に１００万枚の犯罪者顔画像を追加

顔照合

容疑者を検索


【事例】ボストンマラソン爆破事件：評価結果

▌１００万名登録時の検索結果(本人順位)

Query画像 A社 B社

2a 213(19)

5,556

2b 260(30)

9,002

2c 1(1)

636

1a 12,446(1,746)

-

1b 236,343(42,827)

-

下段：年齢、性別で絞り込んだ場合の順位

１位にヒット

した画像もあ

り、有効な

ツール

サングラスの

顔認証は困難


【事例】兵馬俑：兵士模型の類似顔判定

- 古代中国で死者を埋葬する際に兵士や馬をかたどったもの

- 約8000体の兵士模型

- 兵士模型は、実際の兵士の顔をモデルとして作られており、どれ

一つとして同じ顔をしたものはないと言われている

- 顔認証技術を使って類似顔を検索

音で耳を測る，新しい個人認証技術


技術概要

▌耳穴の形状の個人性に着目

▌マイク一体型イヤホンを用いて、出力した音が耳の中でどう響くか(音響特性)を観測

音響特性の違い(≈形状の違い)で個人を特定

▌作業中、移動中も常時認証 → すり替わり困難

楽器と同様形状が変わると音色も変わる

• 奥が深い

• 間口が広い

• 曲がっている

• ⋯⋯⋯

外耳道

鼓膜中耳・内耳

耳介

Art by Iain at the Englishlanguage Wikipedia

マイク一体型イヤホン

受信信号

送信信号

https://en.wikipedia.org/wiki/User:Iain

https://en.wikipedia.org/wiki/


特長①

▌個人特有の穴の音響特性を短時間で正確に測定

▌イヤホン(スピーカ)から音響信号を出力、耳内で伝搬した音響信号をマイクで受信

▌同期加算で受信信号の感度を増幅

⇒ 1秒程度で雑音に頑健な測定

マイク一体型イヤホン

受信信号

送信信号

送信信号（０．２秒×５回）

短時間同期加算後の受信信号（０．２秒）

受信信号（耳内伝搬による変形＋雑音）

※雑音⋯心拍、運動(関節、筋肉)、呼吸、発声、など


利用シーン

▌社会インフラソリューション：都市の警備、重要施設の保守、医療機関など

通信の秘匿：認証された者のみに機密情報を提示

なりすましによる内部犯行の防止

定められた医療行為を定められた者だけが実施

▌次世代ウェアラブルコンピュータ（ヒアラブル）

ますます多種多様な情報やサービスがシームレスにユーザに提供される5G時代

ポストスマホとして注目される耳掛け型デバイス

警察消防港湾施設空港プラント病院

Xperia Ear Bragi The Dash

離れた場所から人の視線を即時に検知できる「遠隔視線推定技術」


遠隔視線推定技術

視線はその人の心理を反映

背景

従来技術

特殊なデバイスを使って、近くから人の視線を推定

30cm～50cm

視線検知により、人の興味を知ることができる

従来技術の課題

高精度に推定する目的の場合には専用デバイスが必要

通常のカメラを使う場合には、近くから撮影することが必要

「遠隔視線推定技術」

～10m

同時に複数人の視線を検知

離れた場所にあるカメラから複数人同時、かつリアルタイムに人の視線を検知



技術の特長

1. 離れた場所からでも検知

10m離れた場所からでも検知

2. 複数の人を同時に検知

１人当たりの処理時間は1msec以下

3. 通常のカメラのみを利用



コア技術

目の領域を拡大

低解像度画像でも目の特徴点を正確に検知可能

顔認証技術をベースに開発

10m離れた場所から撮影

従来手法で取得できる画像(距離：30cm)

10m離れた場所から撮影された画像


まとめ

▌顔認証の歴史、技術を紹介

▌その他の研究（耳認証、視線推定）の紹介

セキュリティ

プライバシー

顔認証の実用化

安全・安心で豊かな社会を支える顔認証技術 · 2018-05-06 ·...

Documents