社団法人 電子情報通信学会

THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

バイオメトリクス研究会資料

Proceedings of Biometrics Workshop

RGBカメラと深度センサーで計測した人間の動作時系列に基づく

バイオメトリクス照合

真部 雄介† 菅原 研次†

† 千葉工業大学 情報科学部E-mail: †{ymanabe,suga}@net.it-chiba.ac.jp

あらまし 近年発売されているスマートフォンやゲームデバイスは，マルチセンシングデバイスとしての意味を持ち

始めており，多様な形で実世界情報を取得できるようになってきている．このことは，バイオメトリクス研究におい

て，新しい認証方法の模索や新しい情報の積極的活用が行われることの下地となると考えられ，延いては認証方法の

多様化や高精度化と結びついてゆくことが期待される．そこで本研究では，RGBカメラと深度センサーで計測した

空中署名動作と歩行動作に基づく個人照合実験について報告する．動作時系列の主成分得点時系列に対し Dynamic

Time Warping(DTW)を用いて照合を行った結果，それぞれ平均 20%～30%程度の等誤り率での照合が可能であるこ

とを示す．

キーワード RGBカメラ，深度センサー，空中署名照合，歩行動作照合，ソフトバイオメトリクス

Biometric Verification based on Human Motion Time Series

Observed by RGB Camera and Depth Sensor

Yusuke MANABE† and Kenji SUGAWARA†

† Faculty of Information and Computer Science, Chiba Institute of Technology

E-mail: †{ymanabe,suga}@net.it-chiba.ac.jp

Abstract Recently mobile phones and video game devices came to contain the meaning as a multi-sensing device,

and we can obtain multi-variable and multi-dimensional data from the Real World. This situation can lead biomet-

rics researches to seeking an novel way to authenticate persons and to utilize unexplored information. Moreover, it

can lead to the diversification of the authentication methods and the achievement of high accuracy authentication.

Thus this study proposes handwriting gesture and human gait verification methods based on RGB camera and

depth sensor and reports their verification experiments. The proposed method contains feature extraction based

on principal component analysis (PCA) and nonlinear matching based on dynamic time warping (DTW). As the

result, 25% to 28% EER was achieved in average.

Key words RGB Camera，Depth Sensor，Handwriting Gesture Verification, Human Gait Verification, Softbio-

metrics

1. は じ め に

近年発売されているスマートフォンやゲームデバイスは，

RGB カメラやマイク，スピーカーだけではなく，加速度セン

サーやジャイロセンサー，IR 深度センサーなど非常に多くの

センサーを搭載しており，マルチセンシングデバイスとしての

意味を持ち始めている．例えば，Appleコンピュータから発売

されている iPhoneには，近接センサー，輝度センサー，3軸

加速度センサー，ジャイロセンサーなどが搭載されている．任

天堂から販売されている家庭用ゲーム機Wiiで使用可能なゲー

ムコントローラWii Remoteは，CMOSセンサーおよび 3軸

加速度センサを内蔵し，Bluetoothによって無線で情報の取得

が可能である．また，Microsoftから発売されている Kinectに

は，RGBカメラ，深度センサー，マルチアレイマイクロフォン

などが搭載されている．

このことは，実世界における人間行動を反映した何らかの物

理量をコンピュータ内に取り込むことが容易になってきているこ

とを意味しており，取り込まれたデータを様々なシーンへ活用す

るための研究が活発に行われている．Ubiquitous Computing,

Pervasive Computing, Context-Aware Computing, Ambient

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

51

Intelligence, Phyisical Computingなどの言葉の元に行われて

いる一連の研究群がこれに該当する．

このような状況は，人間の身体的および行動的特徴を用いて

個人を特定するバイオメトリクス研究にとっても，重要な意味

を持っている．すなわち，多様なデバイスの低価格化・小型化

によって，今まで取り込むことが困難であった情報を容易に取

り込むことができるようになり，新しい認証方法の模索や複合

的な情報の積極的活用が行われることの下地となると考えらる．

その結果，認証方法の多様化や高精度化が引き起こされる可能

性が期待できる．

そこで本研究では，RGBカメラと深度センサーを搭載した

ゲームデバイスである Kinectで計測した人間の動作時系列に

基づく 2つの個人照合実験について報告する．行った個人照合

実験は，空中署名動作による照合と歩行動作による照合の 2つ

である．2つの照合実験では，計測した動作時系列に対し主成

分分析を施して得られた主成分得点時系列を利用し，Dynamic

Time Warping(DTW) によるマッチング偽距離に基づいて照

合を行った．実験の結果，簡易な手法ながらそれぞれ 25%から

28%程度の等誤り率での照合が可能であることを示す．また，

マルチモーダルソフトバイオメトリクスへの応用可能性につい

ても言及する．

本論文の構成を示す．2.では，空中署名動作による照合と歩

行動作による照合の関連研究について述べる．3.では，それぞ

れの提案手法について記述する．4.では，評価実験およびその

結果と考察について記述する．最後に，5.ではまとめを述べる．

2. 関 連 研 究

2. 1 空中署名動作による照合

空中署名動作による照合を扱った研究として，片桐・杉村の

研究 [1], [2]，広木の研究 [3]，石原らの研究 [4]，Haskellらの研

究 [5]，Liuらの研究 [6]，Casanova・Bailadorらの研究 [7], [8]

がある．それぞれ，空中署名動作の計測方法，文字を構成する

平面と垂直に交わる奥行き方向の情報の扱いの有無を中心に述

べる．

片桐・杉村は，ビデオカメラを利用し空中でサインを行う方

式を提案している．この研究では，電子タブレットを用いた通

常の署名入力方式と，ビデオカメラを利用した署名入力方式と

の比較を行っている．ビデオカメラを利用した署名入力方式で

は，（1）ビデオカメラの正面で先の光るペンを持ち空中で普通

に署名を行う方法，（2）同様のデバイスを用いつつビデオカメ

ラとの間にガラス板を設置し，そのガラス板面上で署名を行う

方法，の 2つが試みられている．これは，ガラス板上で署名す

ることによりペン先運動の平面性を確保し，ガラス板を用いな

い空中署名の場合との比較を行い，影響を評価するために行わ

れている．この実験では，奥行きの有無による影響を評価して

いるものの，空中署名から取得し認証に利用している情報はあ

くまで 2次元平面上での軌跡である．

一方，広木は，近赤外線カメラに基づくモーションセンサー

を利用した空中署名照合システムを提案している．赤外線情報

を利用することで高速に指先の位置検出・トラッキングを行う

ことで，3次元位置情報を計測している．実験では，各軸に対

しストロークごとの移動量や速度，最大加速度，長さ，湾曲率，

署名時間といった特徴量を取り出し，有効な特徴量を検証して

いる．自己再現性の観点からは，上下方向や左右方向に関する

特徴量が優位であり，奥行き情報は有効な特徴量ではなかった

ことが報告されている．

その他の文献 [4]～[8]は，全て空中署名動作過程における加速

度情報に基づいて個人を特定しようという試みであり，加速度

センサーが搭載された携帯電話やスマートフォンの普及を背景

として取り組まれている．したがって，携帯端末自体のアクセス

コントロールなどを利用シーンとして想定しているものが多い．

また，計測された加速度時系列の類似度を，動的プログラミン

グ (Dynamic Programing)に基づく時間軸方向の伸縮を許容し

たマッチングアルゴリズム（Dynamic Time Warping;DTW,

Longest Commom Subsequence;LCS）によって評価している

ものが多い．

これ以外に 3次元的に署名を捉えることを謳った研究として，

Anand らの研究 [10], [11] があるが，これはペンタブレットを

用いて計測される圧力情報を奥行き情報として捉えるものであ

り，空中署名動作を扱っているとは言い難い．

カメラを用いて指先動作をトラッキングし認証を行う中島ら

の研究 [9]も存在するが，文字を構成する 2次元平面上の情報

しか扱っていない．

その他，個人認証とは異なるが，空中での手書き文字認識に

関する研究がいくつか試みられている [12]～[14]が，いずれも

空中での手の動きの 2次元平面上での軌跡を扱ったものが多く，

文字を構成する平面と垂直に交わる奥行き方向の情報を扱った

例は少ない．

2. 2 歩行動作による照合

歩行による個人認証は，1967年にMurrayが歩行動作におけ

る個人性について言及した [15] ことに端を発すると考えると，

45年もの歴史のあるアプローチであると考えることができる．

工学的応用研究としては，Niyogi and Adelson の研究（1993

年，1994年） [16], [17] やMurase and Sakaiの研究（1996年）

[18]が先駆的研究として挙げられる．それから 20年あまりの

間，認証に用いられるデバイスの多様化とともに非常に広範囲

に研究がなされてきた．

Gafurovらは，計測に用いられるデバイスの観点から歩行認

証をMachine Visionベース（MV-based）, Floor Sensorベー

ス（FS-based）, Wearable Sensorベース（WS-based）の 3つ

に分類している [19]．

MV-based は，カメラを用いて歩行過程を計測し認証を行

うものである．このアプローチは，認証対象者の捉え方の違

いにより，さらにmodel-basedと appearance-basedに分けら

れる．前述の Niyogi and Adelson の研究 [16], [17] は model-

based，Murase and Sakai の研究 [18]は appearancebasedで

ある．MV-based は，歩行認証のアプローチとして最も多く研

究されているものであり，非常に多くの文献が存在する．例え

ば，appearance-based に分類されるシルエット画像に基づく

方法のうち，2000年以降に IEEE Transactionに発表された主

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

52

な論文だけでも [20]～[25]等がある．

FS-based とは，圧力センサーを設置した床の上を歩行する

過程のデータを収集し，個人認証を行うものである．代表的

な研究として，Addleseeらの研究 [26]，Orr and Abowdの研

究 [27]，Mostayedらの研究 [28]がある．計測デバイスの設置

コストの高さとスケーラビリティの低さが欠点であるが，位置

情報を計測できることから応用可能性の広い手法である．

WS-based とは，認証対象者の身体の一部に加速度センサや

ジャイロセンサのようなモーションセンサを装着し，歩行過程

の動きを計測して個人認証を行うものである．モーションセン

サが標準搭載されたスマートフォンの普及により近年特に注目

されているもので，スマートフォンの紛失・盗難を念頭に置い

た連続アクセス認証などへの応用も期待されている [19]．セン

サーを装着する位置は，腰 [29]～[31], 足首 [32], 腰と足首 [33],

腕 [34], 膝 [35], 靴 [36]～[38]，鞄（バックパック）[39]などがあ

る．その他は文献 [40], [41]を参照されたい．

上記した分類とは異なる捉え方として，歩行者の観測方向の

違いによる分類がある．特に，MV-basedアプローチでは，認

証対象者を側面方向から計測するのが一般的であるが，近年，

認証対象者の正面方向から観測することによって個人を特定し

ようという試みが注目されている [42]～[45]．Sorianoらは正面

観測歩行認証の利点として，（1）人間は自分の知り合いを正面

から認識することが可能であり，そのような能力と親和性が高

い，（2）認証対象の歩行者をカメラで追従する必要がなく，歩

行過程の計測のために十分な距離をとってカメラを設置する必

要もない，（3）広範囲のサンプリングが可能であり，正面から

計測された歩行動画ではスケール変化のみしか起こらない，と

いった点を挙げている．

3. 提 案 手 法

本節では，それぞれの個人照合手法について具体的な手順を

説明する．

3. 1 概 要

図 1 に空中署名照合および歩行動作照合の主な流れを示す．

2つの照合実験は個別に行うが，同様の流れに従うためまとめ

て説明する．本研究では，RGB カメラ，深度センサーを共に

備えている Microsoft 社の家庭用ゲーム機 Xbox360専用コン

トローラである Kinectを計測デバイスとして用いる．

まず，Kinectの前でキャリブレーションを行い，手の位置お

よび身体骨格を検出する．Kinectは，Kinect SDKや PrimeS-

ence社の OpenNI（Natural Interaction）[46]を利用すること

で，搭載されている各種センサーの制御および手の位置検出，

身体の骨格検出等が可能となる．キャリブレーション後，空中

署名や歩行を行うことで，手の位置座標の変化や身体骨格の関

節・端点の位置座標の変化を動作時系列として取得する．前処

理では，取得した時系列をスケーリングする．特徴抽出では，

前処理後の時系列に対して主成分分析を施し，主成分得点時

系列を得る．照合は主成分得点時系列間の類似度を Dynamic

Time Warping（DTW）を用いて計算し，類似度が判定基準を

満たしていれば本人であると判断する．

図 1 処理の流れ

Fig. 1 Process Flow

3. 2 データの種類と前処理

空中署名照合では，Kinect の正面で署名動作を行いデータ

を計測する（詳細な計測環境は後述する）．Kinect では，検

出された手の位置の 3 次元トラッキングが可能である．した

がって，用いるデータは，手の位置の 3次元座標時系列（x(t)，

y(t)，z(t)）である．また，前処理として以下の式で表される

簡単な平滑化とスケーリングを行う．

d′(t) =d(t−∆t) + d(t) + d(t+∆t)

3(1)

d′′(t) =d′(t)− d′min

d′max − d′min

(2)

ここで，tは標本化時刻，d(t)は時刻 tにおける計測値，∆tは

サンプリング間隔を表す．

歩行動作照合では，後に示すように歩行過程を正面から捉え

る．すなわち，Kinectに接近していく歩行過程を計測する．用

いるデータは，Kinectで検出可能な身体骨格の関節・端点（15

箇所 ×3 次元 =45 本）の時系列データのうち，x 座標時系列

（左右方向の変化）のみを用いる．理由は，正面から歩行過程

を計測した場合，y座標（垂直方向）および z座標（奥行方向）

の時系列は，単調に減少する傾向を示し，後の主成分分析の過

程で意味のある結果が得られないためである（注1）．また，先ほ

どと同様に，歩行過程の x座標時系列も式 1および 2に基づく

平滑化とスケーリングを行う．歩行開始前等のほとんど変化の

ない停留状態と判断される区間は削除する．

3. 3 特 徴 抽 出

特徴抽出処理では，動作の多次元時系列に対し主成分分析を

施し，主成分得点時系列を得る．空中署名データでは x，y，z

それぞれの変化を表す 3 次元時系列，歩行動作データでは 15

箇所の関節・端点の x座標の変化を表す 15次元時系列に対し

主成分分析を行う．図 2 に処理の流れを示す．登録用時系列

（R1(t)，R2(t)）は，個別に主成分分析を行い主成分得点時系

列（R′1(t)，R′

2(t)）を得るが，検証用時系列（T (t)）は照合過

（注1）：45 本全てのデータに対して主成分分析を行うと，第 1 主成分得点時系

列として単調減少傾向の成分しか抽出できず (寄与率 90 ％以上)，個人識別可能

な特徴を取り出すことができなかった．ちなみに，その際の第 2，第 3 主成分得

点時系列を用いての検証も行ったが，8 人の平均 EER で，それぞれ，50.8%，

55.3%となり良い結果は得られていない．

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

53

図 2 主成分分析による特徴抽出

Fig. 2 Feature Extraction by Principal Component Analysis

程で基準となる登録時系列の主成分行列（VR1，VR2）に基づき

主成分得点時系列（TR1(t)，TR2(t)）を得る．この手順により，

登録用時系列と検証用時系列間の類似度を計測する際に，主成

分得点時系列の座標系を整合させる．本研究では，第 1主成分

得点時系列から第 3主成分得点時系列までを照合に用いる．

さらに，歩行動作照合では，頭部の時系列に際立って歩行周

期に根差した成分が顕著に含まれることに着目し，頭部の x軸

方向の速度変化を計算し，特徴量時系列として利用する．速度

を求めることによって，x座標時系列に含まれる若干の減少傾

向のトレンド成分を除去することができる．頭部動揺時系列

v(t)は，以下の式を用いて計算する．

v(t) =d(t)− d(t−∆t)

∆t, (3)

ここで，d(t) は，標本化時刻 tにおける頭部の x座標，∆tは

サンプリング間隔を表す．計測後，式（1）および（2）に基づ

き平滑化とスケーリングをを行う．

3. 4 照 合

特徴量時系列に対し，複数の登録用時系列と各検証用時系列

の間の類似度を DTW を用いて計算する．照合対象者の宣言

IDkに対する検証用特徴時系列 Tk(t)と NR 本の全ての登録用

特徴時系列 Ri(t), (i = 1, 2, . . . , NR)との間で DTWに基づく

マッチング偽距離を計算し，その平均値をその特徴時系列に対

する最終的な類似度 S̄k とする．

S̄k =1

NR

NR∑i=1

DTW (Ri(t), Tk(t)) (4)

ここで，DTW (, )は DTWに基づく非線形マッチングに基づ

く最小累積距離を返す関数である．

また，主成分得点時系列を用いる場合は，式（4）に基づき

求めた各主成分得点時系列に対する類似度をさらに統合する．

第 (p)主成分得点時系列での類似度を¯

S(p)k ，登録用時系列に対

する第 (p)主成分の寄与率平均を Prop(p)k とすると，最終的な

類似度 S̄k’は以下のように計算される．

S̄′k =

Cmax∑p=1

S̄(p)k ∗ Prop

(p)k (5)

ここで，Cmax は統合する最大主成分数を表し，今回は 1から

図 3 空中署名データの取得環境

Fig. 3 Observation Environment for Handwriting Gesture

3の整数をとるものとする．

式（4）または（5）に基づく最終的な類似度に対し，単純な

閾値処理により受理・棄却の判定を行う．本研究では，閾値を

変化させた際のエラー率の変化を見ることで個人照合精度を検

証する．評価尺度となるエラー率の詳細は後述する．

4. 実験と結果

提案手法の有効性を検証するために，実際に空中署名データ

および歩行動作データを計測し，個人照合実験を行った．

4. 1 データ計測

照合実験では，Kinectセンサーによる手の位置座標および身

体骨格の関節・端点の位置座標の取得を必要とする．

まず，図 3 に空中署名時系列の計測環境を示す．机の上に

Kinectを置き，Kinectから 80cm離れた場所に椅子を配置す

る．被験者は，その椅子に深く自然に座り空中署名を行う．手

の位置座標の変化は 3次元の時系列データとして取得する．今

回は，サンプリング周波数を 30Hz とした．Kinect からの距

離を 80cmとした理由は，予備実験により 80cmより近い場合

にデータ取得範囲から外れることが多かったためであり，安定

してデータの取得が行える十分な距離として設定した．また，

背もたれに寄り掛かるかどうかは特に教示せず被験者の任意と

した．

空中署名データの計測は，6人の被験者（A～F）それぞれが

以下の要領に従って行った．

（ 1） 手を振り，手の位置を検出する（キャリブレーション）．

（ 2） 書き始めと同時にデータ計測を開始する．

（ 3） 利き手で署名を行う．

（ 4） ひらがなの「あ」一字を空中署名する．

（ 5） 書き終わりと同時にデータ計測を終了する．

（ 6） 1日 5回 ×2日 =計 10回計測を行う．

データ計測と終了のタイミングは，実験実施者が被験者の空中

署名を観察することで決定した．

次に，図 4 に歩行時系列の計測環境を示す．Kinect を高さ

120cmの位置に設置した．また，Kinectのヘッドアングルは，

最も下げた状態から 3段階角度を上げた状態で設置した．歩行

開始地点 (S)と計測終了地点 (E)までの距離は 290cmであり，

計測終了地点 (E)は Kinectから 100cm離れた点とした．歩行

動作の計測では，個人を特定することが可能となる歩行時系列

を得るために，できるだけ長く歩行過程を計測する必要がある．

また，骨格を認識した状態で歩行過程を計測する必要があり，

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

54

図 4 歩行データの取得環境

Fig. 4 Observation Environment for Gait

被験者の足元までしっかり捉えつつ骨格を検出した状態を維持

したまま歩行過程の計測ができるように設置した．

歩行動作データの計測は，8人の被験者（A～H）から以下の

手順で行った．

（ 1） 被験者は Kinectに正対して図 4の (S)地点に立つ．

（ 2） 骨格検出のためにキャリブレーションポーズをとる

（ 3） 骨格が検出されたら Kinectに向かって歩く．

（ 4） データ計測は，1人の被験者につき 10回行う．

制約条件として，必ず右足から歩き出すこととし，計測終了地

点である (E) で立ち止まらずそのまま歩き続けるように教示

した．

4. 2 実験方法と評価尺度

照合実験は，それぞれの取得したデータのうち，初めの 3回

分を登録データ（NR = 3），後の 7回を本人用評価データとし

て扱うこととした．また，他人用評価データは登録被験者以外

の全ての本人用評価データを用いることとした．

評価尺度は，他人受理率（False Acceptance Rate，FAR）と

本人棄却率（False Rejection Rate，FRR）を利用した．FRR

対 FARを表す DET曲線（decision error trade-off curve) [48]

を用いて，受理・棄却判定の基準となる閾値を変化させた際の

傾向を分析した．

4. 3 結 果

まず，図 5，6，7に空中署名照合のDET曲線（注2）を示す．図

5が第 1主成分得点時系列の類似度のみの結果，図 6が第 1お

よび第 2 主成分得点時系列それぞれの類似度を統合した結果，

図 7が第 1から第 3主成分得点時系列の類似度を統合して照合

を行った結果を示している．どのグラフにおいても，被験者 C

および Dの結果は良好であり，FAR，FRR両軸に近い位置で

推移していることがわかる．一方，被験者 B，E，Fの結果は

大きく膨らみ，芳しくない傾向となっている．特に，被験者 B

および Eは，図 5よりも図 6，7の方がふくらみが大きくなっ

ており，第 2主成分や第 3主成分得点時系列の結果を加味する

ことによってエラーが著しく悪化していることがわかる．

表 1に，空中署名照合の EERをまとめたものを示す．参考

までに，x，y，z それぞれの座標時系列単独による照合結果も

合わせて記載する．表より，平均的に見ると主成分分析を行う

（注2）：横軸が FRR，縦軸が FAR，各曲線と対角線との交点が EER を表す．

曲線は，左下の原点に近ければ近いほど良い照合精度であり，右上方向への膨ら

みが大きいほど判定基準となる閾値に対する変化傾向が悪いことを示す．

図 5 空中署名照合結果（PC1）

Fig. 5 DET Curves in Handwriting Gesture (PC1)

図 6 空中署名照合結果（PC1&PC2）

Fig. 6 DET Curves in Handwriting Gesture (PC1&PC2)

表 1 空中署名照合の EER

Table 1 EER in Handwriting Gesture Verification

被験者 x y z PC1 PC1&2 PC1&2&3

A 0.429 0.429 0.143 0.286 0.286 0.286

B 0.571 0.829 0.429 0.286 0.429 0.429

C 0.229 0.286 0.367 0.029 0.048 0.057

D 0.143 0.143 0.000 0.000 0.000 0.000

E 0.452 0.429 0.486 0.286 0.371 0.405

F 0.314 0.286 0.714 0.657 0.571 0.686

平均 0.356 0.400 0.356 0.257 0.284 0.310

偏差 0.144 0.215 0.232 0.216 0.203 0.233

ことによって，照合精度が改善されていることがわかる．最も

良い結果となったのは第 1主成分得点時系列のみを用いたとき

で平均 EER=25.7%となった．また，被験者 B，E，Fの DET

曲線の傾向と同様に，平均で見ても第 2 主成分や第 3 主成分

得点時系列の結果を加味することによってエラー率が上昇して

いる．

次に，図 8，9，10 に主成分分析を用いた歩行動作照合の

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

55

図 7 空中署名照合結果（PC1&PC2&PC3）

Fig. 7 DET Curves in Handwriting Gesture (PC1&PC2&PC3)

図 8 歩行動作照合結果（PC1）

Fig. 8 DET Curves in Human Gait (PC1)

DET曲線を示す．図 8が第 1主成分得点時系列の類似度のみ

の結果，図 9が第 1および第 2主成分得点時系列それぞれの類

似度を統合した結果，図 10が第 1から第 3主成分得点時系列

の類似度を統合して照合を行った結果を示している．被験者別

に結果を見ると，相対的に被験者 Fの結果が良く，C，Dの結

果が悪くなっていることがわかる．

また，図 11 に頭部の横揺れ速度を用いた歩行動作照合の

DET 曲線を示す．主成分得点時系列を用いた場合の被験者 F

で見られたような FAR，FRR両軸に近い位置で推移している

ものはないが，大きく膨らんでいるものがなく主成分得点時系

列を用いたものよりもエラーが低く抑えられていることがわ

かる．

表 2に，歩行動作照合の EERをまとめたものを示す．最も

良い結果となったのは頭部の横揺れ速度を用いたときで平均

EER=27.2%となった．偏差も最も小さく抑えられており，安

定した結果を得られることがわかる．また，主成分得点時系列

を用いた結果では，空中署名と同様に第 2主成分や第 3主成分

得点時系列の結果を加味することによってエラー率が上昇して

図 9 歩行動作照合結果（PC1&PC2）

Fig. 9 DET Curves in Human Gait (PC1&PC2)

図 10 歩行動作照合結果（PC1&PC2&PC3）

Fig. 10 DET Curves in Human Gait (PC1&PC2&PC3)

表 2 歩行動作照合の EER

Table 2 EER in Human Gait Verification

被験者 PC1 PC1&2 PC1&2&3 Head

A 0.429 0.429 0.429 0.286

B 0.321 0.306 0.306 0.143

C 0.571 0.554 0.536 0.411

D 0.554 0.603 0.607 0.429

E 0.365 0.413 0.397 0.143

F 0.052 0.061 0.061 0.161

G 0.245 0.265 0.245 0.286

H 0.245 0.245 0.245 0.317

平均 0.348 0.359 0.353 0.272

偏差 0.161 0.165 0.164 0.107

いることがわかる．

5. お わ り に

本研究では，RGBカメラと深度センサーを搭載したゲーム

デバイスである Kinectで計測した空中署名動作による照合と

歩行動作による照合の 2 つの実験について報告した．計測し

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

56

図 11 歩行動作照合結果（頭部横揺れ）

Fig. 11 DET Curves in Human Gait (Head Swing Velocity)

た動作時系列に対し主成分分析を施して得られた主成分得点

時系列を利用し，Dynamic Time Warping(DTW)によるマッ

チング偽距離に基づいて照合を行った結果，空中署名照合で

は 6人の平均で EER=25.7%，歩行動作照合では 8人の平均で

EER=27.2%，が最も良い照合精度となった．

照合精度が良くなかった原因の 1つに登録データのばらつき

が挙げられる．例えば，空中署名照合において，被験者 C や

Dはその他の被験者に比べて安定して署名動作が行えていると

いうことが分かっている．歩行動作照合においても，本人間の

類似度を総当たりで比較した際に，外れ値として棄却できるほ

ど著しく類似度が低い（マッチング偽距離が大きい）サンプル

が含まれているケースがあり，そのような被験者では照合精度

が低くなってしまう．今後は，このようなデータは事前に登録

しない，または複数回取得したデータの中からどのデータを登

録データとして採用すべきか評価するなどの対策を取ることに

よって照合精度を改善できると考えている．

人間の行動的特徴を用いたバイオメトリクス認証は，身体的

特徴を用いた認証とは異なり，対象とする動作や行動それ自体

の個人弁別性の高さによって認証を行うものではない．しかし

ながら，ある程度の個人性が含まれていることは疑う余地がな

く，そのような意味で，行動的特徴を用いたバイオメトリクス

認証は，ソフトバイオメトリクスの一種であると考えることが

できる．本研究をマルチモーダルソフトバイオメトリクス実現

のための布石と考えるなら，今回の照合精度は決して低くなく，

組み合わせ次第では，十分高精度の認証を実現できると考えて

いる．実際に，我々の取り組みで，歩行動作における頭部動揺，

顔の局所的な特徴点間の寸法，身体骨格の寸法という 3つの特

徴を評価し，それらを論理的に組み合わせることによって，高

精度の認証（7人の被験者で FRR=0%のもと，FAR=0～1%）

を達成している．

今後は，本研究で扱ったような行動的特徴を含めたソフトバ

イオメトリクスを，個人認証のために有効なコンテキスト情報

であると捉え，マルチモーダル化する（コンカレントに全ての

特徴を計測し認証する）技術の開発に活かすことを考えている．

文 献

[1] 片桐雅二, 杉村利明, “ビデオカメラを用いた空中署名による

個人認証の試み,” 電子情報通信学会技術研究報告，Vol. 101,

No. 125, pp.9–16, 2001.

[2] 片桐雅二, 杉村利明, “空中署名画像を使った移動環境に適する

個人認証,” 映像情報メディア学会技術報告, Vol. 25, No. 85,

pp. 59–64, 2001.

[3] 広木誠, “空中署名動作の特徴抽出による個人認証システムの試

作,” 奈良先端科学技術大学院大学修士論文, 2003, Retrieved

July 22, 2012, from http://hdl.handle.net/10061/1780.

[4] 石原進, 太田雅敏, 行方エリキ, 水野忠則, “端末自体の動きを

用いた携帯端末向け個人認証,” 情報処理学会論文誌, Vol. 46,

No. 12, pp. 2997–3007, 2005.

[5] R. E. Haskell, D. M. Hanna and K. V. Sickle, “3D Signa-

ture Biometrics Using Curvature Moments,” International

Conference on Artificial Intelligence, pp. 718–721, 2006.

[6] J. Liu, L. Zhong, J. Wickramasuriya and V. Vasudevan,

“User evaluation of lightweight user authentication with a

single tri-axis accelerometer,” Proceedings of the 11th Inter-

national Conference on Human-Computer Interaction with

Mobile Devices and Services, pp. 15–18, 2009.

[7] J. G.-Casanova, C. S. Avila, G. Bailador, A. de-Santos-

Sierra, “Time series distances measures to analyze in-air

signatures to authenticate users on mobile phones,” IEEE

International Carnahan Conference on Security Technology,

pp. 18–21, 2011.

[8] G. Bailador, C. S.-Avila, J. G.-Casanova, A. de-Santos-

Sierra, “Analysis of pattern recognition techniques for in-

air signature biometrics,” Pattern Recognition, Volume 44,

Issues 10-11, pp. 2468–2478, 2011.

[9] 中島章博, 鹿嶋雅之, 佐藤公則, 渡邊睦, “指先署名による複合個

人認証システムに関する研究,” 画像の認識・理解シンポジウム

(MIRU2009), IS1-19, pp. 529–535, 2009.

[10] P. M. R. Anand, G. Bajpai and V. Bhaskar, “Online Multi-

Parameter 3D Signature Verification through Curve Fit-

ting,” International Journal of Computer Science and Net-

work Security, VOL. 9 No. 5, pp. 38–44, 2009.

[11] P. M. R. Anand, G. Bajpai and V. Bhaskar, 3D Signature

for Efficient Authentication in Multimodal Biometric Se-

curity Systems, International Journal of Engineering and

Technology, Vol. 2, No. 2, pp. 177–184, 2010.

[12] 園田智也, 村岡洋一, “空中での手書き文字入力システム,” 電

子情報通信学会論文誌 D-II, 情報・システム, II-パターン処理

J86-D-II(7), pp. 1015–1025, 2003.

[13] 保呂 毅 稲葉 雅幸, “複数カメラを用いた手書き文字認識

システム, 第 14 回インタラクティブシステムとソフトウ

ェアに関するワークショップ,” 2006, Retrieved April 17,

2012, from http://www.wiss.org/WISS2006Proceedings/

demos-cready/A_Handwriting_Recognition_System.pdf.

[14] 中井満, 米澤久光, “加速度センサを用いた空中手書き文字認識,

FIT2009（第 8 回情報科学技術フォーラム）,” pp. 133–134,

2009.

[15] M. P. Murray, “Gait as a total pattern of movement”, Amer-

ican Journal of Physical Medicine, vol. 46, pp. 290–332,

1967.

[16] S. Niyogi and E. Adelson, “Analyzing and recognizing walk-

ing figures in XYT,”MIT Media Lab Perceptual Computing

Technical Report 221, November 1993.

[17] S. Niyogi and E. Adelson, “Analyzing and Recognizing

Walking Figures in XYT,”Proc. IEEE CS Conf. Computer

Vision and Pattern Recognition, pp. 469–474, 1994.

[18] H. Murase and R. Sakai, “Moving Object Recognition in

Eigenspace Representation: Gait Analysis and Lip Read-

ing,” Pattern Recognition Letters, vol. 17, pp. 155-162,

1996.

[19] D. Gafurov, “A Survey of Biometric Gait Recognition:

Approaches, Security and Challenges,” Annual Norwegian

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

57

Computer Science Conference, 2007.

[20] P. S. Huang, “Automatic gait recognition via statistical ap-

proaches for extended template features,” IEEE Transac-

tions on Systems, Man, and Cybernetics, Part B: Cyber-

netics, Vol. 31, Issue 5, pp. 818–824, 2001.

[21] L. Wang, T. Tan, W. Hu and H. Ning, “Automatic

gait recognition based on statistical shape analysis,” IEEE

Transactions on Image Processing, Vol. 12, Issue 9,

pp. 1120–1131, 2003.

[22] L. Wang, T. Tan, H. Ning and W. Hu, “Silhouette analysis-

based gait recognition for human identification,” IEEE

Transactions on Pattern Analysis and Machine Intelligence,

Vol. 25, Issue 12, pp. 1505–1518, 2003.

[23] J. Han and B. Bhanu, “Individual recognition using gait

energy image,” IEEE Transactions on Pattern Analysis and

Machine Intelligence, Vol. 28, Issue 2, pp. 316–322, 2006.

[24] D. Ioannidis, D. Tzovaras, I. G. Damousis, S. Argyropoulos

and K. Moustakas, “Gait Recognition Using Compact Fea-

ture Extraction Transforms and Depth Information,” IEEE

Transactions on Information Forensics and Security, Vol. 2,

Issue 3, Part 2, pp. 623–630, 2007.

[25] J. Zhang, J. Pu, C. Chen and R. Fleischer, “Low-Resolution

Gait Recognition,” IEEE Transactions on Systems, Man,

and Cybernetics, Part B: Cybernetics, Vol. 40, Issue 4,

pp. 986–996, 2010.

[26] M. D. Addlesee, A. Jones, F. Livesey, and F. Samaria, “ORL

active floor,” IEEE Personal Communications, vol. 4, no. 5,

pp. 35–41, 1997.

[27] R. J. Orr and G. D. Abowd, “The Smart Floor: A Mecha-

nism for Natural User Identification and Tracking,”Proc.

2000 Conf. Human Factors in Computing Systems (CHI

2000), ACM Press, New York, 2000.

[28] A. Mostayed, K. Sikyung, M. M. G. Mazumder, and

S. J. Park, “Foot step based person identification using his-

togram similarity and wavelet decomposition,” Proc. of In-

ternational Conference on Information Security and Assur-

ance, pp. 307–311, 2008.

[29] D. Gafurov, E. Snekkenes, P. Bours, “Spoof Attacks on Gait

Authentication System,” IEEE Transactions on Information

Forensics and Security, Vol. 2 , Issue 3, Part 2, pp. 491–502,

2007.

[30] M. O. Derawi, C. Nickel, P. Bours, C. Busch, “Unobtru-

sive User-Authentication on Mobile Phones Using Biometric

Gait Recognition,” Sixth International Conference on Intel-

ligent Information Hiding and Multimedia Signal Processing

(IIH-MSP), pp. 306–311, 2010.

[31] M. O. Derawi, P. Bours, K. Holien, “Improved Cycle Detec-

tion for Accelerometer Based Gait Authentication,” Sixth

International Conference on Intelligent Information Hiding

and Multimedia Signal Processing (IIH-MSP), pp. 312–317,

2010.

[32] S. Terada, Y. Enomoto, D. Hanawa, K. Oguchi, “Perfor-

mance of gait authentication using an acceleration sensor,”

34th International Conference on Telecommunications and

Signal Processing (TSP), pp. 34–36, 2011.

[33] D. Gafurov, E. Snekkenes, P. Bours, “Gait Authentica-

tion and Identification Using Wearable Accelerometer Sen-

sor,” IEEE Workshop on Automatic Identification Ad-

vanced Technologies, pp. 220–225, 2007.

[34] D. Gafurov, E. Snekkkenes, “Arm Swing as a Weak Bio-

metric for Unobtrusive User Authentication,” International

Conference on Intelligent Information Hiding and Multime-

dia Signal Processing, pp. 1080–1087, 2008.

[35] L. W. Hang, C. Y. Hong, C. W. Yen, D. J. Chang and

M. L. Nagurka, “Gait Verification using Knee Accelera-

tion Signals,” Expert Systems with Applications, Vol. 38,

pp. 14550-14554, 2011.

[36] E. S. Sazonov, T. Bumpus, S. Zeigler, S. Marocco, “Classifi-

cation of plantar pressure and heel acceleration patterns us-

ing neural networks,” IEEE International Joint Conference

on Neural Networks, Vol.5, No. 5, pp. 3007–3010, 2005.

[37] S. J. M. Bamberg, A. Y. Benbasat, D. M. Scarbor-

ough, D. E. Krebs and J. A. Paradiso, “Gait Analysis

Using a Shoe-Integrated Wireless Sensor System,” IEEE

TRANSACTIONS ON INFORMATION TECHNOLOGY

IN BIOMEDICINE, Vol. 12, No. 4, pp. 413–423, 2008.

[38] P. Lopez-Meyer, G. D. Fulk, and E. S. Sazonov, “Au-

tomatic Detection of Temporal Gait Parameters in Post-

stroke Individuals,” IEEE TRANSACTIONS ON INFOR-

MATION TECHNOLOGY IN BIOMEDICINE, Vol. 15,

No. 4, pp. 594–601, 2011.

[39] N. T. Trung, Y. Makihara, H. Nagahara, R. Sagawa,

Y. Mukaigawa, Y. Yagi, “Phase registration in a gallery

improving gait authentication,” International Joint Confer-

ence on Biometrics (IJCB), pp. 1–7, 2011.

[40] M. O. Derawi, “Accelerometer-based gait analysis, a sur-

vey,” Norwegian Information Security Conference (NISK),

pp. 33–44, 2010.

[41] G. Bajrami, M. O. Derawi, and P. Bours, “Towards an au-

tomatic gait recognition system using activity recognition

(wearable based),” 3rd International Workshop on Security

and Communication Networks (IWSCN), 2011.

[42] M. Soriano, A. Araullo, and C. Saloma, “Curve spreads-a

biometric from front-view gait video,” Pattern Recognition

Letters, 25(14), pp. 1595–1602, 2004.

[43] M. Goffredo, J. N. Carter and M. S. Nixon, “Front-view

Gait Recognition,” 2nd IEEE International Conference on

Biometrics: Theory, Applications and Systems, pp. 1–6,

2008.

[44] O. Barnich and M. V. Droogenbroeck, “Frontal-view gait

recognition by intra- and inter-frame rectangle size distri-

bution,” Pattern Recognition Letters, vol. 30, pp. 893–901,

2009.

[45] J. Ryu and S. Kamata, “Front view gait recognition using

Spherical Space Model with Human Point Clouds,” 18th

IEEE International Conference on Image Processing (ICIP),

pp. 3209–3212, 2011.

[46] OpenNI, Retrieved February 27, 2012, from http://75.98.

78.94/.

[47] Processing, Retrieved March 15, 2012, from http://

processing.org/.

[48] C. Vielhauer, Biometric User Authentication for IT Secu-

rity — From Fundamentals to Handwriting, Springer, 2010.

第1回バイオメトリクス研究会　（2012.08.27～28＠早稲田大学）

58