DEIM Forum 2014 F5-4

勾配情報を用いたLocal Binary Patternの改良

寺島 裕貴† 喜田 拓也†

† 北海道大学大学院情報科学研究科 〒 060–0814 北海道札幌市北区北１４条西９丁目

E-mail: †{tera,kida}@ist.hokudai.ac.jp

あらまし Local Binary Pattern (LBP)は，画像の認識や分類に用いることのできる特徴量の一つである．LBPは，

通常 3× 3の画素領域で計算され，局所的な特徴を抽出する．特に，照明の変化の影響を受けにくく，高速に計算で

きるという特長がある．本稿では，この LBPの考えを元にした，より高精度の画像分類が行える特徴量を提案する．

本稿で提案する特徴量では，5× 5の領域から疎に参照点を選択し，さらに対象画素付近の輝度勾配の情報を付加す

ることで 512次元の特徴を表現する．LBPのほか，既存の改良手法である improved LBPや uniform LBPとの比較

実験を行い，顔画像の分類において本提案手法が有効であることを示した．

キーワード Local Binary Pattern, Gradient Local Auto-Correlations, 画像認識, 画像分類, 勾配, 局所特徴量

1. は じ め に

1. 1 研究目的と背景

近年，画像処理及び機械学習の技術の向上により画像解析や

指紋認証など様々な分野で画像認識が行われている．これらは，

計算機やスマートフォン等のカメラの性能向上により個人でも

気軽に扱える技術になりつつある．特に，コンピュータが画像

内の物体を一般的な名称で言い当てる一般物体認識には，物体

の名前を言い当てる特定物体認識，物体をカテゴライズする画

像分類，特定の物体の位置を特定する物体検出といった問題が

存在しそれぞれの問題には多くのニーズがある [1] [2]．よって，

これらの問題の速度や認識精度等の機能向上は過去盛んに行わ

れてきた．その中でも特に，画像分類は，特定物体認識や物体

検出に応用可能であり重要な問題である．

本稿では，画像認識の問題の中でも画像分類に着目し分類精度

の向上を図る．画像特徴量には，特徴点ベースの特徴量，パター

ンベースの特徴量そしてパワースペクトルベースの特徴量が考え

られる．特徴点ベースの特徴量は，特徴点を抽出し特徴点ごとに

特徴を記述した Shift Invariant Feature Transform (SIFT) [3]

や Speeded-up Robust Feature (SURF) [4]等がある．SIFTと

SURFは通常，画像分類を行うために特徴点を visual wordと

見立てた Bag-of-Keypoints法 [5]を用いる．パターンベースの

特徴量は，ラスタスキャンを行い注目画素の近傍領域でパターン

を形成し，出現頻度を記述したLocal Binary Pattern (LBP) [6]

等がある．パワースペクトルベースの特徴量には，注目画素との

相互関係をとる参照点のマスクを用意して輝度値の乗算をとった

Higher Order Local Auto-Correlations (HLAC) [7]や HLAC

を改良した Gradient Local Auto-Correlations (GLAC) [8] や

Normal Local Auto-Correlations (NLAC) [8] 等がある．これ

らの特徴量の中で，LBPは高精度かつ高速な特徴量であり，そ

のアイデアは画像分類において非常に効果を発揮する．そこで

本稿では，パターンベースの特徴量である LBPに着目し，そ

のアイデアを用いることにより，より高精度に画像分類が行え

るような特徴量を提案する．

これまでの研究において，局所特徴量では注目画素の周囲の

参照点を増やすことにより精度の向上が図れることが知られて

いる [9] [10]．しかし，参照点を増やしすぎると，特徴量の次元

数が爆発してしまい，取り扱いが困難になる．そこで，豊田ら

は参照点を疎に特徴を選択することで次元数の爆発を抑える手

法を提案している [9]．また，SIFT と SURF，そして GLAC

と NLACといった特徴量では勾配情報が特徴量の中で用いら

れており画像分類において勾配情報が有効であることがわかっ

ている．よって本稿では，LBPの参照点を多くすることで引き

起こる次元数の爆発を，勾配情報を用いた特徴量であるGLAC

を取り入れることで，512次元に抑えたパワースペクトルベー

スの特徴量を提案する．

実験では，顔画像のデータデットを用いて分類を行う．LBP

の他，LBP の改良手法である improved LBP [11] や uniform

LBP [12] との比較実験を行い提案手法が優れていることを

示す．

1. 2 関 連 研 究

本稿で既存手法として用いている LBPに回転不変性を付加

した rotated LBP [13] がある．これは，求めた LBPのパター

ンに該当するヒストグラムのビンへ投票する際，パターンを回

転し，そのうちの最小値を新たなパターンとして用いる．また，

通常 LBPは画像分類に用いられるが，OpenCV（注1）では物体

検出にも用いられている．これは物体検出では画像内から対象

の物体を見つける際に，2クラスの正誤で分類する問題に帰着

することができるためである．そのほか，OpenCV では．積

分画像を用いることで画像内の特定領域の輝度を高速に求める

Haar-like [14] も LBP同様に物体検出のための特徴量として用

いられている．

2. 準 備

2. 1 画 像 分 類

画像分類とは，一般物体認識における１つの問題であり，画

（注1）：http://opencv.org/

学習画像 分類画像

特徴量抽出 特徴量抽出

学習 認識

学習結果 認識結果

学習段階 認識段階

画像処理

機械学習

図 1 画像分類の流れ

図 2 LBP の計算法

像中の物体のクラスを求める問題である．例えば，車というク

ラスには，セダンやワゴンといった車の形態や，消防車やパト

カーや救急車といった種類の違うものが含まれる．画像分類は，

固有名詞ごとに分類を行うと物体認識になり，そして顔や非顔

画像等といったような正誤による分類を行うと物体検出になる．

そのため，画像分類はクラスの広狭により様々な問題に置き換

えることができとても重要な問題といえる．

図 1に画像分類の流れを示す．画像分類はまず初めに，学習

画像からそれぞれのクラスについて特徴量を抽出する．抽出し

た特徴量をクラスごとに統計的学習法により学習することで，

多クラスの分類器を生成する．

次に，分類画像から特徴量を抽出する．抽出した特徴量は，

事前に生成された多クラス分類器に入力され，分類画像がどの

クラスに分類されるかを調べる．画像分類では，入力される学

習画像と分類画像に，分類対象となる物体が画像中に大きく

写っていなければならない．したがって，入力される画像はあ

らかじめ分類対象の物体が切り取られている必要がある．

2. 2 Local Binary Pattern

Local Binary pattern(LBP) [6] はテクスチャ解析で用いら

れるパターンベースの特徴量であり，精度の高さや計算コスト

の低さから近年注目されている．特徴量はラスタスキャンに

よって算出され，注目画素の周囲の半径を R，近傍領域の画素

数を P として以下のように算出される．

LBPP,R =

P−1∑p=0

s(gp − gc)2p，

s(x) =

{1 (x >= 0)

0 (x < 0)．

ここで，gc は注目画素の画素値を示し，gp は参照点の画素値

を表している．近傍領域は R = 1のとき近傍領域は 3× 3で

0

500

1000

1500

2000

2500

1

12

23

34

45

56

67

78

89

100

111

122

133

144

155

166

177

188

199

210

221

232

243

254

0

500

1000

1500

2000

2500

3000

3500

4000

4500

1

12

23

34

45

56

67

78

89

100

111

122

133

144

155

166

177

188

199

210

221

232

243

254

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

20000

1

12

23

34

45

56

67

78

89

100

111

122

133

144

155

166

177

188

199

210

221

232

243

254

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

20000

1

12

23

34

45

56

67

78

89

100

111

122

133

144

155

166

177

188

199

210

221

232

243

254

LBP

LBP

入力画像 LBP 画像

図 3 LBP の照明不変性

あり，P の最大は 8となる．R = 2のときは近傍領域は 5× 5

となり，P の最大は 16となる．LBPは注目画素 gc と近傍領

域の画素値 gp の大小比較によってパターン LBPP,R が算出さ

れ，その種類は 2P となる．LBPはこのパターンの頻度を記述

したヒストグラムの特徴量である．

LBP は理論上 P と R の値に制限はないが，特徴量の次元

数が爆発するため，実際は，R = 1，P = 8における LBPを

用いることが多い．本論文においても，R = 1，P = 8 の場

合について取り扱う．このとき，LBP は図 2 のように 3 × 3

の近傍領域の画素で算出される．このときパターン LBP8,1 は

28 = 256となり，これが特徴量の次元数となる．また，このパ

ターン LBPP,R で注目画素の画素値を置き換えた画像を LBP

画像と呼ぶ．

LBP は，画像における位置情報を特徴量に記述していない

ため位置不変性を有する．また，照明の変化における画像内の

明るさの大小関係が逆転することはないので，注目画素と近傍

領域の画素値の大小比較を行っている LBPは照明不変性を有

する．図 3にそれを示す．

LBPには様々な改良手法が提案されている．近傍領域の画素

値の平均を求め，その値と近傍領域の画素との大小比較を行っ

ている improved LBP [11] や，uniformパターンと呼ばれるパ

ターンを用いてヒストグラムを形成している uniform LBP [12]

等がある．また，パターン LBPP,R を回転し値を最小値となる

ように設定することで回転不変性を付加した rotated LBP [13]

も存在する．

2. 3 Gradient Local Auto-Correlations

Gradient Local Auto-Correlations (GLAC) [8]はHLAC [7]

を拡張した特徴量であり，曲率を特徴づけたパワースペクトル

ベースの特徴量である．参照点の勾配方向の量子化を行い，マ

スクパターンで指定される参照点の勾配方向の関係をパターン

化して勾配強度を特徴づけている．

図 4 gradient orientation vector

1次 GLAC

0次 GLAC

図 5 マスクパターン

画像の勾配は ( δIδx, δIδy)t のように表され，勾配強度は n =√

( δIδx)2 + ( δI

δy)2，勾配方向は θ = arctan( δI

δx, δIδy) と表すこと

ができる．GLAC では図 4 のように注目画素の勾配方向の量

子化を行う．勾配方向の量子化は，注目画素の周囲を D 個の

成分に分解し，勾配方向を挟んでいる 2 つの方向に分解する．

これにより図 4のような疎なベクトル f(∈ RD)として表現さ

れる．このベクトルを gradient orientation vector (G-Oベク

ター)と呼ぶ．以上の定義から，N次の GLACの特徴量は以下

のような式で表すことができる．

R(d0,..., dN ,a1, ...,aN) =∫I

min[n(r), n(r+ a1), ..., n(r+ aN)]

fd0(r)fd1(r+ a1)...fdN (r+ aN)dr．

fd は G-Oベクター fの d番目の要素を表している．また，ai

は注目画素からの変位ベクトルであり，図 5 に示すマスクパ

ターンの点を参照する．Nを増やすことで注目画素の周囲の参

照点を増やし多くの情報を取得することができるが，特徴量の

次元数が爆発するため実際は，N = 0とN = 1の GLACが用

いられる．0次と 1次の GLACはそれぞれ以下のようになる．

0次 : R(d0) =∑r∈I

n(r)fd0(r)，

1次 : R(d0, d1,a1) =∑r∈I

min[n(r), n(r+ a1)]fd0(r)fd1(r+ a1)．

0 次の GLAC では図 5 のように注目画素のみを参照し，特徴

量の次元数は D 次元となる．1次の GLACは図 5のように注

(a) (b)

図 6 LBP による参照点の位置

図 7 提案手法の参照点

目画素と 1つの点を参照し，特徴量の次元数は D + 4×D2 と

なる．

3. 提 案 手 法

本稿で提案する手法は注目画素における 0次の GLACを算

出し，R = 2，P = 6における LBPP,R を用いて場合分けした

ものである．0次の GLACは注目画素の周囲 3× 3の範囲の

情報を取得するために用い，LBPは注目画素の周囲 5× 5の

範囲の情報を取得するために用いている．GLACの G-Oベク

ターは D = 8 として扱った．最終的にこれらのパターンを組

み合わせることにより，64 × 8 = 512 個のパターンを形成し

パワースペクトルベースの特徴量を記述した．

dGLAC ではまず初めに，0 次の GLAC の特徴量を算出す

る．これは 3× 3の範囲の局所領域の情報を取得するためであ

る．dGLACでは G-Oベクターを D = 8として用いる．した

がって，GLACの次元数は 8次元となる．同じく 3× 3の範

囲の情報を取得している R = 1，P = 8における LBPを算出

した場合，特徴量は 256次元になるので大きく次元数を削減で

きている．勾配算出には 1次微分を用いており，画像 I の任意

の画素 I(x, y)における 1次微分は，勾配強度を n，勾配方向

を θ とすると，以下のような式で表される．

n =

√δI

δx

2

+δI

δy

2

，

θ = arctan(δI

δx,δI

δy)，

δI

δx= I(x+ 1, y)− I(x− 1, y)，

δI

δy= I(x, y + 1)− I(x, y − 1)．

0次のGLACの算出が終わると次に，算出した 0次のGLAC

を分けるためのLBPを算出する．dGLACでは，R = 2，P = 6

として LBPP,Rを算出する．LBPの参照点は注目画素の半径 2

の範囲からは最大 16個選択することができるが，本論文では図

6(a) のように疎に 6つの参照点を選択する．これは参照点を疎

に選択しても十分な情報を取得できるためである [9]．また，領

域を回転することにより 6点の参照点の選び方は図 6(b)のよ

図 8 AT&T データセット

図 9 MIT CBCL データセット

うな場合も考えられる．本論文では，予備調査の結果，精度に

大きな差が確認されなかったため図 6(a)に統一した．これによ

り通常 R = 2，P = 16としたときの LBPでは，216 = 65536

次元になるのに対し，5× 5の範囲の情報を 26 = 64次元で表

すことができる．

最後に 0次の GLACを LBPによる 64個のパターンで分割

することで特徴量の記述を行う．0次の GLACは 8方向 (8次

元)で特徴づけられているので，dGLACは 512個のパターン

で表現される．特徴量は 0次の GLACの特徴量を基準として

いるので LBPのようなパターンベースの特徴量ではなく注目

画素の画素値の重みによって算出されるパワースペクトルベー

スの特徴量となる．最終的に，dGLACの参照点は図 7のよう

になる．算出される特徴量Dは，0次のGLAC特徴量R(d)と

LBP6,2 を用いて以下のように表せる．

DLBP6,2,d = R(d)．

以上により，注目画素の周囲 5× 5の範囲から疎に参照点を

選択し勾配情報を用いて特徴量を算出することで，512次元の

特徴量として記述される．

4. 分 類 実 験

提案手法の有効性を調べるために顔画像を用いた画像分類の

実験を行う．実験にはAT&Tデータセット（注2）とMIT CBCL

データセット（注3）を使用した．

AT&T データセットは図 8 のような顔画像のデータセット

であり，40人のグレースケール画像が各 10枚ずつ，計 400枚

の画像からなる．全ての画像は 92× 112ピクセルで固定され

ている．また，データセットには目が開いているもの，目が閉

じているもの，笑っているもの，笑っていないもの，眼鏡をか

（注2）：http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.

html

（注3）：http://cbcl.mit.edu/software-datasets/heisele/

facerecognition-database.html

表 1 顔画像分類の性能

AT&T MIT CBCL

Proposed 90.770% 99.655%

LBP 88.760% 99.580%

improved LBP 87.500% 99.594%

uniform LBP 85.145% 99.530%

けているもの，かけていないもの等，様々な顔画像が含まれて

いる．

MIT CBCL データセットは図 9 のような顔画像のデータ

セットであり，10人のグレースケール画像が各 200枚ずつ，計

2000 枚の画像からなる．画像はクラスごとにサイズが正規化

されておらず，様々な角度から撮影されている．

これらのデータセットを用いて以下のような条件で画像分類

の実験を行った．

（ 1） 各クラスからランダムに半分の画像を選択し，それを

学習画像とする．

（ 2） 残りの半分の画像を分類画像とする．

（ 3） 学習画像，及び分類画像から特徴量を抽出する．

（ 4） 学習画像の特徴量を多クラス分類が可能な線形 SVM

により学習する．

（ 5） 生成された分類器に分類画像の特徴量を入力する．

（ 6） 出力された結果が正しいクラスに属しているか否かを

調べ，正しいクラスであれば正解とする．

AT&Tデータセットでは学習画像，分類画像はそれぞれ 5枚，

MIT CBCLデータセットでは学習画像，分類画像はそれぞれ

100枚となる．このような実験を 100回行い，その平均を求め

ることで，精度を求めた．提案手法は予備調査の結果，特徴量

を正規化しないほうが良い結果が得られていたため，正規化は

行っていない．提案手法に対する比較手法としては，LBPの他

に，improved LBPと uniform LBPを用いた．uniform LBP

では注目画素の周囲の範囲を 3 × 3 から 7 × 7 まで変化させ

たうえで，最良の結果を用いており，AT&Tデータセットでは

555次元を，MIT CBCLデータセットでは 243次元の特徴量

を使用している．

実験結果は表 1 のようになった．AT&T データセット

では，提案手法が 90.770%であるのに対し，既存手法では

LBP が 88.760%，improved LBP が 87.500%，unform LBP

が 85.145%という結果となり，提案手法が既存手法より優れ

ていることが確認できる．MIT CBCL データセットにおい

ても提案手法が 99.655%であるのに対し，LBP が 99.580%，

improved LBP が 99.594%，uniform LBPが 99.530%となり

いずれにおいても提案手法が優れている結果となった．これは，

提案手法が既存手法に対し，より多くに情報を特徴量に含んで

いる点，そして勾配情報を用いていることからそれぞれの人間

における固有の顔の情報を取得できているからであると考えら

れる．

5. お わ り に

本稿において，LBP の参照する範囲を広げることで特徴量

の次元数が爆発しないように LBPの特性を活かしながら参照

点を設定し，0次のGLACの特徴量を取り入れることで，より

多くの情報を取得することができる特徴量を提案した．また，

顔画像の分類に関する分類実験では提案手法が既存の特徴量に

比べ精度が優れていることを示した．今後は，データセットの

変化に対して最善となるように，提案手法をより一般化できる

ようにさらなる改良を加えること，そしてテクスチャや人等と

いった多くのニーズがある対象物の画像に対しても実験を行う

必要がある．

文 献

[1] 藤吉弘亘. 一般物体認識のための局所特徴量 (SIFT と HOG).

PCSJ/IMPS2008 ナイトセッション, 2008.

[2] 柳井啓司. 一般物体認識の現状と今後. 情報処理学会論文誌:

コンピュータビジョンとイメージメディア, Vol. 48, pp. 1–24,

2007.

[3] David G Lowe. Distinctive image features from scale-

invariant keypoints. International Journal of Computer Vi-

sion, Vol. 60, No. 2, pp. 91–110, 2004.

[4] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf:

Speeded up robust features. In Proceedings of European

Conference on Computer Vision, ECCV 2006, pp. 404–417.

Springer, 2006.

[5] Gabriella Csurka, Christopher Dance, Lixin Fan, Jutta

Willamowski, and Cedric Bray. Visual categorization with

bags of keypoints. In Proceedings of European Conference

on Computer Vision, ECCV 2004, Vol. 1, p. 22, 2004.

[6] Timo Ojala, Matti Pietikainen, and David Harwood. A

comparative study of texture measures with classifica-

tion based on featured distributions. Pattern Recognition,

Vol. 29, No. 1, pp. 51–59, 1996.

[7] Nobuyuki Otsu and Takio Kurita. A new scheme for practi-

cal flexible and intelligent vision systems. In Proceedings of

IAPR Workshop on Computer Vision, pp. 431–435, 1988.

[8] Takumi Kobayashi and Nobuyuki Otsu. Image feature ex-

traction using gradient local auto-correlations. In Proceed-

ings of European Conference on Computer Vision, ECCV

2008, pp. 346–358. Springer, 2008.

[9] 豊田崇弘, 長谷川修. テクスチャ識別のためのマスクパターンによ

る特徴抽出法. 電子情報通信学会 PRMU 研究会, PRMU2004-

63, pp. 77–84, 2004.

[10] 豊田崇弘, 長谷川修. 高次局所自己相関特徴の拡張. 画像電子学

会誌, Vol. 34, No. 4, pp. 390–397, 2005.

[11] Hongliang Jin, Qingshan Liu, Hanqing Lu, and Xiaofeng

Tong. Face detection using improved lbp under bayesian

framework. In Proceedings of Third International Confer-

ence on Image and Graphics, pp. 306–309. IEEE, 2004.

[12] Timo Ojala, Matti Pietikainen, and Topi Maenpaa. Mul-

tiresolution gray-scale and rotation invariant texture classi-

fication with local binary patterns. IEEE Transactions on

Pattern Analysis and Machine Intelligence, Vol. 24, No. 7,

pp. 971–987, 2002.

[13] Matti Pietikainen, Timo Ojala, and Zelin Xu. Rotation-

invariant texture classification using feature distributions.

Pattern Recognition, Vol. 33, No. 1, pp. 43–52, 2000.

[14] Constantine P. Papageorgiou, Michael Oren, and Tomaso

Poggio. A general framework for object detection. In Pro-

ceedings of Sixth International Conference on Computer

Vision, 1998, pp. 555–562. IEEE, 1998.