社団法人 電子情報通信学会THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報TECHNICAL REPORT OF IEICE.

グループ学習を行うファジィART

井澤 遥† 冨田 真人† 松下 春奈† 西尾 芳文†

† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島 2–1E-mail: †{isawa,tomita,haruna,nishio}@ee.tokushima-u.ac.jp

あらまし 適応共鳴理論 (Adaptive Resonance Theory: ART)は教師なしニューラルネットワークである．ファジィ

ARTはアナログ入力に対応可能な ARTモデルであり，カテゴリ空間の大きさを警戒パラメータによって決定する．

また，入力データはそれぞれの適したカテゴリに分類されるが，共通のカテゴリに分類されるべき入力データが別々

のカテゴリに含まれる場合がある．そこで本研究では，より効果的なカテゴリの分類を行うために，“グループ学習

(Group Learning: GL)”の機能を加えたファジィART（ファジィART-GL）を提案する．ファジィART-GLの最大の

特徴は，類似したカテゴリに“つながり（コネクション）”を持たせる点にあり，その振る舞いと有効性について検証

した．

キーワード ファジィART，データ分類，教師なし学習

Fuzzy ART with Group Learning

Haruka ISAWA†, Masato TOMITA†, Haruna MATSUSHITA†, and Yoshifumi NISHIO†

† Department of Electrical and Electronic Engineering, Tokushima University2–1 Minami-Josanjima, Tokushima 770–8506, Japan

E-mail: †{isawa,tomita,haruna,nishio}@ee.tokushima-u.ac.jpAbstract Adaptive Resonance Theory (ART) is an unsupervised neural network based on competitive learning

which is capable of automatically finding categories and creating new ones. Fuzzy ART is a variation of ART, allows

both binary and continuous input pattern. Fuzzy ART has limits of category space size by the vigilance parameter.

Thus, input data are classified in each appropriate category. However, Fuzzy ART often makes input data of the

common categories classify several categories. In this study, we propose an additional step, called “Group Learn-

ing”, for Fuzzy ART in order to obtain more effective categorization. This algorithm is called Fuzzy ART with

Group Learning (Fuzzy ART-GL). The important feature of group learning is that creating a connection between

similar categories. We investigate the behavior of Fuzzy ART-GL with application to the recognition problems.

Key words Fuzzy ART, classification, unsupervised learning

1. は じ め に

適応共鳴理論 (Adaptive Resonance Theory: ART) は人間

の認知情報処理モデルとして S.Grossbergらによって提案され

た教師なしニューラルネットワークである [1]- [2]．ARTは教師

なしカテゴリ学習やパターン認識，分類などに用いらるニュー

ラルネットワークモデルとして発達してきた．一般に，ニュー

ラルネットワークの学習では，新しい情報を学習すると過去の

記憶が失われ，過去の記憶の保持を重視すると新しい記憶が困

難になるという“安定性と可塑性のジレンマ”が問題であると指

摘されているが，ARTはこの問題を回避することを目的とし

たシステムである．ARTの特徴は，入力と記憶（カテゴリ）の

整合度を警戒パラメータと呼ばれる分類精度の基準と比較する

ことにより分類の可否を判断し，どのカテゴリにも適合しない

場合，その入力を新しいカテゴリとして保持する点にある．ま

た，このモデルは任意の入力データに応じて安定したカテゴリ

認識をすることができる．この特徴により，記憶に関する安定

性と可塑性のジレンマを回避できることから，ARTは分類器

として非常に高い性能を持つことになるので，近年パターン認

識モデルとして注目を浴びている．その複数存在する ARTシ

ステムの中でも，従来の ARTにファジィ論理を用い，パター

ン認識に適応させたファジィARTに着目する．

ファジィARTは全ての ARTシステムの特徴が組み込まれて

おり，アナログ入力に対応可能なARTモデルである [3]- [4]．し

かしこのシステムにおいて共通のカテゴリに含まれる入力デー

タを別々のカテゴリとして分類してしまうという問題がある．

— 1 —

そこで本研究では，より効果的なカテゴリの分類を行うために，

“グループ学習 (Group Learning: GL)”の機能を加えたファ

ジィART（ファジィART-GL）を提案する．ファジィART-GL

の最大の特徴は，ファジィART本来の構造や荷重ベクトルを変

更するのではなく，付加的なステップとして，類似したカテゴ

リに“つながり（コネクション）”を持たせる点にある．ただし，

この考えは Martinetz や Schulten によって提案されたヘッブ

学習 (Hebbian learning) [5]- [6]を元にしていることから，ファ

ジィART-GLはファジィARTとヘッブ学習を融合させた新し

い ARTであるといえる．また，ファジィART-GLを用いるこ

とで，共通のカテゴリに含まれる入力データを同一カテゴリと

して分類し，上述の分類課題を克服することを目的としている．

第 2 節では，ファジィART-GL のアルゴリズムについて説明

する．第 3節ではいくつかのシミュレーション結果から，ファ

ジィART-GL により引き起こされる振る舞いとその有効性を

検証する．

2. ファジィART-GL

ファジィARTは，F1 層（入力層）と F2 層（カテゴリ層）か

ら構成されている．また，F1 層の i番目のニューロンと F2 層

の j 番目のニューロンはボトム・アップ荷重wij，トップ・ダ

ウン荷重wji により相互結合している．さらに，ファジィART

の動作は，選択パラメータ α，警戒パラメータ ρ，学習比パラ

メータ β により特徴づけられる．

入力ベクトル: 入力ベクトル I は m 次元実数ベクトル

I = (i1, i2, · · · , im)，(ii ∈ [0, 1])である．荷重ベクトル: 荷重ベクトル wj = (wj1, · · · , wjm)，(j =1, · · · , n)は F2 層のニューロンに関する記憶であり，ファジィART ではボトム・アップ荷重とトップ・ダウン荷重は等しい

(wij = wji)．また，見込まれるカテゴリ数 n は任意であり，

荷重ベクトルの初期値は以下のように設定する．

wj1 = · · · = wjm = 1 (1)

パラメータ: ファジィART の動作は選択パラメータ (α > 0)，

学習比パラメータ (β ∈ [0, 1])，警戒パラメータ (ρ ∈ [0, 1]) の3つのパラメータにより特徴付けられる．

コネクション: 提案したファジィARTは付加的ステップとして

“グループ学習”を行う．これは勝者カテゴリ J と 2番目の勝

者カテゴリ J2 との間に結合関係をもたせるもので，以下に示

すステップで作られる．学習中に形成された結合関係は，コネ

クション C (C ⊂ n× n)に保存されていく．C の初期値は空集合とする．

C = 0/ (2)

2. 1 ファジィART-GLのアルゴリズム

1. 選択: 正規化された入力が F1 層に与えられ，F2 層の各

ニューロンに対して選択強度 Tj を計算する．

Tj =| I ∧wj |

(α+ | wj |) (3)

ただし，ファジィ理論を用いた演算は以下のように定義する．

(p ∧ q)i ≡ min(pi, qi) (4)

ノルムは | · |以下のように定義する．

| P |≡m∑

i=1

| pi | (5)

また，選択パラメータ αは適当な正のパラメータである．

次に，F2 層では，選択強度 Tj に関して競合作用が発生し，

最大の選択強度をもつニューロンが勝者 J として活性化する．

TJ = maxj{Tj : j = 1 · · ·n} (6)

ただし，最大の選択強度をもつ F2 ニューロンが複数存在する

場合，最小のインデックス番号を持つ F2 ニューロンを勝者と

する．また，グループ学習のために，2番目に大きい選択強度

を持つニューロンを 2番目の勝者 J2 とする．

2.共鳴，リセット: F2 ニューロン J に属する記憶wJ を F1 層

に供給し，その後，F1 層で，入力Iと記憶wJ から整合度を算

出する．

AJ =| I ∧wJ || I | (7)

そして，分類精度の基準である警戒パラメータ ρと比較する．

AJ < ρを満足する場合，F2 ニューロン J は入力Iが属するカ

テゴリではないと判断し，リセットする．リセットされた F2

ニューロンは入力Iが変更されるまで，永続的に不活性化する．

また，AJ >= ρを満足する F2 ニューロン J が検出されるまで，

ここまでの過程を繰り返す．一方，AJ >= ρを満足する場合，F2

ニューロン J は入力Iが属するカテゴリと判断し，共鳴する．

3. 学習: AJ >= ρ を満足するとき，荷重ベクトル wJ を更新

する．

wJ(t + 1) = β(I ∧wJ(t)) + (1− β)wJ(t) (8)

tは学習ステップである．通常，学習比パラメータは β = 1に

設定する．また，全ての有効 F2 ニューロンがリセットされた

場合，F2 層には n + 1番目のニューロンを新たに追加し，荷重

ベクトル wm+1 に入力Iをそのまま記憶する．

wn+1 = I (9)

4. グループ学習: 本研究で提案するグループ学習は，従来の

ファジィART の付加的なステップである．最も大きい選択強

度をもつ勝者ニューロン J と，2 番目に大きい選択強度をも

つニューロン J2 の間に結合関係をもたせ，全学習終了後，直

接的，間接的に結合されているニューロンの集合を，1つのグ

ループをみなす．入力ベクトルIと 2番目の勝者ニューロン J2

の整合度を算出し，

| I ∧wJ2 || I | >= ρ (10)

— 2 —

式 (10) を満足した場合，勝者ニューロン J と 2 番目の勝者

ニューロン J2 の間にコネクションを形成する．

C = C ∪ {(J, J2)} (11)

勝者ニューロン J と 2番目の勝者ニューロン J2 間の結合年齢

ageを 0にリセットする．

age(J,J2) = 0 (12)

また，勝者ニューロンと直接的なつながりを持つニューロン間

の全ての ageを増加させる．

age(J,j) = age(J,j) + 1, j ∈ NJ (13)

ここで，NJ は勝者 J が直接つながりを持つニューロンの集合

を表す．

age が AT (t) を超えた場合，それらのコネクションを取り

除く．

(J, j) ∈/ C, age(J,j) >= AT (t) (14)

AT (t) = ATi(ATf/ATi)t/tmax (15)

ただし，tmax は最大学習回数であり，ATi と ATf はそれぞれ，

AT の初期値，最終値とする．

2. 2 補数コーディング

ファジィARTでは，式 (8)からも明らかなように，荷重ベク

トル wj の大きさは単調減少する．その結果，新たな入力に対

して既存のカテゴリがリセットされやすくなり，同時に 0に近

い荷重ベクトルにより特徴付けられるカテゴリの数が多くなる

という問題が生じる．これを防ぐために，補数コーディングさ

れた入力を使用するのが一般的である．補数コーディングとは，

入力ベクトルIの各要素 ai の補数を入力ベクトルに含め，入力

ベクトルを 2m次元のベクトルにすることをいう．本研究では，

2次元の入力を扱うこととするので，入力ベクトル I は以下の

ようになる．

I = (a,aci ) ≡ (a1, a2, 1− a1, 1− a2) (16)

補数コーディングされた入力に対するファジィART のカテゴ

リ空間は長方形 Rj として形成される．式 (16)より，荷重ベク

トル wj は以下のように表すことができる．

wj = (vj ,ucj) (17)

ただし，uj と vj は 2次元ベクトルとし，それぞれ uj，vj は

カテゴリ空間である長方形の対頂点となる．

| Rj |≡| vj − uj | (18)

また，式 (18)は長方形 Rj の大きさを表す．ここで，警戒パラ

メータは分類精度の基準である．つまり，警戒パラメータを 1

に近い高い値に設定すると，精度が高く，大きさの小さい長方

形が得られる．また，逆に 0に近い低い値に設定すると，精度

が低く，大きさの大きい長方形が得られる．ただし，荷重ベク

トル wj の単調減少により，高速学習下において補数コーディ

ングを用い学習させると，長方形 Rj の最大の大きさは以下の

式で表される．

| Rj |

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

(a) (b) (c)

図 1 シミュレーション結果 (a) 入力データ (b) ファジィARTの学習結果 (c) ファジィART-GL

の学習結果

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

(a) (b) (c)

図 2 シミュレーション結果 (a) 入力データ (b) ファジィARTの学習結果 (c) ファジィART-GL

の学習結果

るのがわかるが，ファジィART-GLは図 2(c)のように，濃淡

の違いによって入力データが効果的に分類されていることがわ

かる．これは入力データが，図 2(a)に示すような L型や T型

といった別々のカテゴリに分類されやすい形であるためだと考

えられる．

シミュレーション 1とシミュレーション 2の結果から，共通

のカテゴリに含まれる入力データをより効果的に分類するため

に，類似したカテゴリにコネクションをもたせることで，有益

な効果をもたらしているということができる．

4. ま と め

本研究では，より効果的な分類を行うために，従来のファジィ

ARTに“グループ学習”の機能を加えたファジィART-GLを

提案した．この提案した“グループ学習”の機能は，カテゴリ

同士にコネクションをもたせるというものである．また，2種

類の 2次元入力データを用いてシミュレーションを行い，従来

のファジィARTとファジィART-GLの分類の違いを明確にし

ながら，その振る舞いを調査し，ファジィART-GLの有効性を

確認した．

今後の課題としては，3 次元以上の入力データに対しての

ファジィART-GLの適用や，ファジィART-GLの新しいアプ

リケーションへの可能性を見出したいと考えている．

文 献[1] G. A. Carpenter, S. Grossberg, D.B. Rosen, “Fuzzy ART:

Fast stable learning and categorization of analog patterns by

an adaptive resonance system,” Neural Networks, vol. 4, pp.

759-771, 1991. Tech. Rep. CAS/CNS-TR-91-015. Boston,

MA: Boston University.

[2] G. A. Carpenter, S. Grossberg, and D. B. Rosen, N. Marku-

zon, J. H. Reynolds, D. B. Rosen, “Fuzzy ARTMAP: A neu-

ral network architecture for incremental supervised learn-

ing of Analog Multidimensional Maps,” Neural Networks,

vol. 3,pp. 698-713, 1991. Tech. Rep. CAS/CNS-TR-91-016.

Boston, MA: Boston University.

[3] C. A. Carpenter. “Distributed learning, recognition, and

prediction by ART and ARTMAP neural networks,” Neural

Networks, vol. 10, pp. 1473-1494, 1997.

[4] T. Frank, K. F. Kraiss and T. Kuhlen, “Competitive anal-

ysis of Fuzzy ART and ART-2A network clustering perfor-

mance,” IEEE Trans. Neural Networks, vol. 9, pp. 544-559,

1998.

[5] T. M. Martinetz and K. J. Schulten, “A “neural-gas” net-

work learns topologies,” Artificial Neural Networks, pp.

397-402, 1991.

[6] T. M. Martinetz and K. J. Schulten, “Topology represent-

ing networks,” Neural Networks, vol. 7, no. 3, pp. 507-522,

1994.

— 4 —