[計測 自 動制御 学 会 論 文 集

Vol. 29, No. 3, 356/364 (1993)]

新 規 パ ター ンを追 加 学 習 す るため の新 しい ニ ュー ロン・モ デ ル

福 田 敏 男＊・塩 谷 成 敏＊・新 井 史 人＊・柴 田 崇 徳＊

佐々木 恭 助＊＊・竹 内 直 和＊＊・木 下 達 之＊＊

A New Neuron Model for Additional Learning

Toshio FUKUDA*, Shigetoshi SHIOTANI*, Fumihito ARAI*,

Takanori SHIBATA*, Kyosuke SASAKI**, Naokazu TAKEUCHI**

and Tatsuyuki KINOSHITA**

Aritificial Neural Network (NN) is applied to control, recognition and so on. The multi-layered NeuralNetwork with sigmoid function (NNS) is often used in these fields because the NNS has two abilities ofthe interpolation and generalization. The generalization is, for example, for NN to recognize unlearned

patterns to a certain extent. After this, we discuss recognition problems using NN. The NNS must learnboth unlearned patterns and patterns given before to memorize unlearned patterns additionally, becausethe NNS cannot learn the patterns additionally. ART (Adaptive Resonance Theory) model can memo-rize the patterns additionally. However the ART model cannot classify patterns which have same patternvectors.

A new neuron model called a Neural Network based on the distance between patterns (NDP) is

proposed in this paper. The NDP has similar response functions to the Radial Basis Function. The NDPlearns patterns by varying regions of neurons with the BP algorithm and adding new neurons. It is shownfrom experimental results on image recognition that the NDP can memorize patterns additionally andrecognize unlearned patterns to some degree.

Key Words: neural network, additional learning, recognition, classification, radial basis function

1. は じ め に

ニ ューラルネ ットワーク (以後, NNを 用 いる) は, 曖

昧 な情報 を巧みに処理できるため, パ ターン認識に多用

されている. パター ン認識の研究 は, 主 に人間の認識 を

計算機上で実現させ ることを目的 としている.

人間の速い学習は, 時 間の短縮 とい う点 で大 きな利点

となり, 追加学習 は, 新 しい知識 を記憶 する ときや間違 っ

て記憶 した知識 を修正 する際に必 要 となる.

パ ターン認識 に関する研究は, データベ ースを用いる

ものか ら始 まり, パ ターンを分類 す ると きの尺度 として,

ユ ー ク リ ッ ドパ ター ン間距 離1)や 比 較 す る二 つ の パ タ ー

ンベ ク トル 間 の余 弦 (こ れ は, パ タ ー ンの類 似 度1)と 呼 ば

れ て い る) を用 いて い る. しか し, 個 々 のパ タ ー ンに対

す る デー タベ ー ス を構 築 す る と膨 大 な メモ リが必 要 に な

り, 計 算 量 も多 くな るので 効率 が 悪 い. これ を解 決 す る

認識 アル ゴ リズ ム と して, K-means clustering ア ル ゴ リ

ズ ム や 人 工 ニ ューラ ル ネ ッ トワー ク (以 下, NNを 用 い

る) が デ ー タベ ー スの代 わ りに提 案 され た.

K-means clustering2),3) ア ル ゴ リズ ム は, K個 の点 を

あ らか じ め パ ター ン空 間 内 に形 成 して お き, 複 数 の パ

タ ー ン と そ れ らの パ ター ンに 最 も距 離 的 に近 い 点 との

ユ ー ク リ ッ ド距 離 の 総和 が最 小 とな る よ う なK個 の 点

を反復 的 な処 理 で 求 め, パ タ ー ン をK個 の ク ラス タ に 分

類 す る 方 法 で あ る. これ は, 後 に述 べ る RBF (Radial

Basis Function) NNの 発 想 の 基 と な り, RBF-NNに

よ って, さ ら に 分 離 能 力 が 向 上 さ れ て い る4). 人 工 的

NN, 階 層型NN4)～15) (Hierarchical NN: HNN) と再 帰

＊名古屋大学工学部 名古屋市千種区不老町1

＊＊三菱重工業(株)名 古屋市中村区岩塚町

*Faculty of Engineering, Nagoya University, Nagoya

**Mitsubishi Heavy Industry Corp., Nagoya

(Received April 1, 1992)(Revised October 7, 1992)

TR 0003/93/2903-0356 (C) 1992 SICE

福 田・塩 谷・新 井・柴 田・佐 々 木・竹 内・木 下: 追 加 学 習 の た め の ニ ュー ラ ル ネ ッ ト 357

型NN16),17) (Recurrent NN: RNN) に分 類 で きる. 階 層

型NNは, 応答 関 数 にお い て, シグモ イ ド関数6)を もつ

もの とRBF4),7)～10)を もつ もの に 分類 で きる. 階 層型NN

は, ニ ュー ロ ン間 に お いて線 形 結 合5),6),11)～15)ある い は非

線 形 結合4),7)～10)をもつ. さ らに, 教 師 付 き学 習 あ るい は教

師 な し学 習 に よっ て, 部 分 的 にニ ュー ロ ン 間の 結合 荷 重

を修 正 して い くア ル ゴ リ ズ ム4),7),11)～15)と全 体 的 に 変 化

させ る もの5),6),8)～10)が提 案 さ れ てい る. 教 師 付 き学 習 に

は, 誤差 伝 搬 (Back Propagation: BP) ア ル ゴ リズ ム6)

が用 い られ る こ とが 多 く, 教 師 な し学 習 と比 較 して よ り

良 い結合 荷 重 を得 る こ とが で きる. 学 習 の際, 部 分 的 に

結合 荷重 を修 正 す る ア ル ゴ リズ ム は, 全体 的 に結 合荷 重

を修 正 す る方 法 と比 べ て高 速 に学習 が で きる.

シ グ モ イ ド関 数 を用 い た 多 層 パ ー セ プ トロ ン (NN

with sigmoid function: NNS)6) の よ うに, ニ ュ ーロ ン

間 が線形 結 合 され て い るNNは, パ ター ン空 間 を線 形 分

離 す る こ とが容 易 で あ るが, 円形状 に分離 す る には 多 く

の 中間 層 ニ ュー ロ ンが 必要 で あ るた め効 率 が良 くな い.

また, RBFを 用 い たNNは, パ タ ー ン空 間 を 円形 状 に分

離するには有効であ るが, 線形分離 を行 うには, 多 くの

ニ ュー ロンが必要 とな り効率が悪 くなる. Reilly14) や山

内15)のモデル ・ARTモ デル11),12)のように, 前述 したパ

ターンの類似 度 に基 づ い てパ ター ン空 間 を分 離 す る

NNは, 同 じベ ク トル方向をもつパター ンを分離で きな

いという点で, RBF-NNやNNSに 比べて分離能力が劣

る.

部分的にニュー ロン間の結合荷重を修正 する学習アル

ゴリズム を用 い, 高速 学習を行 うNNと して, RBF-NN

では, Probabilistic Neural Networks (PNN) や Mody

のモデルがあ り, この ほかARTモ デル, 山内や Reilly

のモデルが提案 されてい る. PNNの 場合, RBFの 勾配

が学習 によって更新 されない点 において, パター ン空間

の分離能力がNDPに 比べて劣る. Mody のモデルは, 部

分的にニ ューロン間の結合荷重 を修正す ることで関数近

似が高速 に行 えることを示 してい る. 一方, ARTモ デル

などの残 りのNNは, パ ターンを追加学習することがあ

る程度可能であると考 えられるが, パ ター ン空間の分離

能力において前述 した問題が ある.

以上多 くのNNを 紹介 したが, パター ンの追加学習を

考 慮したモデルは少ない. また, 追加学習が可能なモデ

ル も紹介 したが, パ ター ン空間の分離能力 に制限がある.

本論文 は, RBF-NNと Reilly モデル の追加 学 習機 構

を融合 した追加学習が可能 なRBF-NNモ デルを提案 す

る. 提 案 す る モ デ ル は, ARTモ デ ル な どの モ デ

ル11),12),14),15)に分離できないパ ター ンを分類す るこ とが

できる. 提 案す るモ デル は, パ ターン問距離 に基づ く

ニ ューラルネ ッ トワーク (Neural Network Based on

Distance between Patterns: NDP) と呼 ぶこととする.

NDPは, RBFに 類似 した応答 関数 を使用 し, ニ ューロ

ン間は非線形に結合 してい る. NDPは, 部分的にニ ュー

ロン間の結合荷重 を修正 した り, 新 たにニュー ロンを追

加する ことにより, パター ンを追加す る際, パターン空

間を大 きく壊す ことな く追加学習 を行 うことがで きる.

本論文 で は, 5章 でNNSと 対 比 しなが ら二 つの シ

ミュレーシ ョンを行い, NDPが 追加学習 が可能であ り,

また十分 な汎化 も行 えることを示 す.

2. NDPの 概 念

NDPは, パター ンを分類す るた めの ニ ューラルネッ

トワークである. ここでは, NDPが どの ように してパ

ター ン分類 を行っているか を簡潔 に説明 する. 簡単 のた

め, Fig. 1に 示すパ ターンの分類 問題 を例 に とりあげる.

Fig. 1は, 異なる四つのカテゴ リーがそれぞれ密集 し

た状態 である. そして, 一つのカテゴ リーは四つのパ ター

ンで構成 され る. 実際のパターン分類問題 において も,

Fig. 1に 示すように, 同 じカテゴ リーの パ ターンが密集

して分布 することが多い. Fig. 1の パター ンは, Fig. 2に

示す ように2本 の直線, あるいはFig. 3に 示す ように四

つの円で分類 される. Fig. 2の 方法 は, パ ーセプ トロンと

同 じであ り, 新 しいデータを追加 して学習 する際, 分離

面 を変更 して しまうため, 追加記憶 は不可能である. 一

方, NDPは, Fig. 3の ように複数 の円を使 いパターンを

分類 する. これは, カテゴリーの代表的 なパ ターン (円の

中心 に位置す るパター ン) と距離が ある範囲内のパ ター

ンを同カテゴリーに属するもの とみなし, パ ターン空間

内のパ ターンを分類する方法 である. 5章 で述べるが,

植 物の画像認識問題 に適用 した結果, NNSの 分離方法

より, パ ター ン問距離 に基づ く分離の ほ うが, パター ン

分類では良い結果が得 られている. また, 3章 で詳 し く

述 べるが, NDPで は, 出力層の一つのニ ューロンが1個

の円に対応 してお り, 円の内部 はニ ュー ロンの汎化空間

である.

つ ぎに, NDPの 追加学習方法 は2通 りある. Fig. 4

は, Fig. 1に 示す空間 に新 しいカテ ゴリー を追加 した状

態である. この場合, NDPはFig. 5に 示す ように新 しい

円 を空間内 に作成す ることによって, 新 しいカテゴリー

を追加記憶する. Fig. 6で は, Fig. 1に 示す空間にカテゴ

リー(1)に属す る新 しいパ ターンが追加 され ている. この

ような場合, Fig. 7に 示すように, NDPはFig. 3中 にあ

るカテゴ リー(1)を含む円の位置 を動か した り半径 を変 え

て, 新し く付加されたパ ターンを含む ように円 (ニュー ロ

ンの汎化空間) を調整する. この操作 によって, 新 し く付

358 1993年3月 計 測 自動 制 御 学 会 論 文 集 第29巻 第3号

Fig. 1 Space including four categories

● Category 1△ Category 2

□ Category 3

■ Category 4

Fig. 2 Classification of four categories by two lines

● Category 1

△ Category 2

□ Category 3■ Category 4

Fig. 3 Classification of four categories by four circles

● Category 1

△ Category 2□ Category 3

■ Category 4

Fig. 4 A new category is added in the space as shown in

Fig. 1

● Category 1

△ Category 2

□ Category 3

■ Category 4

Fig. 5 Classification of five categories by adding a new

circle

● Category 1

△ Category 2

□ Category 3

■ Category 4

Fig. 6 Another patterns in category 1 are added in the

space as shown in Fig. 1.

● Category 1

△ Category 2

□ Category 3

■ Category 4

福 田・塩 谷・新 井・柴 田・佐 々 木・竹 内・木 下: 追 加 学 習 の た め の ニ ュ ー ラ ル ネ ッ ト 359

加 されたパ ターンは追加記憶される.

また, これ らの操作 に関 して, Fig. 3とFig. 5, Fig. 3

とFig. 7を 比較す ると, カテゴ リー(2)～(4)の空間は変化

して いな い. この よ うに, ほ か の カ テ ゴ リーの空 間

(ニューロンの汎化空間) をほとん ど変化 させずに新 しい

パ ターンを追加記憶で きるので, 追加学習 によって過去

の記憶 をほ とん ど失わない.

NDPは, 最初, 無知 (パターン空 間内に円が存在 しな

い) 状態 か ら学習を始め, パ ターンが提示 され る度 に上記

の2通 りの方法で学習 し, 次第 に知識 を獲得 してい く.

詳 細 な学 習則 は3, 4章 で, Fig. 1を 使 った追加学 習 シ

ミュレーシ ョンは5章1節 に述 べる.

NDPで は, 複数 の円 (ニュー ロンの汎化空 間) が干渉

し合 うため, 実際のパ ター ン空間の分離状 態はFig. 7で

はな く, Fig. 10右 のようになる. ニ ューロ ンの干渉 につ

いては, 詳 し くは4章 で述べ ることにする.

この章 では, 2次 元のパ ター ン空間におけるパターン

の分類 を例 に挙 げたが, NDPは 多次元空 間においても

パター ン分類が可能で ある. 多次 元空間におけるパター

ン分類 は, 5.2節 の植物細胞の認識 を取扱 い詳細 に述べ

られている.

3. NDPの 構造

NDPの 構造は, Fig. 8に 示す ように3層 構造であ り,

各 層間の結合 はRBFと 類似 したつ ぎの応 答関数 に よっ

て決 まる.

Oj=1/1+γjΣi(Xi-Yji)2 (1)

こ こで,

γj: 汎 化 係数

Yji: 2層 間 の結 合係 数

Xi: 前 層 の ニ ュー ロ ンの 出 力

Oj: 後 層 の ニ ュー ロ ンの 出 力

i: 前 層 で のニ ュー ロ ンの 順番

j: 後 層 で の ニ ュー ロ ンの順 番 で あ る.

項: Σi(Xi-Yji)2は, パ ター ンXと 記憶 パ ター ンYと

の距離 を表 わ してお り, 係数 γjは, 前述のパターン間の

相違 の許容範 囲を示 している. XとYの 相違が大 きい

ほ ど, 出力Oは 小 さ くなる. また, γjが大 きいほど出力、

Oは 小 さ くなる. 2章 で述べた表現では, 汎化係数 γjが

円の半径 に影響 し, 結合係数Yは 円の中心座標 とな る.

各層間の関係 は, 以下の数式 で表わされ る.

Hj=1/1+αΣi(Xi-Wji)2 (2)

Ok=1/+βkΣj(Vkj-Hj)2 (3)

ここで,

Xi: 入力

Hj: 中間層の出力

Ok: 出力層の出力

Wji: 入力層 と中間層間の結合係数

Vkj: 中間層 と出力層間の結合係数

α: 入力層 と中間層間の汎化係数

βk: 中間層 と出力層間の汎化係数

i: 入力層のユニッ トの順番を表 わす記号

j: 中間層のユニッ トの順番を表 わす記号

k: 出力層のユニッ トの順番を表 わす記号

である.

4. 学 習 アル ゴ リズ ム

4.1 NDPの 学習則

NDPへ のパ ター ン提示 は, NNSの ように記憶 さ章た

いパ ター ンを同時 に全て見せるのではな く1パ ター ンず

つ与 えてい く. いい替 えれ ば, NNSで は全体の誤差 を学

習に よって徐々 に減 らしてい くのに対 して, NDPは 提

示されたパターンが記憶で きるまで学習 し, それか らつ

ぎのパ ター ンを覚 える.

ところで2章 で も述 べた ように, NDPの 学習方法 は

2通 りある. すなわ ち, (1) 出力層に新たにニ ューロ ン

(2章 の表現では, 円) を追加 して覚える方法 と, (2) す

Fig. 7 Classification of category 1 by moving a circle and

by changing the radius of a circle

● Category 1

△ Category 2

□ Category 3

■ Category 4

Fig. 8 Structure of NDP

360 1993年3月 計 測 自動 制 御 学 会 論 文 集 第29巻 第3号

でにあるニ ューロ ンの汎化空間 (2章 の表現では, 円の位

置・半径) を調整 して記 憶する方法である. 以後, ニ ュー

ロンが発火 しきい値: R以 上 を出力した状態 を 「発 火」

と定義す る.

Fig. 1に 示す ようなカテゴリー分類問題では, NDPは

つ ぎの よ うに学 習 を行 う. NDPは, 無 知 (出力 層 に

ニ ュー ロンが存在 しない) 状態か ら学習 を始 め, 未知 のカ

テゴ リー に属 するパ ター ンが提示 された ときな どに, 出

力層に新たなニ ューロンを形成 し, 形成 したニ ューロン

に与 えられたパ ターンのカテゴ リーを記憶 する. これを

繰 り返 す ことによ り, NDPは 複数のカテゴ リー を記憶

す ることがで きる. また, 提示 されたパターンに対 して,

記憶 した複数のカテゴ リーの中か ら最 も適合す るものを

選 ぶために, 出力層の中で最大 出力値 をとるニ ューロン

が記憶 してい るカテゴ リー を選択 している. 2章 で述べ

たニュー ロン間の干渉 は, この最大値演算によって引き

起 こされ る. 以後, 説明のために教師 と一致す るカテゴ

リーを記憶 している出力層のニューロンを Right Neur-

on (RN), 教 師 と異 なるカテゴ リーを記憶 したニ ュー ロ

ンを Wrong Neuron (WN) と定義す る.

(1) の学習は, RNが 発火しなかった場合 に行われる.

新 しく作 られたニ ューロンは, 全ての中間層 と結合 し,

パ ター ンPが 属 するカテゴ リーCを 記憶する. 結合係

数 には, パ ター ンPを 入力 とした ときの中間層の出力値

が, また汎化係数 には汎化係数初期値が代入 され る. 数

式表現で は, つぎのようになる.

Vkj=Hj (4)

βk=βI (5)

ここで, βIは, 汎化係数初期値である. つぎの節で詳 し

く述べ るが, 入力層 と中間層間の係数 α, Wjiは, 固定の

ままで ある,

つぎに, どの ようにパ ター ンPの カテ ゴリーをNDP

が記憶 したかを具体 的に述べる. (4), (5) 式 による係

数決定後, NDPに 再 びパター ンPが 提示 され ると, 新 し

く作 られたニ ューロンでは, (3) 式の項 Σi(Vkj-Hj)2が

0と な り, 出力値 は1と なる. この出力値 は, (3) 式に

おける右辺の最大値 であるので, NDPは, このニ ューロ

ンが記憶 してい るカテゴリーCを 分類 結果 として出力

する. このように, 新 し く作 られたニ ューロンは, パター

ンPの カテゴ リー を記憶 していることがわかる. また,

この学習では, ほかのニ ューロンに関す る諸係数 (汎化空

間) の修正 は不要 であるため, すばや くパ ター ンを記憶

し, NNSと 比 して高速 に学習できる.

(2) の学習は, RNが 発火 しているにもかかわ らず,

RNよ りWNの ほ うが大 きな出力値 を とって いる場 合

に行われる. この とき, RNを 興奮す る (汎化空間 を拡大

する) 方向に, またRNよ り出力値が大 きいWNを 抑制

する (汎化空間を縮小する) 方向 に, それぞれ各係数を修

正 する. NDPで は, 出力層のニュー ロン数が増え, RN

が複数存在する ことがある. この とき, RNの 中で最 も大

きく発火したニュー ロンを選択 し, このRNに ついての

み荷重修正 を行 う. 修正方法 は, つ ぎの節で記述する.

修正 は, RNが 最大出力値 とな るまで続 けられる. もちろ

んRNよ り小 さな値 をとるWNに 関 しては, 修正 は行

わないし, RNよ り大 きな値 を もつWNで も修正 によっ

てRNよ り小 さな値 をとれ ば修正 を終 了 し過剰 な学 習

は しない.

4.2 各係数の修正

NDPで は, 中間層の各出力 と結 びついてお り, 入力層

と中間層問の係数 を修正する と影響 は一つの出力だけに

留 まらず全 てに及ぶ. このため, NDPで は入力層 と中間

層間の係数 は固定で, 中間層 と出力層間の係数だけ学習

に より修正す る. 修正方法 はNNSで 用い られてい る最

急降下法を用いた. 数式表現 を用 いれ ば, 以下のように

なる.

βk(t+1)=βk(t)-A∂Ek/∂βk (6)

Vkj(t+1)=Vkj(t)-B∂Ek/∂Vkj (7)

Ek Tk 1-1+th ( Vk-H)Z 2

(8)

aEk -2(7 k - 1aak 1+k f(VkJ H)2

(Vk,-H,)2x'

1 2 21+flk L C Vkj- H) (9)

aEk 2 Tk 1-)za Vkj=1-+ th (Vkj-H;

x -19k(Vkj-Hj)

[1+skvhjHj21 C)(Vkj-Hj)2 (10)

ここで,

Ek: 誤差

A: 汎化係数 βkの学習係数

B: 結合係数Vkjの 学習定数

t: 学習回数

Tk: 抑制方向の場合 0

興奮方向の場合1で ある.

4.3 初期値 問題

NDPは, ほかのニューロンモデル と同様 に初期値 に

依存する. 経験的 には, 学習係数 は小 さいほうが よく,

汎化係数の初期値では大 きい ほうが よい. しかし, 学習

福 田・塩 谷・新 井・柴 田・佐 々木・竹 内・木 下: 追 加 学 習 の た め の ニ ュ ー ラ ル ネ ッ ト 361

係数が小 さいと学習が遅 くな り, 汎化係 数を大 きくする

と汎化空間が縮小 されるため出力層 に多 くのニ ューロン

を形成 して しまい, メモ リが膨大 に必要になる. 追加学

習 に関 しては, 汎化係数が大 きいほど行いやすい. たと

えば汎化係数が非常に大 きければ, 出力層のニ ューロン

は1パ ター ンに対 して しか発 火 しな くな り, 入出力は1

対1の 関係になる. この場合, どのようなパター ンが与

えられて も確実に追加学習が可能 である.

4.4 NDPの 適用範囲

NDPは, パターン間距離 を利用 して領域分割 を行 っ

ているので, 密集してい るパター ンの分離 には有効であ

る. 特 に, パター ン認識問題 に向いてい ると思われる.

5. 追加 学習 の シ ミュ レー シ ョン

5.1 二次元空間での追加学習シ ミュレーション

Fig. 1に 示されたパターンを, NDPあ るいはNNSを

用いて四つのカテゴ リー に分類する. 追加学習の手順 は,

初 め にカテゴ リー(1)～(3)に属 す る12パ ターンを学習 さ

せ る. 入力 は各点の座標, 出力はカテゴ リー番号 とする.

その後, カテゴ リー(4)に属す る4パ ター ンだけを提示 し

て追加学習 させる. したが って, 二つのニ ューロンモデ

ル に合計16パ ターンを学習 させたことになる. そして,

カテ ゴリー(1)～(3)を忘却せず に(4)を記憶 しているか を調

べ る.

NNSは, 3層 の階層型モデルで, 各層のニュー ロン数

は, それぞれ2, 3, 4個 の もの を用 いた. 教師 データは,

0と1で 記述 した もの を用 いた. たとえば, カデゴリー

(1)の教師デー タは「1,0,0,0」 である. NNSの 出力は,

出力層 において最大値 をとるニ ュー ロンが記憶 している

カテゴ リリ とす る. この ときのNNSに よる分割領域 の

変化 をFig. 9に 示す. 結果 はカテゴリー(4)は記憶 されて

いたが, カテゴ リー(1)～(3)は忘却 されていた. NNSで は

追加学習 はで きなかった.

NDPは, 3層 の階層構造で, 入力層, 中間層のニ ュー

ロン数 は, 2, 4個 の ものを使用 した. 出力層のニ ューロ

ン数 は, 学習 によって増加 するが, 16パ ターン学習後 で

は7個 で あった. またNDPの 初期条件 は, Wは 乱数 で

与 え, α=2.2, A=0.01, B=0.01, βI=2.5, R=0.6と

した. 追 加学 習 に際 してのNDPの 分割領 域 の変 化 を

Fig. 10に 示す. カテゴリー(1), (2)の汎化空間がほとん ど

変化せず, カテゴリー(3)の空間が少 し削 られ, 空いた空

間 に カテゴ リー(4)の空 間が割 り込んでい る ことがわ か

Fig. 9 Change of the area by the additional learning with NNS

Before additional learning After additional learning

Fig. 10 Change of the space by the additional learning with NDP

Before additional learning After additional learning

362 1993年3月 計 測 自 動 制 御 学 会 論 文 集 第29巻 第3号

る. 結果 は, 全てのカテゴ リーを記憶 していた.

これ らの二つの シミュレーション結果 を Table 1に ま

とめた.

5.2 植物細胞の認識への応用

ここでは, 植物細胞の認識問題 を取扱いながら, NDP

の汎化能力 と追加記憶に関 して, NNSと 対 比 しなが ら

実験 を行 い, NDPが 多次元 空間において も有効 である

ことを示す.

(1) 認識問題 の概要

Photo. 1は, タバ コ18)～20)がプロ トプラス ト18)

の状態か らコロニー18)に成長 す る過程 を示 して

い る. ここで取 り扱 う問題 は, Photo. 2中 の細胞

の成長過程 を3段 階 ((1)プロ トプラス ト, (2)細胞壁

が再生 した細胞, (3)コロニー) に分 けて認識す るこ

とである, 細胞の成長過程 は形 と色か ら判断で き

るため, 画像処理 により細胞の形状 と色 を数値で

表現 し, これらの計測値か らNNSあ るいはNDP

を用いて細胞の成長過程 を認識 する.

(2) ニューロンモデルの入出力

教師 は, 人間の認識結果 を用いる. 教師データ

は, 2次 元空間のシ ミュレー ションと同様 に, 0

と1で 記述 されている. また入力データ15),16)は,

形状 (面積・縦横比・正規距離分散誤差和・距 離分

散・凹 凸度・周囲長) と色彩 (平均輝度 ・RGB平 均

濃度値 ・12色が細胞 内に占め る割合) の22種 類で

ある. ここで12色 の色 とは, 白・灰・黒・青・緑・

赤・赤 褐・肌・桃・茶・黄 色である. 各入力デー

タは, 0か ら1の 範囲で正規化 した ものを用 いて

いる.

(3) 実験方法 と結果

107個 の細胞を画像計測 し, 三つ のカテゴ リー

にわ けて, その内41個 は学習用 データ として用

い, 残 り66個 は未学習データ とす る.

汎化能力に関 しての実験では, NNSとNDPに 学習用

デー タを学習 させ, これらのニューロンモ デルの未学習

デー タに対 する認識精度 を調べる.

また, 追加学習に関 しては, 初期学習で学習用 データ

を記憶 させ, 追加学習で未学習デー タを記憶 させ る. 追

加学 習で過去の記憶をどの くらい失わずに, パ ター ンを

追加記憶で きたか を調べ るため, 二つの学習用データを

合せた107パ ター ンに対 しての認識精度 を調べ る.

NNSは, 3層 の階層構造型モデルで, 入力層 と出力層

のニ ュー ロン数は, それぞれ22, 3個 の ものを用いた.

中間層のニ ュー ロン数は, 10個 まで変化 させ, その中で

最善の認識結果が得 られたものを用いる. NDPも 同様,

3層 の階層構造 で, 入力層, 中間層のニ ュー ロン数 は,

22, 4個 の ものを使用 した. 出力層のニ ューロン数 は, 学

習によって増加 するが, 107パ ターン学習後で は4個 で

あった.

汎化 に関 しての結果 は, 誤認識 されたパ ター ンは,

NNSで は7パ ター ンで平均認識率 は89%で あったが,

NDPで は3パ ター ンが認識 できず, 平均認識 率は95%

であった. また, 追加 学習に関 しての結果では, NNSで

は107パ ターン中, 3パ ター ンが認識で きず, NDPで は

全 てのパター ンが認識で きた.

さ らに, カテゴ リーご とに追加学習 を行 った. はじめ

に, プロ トプラス トのパター ン群 (23パ ター ン) だけを学

Table 1 Result of the simulation on the Fig. 1

(Recognized Number/Total Number)

Photo. 1 Growing process of the plant cell

Protoplast Regenerating Cell Colony

Photo. 2 Image of the plant cells in the culture

福 田・塩 谷・新 井・柴 田・佐 々 木・竹 内・木 下: 追 加 学 習 の た め の ニ ュ ー ラ ル ネ ッ ト 363

習 させ, その後細胞壁が再生 した細胞のパ ターン群 (57

パ ター ン) を追加学習 し, 最後 に コロニーのパ ターン群

(27パ ターン) だけを追加 して学習を行 った. その後, 全

パ ター ンが記憶 できてい るか を調べた結果, 107パ ター

ン中NNSで は69パ ター ン, NDPで は105パ ターンが

認識 された. これ らの認識結果 を Table 2に, NNSの 中

間 層の ニュー ロン数 を変 化 させ た場 合 の認 識 結果 を

Table 3に 示す.

この結果か ら, この認識 問題 においては, NNSと 比較

してNDPの ほうが汎化能力がよ く, 追加学習能力 も優

れていた.

6. ま と め

本論文では, 追加学習が可能でパ ター ンを分類 するた

めのニュー ロンモ デルNDPを 提案 した. NDPは, 従来

か らパ ター ン分類 によく用い られるパ ターン間距離 を用

いてお り, 未学習パターンをある程度認識 でき, パ ター

ンの追加記憶 が可能であることを, 2次 元 のパターン空

間 と22次 元 のパ ターン空間 (植物細胞 の認識問題) にお

ける認識問題 を取扱い確認 した. このほか, 必要 に応 じ

てニュー ロンを増殖するこ とにより, 排他的論理和の よ

うなパ ター ンを複数個 のニ ュー ロンを使って記憶 するこ

とが可能である. 今後 の課題 として は, 初期値 問題な ど

が挙 げ られ る.

Table 2 Experimental results on the plant cell recognition

(Recognized Number/Total Number)

Table 3 Experimental results of the NNS with respect to number of nodes in hidden layer[Recognized Number (Total Number)]

参 考 文 献

1) E. Diday: Recent Progress in Distance and SimilarityMeasures in Pattern Recognition, Proc. Second IJCPR,534/539 (1974)

2) Lloyd, S.p.: Least Squares Quantization in PCM. BellLaboratories Internal Technical Report, IEEE Trans-actions on Information Theory IT-28-2 (1982)

3) M. Queen: Some Methods for Classification and Anal-

ysis of Multi-Variate Observations, Proc. of the FifthBerkeley Symposium on Mathematics, Statistics andProbability, eds L.M. Lecam and J. Neyman, BerkeleyU., California Press, p. 281

4) J. Mody and C.J. Darken: Fast Learning in Networksof Locally Tuned Processing Units, Neural Computa-tion, 1, 281/294 (1989)

5) F Rosenblat: Principles of Neurodynamics, Spartan,(1961)

6) D.E. Rumelhart, G.E. Himton and R.J. Williams: ALearning Internal Representation by Error Propaga-tion, Rumelhart D.E. and McClleland J.L. eds, Paral-

lel Distributed Processing, MIT Press, Cambridge,Mass (1986)

7) D.F. Specht: Probabilistic Neural Networks, NeuralNetworks, 3, 109/118 (1990)

8) T. Poggio and F. Girosi: Regularization Algorithmfor Learning That are Equivalent to Multilayer Net-

works, Science, 247, 978/982 (1990)

364 1993年3月 計 測 自 動 制 御 学 会 論 文 集 第29巻 第3号

9) E.J. Hartmann, J.D. Keler and J.M. Kowalski:Layered Neural Networks with Gaussian HiddenUnits as Universal Approximations, Neural Computa-

tion, 2, 210/215 (1990)10) C.M. Bishop: Improving the Generalization Prop-

erties of Radial Basis Function Neural Networks,Neural Computation, 3, 579/588 (1991)

11) G.A. Carpenter, S. Grossberg and J.H. Reynold:

ARTMAP: Supervised Real-Time Learning andClassification of Nonstationary Data by A Self-Organizing Neural Network, Neural Networks, 4, 565/

588 (1991)12) G.A. Carpenter, S. Grossberg and D.B. Rosen: ART2

-A: An Adaptive Resonance Algorithm for Rapid

Category Learning and Recognition, Neural Net-works, 4, 493/504 (1991)

13) K. Fukushima: Neocognitron: A Self-OrganizingNeural Network Model for A Mechanism of Pattern

Recognition Unaffected by Shift in Position, Biol.Cybern. 36, 193/202 (1980)

14) D.L. Reilly, L.N. Cooper and C. Elbaum: A NeuralModel Category Learning”, Biol. Cybern, 45, 35/41

15) 山内・神保・梅 野: 新規パ ターンを学 習するための 自己組

織化機構, 電子情 報通信学会誌D-II, J74-D-II, 4, 474/

481 (1991)

16) J.J. Hopfield, D.I. Feinstein, R.G. Palmer: Unlearn-ing Has a Stabilizing Effect in Collective Memories,Nature, 304, 158/159 (1984)

17) D.H. Ackley, G.E. Himton and T.J. Sejnowski: ALearning Algorithm for Boltzmann Machines,Cognitive Science, 9, 147/169 (1985)

18) B. Alberts, D. Bray: Molecular Biology of The Cell,Garland Publishing Inc. New York & London, 1142/1143 (1983)

19) 福 田, 塩谷, ほか: 画像処理 を用いた生物細胞 の認識 (第

1報, ニ ュー ラル・ネッ トワー クを用 いた植物細 胞の生死

認識, 機論, 77/84 (1991)

20) 福田, 塩谷, ほか: 画像処理 を用 いた生物細胞 の認識 (第

2報, NNを 用いた植物細胞 の培 養監視 システム), 日本

機械学会, ロボテ ィクス・メ カ トロニ クス講演 会, 187/

188 (1991)

[著 者 紹 介]

福 田 敏 男 (正会員)

1977年, 東 京大学 大学 院博 士 課程 修 了

(工学博士). 77年 通産省工業技術院機械技

術研究所入所. 81年 東京理科大学工学 部.

89年 名 古屋 大学 工 学部機 械情 報 シス テム

工学科教授. 知能 ロボッ ト研 究な どに従事.

IEEE Industrial Electronics Society の

Vice President, IEEE Neural Network

Council の Secretary な ど.

塩 谷 成 敏 (学生会員)

1990年, 名古屋大学工学部機械工学科卒

業. 92年 同大学院修士課程修了. 現在, 同

大学院博士課程に在学中. ニューラルネッ

トワーク・画像処理の研究に従事. 日本ロ

ボット学会の会員.

新 井 史 人 (正会員)

1988年, 東京理科大学大学院修 士課程修

了. 同年富士写真 フィルム勤務. 89年 名古

屋大学 工学部機 械情報 シス テム 工 学科 助

手, 現在 に至 る. 柔軟構造物 の制 御, ニ ュー

ラルネ ッ トワー ク, 知 的制御, マイク ロマ

シン, 知的イ ンタフ ェースな どの研 究に従

事.

柴 田 崇 徳 (正会員)

1992年, 名古屋大学大学院電子機械工学

専攻博士課程修了 (工学博士). 同年同大学

工学部機械情報 システム工学科 助手.

ニューロ, ファジィ, AI, 遺伝アルゴリズ

ムを用いたロボットの階層的知的制御の研

究に従事. 92年 日本学術振興会特別研究

員.

佐々木 恭 助

三菱重工業(株)エアコン製作所技術部主

務. 1971年, 秋田大学機械工学科卒業. 同

年三菱重工業(株)入社, 装置設計, 本社事

業部門をへて現在に至る. 蓄冷熱システム,バイオ関連機器, 低温流通機器の研究開発

に従事. 日本機械学会の会員.

竹 内 直 和

三菱重工業(株)名古屋研究所主務. 1963

年, 県立愛知工業高等学校卒業. 同年新三

菱重工業(株)入社. 高分子加工物性植物組

織培養の研究に従事. 高分子学会, 防菌防

黴学会などの会員.

木 下 達 之

1985年, 広島大学大学院工学研究科工業

化学専攻修了. 同年三菱重工業(株)入社.

現在, 名古屋研究所高分子・化学研究室に

在職. 生体関連触媒反応, 植物組織細胞培

養の研究に従事. 日本化学会, 日本農芸化

学会などの会員.