ガウシアンネットワークを用いた確率モデル遺伝的アルゴリズム

ガウシアンネットワークを用いた確率モデル遺伝的アルゴリズム

吉田　純一

博士前期課程　 2000 年度 0737 番知的システムデザイン研究室

2001 年度同志社大学大学院工学研究科知識工学専攻修士論文公聴会（ 2002 年 2 月 1 日）

Probabilistic Model Building Genetic Algorithm using Gaussian Network

Intelligent Systems Design Lab. Doshisha University

遺伝的アルゴリズム

生物の進化の過程を工学的に応用した最適化手法

遺伝的オペレータ

　交叉・突然変異・選択

評　価

選　択

交　叉

突然変異


親個体の遺伝子を組み替え新しい個体を生成個体間の情報交換

積み木仮説（ Holland 1975 ）複数の個体がビルディングブロックを探索．交叉によってこれが組み合わされる

GA による解探索の主役と考えられてきた

GA における交叉の役割

評　価

選　択

突然変異

交　叉


GA における交叉の問題点

交叉の働きは発見されたビルディングブロックを母集団全体に広めることで，結果として多様性を失わせる．親個体のもつビルディングブロックを破壊することが多い . （ Wu 1997 ）

適合度に小さな変化または大きな改悪を生む事が多い．（ Nordin 1995 ）

　　確率モデル遺伝的アルゴリズム

新しいアプローチ


確率モデル遺伝的アルゴリズム

確率モデル

分布の推定

母集団内の良好な個体群の分布にもとづいて確率的に新しい個体を生成

GA の交叉 → 確率モデルにもとづく個体の生成

母集団

（１）良好な個体を母集団　　から選択

（２）分布を推定し　　確率モデルを構築

（３）新しい個体を生成し　　母集団内の個体と置き換え


確率モデル GA の分類（ Pelikan1999 ）

設計変数のコード化手法による分類

設計変数間の依存関係の考慮の程度による分類

依存関係を考慮しない（ No Interactions ）

2 変数間の依存関係を考慮する（ Pairwize Interactions ）

3 変数以上の依存関係を考慮する（ Multivariable Interactions ）

ビットストリング型

実数値ベクトル型

00 11 00 0011 11

x1 x2

f (x1, x2)


確率モデル GA の分類

ビットストリング実数値ベクトル依存関係を考慮しない

PBIL （ Baluya1994 ）UMDA （ Muhelembein1996）ｃ GA （ Lobo1998 ）

SHCLVND （ Rudolf1996 ）

Real-coded PBIL （ Sevet1997 ）

PIPE （ Salustowicz1997 ）

PBMGA （筒井 2000 ）

2 変数を考慮

MIMIC （ DeBonet1997 ）BMDA （ Pelikan1999 ）

3 変数以上を考慮

ECGA （ Harik1999 ）FDA （ Muhelembein1999 ）BOA （ Pelikan1999 ）EBNA （ Etxeberria1999 ）

EGNA （ Etxeberria1999 ）

GOA

ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA

2 変数間の依存関係を考慮した実数値確率モデル GA


提案手法の特徴

• 実数値ベクトルの染色体

• 確率モデル GA

• 分布の推定にガウス分布

• 確率モデルにガウシアンネットワーク

• ガウシアンネットワークの構造は Q-Learning で学習

ガウシアン最適化アルゴリズムGaussian Optimization Algorithm:GOA


GOA の概要

ガウシアンネット

分布の推定

母集団


（２）分布を推定

（ 6 ）母集団内の個体と置き換え

Q学習

（ 3 ）モデルを決定（４）新しい個体を生成

（ 5 ）良好な個体を生成した　　ネットワークを学習


分布の推定

サンプル個体群の統計量を求める

各設計変数の平均値，標準偏差

母集団からサンプル個体を選択サンプル率 sトーナメント選択

サンプル個体群はガウス分布すると仮定

変数間の相関係数 ρ

変数ごとの関わりを考慮する

サンプル個体群


-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

個体の生成

各変数を独立に決定する場合

2 変数の依存関係を考慮する場合（ GOA ）

変数ごとに正規乱数を発生

xa と xb の間に依存関係があるとき

2 変量正規分布を利用平均値，標準偏差，相関係数

xa の値をもとに xb の値を決定xa

xb


個体の生成（２）

xa と xb の間に依存関係があるとき

n 変数を扱うときには

xa xb

xa xb

xa の値をもとに xb の値を決定

xc xn

依存関係を有向グラフで表現各変数の値はガウス分布すると仮定

ガウシアンネットワーク（ベイジアンネットワークの一種）

ガウシアンネットのグラフ構造は Q 学習で決定


GOA のまとめ


分布の推定

母集団


（２）分布を推定

（ 6 ）母集団内の個体と置き換え

Q学習

（ 3 ）モデルを決定

（４）新しい個体を生成

（ 5 ）良好な個体を生成した　　ネットワークに報酬


数値実験

ガウシアンネットの有効性の検証

実数値 GA との性能比較

数値実験１：

数値実験２：


対象問題

変数間に依存関係なし

変数間に依存関係あり


実験１：ガウシアンネットの有効性

ガウシアンネットワークは変数間の依存関係を表現

設計変数間に依存関係のある問題において効率的な探索が期待される

xa xb xc xn

GOA とガウシアンネットワークを用いない GOA を比較しガウシアンネットの有効性を確認する

母集団サイズ：サンプル率：突然変異率：

2000.10.1

実験に用いたパラメータ

学習率：割引率：

0.30.3


ガウシアンネットの有効性

Rastrigin （依存関係なし） Ridge （依存関係あり）

設計変数間に依存関係のある問題において有効


実験 2 ：実数値 GA との性能比較

比較に用いた実数値 GA

母集団サイズ：

世代交代モデル：

交叉法：

200

MGG （ sato1997 ）

BLX-α （ eshelman1993 ） , UNDX （ ono1997 ）

※20 試行の平均値で比較


実数値 GA との性能比較

GOA は実数値 GA よりも高速に良好な解を得る

10D Ridge10D Rastrigin

Rastrigin （依存関係なし） Ridge （依存関係あり）


まとめ

設計変数間に依存関係のある問題においてガウシアンネットワークによる依存関係の考慮は有効．

GOA は実数値 GA よりも少ない計算回数で良好な解を得ることができる．

新しい実数値確率モデル GA としてガウシアン最適化アルゴリズムを提案した．


発表論文リスト

三木光範，廣安知之，吉田純一，金子美華：分散 GA の性能におよぼす交叉法とコーディング法の影響第 59 回情報処理学会全国大会，岩手県立大学（ 1999.09 ）

吉田純一，大向一輝，廣安知之，三木光範： PC クラスタシステムのベンチマークとツールの紹介第 15 回超並列計算研究会，同志社大学（ 1999.11 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける最適な交叉スキーム第 6 回 MPS シンポジウム，同志社大学（ 2000.03 ）

吉田純一，大向一輝，廣安知之，三木光範：クラスタにおけるジョブ管理ツール DQS の紹介第 18 回超並列計算研究会，日本原子力研究所（ 2000.05 ）

三木光範，廣安知之，吉田純一，大向一輝：並列分散遺伝的アルゴリズムにおける新しい交叉法電子情報通信学人工知能と知識処理研究会，筑波大学（ 2000.05 ）

三木光範，廣安知之，畠中一幸，吉田純一：並列分散遺伝的アルゴリズムの有効性日本計算工学会 Transactions of JSCES, Paper No.20000038 （ 2000.08 ）

吉田純一，三木光範，廣安知之，坂田善宣：遺伝的アルゴリズムにおける最良組み合わせ交叉第 31 回情報処理学会 MPS 研究会，東北大学（ 2000.09 ）

三木光範，廣安知之，吉田純一，大向一輝：分散遺伝的アルゴリズムのための新しい交叉法同志社大学理工学研究報告書，第 41 巻，第 3 号， pp.162-170 （ 2000.10 ）

三木光範，廣安知之，水田伯典，吉田純一：並列分散遺伝的アルゴリズムを用いた巡回セールスマン問題の解法情報処理学会第 61 回全国大会講演論文集， pp.173-174 （ 2000.11 ）

M.Miki, T.Hiroyasu, J.Yoshida, I.Ohmukai ： New Crossover Scheme for Parallel 　 Distributed Genetic AlgorithmsIASTED international conference on Parallel and Distributed 　Computing and Systems (PDCS 2000) ， Riviera Hotel and Casino, Las Vegas, Nevada, U.S.A （ 2000.11 ）

廣安知之，三木光範，谷村勇輔，吉田純一，佐野正樹：分散遺伝的アルゴリズムを用いた PC クラスタのベンチマーク　日本機械学会日本機械学会第 13 回計算力学講演会講演論文集，pp.497-498 （ 2000.11 ）

三木光範，廣安知之，福永隆宏，吉田純一：実数値遺伝的アルゴリズムの分散効果の検討情報処理学会第 63 回全国大会講演論文集， pp.111-112 （ 2001.09 ）

吉田純一，廣安知之，三木光範：汎用分散遺伝的アルゴリズムシステムによるディーゼルエンジンの燃料噴射スケジュール最適化第 8 回 MPS シンポジウム，同志社大学（ 2001.10 ）

J.Yoshida,T.Hiroyasu, M.Miki ： Distributed Genetic Algorithms for Real-World ProblemsSuper Computing 2001 ， Colorado convention center, Denver, Colorado,U.S.A （ 2001.11 ）

吉田純一，廣安知之，三木光範：ベイジアンネットワークを遺伝的操作に利用した実数値遺伝的アルゴリズム第 14 回自律分散シンポジウム，東京大学（ 2002.1 ）


補足資料


利点：　耐久性が高い　コストが低い

欠点：　環境への悪影響　（ NOxやすすの排出）

　　　　　　燃焼特性によって変化．

GOA の実問題への適用（１）

ディーゼルエンジンにおける燃料噴射率最適化問題

燃料噴射率を変化させて NOｘの出力を最小化

※本研究は近畿大， AVL社　との共同研究


設計変数：　　噴射率　　（燃料噴射量の時間的推移）

目的：　　 NOｘの最小化

ソルバ：　　 HIDECS　　（ディーゼル燃焼のシミュレータ）

GOA の実問題への適用（２）

GOA は GA よりも高速に良好な解を得ている


0

50

100

150

200

250

300

1 6

0

50

100

150

200

250

300

1 6

GOA による探索結果 GA による探索結果

NOｘ排出量： 0.78208 g/kWhour NOｘ排出量： 0.79045 g/kWhour

GOA の実問題への適用（３）


Q-Learning

強化学習

Q-Learning

教師なし学習

ある状態でとりうる行動に評価値： Q 値

行動選択の手がかり：報酬

エージェントは試行錯誤を通じて適切な制御規則を獲得

評価値に応じて行動を選択

エージェント

環　境

行動状態観測報酬

GOA では依存関係は Q-Learning で学習


1 2 312 3

Q 学習によるネットワークの学習

3 変数の場合

1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

ノード：変数，パス：行動

ネットワークを決定

個体を生成

個体を評価良好な個体を生成したネットワークには報酬

ε-greedy 選択（ ε=0.5 ）


1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

ネットワークの学習

探索が進むと・・・

枝ごとに Q 値に偏りが生じる

太い枝は選択されやすい

太い枝のネットワークは良好な個体を生成する可能性が高い

Q 値を観測することで対象問題の依存関係がわかる？


ネットワークの学習（１）

4D Rastrigin 関数

設計変数間に依存関係がない

相関係数は小さい

ネットワークを用いなくても性能は変わらない

Q 値に偏りがない学習が進む前に最適解を得る


ネットワークの学習（２）

4D Ridge 関数

設計変数間に依存関係がある

ネットワークを用いた方が性能がよい

Q 値に偏りがある何らかの学習がなされている

問題の性質を把握は今後の課題


ネットワークの学習（３）

4D Rosenbrock 関数

設計変数間に依存関係がある

相関係数が大きい


GOA の流れ図

個体生成

評　価

選　択

分布推定

学　習

モデル構築


GOA の問題点

サンプル個体群 = 母集団内の優良個体

0 ， 0, 4, 00 ， 0, 5, 00 ， 0, 3, 0

0 ， 0, 0.4, 0

0 ， 0, 1, 00 ， 0, 5, 00 ， 0, 3, 0

0 ， 0, 0.3, 0

GA では，選択によってエリートの数が増える

GOA では数は増えず，統計量のみが変化する

　　　　　探索終盤での局所解からの脱出は困難？

個体１個体 2個体３

平均値

X0 X １ X ２ X ３ X0 X １ X ２ X ３

GOA ではビルディングブロックの交換はできない


GOA の問題点

0, 0, 0, 1, 0

0, 0, 0, 0, 1

ビルディングブロックの交換ができない

0, 0, 0, 0, 0

0, 0, 0, 0.5, 0.5


ベイジアンネットワーク

確率変数の間の定性的な依存関係をグラフ構造で表す

確率変数間の定量的な依存関係を条件付き確率で表す

このとき xb は xa に依存する．xa は xb の親ノード．

))(|()|( bbab XXPXXP

xa xb

ここで　　　　　は xb の親ノード群)( bX

不確定性を含む事象を表現するために有向グラフを用いる確率モデル


条件付き確率の例


ガウシアンネットワーク

連続変数をベイジアンネットワークで扱う場合

離散変数をベイジアンネットワークで扱う場合条件付確率はすべての状態における条件付確率を並べた表（ CPT ）によって表す．

各変数の条件付確率を特定の連続関数に従うと仮定このときガウス分布すると仮定するもの

　　　　　ガウシアンネットワーク

a = 1 のとき b = 0 である確率は 10%a = 2 のとき b = 0 である確率は 10%　　　　　　　　　・・・


Q-Learning

S1 S2 S3 S4

A A A

BB

B

Q 値

Q-Learning の例

：状態：行動：報酬

S1 S2 S3 S4

A

B


相関係数の影響

-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

-2

0

2

-2

0

2

0

0.1

0.2

0.3

0.4

-2

0

2

-2

0

2

-2

0

2

0

0.2

0.4

0.6

0.8

1

-2

0

2

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1

ρ=0.0 ρ=0.2 ρ=0.4

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1

-3 -2 -1 1 2 3

0.2

0.4

0.6

0.8

1


GOA の世代交代モデル

S （ t ）

O （ t ）

P （ t ）

P （ t+1 ）

P （ t ） +O （ t ）

サンプル個体群の選択

子個体の生成

世代交代

本研究で用いた世代交代モデル

GOA では任意の世代交代モデルが利用できる


交叉点はランダムに決定

→良好なスキーマが組み合わされ　るか否かは確率的要素に依存

うまく組み合わされても一方は淘汰される

　→ 多様性の減少につながる

- 改良よりも改悪の方が多い（ wu 97 ）

:3

:2

:5:0

:3:2

1 2

1

2

部分解

交叉の問題点（ 1 点交叉の例）


確率モデル GA研究の動向

ビットストリング型の手法に関する研究が先行

実数値ベクトル型の手法で変数間の依存関係を考慮したものは少ない

ガウシアン最適化アルゴリズム Gaussian Optimization Algorithm: GOA

2 変数間の依存関係を考慮した実数値確率モデル GA


対象問題

変数間に依存関係なし

変数間に依存関係あり

FGriewank



分布の推定

母集団

分布の推定

母集団

パラメータ

母集団サイズ：サンプル率：突然変異率：

2000.10.1

学習率：割引率：

0.30.3

GOA とネットワークなし GOA

実験 1 ：ガウシアンネットの有効性

※20 試行の平均値で比較


ガウシアンネットの有効性（１）

設計変数間に依存関係のある問題では有効


ガウシアンネットの有効性（２）

設計変数間に依存関係のある問題では有効


実数値 GA との性能比較（１）



実数値 GA との性能比較（２）


10D Griewank 10D Ridge


1

2

3

0

2

2

1

1

3

3

3

2

3

1

1

2

実験 3 ：ネットワークの学習

探索が進むと・・・

枝ごとに Q 値に偏りが生じる

太い枝からなるネットワーク→ 良好な個体を生成した　ネットワーク

Q 値を観測することで対象問題の依存関係がわかる？

対象問題Rastrigin, Ridge （ 4 変数）ノード：変数，パス：行動


エンジンの実験結果

0.81

0.82

0.83

0.84

0.85

0.86

0.87

0 200 400 600 800 1000 12000

50

100

150

200

250

300

350

400

450

500

1 2 3 4 5 6


実数値遺伝的アルゴリズム

実数値をそのまま遺伝子型とする

連続関数最適化問題において，ビットストリングを用いる GA より有効である（ Davis 91 ）


実数値 GA における交叉法

BLX-α UNDX

• 2つの親個体の各成分距離を α倍拡張した領域

• 設計変数間に依存関係のある問題に弱い

• 領域内に子個体はランダムに生成

• 3つの親個体により定義される正規分布領域

• 領域内に 2つの親の中点を対称に子個体を生成• 設計変数間に依存関係のある問題に強い

（ Eshelman 1993 ）（ Ono 1997 ）


Rastrigin



全試行の履歴

多峰性関数においては局所解で停滞することもある


分布推定アルゴリズム（ EDAs ）の概要

確率モデル

分布の推定

分布推定アルゴリズム（ Muhlenbein1996 ）Estimation of distribution algorithms:EDAs

母集団内の良好な個体群の分布にもとづいて確率的に新しい個体を生成する

母集団


（２）分布を推定し　　確率モデルを構築

（３）新しい個体を生成し　　母集団内の個体と置き換え


GA と EDA の比較

評　価

選　択

交　叉

突然変異個体生成

評　価

選　択

分布推定・

GA EDA

EDA：交叉・突然変異を「分布推定」と「モデルに従った個体の生成」に置き換えたもの

モデル構築

確率モデル GA （ Probabilistic Model Building GAs）

ガウシアンネットワークを用いた 確率モデル遺伝的アルゴリズム

Documents

ガウシアンネットワークを用いた確率モデル遺伝的アルゴリズム