分散確率モデル遺伝的アルゴリズムにおける解探索メカニズムの検討

分散確率モデル遺伝的アルゴリズムにおける解探索メカニズムの検討

知的システムデザイン研究室

　　　　　　　　　平井　聡

最適化とは制約条件下で目的関数を最大または最小化する問題

最適化問題離散最適化連続最適化（ e.g. たんぱく質立体構造予測，トラス構造物最適化）

確率的手法遺伝的アルゴリズム（ Genetic Algorithm: GA ）シミュレーテッドアニーリング（ Simulated Annealing:SA ）

研究背景

遺伝的アルゴリズム（ GA ）

生物の進化を模倣した最適化アルゴリズム母集団に対して，遺伝的操作を繰り返し適用多点探索により，大域的な探索に優れている多くの評価計算が必要であり，計算コストがかかる

研究目的

GA の問題点多くの評価計算回数が必要，多量の計算資源が必要解決策効率の高い解探索し，評価計算回数を少なくする

良質な親個体の形質を子個体が引き継ぐ母集団の多様性の維持設計変数間の依存関係の考慮

分散確率モデル遺伝的アルゴリズム (DPMBGA)( 廣安等 :2003)

分散 GA (DGA) ＋確率モデル GA (PMBGA)

DPMBGA の解探索性能が検証済み

DPMBGA の解探索メカニズムアルゴリズムの改良

研究目的

分散遺伝的アルゴリズム（ DGA ）

母集団を複数のサブ母集団に分割移住によりサブ母集団の個体を交換母集団の多様性を維持

確率モデル遺伝的アルゴリズム（ PMBGA ）

子個体を親個体の正規分布より生成子個体は良質な親個体の形質を引き継ぐ

個体の抽出

確率モデルの生成　 (正規分布等 )

子個体の生成

DPMBGA の概要

移住操作に多様性の維持 (DGA)

確率モデルによる子個体生成 (PMBGA)

解探索メカニズムの検討

多峰性関数Rastrigin 関数

設計変数間に依存関係がある関数Rosenbrock 関数

n

iii xxnxF

1

2 2cos1010

12.512.5 ix

1

1

2221 1100

n

iiii xxxxF

048.2048.2 ix



多峰性の関数

Rastrigin 関数は多数の局所解をもつ母集団が局所解に陥り，最適解へ到達しない母集団の多様性の維持が重要

序盤中盤終盤

多峰性の関数の探索履歴

各島で局所解に収束

Island 1 Island 2

Island 3


個体が移住操作により，異なる島に移動

Island 1 Island 2

Island 3


子個体が最適解付近に生成

Island 1 Island 2

Island 3


最適解に到達

多様性の維持が重要

Island 1 Island 2

Island 3

数値実験

Total Population 512

Number of Island 1(PMBGA), 32(DPMBGA)

Number of Elite 1

Migration Interval 5

Migration Rate 0.625

Archive size for PCA 100

Sampling Rate 0.25

Amp of Variance 1.5

Chromosome Length 0.1/(Dim of function)

Max Generation 1000

高次元の Rastrigin 関数の解探索履歴履歴

DPMBGA は最適解に到達PMBGA は局所解に収束

解探索メカニズムの検討

n

iii xxnxF

1

2 2cos1010

12.512.5 ix

1

1

2221 1100

n

iiii xxxxF

048.2048.2 ix



設計変数間に依存関係のある関数

依存関係のない関数各設計変数が独立に最適値がある

依存関係のある関数設計変数の最適値が他の設計変数に依存

DPMBGA + PCA

移住操作に多様性の維持 (DGA)

主成分分析による無相関化 (PCA)

確率モデルによる子個体生成 (PMBGA)

設計変数に依存関係がある関数

多変量を少数の変量で表す方法最良個体群から分散を計算その分散値を用い，依存関係のない空間に

回転させる

依存関係のある関数の探索履歴


PCAなし


PCAなし

PCA

高次元 Rosenbrock 関数の解探索履歴履歴

PCA を用いても単島では解けない島モデルでは最適解に到達

確率分布

個体数 512 とした時，最良個体 (PCA の基準 ) の履歴

分散島モデル (ＤＰＭＢＧＡ）単島モデル (ＰＭＢＧＡ）

確率分布



多様性の維持収束が早い

確率分布



最適解に到達最適解に到達する前に収束

分散島モデルは，全体をみると正確な確率モデルが構築できる

解探索メカニズムのまとめ

多峰性の関数単島だと局所解に収束分散島である移住操作により最適解に到達

設計変数間に依存関係のある問題PCA により，依存関係をなくすように近似する分散島モデルにより，個々の島では正確な確率モデルの構築ができないが，全体で正確な確率モデルを構築

DPMBGA の問題点

抽出個体により収束が早くなる可能性がある

最適解に到達できない

DPMBGA の問題点の解決策

抽出個体が近いなら，子個体生成の範囲を大きくする

子個体生成の範囲を調節するパラメータ分散の増幅率を増加させる

分散の増幅率

子個体を生成するとき，生成する範囲を調節するパラメータ

増幅率大増幅率中増幅率小

分散の増幅率を適応的に変化させる

DPMBA の改良

子個体を母集団より少し収束するように生成1. 母集団の一般化分散値を比較2. 子個体の一般化分散値が閾値なら次世代

それ以外，分散の増幅率を増加減少し子個体を再度生成

母集団の一般化分散値

子個体の一般化分散値

数値実験



n

iii xxnxF

1

2 2cos1010

12.512.5 ix

1

1

2221 1100

n

iiii xxxxF

048.2048.2 ix

パラメータ


Number of Island 4(Improved), 64

Number of Elite 1


Migration Rate 0.15625(Improved),0.625


Sampling Rate 0.25

Child Created Rate 95%


Max Generation 1000

解探索履歴

Rastrigin関数 Rosenbrock関数

評価計算回数はかかるが，最適解に到達することができる

まとめ

解探索メカニズムの検討多峰性の関数母集団の多様性，移住することが重要

設計変数間に依存関係のある関数PCA による，依存関係をなくす手法が有効

DPMBGA の改良抽出個体により，局所解に陥る可能性がある子個体が母集団より，少し収束するように増幅率を適応的に変化させる

発表論文リスト第 3 回情報科学技術フォーラム遺伝的アルゴリズムを用いたコージェネレーションシステムの最適設計廣安知之，三木光範，平井聡，下坂久司，梅田良人，青木修一，田中洋一

The 2004 IEEE Conference on Cybernetics and Intelligent SystemsSatisfactory Design of Cogeneration System using Genetic AlgorithmSatoshi Hirai, Tomoyuki Hiroyasu, Mitsunori Miki, Hisashi Shimosaka, Yoichi Tanaka, Syuichi Aoki, Yoshito Umeda

第 15 回設計工学・システム部門講演会分散確率モデル遺伝的アルゴリズムにおける解探索能力についての検討平井聡，廣安知之，三木光範，下坂久司

The International Association of Science and Technology for DevelopmentCONSIDERATION OF SEARCHING ABILITY FOR Distributed Probabilistic Model-building Genetic AlgorithmSatoshi Hirai, Tomoyuki Hiroyasu, Mitsunori Miki, Hisashi Shimosaka

情報処理学会「数理モデル化と問題解決研究会」第 57 回講演　 2006年 3月 17日予定分散確率モデル遺伝的アルゴリズムにおける解探索メカニズムの検討平井聡，廣安知之，三木光範，下坂久司

分散の増幅率による各関数の最適値

Rastrigin の最適値は 1.4

Rosenbrock 関数の最適値は 1.7

分散の増幅率を適応的に変化できるように改良する

DPMBGA の改良 ( 一般化分散値が小 )

1. 母集団の一般化分散を計算 (100)

2. サンプリング個体数の抽出3. 分散の増幅率 (2.0) で子個体を生成4. 子個体の一般化分散値を計算 (20)

一般化分散値が小増幅率を増加し，ステップ 3 に戻る

DPMBGA の改良 ( 一般化分散値が大 )



一般化分散値が大増幅率を減少し，ステップ 3 に戻る

DPMBGA の改良 ( 一般化分散値が適切 )



一般化分散値が適切なら次世代に進む

GA の問題点

Cogeneration System 最適設計問題など実問題は，計算に膨大な計算時間がかかる

No.93 in 2003, No.499 in 2004 (Top 500 Supercomputers)

# Node 256

Processor AMD Opteron 1.8 GHz×2

Memory PC2700 Registered ECC 2GB

Chipset AMD 8131+8111

OS Turbolinux 8 for AMD64

Communication Library Mpich-1.2.5

Communication Medium Gigabit Ethernet

Rpeak 1.8432 TFlops

Supernova Cluster Systemの構成

アーカイブ

主成分分析を行うための個体の情報を格納する現在の世代までに発生した最良個体を格納する解探索初期は格納のみ行う

主成分分析（ PCA ）

多くの変量を少数の指標で表す方法最良個体から個体の分散 V （情報量）を取得その V を軸とし個体を回転させ，無相関に移す

子個体生成子個体の生成（ PMBGA ）

正規乱数に基づき設計変数を生成子個体は独立に生成される

個体の相関を元に戻す生成子個体の相関を元に戻す母集団の全個体と置換

DPMBGA の特徴

特徴実数値確率モデル遺伝的アルゴリズム島モデルにより多様性の維持新しい個体は設計変数間の依存関係を考慮した主成分分析により生成

パラメータ分散の増幅率サンプリング個体数アーカイブサイズ

正規乱数の分散の増幅率

正規乱数の発生範囲を広げ，子個体の多様性を維持増幅率

• 高すぎる　→　収束が行われない• 低すぎる　→　早熟収束する可能性が高い

数値実験

実験概要増幅率のパラメータ検討2 つのモデルで検討

（ With PCA, Without PCA ）

対象問題依存関係のない問題

Rastrigin 関数， Schwefel 関数依存関係のある問題

Rosenbrock 関数， Ridge 関数

パラメータ


Number of Island 32

Number of Elite 1


Migration Rate 0.625


Sampling Rate 0.25

Amp of Variance From 0.1 To 3.0


Max Generation 1000

解発見回数（ Rastrigin 関数， Schwefel 関数）

Rastrigin Schwefel

増幅率 1.1 から 1.5 まで良好な結果PCA を行わないモデルが良好な結果を示した

数値実験（ Rosenbrock 関数 , Ridge 関数）

Rosenbrock

PCAを行わないと，依存関係のある問題は解けない増幅率が 1.4から 2.0までが最も良好な結果を示した

Ridge

DPMBGA の概要

母集団 (1)良好な子個体の抽出

(2)主成分分析を用い設計変数の無相関化

(3)正規乱数により次世代の個体を生成

(4)次世代の個体の相関を戻し，母集団と置き換

える

個体のサンプリング

母集団 (1)良好な子個体の抽出

サンプリング個体群

サンプリング個体母集団内の評価値の高い個体より，定めた個数を抽出する

個体の無相関化

目的設計変数の依存関係を考慮し，子個体を生成する

アルゴリズム主成分分析 (PCA) を行い，ベクトル V を取得ベクトル V を用い，抽出した個体を依存関係のない空間に回転させる

(2)主成分分析を用い設計変数の無相関化

多くの変量の値をできるだけ情報の損失なしに，少数個の総合的指標で代表させる方法

主成分分析

新しい個体の生成

母集団

(3)正規乱数により次世代の個体を生成

(4)次世代の個体の相関を戻し，母集団と置き換

える

子個体の生成正規乱数に基づき設計変数を生成子個体は独立に生成される

母集団への置換個体の相関を元に戻す母集団の全個体と置換

主成分分析

サンプル個体群の設計変数から，設計変数の平均値を引き，行列 X に格納X の共分散行列を S行列とする

S の固有ベクトル V行列とする固有ベクトルにより X の無相関化

子個体の発生 (Y の分散・平均の正規乱数で生成 )

正規乱数

ボックス・ミューラー法（ Box-Muller transform ）平均 μ ，分散 σ2 の正規分布 (μ, σ2)一様乱数 (0,1)の要素 α， βを次式で変換　　　

上記の式より正規乱数 (0,1)が生成できる正規乱数 (0,1)に平均　（ AMP・・・分散の増幅率）　

　

増幅率の検討 (Griewank 関数 )

発見回数 PCA

Griewank関数は次元数が多くなると依存関係が弱くなるそのため， PCAなしモデルも良好な結果を示している

突然変異の解探索履歴

分散 1.5 での，突然変異の有無による解探索

突然変異を行わないと Rastrigin 関数は解けない突然変異は多様性を維持する上で重要

分散確率モデル遺伝的アルゴリズムにおける解探索メカニズムの検討

Documents