theoretical foundations of genetic algorithms

Theoretical Foundations of Genetic Algorithms

Melanie Mitchell

발표자 : 김정집

An Introduction to GA

chap 4

GA 에 대한 의문

의문점 GA 의 거시적인 동작 법칙은 무엇인가 ? 거시적인 동작에서 유전연산자의 역할은 ? 어떤 문제를 GA 가 잘 푸는가 ? 어떤 문제를 GA 가 못 푸는가 ? GA 에서 “잘 푼다”와 “못 푼다”의 경계는 ? 어떤 조건하에서 GA 가 다른 탐색 방법보다 잘

푸는가 ? 아직 모르는 것이 더 많다 .

4.1 Schemas and the Two-Armed Bandit Problem

Schema theorem 평균 이상의 적합도값을 갖는 낮은 차수의

스키마의 수는 지수적으로 증가한다 . 연산자의 역할

selection: 평균 이상의 적합도를 갖을 것으로 예측되는 부분을 탐색

crossover: 좋은 building block 에 높은 fitness 를 주기 위해 재결합

mutation: genetic diversity 유지

Schemas and the Two-Armed Bandit Problem

“implicit parallelism” 여러 스키마들이 개체군 내에서 묵시적으로

경쟁 “exploration” versus “exploitation”

적절한 조화가 필요 ? -> 어떻게 ?

The Two-Armed Bandit Problem

Terminology

N 번 실행 높은 평균 을 갖는 팔 낮은 평균 을 갖는 팔 좋다고 예측된 팔 나쁘다고 예측된 팔 목적

총 N 번 실행에서 얻은 이익을 최대화하는 예측 횟수 n* 를 찾는 것

Losses over N trials

나쁘다고 예측한 쪽이 좋을 확률

이익의 감소 나쁘다고 예측한 쪽이 좋은 경우 나쁘다고 예측한 쪽이 나쁜 경우 총 감소량

4.2 Royal Road Function

Comparison with Hill-Climbing Method

Steepest-ascent hill climbing(SAHC) 모든 bit 마다 다르게 한 것 1 개씩을 만들어 좋아진

것을 택하고 이것을 기준으로 다시 수행한다 . 좋아지는 것이 없으면 기준을 바꾸지 않는다 .

Next-ascent hill climbing(NAHC) 차례로 위치를 선택해서 좋아지는 것을 택하고

이것을 기준으로 하여 수행한다 . 좋아지는 것이 없으면 기준을 바꾸지 않는다 .

Random-mutation hill climbing(RMHC) 임의의 위치의 bit 를 바꿔서 좋아지거나 같으면

기준으로 삼는다 . 아니면 바꾸지 않는다 .

Royal Roads 에 대한 실험 결과

RMHC>GA>>SAHC,NAHC

Analysis of RMHC

K 개로 구성된 N 개의 인접한 block 이 생성되는 평균 시간 e(K,N)

Hitchhiking in the GA

“hitchhiking” fitness 가 높은

개체에 속하는 잘못된 부분들이 덩달아 증식됨

s2,s4,s6 은 최초 개체군에 존재

올바른 실행을 제지 RMHC 보다 성능이

낮아진 이유

An Idealized Genetic Algorithm

IGA 동작

매 시간마다 , 매 bit 에 동일한 확률도 임의의 문자열을 선택한다 .

문자열이 이미 발견된 스키마를 포함하면 가압류시킨다 .

문자열이 새로운 스키마를 포함하면 가압류해두었던 문자열과 즉석으로 교차시킨다 .

평균 실행 시간

The features of the IGA

Independent samples 동일한 bit 가 개체군내에서 반복되지 않도록 , 개체군의

크기를 크게 하고 , 돌연변이율을 높이며 , 선택을 느리게 한다 .

Sequestering desired schemas 선택은 발견된 스키마를 유지할 만큼 강하고 , hitchhikin

g 을 방지할 만큼 느려야 한다 .

Instantaneous crossover 원하는 스키마가 발견되는 시간보다 교차되는 시간이

짧아야 한다 .

Speedup over RMHC 문자열이 길어야 한다 .

4.3 Exact Mathematical Models of Simple GAs

Formalization of Gas1. 개체군의 모든 문자열에 대해 적합도를 구한다 .

2. 문자열의 상대적인 적합도에 비례하는 확률로 두개의 부모를 고른다 .

3.Pc 의 확률로 두 부모를 교차해서 두 자식을 만든다 . 임의로 한 개의 자식만을 선택한다 .

4.Pm 의 확률로 선택한 자식을 돌연변이시켜서 새로운 개체군에 넣는다 .

5. 새로운 개체군이 완성될 때까지 2 의 과정으로 간다 .

6.1 의 과정으로 간다 .

Terminology

The proportion of the population The probability of the selection 목적

Find “operator” G 선택만을 사용하는 GA

proportional 선택을 사용

Results of the Formalization

기하적인 견해 고정점 찾기

도달하면 더 이상 변화 없음 선택만 사용한 경우 (F)

탐색 공간에서 최대값일 때 고정점이 된다 .

교차와 돌연변이만 사용한 경우 (M) 최대로 “혼합된” 개체군을 형성하려고 한다 .

“puncuated equilibria” 적합도의 빠른 상승이후에 상대적으로 향상이 없는 긴

기간 단점

무한한 개체수를 가정

A Finite-Population Model

Modeled the simple GA as a Markov chain

4.4 Statistical-Mechanics Approches

Predicting GA behavior as statistical mechanics in physics more macroscopic statistics

Spin Glass model

“spin glass” finding minimal energy states in a one-dimensional

“spin glass” “spins”

total energy E(S)

Spin Glass model

Selection method

similar to “Boltzmann selection” with B playing the role of temperature

energy distribution

Observed energy distribution for the GA

cumulants

Cumulants a statistical measure of distributions related to mo

ments the first cumulants

the mean of the distribution

the second cumulants the variance of the distribution

...

Predicted and observed evolution for k1 and k2