Download - Inleiding Adaptieve Systemen
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Inleiding Adaptieve Systemen
Gaia & Co-evolutie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Inhoud
• Co-evolutie zonder natuurlijke selectie
– Gaia hypothese (Lovelock, 1969-e.v.)
– Daisy world (Lovelock, 1983)
• Co-evolutie met natuurlijke selectie
– Informele bespreking
– Voorbeeld uit de co-evolutionaire robotica (Floreano, Nolfi, 1997)
– Artikel “Coevolutionary Dynamics in a Minimal Substrate” (Watson, Pollack, 2001)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
De Gaia (Γαια) hypothese
• James Lovelock (1919) was vanaf 1965 betrokken bij onderzoek van de NASA naar buitenaards leven.
• VRAAG: Is er leven op Mars?
Lovelock: kijk naar de samenstelling van de atmosfeer:
– geen leven chemisch evenwicht
– geen chemisch evenwicht leven
• Op basis van deze observaties bedacht Lovelock de Gaia hypothese:
Leven creëert zijn eigen ideale omstandigheden door de aardse omgeving te beïnvloeden.
De aarde leeft ook, en oefent terug invloed uit.
• Kenmerken van leven: respiratie (ademhaling), metabolisme (stofwisseling), zelf-regulering, prikkelbaarheid, feedback, voorplanting.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world
• In samenhang met de Gaia hypothese presenteerde Lovelock in 1983 het Daisyworld model (Daisy = madeliefje).
• Doel: de relatie tussen organismen en hun omgeving verkennen.
• Daisyworld is een computermodel van een denkbeeldige planeet waar witte en zwarte daisies leven.
• Daisyworld is een model zonder natuurlijke selectie.
• Daisies kunnen groeien, reproduceren, hun omgeving veranderen en sterven.
• Er is een globale variabele: de temperatuur van de planeet. Deze neemt langzaam toe door een zon.– Witte en zwarte daisies hebben elke een favoriete temperatuur waarin
ze het snelst groeien.
– De favoriete temperatuur van witte daisies is hoger dan de favoriete temperatuur van zwarte daisies.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Albedo (weerkaatsingsvermogen)
• De aarde bezit een gemiddeld albedo (zon-weerkaatsing) van 37% tot 39%
• Per type oppervlak:– Verse sneeuw of ijs : 80-95%
– Oude smeltende sneeuw : 40-70%
– Wolken : 40-90%
– Woestijnzand : 30-50%
– Grondaarde : 5-30%
– Toendra : 15-35%
– Grasland : 25-30%
– Bos : 10-20%
– Water : 10-60%
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: albedo
• Witte daisies bezitten een hoog albedo (i.e., reflecteren de zon goed) en koelen daardoor de planeet af.
• Zwarte daisies bezitten een laag albedo, absorberen de hitte van de zon, en warmen daardoor de planeet op.
• Dus:– Daisies beïnvloeden hun omgeving,
– De omgeving beïnvloedt weer de groei van daisies.
• Er is een zelf-regulerende feedback loop.
• Er is een dynamisch evenwicht: veel witte daisies koelen de planeet af, wat weer gunstig is voor de groei van zwarte daisies.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world in een CA
• We kunnen een CA gebruiken om Daisyworld te modelleren.
• Elke cel heeft een temperatuur. Elke tik wordt de waarde daarvan met 10 opgehoogd.
• Als witte daisies de gemiddelde temperatuur niet afkoelen, zal de temperatuur overal 100 graden worden en al het leven dood gaan.
• Elke cel kan een (witte of zwarte) daisy of een (wit of zwart) daisy-zaadje bevatten.
• Zwarte daisies hebben de meeste kans om te overleven bij 400. Witte daisies bij 600.
• Etc. (zie dictaat M. Wiering).
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: geen begroeiing
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: begroeiing
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world (Netlogo screenshot)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Zelf-regulatie vs. natuurlijke selectie
• Het meest interessante aspect in Daisyworld is (natuurlijk) de zelf-regulatie.
• De zelf-regulatie is gunstig voor alle individuen, omdat het de temperatuur op een nivo houdt welke leven mogelijk maakt.
• In (de pure) Daisyworld is de zelf-regulatie niet betrokken in een vorm van competitie of reproductie.
I.h.b. worden daisies niet gemuteerd of gekruist.
• Vraag: hoe zou je mutatie of kruising kunnen definiëren? Op welke attributen?
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world (vervolg)
• I.t.t. wat het dictaat en de handouts wellicht suggeren, behoort mutatie oorspronkelijk niet tot Daisyworld.
Cf. Peter Saunders, “Evolution without natural selection: further implications of the daisyworld parable” in: Journal of Theor. Biol., Vol. 166 (1994), pp. 365-373.
• Het is later wel voorgesteld, o.a. door Sabine Stöcker: “Regarding mutations in daisyworld models” in: Journal of Theor. Biol., Vol. 175 (1995), pp. 495-501.
Zij concludeert: “The present approach to considering evolution in Daisyworld models shows a better regulating capability than models without mutations.”
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Status Gaia theorie
• Lovelock in 1980-e.v.: kijk naar pytho-plankton (zee-algen) die di-methylsulfide (DMS) uitscheiden.
• Globaal genomen is er zwakke Gaia en sterke Gaia:– Zwak: wisselwerking is metafoor om processen te begrijpen
– Sterk: “het” is er echt: de biosfeer wordt doelbewust in stand gehouden door een superorganisme, de aarde.
• Acceptatie:– Zwak: geen probleem.
– Sterk: pseudo-wetenschappelijk, niet empirisch te bewijzen en in strijd met de goed onderbouwde evolutietheorie. (Kirchner W. James, “The gaia hypotheses: are they testable? Are they usefull?,” Scientists on Gaia, The MIT Press, London England, 1991.)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Inleiding Adaptieve Systemen
Co-evolutiemet natuurlijke selectie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evolutionair algoritme: definitie
• Co-evolutionair algoritme Een evolutionair algoritme waar evaluatie van individuen gebaseerd is op interactie met andere individuen.
• Een notie van absolute fitness ontbreekt.
Als er al een notie van absolute fitness bestaat, dan krijgen we hem niet te zien (“black box”).
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Relatieve fitnessInformatie over fitness kun
je in sommige gevallen alleen maar krijgen door (onderlinge) competititie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evoluerende populaties
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evolutie als kruising tussen populatiedynamiek en genetische algoritmen
Co-evolutie: soorten beconcurreren elkaar t.b.v. voorplanting
fitness = 1
fitness = 4
fitness = 8
fitness = 9.5
fitness = 3
fitness = 8fitness = 8
fitness = 9
fitness = 2
fitness = 4
Populatie-dynamiek: soorten
beconcurreren elkaar t.b.v. voedsel
Populatie-dynamiek: soorten
beconcurreren elkaar t.b.v. voedsel
GA: individuen scoren hoge fitness t.b.v. voortplanting
GA: individuen scoren hoge fitness t.b.v. voortplanting
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Absolute vs. relatieve fitness
Absolute fitness– Wordt gebruikt in conventioneel evolutionair programmeren.
– Kwantitatief (typisch een reëel getal).
– Optimalisatie-oppervlak waarlangs individuen bewegen ligt vast.
– Ezelsbruggetjes: speerwerpen, hardlopen, gewichtheffen.
Relatieve fitness– Wordt gebruikt in co-evolutionair programmeren.
– Kwalitatief
– Optimalisatie-oppervlak is variabel.
– Ezelsbruggetjes: judo, schermen, tennis (voetbal, basketbal).
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Absolute fitness
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Typisch absolute fitness
fit-ness
generaties
best
gemiddeld
slechtst
Individuen interacteren niet. Hun prestaties
worden door een externe evaluator
beoordeeld
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Typisch relatieve fitness
• Elke interactie levert informatie op
• Hoe meer interacties, hoe meer informatie
• Relatieve fitness A: 3 successen uit 5 interacties
• Genormeerde fitness: 3/5
10
1
0
1
0
1
0
1
0
A
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Intra- vs. inter-populatie
Eén populatie Intra-populationele interactie
• Individuen concurreren met elkaar– Om te leren waar ze staan in
de hiërarchie
– Om zichzelf te verbeteren [maar dit speelt niet in CEA: daar komen slechte exemplaren niet meer terug]
• Schaakclub, voetbal-divisie, tennis-tournooi
Twee populaties Inter-populationele interactie
• Individuen concurreren met individuen uit andere populatie
• Vossen en konijnen:– Konijn 15 Km/h Vos 16
Km/h
– Vos 16 Km/h Konijn beter wendbaar
– Konijn beter wendbaar Vos “slimmer”
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Competitieve vs.coöperatieve co-evolutie
Competitief
• Antagonistisch
• Soms: parasitair
• Co-evolutionaire wedloop
• Voorbeelden: konijnen vs. mixomatose; sorteer-algoritmen vs. sorteer-problemen
Coöperatief
• Protagonistisch
• Soms: symbiotisch
• Co-evolutionaire aanpassing
• Voorbeelden: rups van blauwe vlinder wordt beschermd tegen parasieten door mier.– Rups scheidt stof af wat mier
lekker vindt.
– Mier vertoont gedrag om parasieten af te weren.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Voorbeeld: co-evolutievan twee robot-populaties
• Floreano, D. and Nolfi, S. “God save the red queen! Competition in co-evolutionary robotics” in: Genetic Programming 1997: Proc. of the 2nd Ann. Conf. (1997), pp. 398-406.
• Twee populaties, genaamd jager en prooi zijn in competitie met elkaar.
Wordt nog verklaard
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evolutionaire robotica
• Jager: visueel systeem met een kijkhoek van 360
• Prooi: eenvoudige sensoren voor het ontdekken van een object tot aan 2cm, maar kan max. 2x zo snel rijden.
• De gegevens werden eerst middels simulatie verkregen: kopieën werden voor 2 min. losgelaten in een 47x47 arena (of minder als de jager de prooi ving).
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Implantatie (≠ implementatie)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Parameters van experiment
• Genotype: bitvector. Elke byte (8 bits) correspondeert met een gewicht in een standaard neuraal netwerk
Ongeveer 30 gewichten in een neuraal netwerk voor de jager
– Ongeveer 20 gewichten voor prooi
• Populatiegrootte: 100 voor jager, 100 voor prooi
• Reproductie: mutatie op bits met kans 0.02; geen crossover
• Evolutielengte: 100 generaties
• Selectie: 1-1 testen tegen de top-10 van eerdere generaties
• Relatieve fitness:
– Als jager binnen 2 min. prooi vangt: jager 1, en prooi 0.
– Anders: Jager 0 en prooi 1
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Ca. 20 Gen: volgen van prooi
• Ca. 20 Gen: jagers ontwikkelden de vaardigheid om prooi– te tracken
– te volgen
• Echter, omdat max. snelh. prooi = 2 x max. snelh. jager, werkt deze strategie niet altijd
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
• Ca. 45 Gen: jager bekeek prooi en viel uiteindelijk aan, gebaseerd op geanticipeerd traject
• Als gevolg gaat prooi zo snel langs muren bewegen dat jager geregeld prooi mist en in de muur botst
Ca. 45 Gen: traject-anticipatie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Ca 75 Gen: “spin” strategie
• Ca. 70 Gen: “spin” strategie
• In plaats van op de prooi te jagen, rijdt de jager naar de muur om daar de prooi op te wachten. De prooi rijdt zo hard langs de muren dat deze niet op tijd de jager kan detecteren om deze te vermijden
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
The Red Queen’s race
• Lewis Carroll: Through the Looking-Glass.
• Red Queen: “It takes all the running you can do, to keep in the same place”
• In co-evolutie moeten individuen blijven verbeteren om zinvolle informatie terug te blijven krijgen over eigen fitness.
– De absolute fitness stijgt– De relatieve fitness blijft constant
• Evolutionaire wapenwedloop
• Promovendus en ecoloog Arnoud Bruijn liet met moleculaire technieken zien dat
algen onder zware parasietendruk meer genen uitwisselen.
(“De rode koningin had gelijk.”)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Voordelen van co-evolutie
Bereikbaar doel Co-evolutie zorgt ervoor dat individuen in een populatie zich aan elkaar kunnen optrekken
“Haasje over”.
Relevant doel Co-evolutie zorgt ervoor dat verbetering zich richt op onder-ontwikkelde eigenschappen
“Anderen werken aan jouw slechtste eigenschap”.
Ongelimiteerd doel Met co-evolutie is er altijd de mogelijkheid nog beter te worden dan de beste
“The Sky is the Limit”.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Johan CruijffElk voordeel heb
z’n nadeel
Leg uit!
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Nadelen van voordelen
Verlies van leerdoel De andere populatie wordt te goed. De verliezende populatie krijgt eenzijdige feedback (steeds maar verliezen). Er is dus geen informatie meer om te selecteren uit eigen populatie.
Richten op de verkeerde punten Word je er zoveel beter van door steeds maar te profiteren van andermans’ (soms onverbeterbare) zwakheden?
Relativisme Beter presteren dan de ander zegt niets over absolute kwaliteit.
• In het land der blinden …
• Het kan zelfs zijn dat A < B < C maar C < A (steen, papier, schaar)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Watson and Pollack
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Fruitvlieg aanpak
• Watson, Richard A. and Pollack, Jordan B. Coevolutionary Dynamics in a Minimal Substrate. Proc. of the Genetic and Evolutionary Computation Conf. (GECCO), 2001, pp. 702-709
Java Simulaties door Dmitri David Krasik
• Doel: stel een model op voor computationele co-evolutie z.d.d.
– Zo eenvoudig mogelijk (“stripped to the bare essentials”)
– Vertoont nog wel de meest belangrijke verschijnselen van computationele co-evolutie
http://www.demo.cs.brandeis.edu/pr/number_games/
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Absolute en relatieve fitness
• Individuen zijn bitstrings ter lengte 100
• Absolute fitness van individu a :
– Het aantal enen
– Ter wille van het experiment is absolute fitness onzichtbaar voor het co-evolutionaire proces.
• Relatieve fitness van individu a :
– Vergelijk met groepje S van andere individuen. Tel het aantal keren dat je wint
Ss
saSaf ),(score),(
anders.0
, als1),(score
yxyx
Notatie Watson & Pollack:
|S|
1
),(score),(i
iSaSaf
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Genormeerderelatieve fitness: voorbeelden
• f(50, { 24, 45 }) = 2
fnl(50, { 24, 45 }) = 2/2 = 1.00
• f(50, { 2, 24, 45, 91 }) = 3
fnl(50, { 2, 24, 45, 91 }) = 3/4 = 0.75
• f(50, { 2, 17, 24, 45, 53, 91 }) = 4
fnl(50, { 2, 17, 24, 45, 53, 91 }) = 4/6 = 0.67
• f(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4
fnl(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4/7 = 0.57
• f(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4
fnl(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4/8 = 0.50
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Discrepantieabsolute en relatieve fitness• Veel problemen in co-evolutie worden veroorzaakt door
de discrepantie tussen absolute fitness en relatieve fitness.
• Om te ontdekken hoe sterk je bent moet je tegen veel tegenstanders vechten. Maar wat als die tegenstanders door toeval niet representatief zijn?
• Dit voorbeeld gezet in de nu gebruikte notatie:
a = 4 en b = 5. Als a tot nu toe alleen maar { 1, 2, 3 } heeft ontmoet, en b tot nu toe alleen maar { 6, 7, 8 }, dan
– fabs(a) = 4 en fabs(b) = 5, terwijl
– fnl(a) = 3/3 en fnl(b) = 0/3Wat als a en b beiden
vergeleken worden met { 6, 7, 8 } ?
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Winst (score)in meerdere dimensies
Winst (Watson: score) kan in twee (of meer) dimensies op ten minste twee manieren gedefinieerd worden:
Max-d (Watson: score2): de coördinaat waar A en B het meest verschillen
Min-d (Watson: score3): de coördinaat waar A en B het minst verschillen
3
5
A
B
4
2
C
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Winst (score)in meerdere dimensies
• Volgens Max-d, of score2:A < BC < BC < AKortom: C < A < B
• Volgens Min-d, of score3:A < BC < BA < CKortom: A < C < B
3
5
A
B
4
2
C
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Winst (score)in meerdere dimensies
• Volgens Max-d, of score2:A < EA < DD < EKortom: A < D < E
• Volgens Min-d, of score3:A < ED < AE < DKortom: E < D < A
3
5
A
D
4
2
E
Maar ookA < E !?
Blijkbaar is Min-d niet transitief
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Intransiviteit in co-evolutie
• Absolute fitness is altijd transitief. Want:
– Absolute fitness is reëel getal
– Ordening op de reële rechte is transitief
• Relatieve fitness is niet altijd transitief.
– Rafael Nadal won van Roger Federer; Federer won van Novak Djokovic; Djokovic won van Nadal een cykel
– Steen, papier, schaar (Eng.: rock, paper, scissors)
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Parameters van het experiment
• Twee populaties, genaamd rood en blauw– Verschillende competenties, bv. jagers en prooien
– Rood concurreert niet met elkaar; blauw ook niet.
• Populatiegrootte: 25 individuen (totaal 50 individuen)
• Relatieve fitness: toetsen aan 15 individuen uit de andere populatie– In sommige experimenten: toetsen aan één tegenstander
• Selectie: fitness-proportioneel (denk aan roulettewiel met ongelijke sectoren)
• Genetische operatoren:– Reproductie met 0.5% kans op mutatie
– Geen recombinatie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Mutatie biasbij unitaire representatie
Genotype 1: decimale (= normale) representatie van getal
• Een mutatie definiëren als een normaal verdeelde toevalsvariabele μ=0, σ=0.5 die in 0.5% van de gevallen bij het genotype wordt opgeteld
• Bij een goed individu, zeg met absolute fitness 99, is de kans op verslechtering bij muteren even groot als de kans op verbetering bij muteren (namelijk 0.25%)
Genotype 2: getal representeren als unitaire bitstring
• Een mutatie definiëren als 0.5% kans op een flip van een random bit
• Bij een goed individu is de kans op verslechtering bij muteren aanmerkelijk groter dan de kans op verbetering:
In latere stadia van de evolutie hebben mutaties bijna altijd een nadelig effect (R.A. Fischer, The genetical theory of natural selection,1930)
Unitair ≠ unair
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Visualisatie
110….001011
010….111011
110….00000
001….111000
111….001011
000…. 011111
101….001000
001….111011
. . .
110….101111
111…. 000111
. . .
25 25
15
15
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 0: negeer fitness
• Experiment met nul-condities: relatieve fitness wordt genegeerd in selectie.
• Initialisatie:– Groep rood start met 25x een nul.
– Groep blauw start met 25x een perfect individu.
• Er is geen concurrentie tussen de groepen. Nu kunnen we zien wat de gevolgen van pure mutatie zijn.– De besten zullen door random mutatie alleen maar afzakken
(Eng.: drift ) naar de middelmaat.
– De slechtsten kunnen alleen maar verbeteren, want slechter dan slecht kan niet.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 0: negeer fitness
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1: gevarieerde tegenstand (1a) of niet (1b)• Beide groepen beginnen als
nullen.
• Dan zien we dat beide populaties gestaag klimmen naar een maximum absolute fitness.
• De grote samplesize zorgt ervoor dat de relatieve fitness een redelijke benadering is van de absolute fitness.
• Relatieve fitness is dus een betrouwbaar onderscheidingscriterium.
• Er kan nu goed verhoudingsgewijs op relatieve fitness worden geselecteerd.
• Beide populaties blijven elkaar door competitie van informatie voorzien over de sterkte van elkaars individuen.
• Door voortdurende concurrentie blijft de absolute fitness hoog.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1a, met |S| = 15
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1b, met |S| = 1
• Een voorwaarde voor goede co-evolutie is een betrouwbare relatieve fitness.
• Met |S| = 1, i.e., door maar met één tegenstander te vergelijken, ontstaat een onbetrouwbare relatieve fitness.
• Als rood nu gemiddeld goed is, en blauw gemiddeld slecht, dan is de kans groot dat een steekproef ter grootte 1 voor individuen uit rood winst (en voor individuen uit blauw verlies) oplevert.
• Als iedereen uit je groep wint (of verliest), is er geen informatie meer om te selecteren.
• Dus drijft rood dankzij mutatie naar de middelmaat toe (geldt ook voor blauw).
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1b, met |S| = 1
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 2: over-specialisatie
• Nu 10 attributen (eigenschappen) en Max-d (= score2).
• Concentreren op het meest zwakke attribuut van de tegenstander is een manier om te winnen.
• Dit kan ontaarden in spelers die over-specialiseren op zwakke punten van tegenstanders, i.p.v. toe te groeien naar een eigen algemeen ontwikkelde vaardigheid.
• Voorbeeld:
– Voetbalteam A is goed in aanvallen, maar slecht in het omschakelen van aanval naar verdediging (“terugvallen”).
– Dus (?) voetballers uit B gaan specialiseren op de counter.
– Voetballers uit B verwaarlozen daarmee hun eigen aanvalsvaardigheden.
– Beide teams ontwikkelen zo geen compleet arsenaal aan vaardigheden.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 2: over-specialisatie
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 3: relativisme
• Beter presteren dan de ander zegt niets (of i.i.g. nog niet alles) over je eigen absolute fitness.– Vgl. steen, papier, schaar
Als ordeningen sterk intransitief zijn (A < B < C maar C < A) dan kunnen “paarsgewijze krachtmetingen” verkeerde indrukken geven over je absolute fitness.
• In een reeks van “verkeerde” indrukken (“foute” relatieve fitness) kan de populatie zich verkeerd (t.o.v. absolute fitness) gaan aanpassen.
• Voorbeeld:– Je bent goed in duursporten (hardlopen, fietsen), maar slecht in tennis.
– Je zoekt vrienden en een sport waarbij nivo-verschillen minimaal zijn.
– Je treft drie vrienden die toevallig allemaal net nog even slechter tennissen dan jij.
– Op basis hiervan kies je voor tennis.
– Daarvan word je niet gelukkig...
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 3: relativismeNegatieve pull: beide
populaties trekken elkaar naar beneden
Daling tot Abs. Fitness zelfs tot onder 50.Dit is geen normaal verval (drift), zoals in
Experiment 0, maar een actieve aanpassing in de verkeerde richting.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Vergelijken op Max-d
• In welke richting zou een blauw individu kunnen bewegen als het wordt gedomineerd door een rood individu?
• De enig mogelijke richting voor blauw om te verbeteren is ...
• ... door één van beide attributen (eigenschappen) te verbeteren.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Vergelijken op Min-d
• In welke richting zou een blauw individu kunnen bewegen als het wordt gedomineerd door een rood individu?
• Door deze merkwaardige move neemt de objectieve fitness (gedef. als de som van de twee coördinaten) af!
• Als deze ongelukkige move (lees: mutatie) bij toeval vaak in een populatie wordt uitgevoerd, ontstaat er negatieve pull.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
R. Paul Wiegand
Paul Wiegand (George Mason U., Virginia) is een leidende autoriteit op het gebied van computationele co-evolutie. Hij zegt:
• Co-evolution can be useful for certain kinds of problems.
• It can also behave in complex and counterintuitive ways.
• The key to successful applications of coevolution revolves around the solution concept:– Understand your problem: What do you want to achieve?
– Understand your algorithm: To what types of solutions is it drawn?
– Match the two: Use the right tool for the right job.
Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Bron-materiaal
• Artikel Watson en Pollack
• Hoofdstuk 5 dictaat M. Wiering + handouts
Inclusief:
– Gaia hypothese en Daisy world
– Replicator dynamics (= Lotka-Volterra met >3 soorten).
– Spatiële co-evolutie en Pareto-front.