folding (skladanie) binárnych reťazcov

40
Folding (skladanie) binárnych reťazcov Na základe analógie s RNA molekulami zavedieme tzv. folding (sekundárnu štruktúru) pre binárne reťazce (pozri obrázok 16), kde úlohu komplementárnych bázi hrajú dvojice 0 a 1. Folding binárneho reťazca je špecifikovaný ako zoznam zpárovaných binárných komplementárnych bázi i-j (pre i<j) a nezpárovaných jedincov k folding (1) pre pár i-j platí j - i ≥ 2, (2) pre dva páry i-j a k-l, vyhovujúcich i k , platí i = k <=> j = l alebo k < j => i < k < l < j. (3) p=max. kde jednotlivé páry sú ohraničené nasledujúcimi dvom podmienkami: q p p k k k j i j i j i x folding ,..., , ; ,..., , 2 1 2 2 1 1

Upload: ernst

Post on 07-Jan-2016

24 views

Category:

Documents


0 download

DESCRIPTION

Folding (skladanie) binárnych reťazcov. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Folding  (skladanie) binárnych reťazcov

Folding (skladanie) binárnych reťazcov

Na základe analógie s RNA molekulami zavedieme tzv. folding (sekundárnu štruktúru) pre binárne reťazce (pozri obrázok 16), kde úlohu komplementárnych bázi hrajú dvojice 0 a 1. Folding binárneho reťazca je špecifikovaný ako zoznam zpárovaných binárných komplementárnych bázi i-j (pre i<j) a nezpárovaných jedincov k folding

(1) pre pár i-j platí j - i ≥ 2,

(2) pre dva páry i-j a k-l, vyhovujúcich i ≤ k, platí i = k <=> j = l

alebo k < j => i < k < l < j. (3) p=max.

kde jednotlivé páry sú ohraničené nasledujúcimi dvom podmienkami:

qpp kkkjijijixfolding ,...,,;,...,, 212211

Page 2: Folding  (skladanie) binárnych reťazcov

5

1 4 6

1 1

1 2 3 7 8 9

0 1 1 0 0 0 0 1 1 1 1 1 0 0 0 0 1 1 1 0 0 1 10 0

1 11 16 0 15 0

14 1

13 1 1 12

Obrázok. Binárny reťazec môže byť poskladaný do 2-rozmernej štruktúry (nazývaná sekundárna štruktúra) takým spôsobom, že komplementárne binárne dvojice sú navzájom spojené. Zátvorková reprezentácia foldingu je ukázaná v hornej časti obrázku, pričom bodky sú priradené neinteragujúcim elementom reťazca a zátvorky '(' a ')' sú priradené interagujúcim elementom.

priesvitka 2

Page 3: Folding  (skladanie) binárnych reťazcov

Prvá podmienka znamená, že minimálna dĺžka tzv.„vlasovej sponky“ v každom foldingu musí byť aspoň 2. Hrany nemôžu byť ohnuté, prípustná je len rotácia dvoch susedných väzieb okolo rovnakého vrcholu.

Z druhej podmienky vyplýva, že každý element reťazca sa môže podieťať maximálne na jednej väzbe, alebo, že tzv. „pseudouzly“ sú zakázané (t.j. každý folding sa dá vyjadriť rovinným grafom, kde sa jednotlivé hrany - väzby nepretínajú).

Definícia foldingu má ešte podmienku, že obsahuje maximálny možný počet dvojíc s komplementárnymi bázami; táto podmienka odráža fyzikálny význam foldingu, ako najstabilnejšej sekundárnej štruktúry.

priesvitka 3

Page 4: Folding  (skladanie) binárnych reťazcov

Kruhová reprezentácia 5

9 8 10 4 6 7 11

3 7 6 12

8 13 2 5 9

14 1 10 4 13

12 15 3 11

16 14 2

1 17 17 16

15

((((.))).)((...))

(1) Pretínanie hrán nie je povolené (pseudouzly sú zakázané), a (2) Počet nespárovaných vrcholov medzi dvoma vrcholmi, ktoré sú spojené

hranou je aspoň jeden (minimálna veľkosť “vlasovej sponky” je jedna).

priesvitka 4

Page 5: Folding  (skladanie) binárnych reťazcov

Reprezentácia pomocou stromov

priesvitka 5

Page 6: Folding  (skladanie) binárnych reťazcov

Konštrukcia foldingu pomocou dynamického programovania

Dynamické programovanie je altermatívny prístup k metóde spätného prehľadávania pre riešenie kombinatoriálnych problémov.

Dynamické programovanie je aplikovateľné vtedy, ak ohodnotenie problému je aditívne vzhľadom k rozkladu na podproblémy

Exponenciálny čas spätného prehľadávania sa redukuje kubický použitím dynamického programovania.

S S1 S2

priesvitka 6

)),(()()(

2121

21

SSevalSevalSevalSeval

SSS

),( 21 SS

Page 7: Folding  (skladanie) binárnych reťazcov

• Vo všeobecnosti, túto konštrukciu by sme mohli uskutočniť aj jednoduchým algoritmom spätného prehľadávania s exponenciálnou časovou náročnosťou, čo sa pokladá v informatike za málo efektívny algoritmus.

• Efektívna konštrukcia foldingu binárnych reťazcov bude uskutočnená pomocou metódy dynamického programovania.

• V metóde dynamického programovania zaznamenávajú sa optimálne výsledky pre menšie podreťazce a tieto sa využívajú pre konštrukciu foldingu väčších podreťazcov, rekurentný proces je ukončený vtedy, keď dosiahneme celý reťazec, ktorého folding sme hľadali.

• Časová náročnosť konštrukcie foldingu pomocou dynamického programovania je n3, t.j. exponencálne zložitosť je zredukovaná na kubickú zložitosť.

priesvitka 7

Page 8: Folding  (skladanie) binárnych reťazcov

• Nech Sij je podreťazec zátvorkovej reprezentácie, ktorý je priradený foldingu medzi uzlami i a j (včítane), tieto podreťazce sú inicializované

• Nasledujúce elementy Sij , pre j-i≥2, sú rekurentne zostrojené pomocou formule

kde symbol reprezentuje spojenie podreťazcov S⊕ ik a Sk+1,j , ktoré už boli zostrojené v predchádzajúcich krokoch algoritmu. Ak Sik (Sk+1,j) obsahuje v pravej (ľavej) krajnej polohe symbol ‘.’ , pričom oba tieto symboly sú priradené dvojici komplementárnych binárnych elementov reťazca, potom tieto symboly sú nahradené symbolmi ( a ). Symbol “max” znamená, že vyberieme taký index k, ktorý produkuje maximálne párovanie v Sij. Výsledný folding v zátvorkovej reprezentácii je umiestnene ý elemente S1n.

priesvitka 8

. .. alebo . , 1iiii SS

jkikjki

ji SSS ,, max 11

Page 9: Folding  (skladanie) binárnych reťazcov

Algoritmus for i:=1 to n S[i,i]:=’.’; for i:=1 to n-1 do S[i,i+1]:=’..’; for d:=2 to n-1 do for i:=1 to n-d do begin j:=d+i;

S[i,j]:=max{i≤k≤j-1,S[i,k]⊕S[k+1,j]};

end; folding:=S[1,n];

priesvitka 9

Page 10: Folding  (skladanie) binárnych reťazcov

1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 1

i S S S S 2 2 22 23 24 25

S 3 3 35

4 S 4 45

5 S 5 55

6 6 7 7

j

priesvitka 10

Page 11: Folding  (skladanie) binárnych reťazcov

Tabuľka. Všetky možné genotypy reprezentované binárnymi reťazcami dĺžky n=7 a im priradené fenotypy (foldingy) s hodnotami fitnes

No. Genotyp fenotyp fitnes 1 (0000000)(1111111) 1 2 (0000001) (0000100) (1111011)(1111110) .(.) 1 3 (0000010) (1111101) ...(.). 0

(0000011) (0001001) (0001101) (0010010) (0010110) (0011000) (0011100) (0100011) (0100111) (0101001) (0110010) (0110110) (0111000) (0111100)

4 (1000011) (1000111) (1001001) (1001101) (1010110) (1011000) (1011100) 0 ..((.)) (1100011) (1100111) (1101001) (1101101) (1110010) (1110110) (1111100) (0000101) (0010001) (0101100) (0101110) (0110000) (0111010) (1000101)

5 (1001111) (1010001) (1010011) (1101110) (1111010) .((.).) 3 6 (0000110) (0011010) (1100101)(1111001) .((.)). 5

(0000111) (0001111) (0010011) (0011011) (0100101) (0101101) (0110001) 7 (0111001) (1000110) (1001110) (1010010) (1011010) (1100100) (1101100) (((.))) 7 (1110000)(1111000) 8 (0001000)(1110111) ...(..) 0 9 (0001010)(1110101) ((.).). 0

(0001011) (0001100) (0001110) (0011001) (0011110) (0100001) (0100100) (0100110) (0110011) (0110100) (1001011) (1001100) (1011001) (1011011)

10 .(.)(.) 0 (1011110) (1100001) (1100110) (1110001) (1110011)(1110100) 11 (0010000)(1101111) ..(...) 1 12 (0010100) (0111011) (0111110) (1000001) (1000100)(1101011) (.).(.) 1 13 (0010101) (0101010) (1010101)(1101010) .((..)) 1

(0010111) (0011101) (0100010) (0101000) (1010111) (1011101) (1100010) 14 .(.(.)) 0 (1101000) 15 (0011111)(1100000) ((.)..) 0 16 (0100000)(1011111) .(....) 1 17 (0101011)(1010100) (..)(.) 0 18 (0101111)(1010000) (.(.).) 5 19 (0110101) (0110111) (1001000)(1001010) (.)(..) 0 20 (0111101)(1000010) (..(.)) 3 21 (0111111)(1000000) (.....) 3

priesvitka 11

Page 12: Folding  (skladanie) binárnych reťazcov

R +

genotyp fenotyp

fitness

0

Obrázok. Schematické znázornenie zobrazení genotypu na fenotyp a fenotypu na fitnes pre prípad binárnych reťazcov. Obe zobrazenia sú typu mnoho-na- jeden, t.j. existuje silná redundancia v kódovaní fenotypu pomocou genotypu a v kódovaní fitnes pomocou fenotypu. Táto vlastnosť redundancie je dôležitý predpoklad pre existenciu neutrálnych etáp darwinovskej evolúcie, v ktorých je fitnes konštantný.

priesvitka 12

Page 13: Folding  (skladanie) binárnych reťazcov

• Koncepcia foldingu umožňuje zaviesť aj triádu základných pojmov evolučnej biológie: genotyp, fenotyp, a fitnes.

• Genotyp x je reprezentovaný binárnym reťazcom dĺžky n,

• fenotyp ph(x) je určený foldingom reťazca x; formálne, fenotyp môže byť vyjadrený pomocou zátvorkovej reprezentácie,

• Fitnes je reprezentovaný kladným reálnym číslom, je atribútom genotypu x, jeho ohodnotenie fitnes je realizované pomocou pridruženého fenotypu.

• Pre naše nasledujúce úvahy fitnes bude špecifikovaný pomocou podobnosti medzi fenotypom ph(x) a ad-hoc cieľovým fenotypom phreq

priesvitka 13

, ,)...( nnxxxx 1021

. ,.,)()( n xfoldxpf

Page 14: Folding  (skladanie) binárnych reťazcov

Obrázok. (A) Počiatočný binárny reťazec xini vyjadrený binárnym reťazcom dĺžky 39, v hornej časti diagramu je taktiež uvedený folding - fenotyp tohto reťazca. (B) Cieľový fenotyp pre genotypy.

priesvitka 14

Page 15: Folding  (skladanie) binárnych reťazcov

Simulácia molekulovej Darwinovej evolúcie bude uskutočnená pomocou chemostatového algoritmu, pričom počiatočné zloženie chemostatu je tvorené len binárnymi reťazcami dĺžky n=39 tvaru

Cieľový fenotyp je špecifikovaný v zátvorkovej reprezentácii takto

Operátor mutácie Omut je špecifikovaný pravdepodobnosťou1-bitovej mutácie Pmut=0.0001. Táto pravdepodobnosť je dostatočne malá k tomu, aby v chemostate vznikali len blízke genotypy (s malou Hammingovou vzdialenosťou). Veľkosť chemostatu (počet reťazcov) bola 500.

priesvitka 15

phreq=((((((.))))))((((((.))))))((((((.))))))

xini=111111111111111000000000000000000000000

Page 16: Folding  (skladanie) binárnych reťazcov

Zloženie chemostatu môže byť charakterizované pomocou dvoch rôznych typov entropie, a to genotypovej entropie a fenotypovej entropie, ktoré sú určené takto: nech je koncentrácia genotypov, ktorých daná veličina X (genotyp alebo fenotyp) je ohodnotená číslom x, potom

V prípade, že chemostat je homogénny, t.j. obsahuje len genotypy jedného druhu (teda aj fenotypy sú rovnaké), potom tieto entropie sú nulové, Sgenotyp=Sfenotyp=0. V opačnom prípade, ak chemostat nie je homogénny, obsahuje aspoň rôzne genotypy a fenotypu, potom entropie sú kladné, Sgenotyp>0, Sfenotyp>0.

priesvitka 16

xx xwxwS . )(ln)(

10 )(xw

Page 17: Folding  (skladanie) binárnych reťazcov

Obrázok. Priebehy (A) genotypovej entropie, (B) fenotypovej entropie, (C) koncetračných profilov dominantných genotypov a (D) priemerného fitnes. Priemerný fitnes je neklesajúca funkcia, ktorá má „skokový“ charakter, obsahuje relatívne dlhé neutrálne etapy (stázie). Skoky na funkcii priemerného fitnes sú dobre indikované obidvoma entropiami. Napríklad, ukončenie neutrálnej etapy (okolo epochy 320000) je indikované masívnou zmenou genotypovej entropie, zatiaľ čo zmeny fenotypovej entropie sú skoro zanedbateľné. Táto skutočnosť indikuje v tejto evolučnej etape existuje mnoho evolučných mutantov s rovnakým fitnes, ktoré tvoria predpoklad evolučného skoku z fenotypu K na fenotyp L. Diagram C znázorňuje priebeh koncentračných profilov dominantných genotypov s fitnes špecifikovaným priemernou hodnou z diagramu D, každý koncentračný profil je identifikovaný znakom (písmena A - Q) fenotypu z obrázku 19.

priesvitka 17

Page 18: Folding  (skladanie) binárnych reťazcov

Obrázok. Priebeh evolúcie v chemostate , kde počiatočný genotyp je špecifikovaný binárnym reťazcom xini a cieľový fenotyp je špecifikovaný útvarom znázorneným na obrázku 17. Identifikovalo sa 18 prechodných stavov, ktoré sú zostrojené z predchádzajúcich pomocou 1-bitovej mutácie (t.j. medzi danými binárnymi reťazcami je jednotková Hammingova vzdialenosť). Existujú dva prípady neutrálnych mutácií, prechody 11 a 15. Tieto prechody sú rôzneho typu, prvý prechod je priradený postupnosti neutrálnych mutácií, zatiaľ čo, druhý prechod reprezentuje dve paralelné neutrálne mutácie.

priesvitka 18

Page 19: Folding  (skladanie) binárnych reťazcov

xfin

fitnesi+1

1-bitová mutácia G fitnes i

x1 x2 x3 xk-1

fitnesi xk

G fitnes

i-1 neutrálna etapa evolúcie fitnesi-1

xini

A B

Obrázok. Schematické znázornenie skoku medzi dvoma neutrálnymi etapami, kde sa fitnes mení skokom f→f’, symboly Gf a Gf’ reprezentujú „neutrálne“ množiny genotypov (binárnych reťazcov) ohodnotených rovnakým fitnes f resp. f’. (A) V prvej neutrálnej etape, evolúcia vykonáva lokálne prehľadávanie v rámci množiny Gf, kde počiatočný genotyp reprezentuje riešenie z posledného „skoku“ a finálne riešenie je schopné „preskočiť“ na riešenie z množiny Gf’. Potom sa neutrálna etapa znovu opakuje, až je nájdené v rámci množiny Gf’ nové riešenie, ktoré je schopné preskočiť na nasledujúcu neutrálnu množinu.(B) Podrobnejší„rozpis“ neutrálnej etapy s nemenným fitnes fitnesi , postupnosť genotypov x1 až xk tvorí neutrálnu stáziu, v ktorej

evolúcia sa pripravuje na ďalší „skok“ do množiny genotypov s väčším fitnes.

priesvitka 19

Page 20: Folding  (skladanie) binárnych reťazcov

fitnes fitnes

genotyp genotyp

A B Obrázok. (A) Ilustratívny priebeh povrchu funkcie fitnes pre molekulovú Darwinovu evolúciu, keď neutrálne mutácie neexistujú. Evolučná adaptácia vždy končí v najbližšom lokálnom maxime. (B) Ak neutrálne mutácie existujú (zobrazenie genotypu na fenotyp je redundantné), potom povrch fitnes funkcie obsahuje množstvo „chodníčkov“ s konštantným fitnes, ktoré umožňujú evolúcii prekonanie hlbokých údolí na povrchu fitnes funkcie. Darwinova evolúcia má dobrú šancu k dosiahnutiu globálneho maxima v priebehu adaptačného procesu.(Parafráza na obrázok z publikácie P. Schustra.)

priesvitka 20

Page 21: Folding  (skladanie) binárnych reťazcov

Závery

(1) Eigenova teória replikátorov tvorí dobrý fenomenologický základ molekulovej darwinovej evolúcie. (2) Darwinovská evolúcia prebieha ako Monodovska vzájomná hra medzi náhodou a nutnosťou, medzi deterministickým a stochastickým charakterom, ktoré sú jej integrálnou súčasťou.

(3) Koncepcia Sewalla Wrighta povrchu funkcie fitnes môže byť považovaná ako jeden z najväčších úspechov Darwinovej evolučnej teórie a taktiež aj ako jeden zo zdrojov jej univerzálneho charakteru. Táto koncepcia má veľký heuristický význam v tom, že Darwinova evolúcia môže byť interpretovaná ako špeciálny druh evolučného algoritmu, ktorý je schopný riešiť extrémne komplikované kombinatorálne optimalizačné problémy.

(4) Časová orientácia Darwinovej evolúcie je jednoznačná, táto skutočnosť sa prejavuje napr. existenciou neklesajúceho priebehu priemerného fitnes. (5) Dve rôzne časové merítka [xx] môžu byť v evolúcii identifikované. Adaptívna epocha spočíva v náhlej zmene priemerného fitnes, kde koexistujú dva rozdielne fenotypy. Na druhej strane, Darwinova evolúcia obsahuje aj neutrálnu epochu, ktorá spočíva v dlhodobej stáze, kde existujú stochastické mutácie pripravujúce nasledujúcu adaptívnu epochu.

priesvitka 21

Page 22: Folding  (skladanie) binárnych reťazcov

(6) Evolučné vlastnosti chemostatového modelu sú inštruktívne špecifikované pomocou entropií dvoch typov. Fenotypová entropia postihuje zmeny v zložení binárnych reťazcov vzhľadom k ich fenotypu (fitnes), to znamená, že tento typ entropie nepostihuje neutrálne mutácie. Druhý typ entropie, genotypová entropia, je veľmi citlivá na každé zmeny v chemostate, včítane aj neutrálnych mutácií. (7) Aké sú limity chemostatového modelu? Použitý tvar genotypu ako binárnych reťazcov a ich zobrazenie na fenotyp pomocou foldingu reprezentuje extrémne jednoduchý model živých organizmov, ktorý postihuje také jednoduché živé organizmy, akými sú vírusy, bakteriofágy a jednoduché prokaryotické baktérie. Zložitejšie organizmy model genotypu (a jeho zobraenie na fenotyp) musia byť študované zložitejšími modelmi genotypu, ktoré majú premenlivú dĺžku, hierarchickú štruktúru a iné možné mutácie, ako sú použité 1-bitové mutácie.

priesvitka 22

Page 23: Folding  (skladanie) binárnych reťazcov

Evolučný konekcionizmus - kognitívna veda a univerzálny darwinizmus

Kognitívna vedaje interdisciplinárny prístup(zahrňujúci filozofiu mysle, psychológiu, lingvistiku, neurovedu, a umelú inteligenciu) k štúdiu všetkých foriem ľudskej inteligencie, od vnímania a správania až po reč a myslenie. Súčasná kognitívna veda nie je obmedzená len na štúdium kognitívnych aktivít človeka, ale je prístupná ku všetkému, čo presahuje túto hranicu(napr. humanoidná robotika).

priesvitka 23

Page 24: Folding  (skladanie) binárnych reťazcov

V kognitívnych vedách existujú dva rôzne prístupy:

(1) Symbolická paradigma (symbolizmus) - myslenie je informačný proces nad symbolmi, ktoré majú určité reprezentačné a sémantické stavy realizované v ľudskom mozgu. Tento pohľad na ľudskú myseľ ako na informačný proces nad symbolmi predstavuje klasický prístup ku kognitívnym vedám. Ako dôsledok tohto prístupu je názor, že architektúra ľudskej mysle je v podstate ekvivalentná sekvenčnému počítaču, ktorý je schopný spracovávať symboly.

(2) Konekcionistická paradigma (konekcionizmus) - myslenie je paralelné spracovanie neštruktúrovanej (subsymbolickej) informácie pomocou jednoduchých výpočtov realizovaných neurónmi, ktoré sú medzi sebou silne prepojené. Konekcionistické modely(realizované pomocou umelých neurónových sietí) interpretujú a modelujú kognitívne vlastnosti mozgu pomocou teoretických predstáv, ktoré majú svoj pôvod v neurovede. V konekcionizme sa vychádza zo základného postulátu neurovedy, že základným stavebným kameňom ľudského mozgu je neurón

priesvitka 24

Page 25: Folding  (skladanie) binárnych reťazcov

výstupné neurónyvstupné neuróny

priesvitka 25

Obrázok. Schematické znázornenie neurónovej siete, neuróny reprezentované veľkými bodmi sú pospájané orientovanými spojmi. Čierne šípky sú priradené existujúcim spojom, zatiaľ čo svetlé (sivé) šípky sú priradené virtuálnym spojom, ktoré aktuálne neexistujú, ale potenciálne môžu existovať. Toto rozlišovanie spojov na reálne a virtuálne je umožnené plasticitou neurónovej siete, kde v priebehu učenia siete môžu spoje tak zanikať, ako aj vznikať.

Page 26: Folding  (skladanie) binárnych reťazcov

• Umelé neurónové siete v súčasnosti patrí medzi základné teoretické koncepty kognitívnych vied, kde zaujali postavenie univerzálneho matematicko-informatického prístupu k štúdiu a modelovaniu kognitívnych aktivít ľudského mozgu.

• Konekcionizmus predstavuje pre kognitívne vedy dôležitý pojmový a argumentačný aparát, ktorý vychádza zo súčasných predstáv o štruktúre a fyziológii mozgu. Okrem kognitívnych vied, umelé neurónové siete našli vynikajúce uplatnenie aj v technických, prírodných a taktiež aj v spoločenských vedách.

• Evolučný konekcionizmus znamená prepojenie predstáv univerzálneho darwinizmu s konekcionistickým prístupom k interpretovaniu kognitívnych procesov ľudského mozgu. Zavádza do kognitívnej vedy časovú dimenziu, umožňuje chápať kognitívne procesy v ich historických súvislostiach z pohľadu evolučnej teórie.

priesvitka 26

Page 27: Folding  (skladanie) binárnych reťazcov

Z tohto pohľadu vystupuje do popredia význam konekcionizmu v kognitívnej vede. Striktne symbolické teórie kognitívnych aktivít sú obvykle silne „diskrétny“ charakter, už malá zmena v ich architektúra znamená zánik požadovaných vlastností, neumožňujú graduálny prístup k ich konštrukcii (napr. pomocou evolúcie). Existencia selekčného tlaku na postupný vznik symbolickej architektúry nejakého modulu ľudskej mysle/mozgu je v tomto prístupe veľmi problematická. Tieto principiálne ťažkosti symbolickej paradigmy v kognitívne vede sú odstránene použitím alternatívnej konekcionickej paradigmy, ktorá umožňuje vznik„neredukovateľných zložitostí“ ľudskej mysle graduálnym evolučným prístupom aj s možnosťou akoby lamar- ckovského čiastočného prenosu získaných kognitívnych schopností (pozri ďalej Baldwinov efekt).

priesvitka 27

Page 28: Folding  (skladanie) binárnych reťazcov

Učenie neurónových sietí

Hľadanie vhodných váhových koeficientov neurónovej siete pre daný problém patrí medzi základné úlohy konekcionizmu a nazýva sa učenie neurónovej siete. Učenie sa realizuje nad tréningovou množinou, ktorá obsahuje objekty popísané deskriptorom x a ich požadovanú klasifikáciu yreq

Vstupným neurónom siete sú postupne predkladané objekty z tréningovej množiny reprezentované desriptormi x, odozva na tieto objekty y sa prejaví vo výstupných aktivitách siete. Pokiaľ sú tieto aktivity totožné s požadovanými výstupnými aktivitami yreq z tréningovej množiny, potom aktuálne váhové koeficienty sa neupravujú. Ak výstupná odozva siete na tréningový objekt sa nezhoduje s požadovanými výstupnými aktivitami, potom učenie obsahuje algoritmus, pomocou ktorého sa spočíta oprava váhových koeficientov tak, aby sa nesúhlas medzi odozvou a požadovanými aktivitami zmenšil.

priesvitka 28

regtrain yxA /

Page 29: Folding  (skladanie) binárnych reťazcov

E(w) yreq

x y F( w)

∆w

A B Obrázok. Diagram A vyjadruje proces učenia sa spočívajúci v minimalizácii odchýlok medzi vypočítanou výstupnou hodnotou a požadovanou výstupnou hodnotou. Diagram B ukazuje význam optimálnej hodnoty wopt, ktorej získanie je cieľom učenia, pretože minimalizuje účelovú funkciu E.

priesvitka 29

Wopt

W

Page 30: Folding  (skladanie) binárnych reťazcov

Po týchto prípravných úvahách môžeme už pristúpiť k špecifikácii učenia neurónových sietí. Neurónovú sieť môžeme chápať ako funkciu - zobrazenie (závislé od váhových koeficientov w), ktoré každému deskriptoru x priradí vlastnosť y, alebo formálne pomocou vzťahu . Definujme účelovú funkciu chýb

ktorá je definovaná ako suma (obsahujúca všetky objekty tréningovej množiny) štvorcov odchýlok medzi vypočítanou vlastnosťou y a požadovanou vlastnosťou yreq. V ideálnom prípade, keď vypočítané hodnoty výstupu sú totožné s požadovaným výstupom, hodnota tejto účelovej funkcie je nulová. Z tohto pohľadu môžeme chápať učenie ako minimalizačný proces účelovej funkcie E(w), pri ktorom sa hľadá taká optimálna hodnota wopt, pre ktorú účelová funkcia nadobudne minimum

priesvitka 30

2 trainA

regywxFwE );()(

);( wxFy

)(min)( wEwEw

opt

Page 31: Folding  (skladanie) binárnych reťazcov

Obrázok. Znázornenie optimalizačnej metódy najprudšieho spádu. Metóda je inicializovaná náhodne určeným bodom w1, v tomto bode zistíme smer kolmý na vrstevnicu v ktorom funkcia najrýchlejšie klesá. V tomto smere nájdeme ďalší bod w2, opäť v tomto bode určíme smer kolmý na vrstevnicu, v ktorom účelová funkcia najrýchlejšie klesá a opäť v tomto smere určíme nový bod w3. Tento postup skončíme vtedy, ak aktuálne riešenie predstavuje minimum, t.j. každá výchylka z tohto riešenie už odpovedá len zvýšeniu hodnoty účelovej funkcie.

priesvitka 31

Page 32: Folding  (skladanie) binárnych reťazcov

reprodukcia mutácia

selekcia

stará populácia P je obnovená novou populáciou Pnew

Obrázok. Schematické znázornenie jednoduchého evolučného konekcionizmu, ktorý môže byť volne interpretovaný ako genetický algoritmus nad neurónovými sieťami bez kríženia.

priesvitka 32

Page 33: Folding  (skladanie) binárnych reťazcov

Neurónové siete a vzťah medzi mozgom a mysľou

• Jeden z hlavných dlhodobých cieľov informatiky je implementácia počítačového „superprogramu“, ktorý bude analógiou ľudskej mysle, bude vykazovať podobné aktivity a schopnosti ako ľudský mozog.

• V tejto súvislosti stojíme pred zložitými otázkami, čo je ľudská myseľ, aký je jej vzťah k mozgu, môžeme chápať ľudskú myseľ ako program implementovaný v počítači mozgu, aká je architektúra tohto programu?

• Takýchto a podobných otázok môžeme si položiť veľmi mnoho. Žiaľ odpovedať na ne nie je vôbec jednoduché, preto v súčasnosti sú stále predmetom záujmu oblasti filozofie nazývanej „filozofia mysle“.

• Našim cieľom je poskytnúť jednoduchý informatický pohľad na vzťah medzi mysľou a mozgom, ktorý je založený na všeobecných predstavách konekcionizmus.

priesvitka 33

Page 34: Folding  (skladanie) binárnych reťazcov

• Podľa jednej zo základných paradigiem modernej kognitívnej vedy [xx] je mozog/myseľ charakterizovaný ako počítač, (1) ktorý transformuje symboly pomocou syntaktických pravidiel na iné symboly, pričom (2) myšlienky sú symbolické reprezentácie implementované pomocou jazyka myslenia, a (3) mentálne procesy sú postupnosti symbolov (medzi ktorými sú príčinné vzťahy) generované syntaktickými pravidlami.

• Použitie termínu„počítač“ obvykle evokuje predstavu sekvenčného počítača von neumannovskej architektúry, kde je možné striktne oddeliť hardware od software; kde na tom istom počítači- hardware môže byť vykonávaných nepreberné množstvo naprosto rozdielnych programov- softvérov.

• Paradigma mysle ako počítača implikuje u mnohých ľudí predstavu, že je možné oddeliť mozog od mysle, ako dva „nezávislé“ fenomény, kde mozog hrá úlohu hardvéru, zatiaľ čo myseľ je softvér (vykonávaný na hardvéru - mozgu).

priesvitka 34

Page 35: Folding  (skladanie) binárnych reťazcov

• Obráťme našu pozornosť na moderný prístup k chápaniu vzťahu medzi mozgom a mysľou, ktorý je založený na konekcionistickom poňatí tak mozgu, ako aj mysle.

• Základná predstava o mozgu je, že je tvorený z neurónov navzájom poprepájaných pomocou jednosmerných synaptických spojov. Ľudský mozog vykazuje neobyčajnú plasticitu, v priebehu učenia neustále vznikajú(ale taktiež aj zanikajú) synaptické spoje. Architektúra mozgu je určená spojmi medzi neurónmi, ich inhibičným, alebo excitačným charakterom, a taktiež aj ich intenzitou. Schopnosť mozgu vykonávať nielen kognitívne aktivity, ale byť aj pamäťou, je plne zakódovaná do jeho architektúry.

• Mozog je paralelný distribuovaný počítač(obsahujúci mnoho miliárd neurónov, elementárnych procesorov, ktoré sú medzi sebou poprepájané do zložitej neurónovej siete). Program v tomto paralelnom počítači je priamo zabudovaný do architektúry neurónovej siete, t.j. ľudský mozog je jednoúčelový paralelný počítač reprezentovaný neurónovou sieťou, ktorý nie je možné preprogramovať bez zmeny jeho architektúry.

priesvitka 35

Page 36: Folding  (skladanie) binárnych reťazcov

Z týchto všeobecných úvah vyplýva, že myseľ s mozgom tvoria jeden integrálny celok; myseľ je v tomto prístupe možné chápať ako program vykonávaný mozgom, avšak tento program je špecifikovaný architektúrou distribuovanej neurónovej siete reprezentujúcej mozog. Mozog a myseľ tvoria dva rôzne pohľady na ten istý objekt: (1) keď hovoríme o mozgu, myslíme tým „hardwarovú“ štruktúru, biologicky realizovanú neurónmi a ich synaptickými spojmi (formálne reprezentovanú neurónovou sieťou), v opačnom prípade, (2) keď hovoríme o mysli, myslíme tým kognitívne a iné aktivity mozgu, realizované výpočtami neurónovej siete reprezentujúcej mozog.

priesvitka 36

Page 37: Folding  (skladanie) binárnych reťazcov

Učenie a evolúcia - Baldwinov efekt

• V r. 1896 Baldwin postuloval hypotézu, že schopnosť učiť sa je selekčná výhoda, potom organizmy lepšie prispôsobené k učeniu majú viac potomkov, t.j. frekvencia génov zodpovedných za učenie sa zväčšuje. Ak prostredie v ktorom prebieha evolúcia zostáva konštantným, t.j. užitočná informácia, ktorá je predmetom učenia sa nemení, prirodzený výber môže viesť k genetickej fixácii vlastností, ktoré boli pôvodne predmetom učenia.

• Baldwin vysvetloval takto evolučný vznik inštinktov, v prvej etape sa využíva plasticita kognitívneho orgánu živočíchov, t.j. schopnosť učiť sa, lepšie sa adaptovať k okolie, vyhýbať sa nebezpečným situáciám alebo kooperovať s inými organizmami. Tieto naučené schopnosti, ako už bolo poznamenané, ak existuje neustály selekčný tlak, môžu sa premeniť na inštinkty, t.j. sú geneticky zafixované.

priesvitka 37

Page 38: Folding  (skladanie) binárnych reťazcov

Baldwin nazval tento mechanizmus „organický výber“, v súčasnosti sa nazýva Baldwinov efekt. Bez použitia tohto efektu nie je možné vysvetliť evolučný vznik napr. hmyzích spoločenstiev, ktorých nutnou prerekvizitou je existencia celej plejády komunikačných, kooperačných a organizačných inštinktov; bez ich existencie (už aj niektorých z nich) spoločenstvo by sa okamžite rozpadlo.

priesvitka 38

Page 39: Folding  (skladanie) binárnych reťazcov

efektívny fitness

fitness

Obrázok. Znázornenie priebehov fitnes f(x) a efektívneho fitnes F(x) v závislosti od genotypu. Efektívny fitnes vyjadruje schopnosť genotypu byť ešte ďalej adaptovaný v blízkom okolí. Z obrázku vyplýva, že F(x) ≥ f(x), v prípade, že genotyp x je lokálny extrém, potom F(x) = f(x). Uvažujme dva genotypy x1 a x2, ktoré sú ohodnotené rovnakým fitnes, f(x1) = f(x2).Ako vyplýva z obrázku, genotyp x2

môže byť ešte adaptovaný vo svojom blízkom okolí, na rozdiel od genotypu x1, ktorý je lokálnym extrémom. Potom musí platiť, že F(x1) < F(x2), to znamená, že genotyp x2

je ‘dôležitejší’ pre blízku evolúciu systému, na rozdiel od genotypu x1, ktorý už nemôže byť adaptovaný v svojom blízkom okolí.

priesvitka 39

Page 40: Folding  (skladanie) binárnych reťazcov

•Organizmus je charakterizovaný genotypom G(w), kde w špecifikuje v určitom rozsahu parametre kognitívneho orgánu organizmu. V priebehu života agenta sa organizmus učí, výsledné parametre označíme

•Efektívny fitnes, ktorým je ohodnotený agent, je určený pomocou adaptovamého kognitívneho orgánu. Takto adaptovaný organizmus vstupuje do reprodukčného procesu s pravdepodobnosťou úmernou tomuto efektívnemu fitnes, v priebehu ktorého vzniká nový agent- potomok s kognitívnym orgánom špecifikovaným parametrami To znamená, že potomok geneticky dedí len pôvodné parametre v ľahko zmutovanej forme.

•Pomocou efektívneho fitnes v populácii sa objavujú organizmy s lepšou schopnosťou sa adaptovať (učiť sa) na podmienke daného prostredia; so zníženou schopnosťou tejto adaptácie sa v populácii vyskytujú s klesajúcou frekvenciou.

priesvitka 40

).(~ wOw mut

).(wOw mut