bal: obojsmerné ucenie na báze aktivacných fáz - seminár...

Motivácia a náš model MNSAlgoritmus BAL

Experimenty a výsledkyZáver

BAL: obojsmerné učenie na báze aktivačných fázseminár z umelej inteligencie

RNDr. Kristína Rebrová

Kristína Rebrová BAL: obojsmerné učenie na báze aktivačných fáz



Prehľad

1 Motivácia a náš model MNS

2 Algoritmus BAL

3 Experimenty a výsledky

4 Záver




Senzomotorická kognícia

Porozumenie na základe prepojenia akcie a percepcie -párovanie pozorovanej akcie a vlastného motorickéhorepertoáraSystém zrkadliacich neurónov (mirror neuron system, MNS)(Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a Sinigaglia, 2010)

Obojsmerný tok informácie medzi vizuálnymi a motorickýmioblasťami (Tessitore a kol,2010)




Variantné a invariantné neuróny

Horná spánková brázda (superior temporal sulcus, STS)STS poskytuje vstupy pre zrkadliace neurónyRôzne typy neurónov, variantné a invariantné neuróny (Perret akol, 1991)

Invariantné n. anatomicky najbližšie k frontálnej časti kôry –najvyššia úroveň reprezentácie (Jellema a Perret, 2006)Variantné a invariantné vlastnosti objavené aj u zrkadliacichneurónov v F5 (Caggiano a kol, 2009)




Výpočtové modely systému zrkadliacich neurónov

Klasický prístup, napr. model MNS1 (Oztop a Arbib, 2002)Model reflektuje biologické časti MNSZákladný predpoklad: vizuálna informácia, ktorá vstupuje doMNS je pozične invariantnáInvariancia: ill-posed problem, zjednodušenie




Robotický model systému zrkadliacich neurónov

Predpokladá podobne ako Tessitorea kol. interakciu medzi MN a STSModulárna architektúra, nanajvyššej úrovni dochádza krozpoznaniu a porozumeniu akcii

STSvizuálna

reprezentáciaPF

F5zkradliaceneuróny

motorický modulpredspracovanie

vizuálnej informácie

Motorický modul: z predošlého výskumu, paradigmavuyžívajúca biologicky prijateľné učenie posilňovanímRobot iCub sa učí uchopovať predmety 3 spôsobmiModul F5 a STS: samoorganizujúca sa mapa s rekurentnýmkontextom MSOM, (Strickert a Hamker, 2005)Prepojenie F5 a STS: binarizácia pomocou k-WTA atrénovanie BAL




Robot iCub a jeho simulátor

Metta a kol. (2008); Tikhanoff a kol. (2008)

európsky projekt „RobotCub”(robotcub.org)

rozmery a fyzické schopnostikopírujú 2,5-ročné dieťa

104cm, 22kg, 53 stupňov voľnosti(z toho 9 na každej ruke),pohyblivá hlava a oči s 2kamerami

riadenie z pripojeného počítača

nachádza sa v 20 laboratóriách,prevažne v Európe

verný 3D simulátor (v ODE)




GeneRec a BAL

Odvodený od zovšeobecnenej recirkulácie (GeneralizedRecirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)Biologicky plausibilné učenie šírením chybyGeneRec – jednosmerné mapovanieBAL – obojsmerná asociácia




Algoritmus GeneRec

učenie na báze rozdielu aktivačných fáz (miestoneplauzibilného šírenia chyby na výstupe)dve aktivačné fázy (opačný tok informácie)

mínusová fáza: od vstupu na výstup, sieť produkuje odhadplusová fáza: od výstupu na vstup, sieť dostane "zafixovanú"želanú hodnotu na výstup a učí sa

zmena váh na základe rozdielov v plusovej a mínusovej fáze:∆wij = �(y+j − y

−j )xi

Layer Phase Net Input ActivationInput (s) − - si = stimulus input

Hidden (h) − η−j =∑

i wij si +∑

k wkjo−k h

−j = σ(η

−j )

+ η+j =∑

i wij si +∑

k wkjo+k h

+j = σ(η

+j )

Output (o) − η−k =∑

j wjkhj o−k = σ(η

−k )

+ - o+k




Algoritmus obojsmerného učenia na báze aktivačných fáz

Dve vstupno–výstupné vrstvy xa yDve aktivačné fázy indikujú smer toku aktivácie

Dopredný beh (F): xF → hF → yFSpätný beh (B): yB → hB → xB

perceptrón so 4 maticami váh, 2 pre každý smer toku aktivácie

F F

B Bvrstva v mskrytávrstva

vh hm

váhy hv mh

vrstva

váhy

h

váhy

váhy

Layer Phase Net Input Activationx F - xFih F ηFj =

∑i w

IHij x

Fi h

Fj = σ(η

Fj )

y F ηFk =∑

j wHOjk h

Fj y

Fk = σ(η

Fk )

y B - yBkh B ηBj =

∑k w

OHkj y

Bk h

Bj = σ(η

Bj )

x B ηBi =∑

j wHIji h

Bj x

Bi = σ(η

Bi )




BAL: úprava váh

V smere F: ∆wFij = λ · aFi (aBj − aFj )V smere B: ∆wBij = λ · aBi (aFj − aBj )Parametre: rýchlosť učenia λTrénovateľné biasové neuróny (konštantný vstup 1.0,analogická úprava váh)

Layer Phase Net Input Activationx F - xFih F ηFj =

∑i w

IHij x

Fi h

Fj = σ(η

Fj )

y F ηFk =∑

j wHOjk h

Fj y

Fk = σ(η

Fk )

y B - yBkh B ηBj =

∑k w

OHkj y

Bk h

Bj = σ(η

Bj )

x B ηBi =∑

j wHIji h

Bj x

Bi = σ(η

Bi )




Kódovač 4-2-4 – parametre

pri tejto úlohe nie vždy skonverguje k 100% úspešnostivýstup testov: počet konvergujúcich sietí (zo 100) a priemernýpočet trénovacích epoch (len úspešné)rôzne typy rýchlosti učeniaporovnanie s pôvodným GeneRec modelom:

konvergencia: BAL 65% vs. GeneRec 90%BAL konverguje podobne ako symetrická verzia GeneRec(aproximácia CHL)počet epoch: 100 až tisíce (GeneRec konverguje rýchlejšie)

0 1 2 3

0

20

40

60

rýchlosť učenia

úspe

šné

siet

e

2 2.1 2.20

20

40

0 1 2 3

0

1,000

2,000

3,000

rýchlosť učenia

epoc

hy 2 2.1 2.20

500

1,000

1,500




Kódovač 4-2-4 – vývoj počas trénovania

50 úspešných sietí trénovaných 5000 epochak sieť skonverguje, naučí sa úlohu na 100%naopak ak robí chybu v jednom smere, „pokazí sa“ aj druhýsmer asociácie

0 1,000 2,000 3,000 4,000 5,000

0

0.5

1

epocha

úspe

šnos

ťsi

ete

vzoryFvzoryBbityFbityBmseFmseB




Párovanie riedkych binárnych vzorov – parametre

Motivácia pre typ dát: riedke reprezentácie v mozgu100 párov vzorov, 144 bitov, k = 12 pozitívnychRôzne hodnoty λ a veľkosti skrytej vrstvy nH (50 sietí)

optimálna λ: 0.2optimálna nH : 120, rozdiel viacmenej len v dĺžke trénovania

0.1 0.2 0.3 0.4 0.5

0

0.5

1

rýchlosť učenia

úspeš

nosť

siet

e

bityF bityBvzoryF vzoryB

0.2 0.25 0.3 0.35

0

0.5

1

80 100 120 140 160 1800.94

0.96

0.98

1

veľkosť skrytej vrstvy

úspeš

nosť

siet

e


100 150

1,000

2,000

3,000

epcs




Párovanie riedkych binárnych vzorov – vývoj počastrénovania

priemer a štand. odchýlka pre 50 sietí trénovaných 2500 epochλ = 0.2, nH = 120aktivácie na skrytej vrstve: blížia sa k sebe a nebinarizujú sa(hodnoty okolo 0.5)

0 500 1,000 1,500 2,000 2,500

0

0.5

1

epocha

úspe

šnos

ťsi

ete

vzoryFvzoryBbityFbityBmseFmseB




Komplexné asociácie – parametre

Motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb16 párov vzorov, 16 bitov, k = 3 pozitívnychRôzne hodnoty λ a veľkosti skrytej vrstvy nH (50 sietí)

optimálna λ: 1.0optimálna nH : 14 (nerobí veľký rozdiel)

0 0.5 1 1.2

0

0.5

1

rýchlosť učenia

úspeš

nosť

siet

e


1 1.1 1.2

0

0.5

1

10 15 20 25

0

0.5

1


úspeš

nosť

siet

e

vzoryF vzoryBbityF bityB




Komplexné asociácie – vývoj počas trénovania

priemer a štand. odchýlka pre 50 sietí trénovaných 1000 epochλ = 1.0, nH = 14značne menšia úspešnosť pre nejednoznačný smer B(bity ≈ 86%, vzory len ≈ 4%)sieť nevie určiť, ktorý zo 4 asociovaných vzorov vybrať

0 200 400 600 800 1,000

0

0.5

1

epocha

úspe

šnos

ťsi

ete

bityFbityBvzoryFvzoryBmseFmseB




Komplexné asociácie – príklad reprodukcie vzorov




Robotický MNS model – úvod

Najvyššia úroveň: mapovanie reprezentácií na STS a F5Výstupy z MSOM sú zbinarizované pomocou k-WTAVizuálne dáta: 14×14 s kv = 16Motorické dáta: 12×12 s km = 8Experimenty s prvou perspektívou (očakávaná asociácia 1:1),52 vzorových párov

STSvizuálna

reprezentáciaPF

F5zkradliaceneuróny

motorický modulpredspracovanie

vizuálnej informácie




Robotický MNS model – parametre

Rôzne hodnoty λ a veľkosti skrytej vrstvy nH (20 sietí prekaždý parameter)

optimálna λ: 0.2optimálna nH : 170

0.2 0.4

0

0.5

1

rýchlosť učenia

úspeš

nosť

siet

e


100 150 200 250

0

0.5

1


úspeš

nosť

siet

e





Robotický MNS model – vývoj počas trénovania

priemer a štand. odchýlka pre 20 sietí trénovaných 1500 epochλ = 0.2, nH = 170značne menšia úspešnosť ako pri umelých dátach – charakterrobotických dát m:nsieť robí chyby v rámci jednej kategórie pohybu, nie medzikategóriami

0 500 1,000 1,500

0

0.5

1

epocha

úspeš

nosť

bitSuccFbitSuccBpatSuccFpatSuccB

0 500 1,000 1,500

0

5 · 10−2

0.1

epocha

mse

/vzd

iale

nosť

mseFmseB

pattDistFpattDistB




Robotický MNS model – príklad reprodukcie vzorov




Zhrnutie

vyvinuli sme algoritmus pre obojsmernú asociáciu binárnychvzorov odvodený od biologicky plauzibilného GeneRec modeluobojsmerné učenie vplýva na jeho konvergenciu a rýchlosť akousa vie požadpvanú úlohu naučiťemergujúce reprezentácie na skrytej vrstve nemajú tendenciubinarizovať sa (nevznikajú vyhranené reprezentácie pre rôznevstupy)pri riešení problému nejednoznačných mnohonásobnýchasociácií robí algoritmus chyby (ako aj iné algoritmy učeniaNS)v prípade asociácie medzi reprezentáciami v našom robotickomMNS modeli je vyhodnocovaná úspešnosť modelu malá, nochyby, ktoré robí sa vyskyujú v rámci kategórie nie medzikategóriami




Ďalší postup pri skúmaní BAL a modelovaní MNS

Algoritmus BALskúmať konvergenciu algoritmu, jeho citlivosť na rýchlosťučenia a charakter obojsmerého prepojeniaskúmať reprezentácie na skrytej vrstve a tiež možnosti akoovplyvniť vznik reprezentácií aj na tejto vrstve (v kontextesystému zrkadliacich neurónov)

Robotický model MNSzaviezť do modelu ďalšie vizuálne perspektívyvytvoriť priestor/mechanizmus pre vznik variantných ainvariantných reprezentácií v STS a F5




Koniec

Ďakujem za pozornosť

Kristína Rebrová[email protected]


Motivácia a náš model MNSAlgoritmus BALExperimenty a výsledkyZáver

bal: obojsmerné ucenie na báze aktivacných fáz - seminár...

Documents