Folyamatok el®rejelzése nemlineáris rekurrensneuronhálókkal; kritikus hálókHajnal Márton AlbertTémavezet®: L®rin z AndrásEötvös Loránd Tudományegyetem, Informatikai Kar,Informá iós Rendszerek Tanszék

2006. január 19.

Tartalomjegyzék1. Bevezetés 11.1. A dolgozat témája . . . . . . . . . . . . . . . . . . . . . . . . 11.2. A neuronhálókról . . . . . . . . . . . . . . . . . . . . . . . . . 21.2.1. A mesterséges neuron . . . . . . . . . . . . . . . . . . . 21.2.2. A mesterséges neuronhálók . . . . . . . . . . . . . . . . 51.2.3. Új vissza satolt neuronháló kutatások . . . . . . . . . . 61.2.4. A visszhanghálózat el®zményei, irodalma . . . . . . . . 71.3. A visszhanghálózat m¶ködése . . . . . . . . . . . . . . . . . . 81.3.1. A visszhanghálózat általános leírása . . . . . . . . . . . 91.3.2. A visszhanghálózat ar hitektúrája . . . . . . . . . . . . 101.3.3. ESN me hanika . . . . . . . . . . . . . . . . . . . . . . 132. A rejtett rekurrens réteg kritikus jelenségei 182.1. Alkalmazott módszerek . . . . . . . . . . . . . . . . . . . . . . 182.1.1. Késleltetett dieren iálegyenletek, Ma key-Glass id®-sorok . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.1.2. Kritikus jelenségek . . . . . . . . . . . . . . . . . . . . 192.1.3. Ljapunov exponens . . . . . . . . . . . . . . . . . . . . 232.1.4. El®rejelz® képesség teszt . . . . . . . . . . . . . . . . . 262.2. Eredmények . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.2.1. A kritikus pont felismerése . . . . . . . . . . . . . . . . 282.2.2. Határ iklusok közelítése, káosz kialakulása . . . . . . . 302.2.3. Az el®rejelz® teljesítmény szignikáns emelkedése a kri-tikus pont környékén . . . . . . . . . . . . . . . . . . . 302.2.4. A kritikus pont pontosabb meghatározása . . . . . . . 342.2.5. A kritikus feltételnek egzaktul eleget tev® háló per-mutá iós mátrix . . . . . . . . . . . . . . . . . . . . . . 372.2.6. Diszjunkt iklusok eloszlása . . . . . . . . . . . . . . . 382.2.7. A kritikus visszhangháló rekord teljesítménye . . . . . 40

1

3. Diszkusszió, összefoglalás 453.1. Az eredmények értékelése, jelent®sége . . . . . . . . . . . . . . 453.2. Neurobiológiai kitekintés . . . . . . . . . . . . . . . . . . . . . 473.3. Összefoglalás . . . . . . . . . . . . . . . . . . . . . . . . . . . 48Irodalomjegyzék 50

2

Ábrák jegyzéke1.1. Mesterséges neuron . . . . . . . . . . . . . . . . . . . . . . . . 41.2. El®re satolt neuronhálók . . . . . . . . . . . . . . . . . . . . . 51.3. Vissza satolt neuronhálók . . . . . . . . . . . . . . . . . . . . 61.4. Vissza satolt neuronhálók, Elman-háló . . . . . . . . . . . . . 71.5. A visszhangháló felépítése . . . . . . . . . . . . . . . . . . . . 91.6. Diszkrétizált állapottér id®fejl®dése . . . . . . . . . . . . . . . 161.7. Poin aré-metszet ESN els® három bels® aktivitáskomponensér®l 161.8. Poin aré-metszet ESN els® két bels® aktivitáskomponensér®l,nagyított . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171.9. Poin aré-visszatérési térkép visszhanghálózat aktivitásának egykomponensér®l . . . . . . . . . . . . . . . . . . . . . . . . . . 172.1. Kaotikus Ma key-Glass id®sor . . . . . . . . . . . . . . . . . . 192.2. A rekurrens mátrix egymás utáni többszöri hatásának operátora 222.3. Attraktortípusok . . . . . . . . . . . . . . . . . . . . . . . . . 252.4. El®rejelzési hossz dení iója . . . . . . . . . . . . . . . . . . . 282.5. A konnektivitás id®fejl®dése . . . . . . . . . . . . . . . . . . . 292.6. Fázisátalakulás a konnektivitás id®fejl®désében . . . . . . . . 292.7. Ljapunov exponensek a kritikus pont körül . . . . . . . . . . . 312.8. Ljapunov exponensek növekedése a kritikus pont körül . . . . 322.9. El®rejelzési hossz és jóslási hiba a kritikus pont körül . . . . . 332.10. El®rejelzési hossz és jóslási hiba eloszlásának kritikus javulása 342.11. A konnektivitás változásában kritikus pont összefüggése a há-lózat mérettel . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.12. Diszjunkt iklusok eloszlása, kombiná iók . . . . . . . . . . . . 392.13. Diszjunkt iklusok eloszlása, reprezentá ió . . . . . . . . . . . 402.14. Kritikus hálózat el®rejelz® képessége, id®sor kép . . . . . . . . 412.15. Kritikus hálózat el®rejelz® képessége, eloszlás . . . . . . . . . . 433.1. Minikolumnák temporális lebenyben . . . . . . . . . . . . . . 483

KivonatMunkánkban egy spe iális vissza satolt mesterséges neuronháló, a rej-tett, ritka rekurrens kap solatokkal rendelkez® visszhanghálózat (E ho StateNetwork, ESN) m¶ködését vizsgáltuk. A bels® hálózat perturbá iómentesm¶ködésekor fázisátalakulást találtunk kritikus ponttal az ini ializá iós pa-raméter, a kezdeti konnektivitás id®fejl®désében. Módszereink segítségévelbemutatjuk, hogy a kritikus pont körül a bels® hálózat adott ini ializá i-óval önmagában, küls® bemenet hiányában is kaotikussá válhat, valamintrendkívül gyakoriak a határ iklus, vagy ahhoz közeli xpont attraktorok.A visszhanghálók tanulékonyságát Ma key-Glass kaotikus id®sorral tesztelvekimutattuk, hogy nagyobb hálózatméretek felé egy nagyságrendet is javulhataz el®rejelz® képesség és annak hibamentessége a kritikus pont közelében.Ezek után kimértük a tranziens utáni nyugalmi konnektivitás kritikuspontját, és úgy találtuk, a bels® réteg dimenziójával meglehet®s pontosság-gal fordítottan arányos. Ezután bizonyítjuk, hogy a kritikus pontnak egzak-tul megfelel®, a rejtett réteg rekurrens kap solatait reprezentáló mátrix sakpermutá iós mátrix lehet. E mátrixokok hatásának éppen határ iklus att-raktorai vannak. A permutá iós mátrix-szal ini ializált hálókat elneveztükkritikus visszhanghálózatoknak (CESN). A permutá iók diszjunkt iklusok-kal való felírása pedig megteremtette annak lehet®ségét, hogy megállapít-suk, optimális a permutá ió, ha a iklusok méreteloszlása informá iókódo-lási szempontból optimális tartományban van. Ha ezekre sz¶kítjük a rekur-rens mátrix máskülönben véletlen topológiájú ini ializálását, akkor nagyobbvalószín¶séggel tudunk kimagaslóan jó, az átlagos, korábbi, sak ritkaságimegszorítással ini ializáltnál két nagyságrenddel jobb predik iós képesség¶hálózatot találni, már igen ala sony dimenzióban is.Elképzelhet®, hogy eredményünk a diszjunkt iklusok optimális eloszlá-sáról analógikus az agyban kialakult kolumnák, minikolumnák, egyéb er®senvissza satolt lokális soportosulások méret eloszlásával. Analógia lehet azindok is: optimális informá iókódolási tekintetben, iklikus és ahhoz közelikaotikus attraktorokbeli reprezentá ióban.

1. fejezetBevezetés1.1. A dolgozat témájaTanulmányunkban egy néhány éve megalkotott spe iális szerkezet¶, vissza- satolt neuronhálóval foglalkozunk, a visszhanghálózattal (E ho State Net-work, ESN, Jaeger (2001)). Bels® rejtett rétege egy nem tanuló ritka re-kurrens kap solatrendszerrel rendelkezik, mely dinamikai rezervoárként m¶-ködik. A bels® rétegr®l a kimeneti kap solatokat tanítva képezhetünk ráid®sorokra. Ezáltal a dinamikai rezervoár egy lineáris transzformá ió erejéigreprezentálja a bemenetre adott jelet.Az elmúlt években sok alkalmazás látott napvilágot id®sorokat rendkívüljól megtanuló, felismer® és el®rejelz® képessége miatt. Azonban Jaeger (2005)legutóbbi konferen iaanyagában is felhívta a gyelmet arra, hogy az alkal-mazás nehézkes, hiányzik az elméleti megértés. Jelen munka éppen ebbenaz irányban teszi meg a kezdeti lépéseket. Topológiai eredményeket fogunkhozni, de bemutatjuk a történetileg hozzá vezet® utat, amelynek során elvég-zett vizsgálataink utólag tekintve kísérleti alátámasztásul szolgálnak elméletimegfontolásainkhoz.Tartalom. A bevezet® fejezetek az általunk használt neuronhálók alap-vet® tulajdonságait, majd spe iálisan a visszhanghálót ismerteti: iterá iósegyenletek, ini ializásás, tanulás. Külön kitérünk a bels® reprezentálás att-raktorképeire. Miután megismerkedtünk dolgozatunk vizsgálati tárgyával, a2. fejezetben el®ször sorra vesszük azokat az eljárásokat melyekkel szekven i-álisan nagyítva eljutottunk a visszhangháló rekurrens mátrixának szerkezetétmeghatározó eredményekig. Így bemutatjuk a perturbálatlan, az eddigi gya-korlatnak megfelel®en véletlen módon ini ializált visszhangháló konnektivitá-sának id®fejl®désében az ini ializálástól függ® fázisátalakulást, és a megjelen®1

határ iklusokat, káoszt. Ennek nyomán haladva a kritikus pont közelébenérzékeny el®rejelz®képesség tesztre van szükség, mely az el®rejelzési hossztméri, ezzel a ζ függvénnyel zárjuk a metódusok sorát.Eredményeink egymásra épülnek, ezért sorban mutatjuk be ®ket, egyrenagyobb kvalitatív váltásokat igényl® nagyításban vizsgálva az egyre opti-málisabb visszhangháló szerkezetet. A fenti módszerek segítségével kimérjüka kritikus pontot, majd elméleti úton meghatározzuk a rejtett rétegre vo-natkozó további nagyon lényeges megszorítást, mely legfontosabb tézisünklesz. Végül belekezdünk az új megszorítással ini ializált mátrixok szerkezetioptimalizá iójába, irányvonalat szabva a további kutatásoknak.Az eredmények értékelésével és neurobiológiai kitekint®vel a 3. fejezetkutatásunk nagyobb összefüggésekben való elhelyezésével zárja a dolgozatot.Eredményeink alapján ugyanis neurobiológiai összefüggésben felvillanthatjuka valódi agykérgi hálózatok kolumnákba és minikolumnákba soportosulásá-nak egy lehetséges okát.1.2. A neuronhálókrólÁttekintés. E szakasz feladata a mesterséges neuronhálók dolgozatunkbanalkalmazott terminológiájának tisztázása. Eddigi tapasztalataink alapjánazonban részben a kevésbé járatos olvasó e terminológiába való bevezetéséreis vállalkoznunk kell, ezért f®leg az els® oldalakon talán ki sit b®vebb egyneurokomputá iós vagy neurobiológiai modellezés szakanyagnál, szem el®tttartva, hogy nem helyettesítheti a szükséges könyvnyi mennyiség¶ bevezet®irodalmat. Els®sorban tehát a mesterséges neuronok terebélyes irodalmárahivatkozunk. Továbbá megkíséreljük e helyütt sak azon tulajdonságokkalfoglalkozni, melyek közvetlenül szükségesek dolgozatunk f® mondanivalójá-nak megértéséhez.1.2.1. A mesterséges neuronMiel®tt a hálózatok m¶ködésének rövid áttekintésére rátérnénk, el®ször rö-viden tekintsük át, hogy milyen tulajdonságai vannak egy neuronnak. Amesterséges neuron egy általános biológiai idegsejt funk ionálisan is semati-kus változata. A biológiai analógia a következ®. Az idegsejtek legfontosabbkommuniká iós útja az axonon végigfutó ak iós poten iál, mely az axon-végen található szinapszisokban a következ® sejt felé az ak iós poten iálokfrekven iájától függ® kon entrá ióban neurotranszmitter vezikulák ürítésétindukálja a sejtközti térbe. Egy sejt informá ióátadását nem kizárólagosanbár, de jelent®s részben meghatározza az említett frekven ia re iprokának2

átlagos nagysága, a tüzelési ráta, amit röviden rátakódnak vagy aktivitásnakis nevezhetünk. A rátakóddal kap solatban tisztáznunk kell, hogy dolgoza-tunkban els®sorban a neurobiológiai 100-500ms-os id®átlagot tekintjünk mo-dellezend® rátakódnak. Majdnem hasonló funk iójú a kísérlet-sokaságátlagalapján számolt rátakód, mellyel rövidebb válaszokat lehet kimérni, azonbanpontosan megismételt kísérlet szükséges. E két értelmezés mindegyikét ma-gába foglalja a mesterséges neuron modellünk, hiszen lényeges különbség saka szórásban van, ami jellemz®en kísérleti probléma. Megjegyezzük azonban,hogy nem foglalkozunk a populá iós rátakóddal. Rátakódokról lásd pl. Riekeet al. (1996). A kap solódó neuronok aktivitása a vizsgált sejtünk dentrit-jeit, szómáját stb. körülvev® szinapszisokban szignáltranszduk iós er®sítésiés ion satornával satolt biokémiai me hanizmusok segítségével a dentritfa éssejttest viszonylag lokális, körülhatárolt területein kialakít membránpoten i-álváltozásokat, (E)PSP, (ex itatorikus) posztszinaptikus poten iál, az adotthelyen található szinapszisok aktivitását valamennyire összegezve, átlagolva.Ezek lassan propagálnak, és a sejttest érzékeny részén, az axondomb közelé-ben, amennyiben elérik az aktivá iós poten iált, elindítják az ak iós poten- iált (integrate and re), vagy nagyobb id®léptékben nézve tüzel® állapotbahozzák a sejtet, azaz a legkézenfekv®bb terminológiával élve a sejt aktivitásamegn®.Ezt a m¶ködést a legegyszer¶bb mesterséges neuron esetében a követ-kez® képpen lehet modellezni (1.1. ábra). Legyen egy id®ben változó skalármennyiség a neuron pillanatnyi rátakódja, y(t). Mint kés®bb látni fogjuk arátakód leg élszer¶bb mértékegysége irreleváns, ha mesterséges neuronhálókpro esszáló algoritmusairól beszélünk, mert a spe iálisan felépített hálózatokmatematikai elmélete biztosít minket arról, hogy funk ionálisan azonos ered-ményt, kvalitatíve azonos, azonban jóval egyszer¶bb szerkezettel érhessünkel. Neurobiológiai alkalmazások biozikailag sejtszinten is korrekt modellezé-sekor viszont el lehet gondolkodni a mértékegység valós tartalmán. Azonbanlátni kell azt is, hogy éppen a kompartment modellek esetében is folyama-tos kompartmentszám növelés szükséges a biozikailag pre ízebb eredmé-nyekhez, ezzel szemben a neurononkénti egy skalár mennyiség egyszer¶ségeés a mesterséges neuronháló algoritmusok segítségével megismert kvalitatívfunk ionális egyezés számítási kapa itás és paraméterhangolás szempontjábóljelent®sen közelebbi lehet®séget teremt arra, hogy nagyobb lépték¶ hálóza-tokkal valós jelleg¶ és dimenziószámú feladatokat vizsgáljunk, oldjunk meg.A rátakódot ezentúl aktivitásnak nevezzük, és a továbbiakban eltekintünk apontos mértékegység választástól.Több párhuzamosan m¶köd® neuron skalár aktivitását együtt egy vek-torban kezeljük, és rétegnek nevezzük, ahogyan az az 1.1. ábra bemenetébenlátható. A fent leírt sejthez kap solódó bemeneti kap solatrendszer x akti-3

1.1. ábra. Mesterséges neuron. A sejt kimen® y aktivitását a beérkez® jelek súlyozottátlagolása alakítja ki az 1.1 egyenlet szerint, f átviteli függvénnyel formázva.vitásmintázatának átalakítása a sejt saját kimen® y aktivitásává a következ®egyenlettel írható le:y = f(wT · x), (1.1)ahol a w vektorral súlyozottan összeadjuk a bemen® aktivitásokat, hasonlóanahhoz, ahogyan az a dentritfán, sejttesten is megtörténik. Az f átvitelifüggvénynek korlátos értékkészlet kialakítása, és nemlinearitásra érzékenységfeladatai vannak. Gyakran használják a Haeviside-függvényt, valamint a

tanh ill. egyéb szigmoid függvényeket. Amennyiben több neuron aktivitásává(kimeneti réteg) alakítanánk a bemeneti réteg aktivitását, (1.1) annyibanváltozik, hogy w-b®l mátrix lesz és f komponensenként hat:y = f(Wx). (1.2)Tanulás. A mesterséges neuronok tanulásának áttekintése nem tartozhattémánkhoz, ismét a mesterséges neuronhálózatok b®séges irodalmára uta-lunk. Azonban röviden bemutatjuk a mesterséges neuronok dolgozatunk-ban is alkalmazott legegyszer¶bb tanulási me hanizmusának elvét, melyetlényegében mindenfajta supervised tanulási me hanizmusban alkalmaznak:az ún. ba kpropagationt (Rumelhart et al., 1986). Ha valamilyen adott xbemen® jel esetén a neuron y kimenetét egy ismert, ú.n. tanító jelhez (z)akarjuk igazítani, az y − z = f(wT · x) − z egyszer¶ eltérést kell minima-lizálnunk. Nyilvánvalóan a kap solatokat reprezentáló vektor (vektor kime-net esetén mátrix, lásd (1.2)-t) komponenseit kell úgy módosítani, hogy ezmegtörténhessen. Az egyszer¶ lineáris regressziótól a gradiens módszerekigtöbbféle alap-ba kpropagation eljárásból választhatunk a élnak megfelel®t.Nagyobb, spe iálisan kap solt hálózatoknál, er®s nemlinearitások esetén seszeri se száma a tanítást optimalizáló segédalgoritmusoknak, szaporodnakaz új elveket megvalósító tanuló algoritmusok. Az ún. unsupervised tanu-lásokkal nem foglalkozunk, ilyen az általános Hebb-tipusú tanulás, vagy aKohonen féle topolúgikus struktúra tanulás, a Self-Organising Maps.4

1.2. ábra. Az ábrán egy tipikusan használt többréteg¶ nemlineáris el®re satolt neuronhá-lót látunk. A neuronhálók rétegei vektorokban tárolt értékek. Az x bemeneti vektor kom-ponensei W mátrix-szal szorzott súlyozott összeg szerint továbbítódnak a h rejtett rétegbe.A kimeneti y rétegbe hasonló F lineáris transzformá ió után kerül egy komponensenkéntható f nemlineáris átviteli függvényen keresztül. Röviden: y = f(Fh) = f(FWx).1.2.2. A mesterséges neuronhálókTöbbréteg¶ el®re satolt neuronhálók. A gyakorlati feladatok megol-dásánál a talán leggyakrabban alkalmazott hálózati ar hitektúra a többré-teg¶ per eptron (Minsky and Papert, 1969). A hálózat több, az 1.1. ábránbemutatott neuronból szervez®dött rétegekb®l épül fel. Az els® réteg az xbemeneti réteg, amit általában nem szoktak igazi rétegnek tekinteni, mert sak továbbítja a bemenetet a következ®, rejtett rétegre, amely azután atranszfer függvényen keresztül halad tovább a kimenetre (1.2. ábra). Horniket al. (1989) bebizonyították, hogy már egyetlen rejtett réteg esetén is, haaz kell®en sok neuront tartalmaz, a hálózat univerzális approximátor tulaj-donsággal bír. Feladat az optimális egyensúly megtalálása a pontosság és azáltalánosítóképesség között.Vissza satolt neuronhálózatok. Az el®re satolt hálózatok a mesterségesneuronok h®skorában igen hasznosnak bizonyultak a gyakorlatban. Az elmúltévtizedekben azonban az agykutatás fejl®désével felvet®dött a vissza satolthálózatok (Re urrent Neural Network, RNN) problémája, ugyanis a biológiaineuronhálók többsége tipikusan ilyen. Az 1.3. ábra bemutatja a vissza sa-tolt neuronhálók elvi felépítését. Különböz® ar hitektúrák láttak napvilágot,lásd pl. Hopeld-hálók (Hopeld, 1982), Elman-hálók és a kontextus memó-ria egységek (Elman, 1988, 1.4. ábra), Long Short-Term Memory tanításimód (Ho hreiter and S hmidhuber, 1997), et . Ezek elvben jobban képesekid®ben korrelált adatsorokat tanulni, pontosságuk és általánosítóképességükjelent®sen jobb a sak el®re satolással rendelkez® hálókéhoz képest. Taní-tási algoritmusuk, Ba kpropagation-Through-Time (BPTT), lényege meg-5

1.3. ábra. A vissza satolt neuronhálók annyiban különböznek a 1.2. ábrán bemuta-tott többréteg¶ nemlineáris el®re satolt neuronhálóktól, hogy szerepelnek rétegek közöttivissza satolási kap solatok is. A gyakorlatban pl. elképzelhet® a rejtett réteg bemenetérevissza satolni a nemlinearitáson alakított kimenetet a V mátrix-szal. Röviden, a válto-zatosan használható id®indexeket nem írva ki: y = f(Fh) = f(

F(Wx + Vy)), tehát

h = Wx + Vy.egyezik a statikus, el®re satolt hálózatok Ba kpropagation algoritmusával,kiegészülve bemeneti, kimeneti id®ablakok súsztatásával. A kezdeti lendü-let sökkent, ahogyan a hátrányok kezdtek megmutatkozni: a neuronszám-mal hatványfüggvényekkel skálázó tanítási gépid®igény, lassú konvergen ia,lokális minimumokba ragadás, könnyen sak hozzáért®k által megtalálhatóoptimális paraméterek, et .1.2.3. Új vissza satolt neuronháló kutatásokÚjabban többen foglalkoznak e problémák megoldása érdekében a vissza sa-tolt neuronhálók m¶ködésével spe iális módon. Úgy t¶nik, hogy RNN-ekrandom ini ializálásának ismétlése egészen addig, míg nem lesz a hálózata feladatra alkalmas jelent®sen javítja a kódolási képességet, teljesítményt(Molter et al., 2004; Salihoglu, 2004; Berts hinger and Nats hläger, 2004;Molter et al., 2005), hardver implementá ióban is igazolva (S hürmann et al.,2004).Egyszer¶, kisméret¶, 2-3 neuronból álló RNN-eket vizsgáltak dinamikaiszempontból, ehelyütt Salihoglu (2004); Berts hinger and Nats hläger (2004)munkáira utalunk. Salihoglu megemlíti dolgozatunk témáját, a visszhanghá-lózatokat, azonban nem vizsgálja részletesen dinamikai tulajdonságait. Azo-nosították káosz kialakulása közelében (edge of haos) létrejöv® informá ió-tárolási képesség több mint hatszoros megnövekedését a stabil alapállapo-tokhoz képest (Molter et al., 2004, 2005). Az utóbbi munka egy érdekes,6

1.4. ábra. Más lehet®ség az Elman hálózatoknál alkalmazott megoldás, mely a rejtettréteg aktivitását másolja ki egy memória funk iójú, id®vel exponen iálisan felejt® rétegbe.dolgozatunkban alkalmazotthoz hasonló dinamikus állapotkvantiká iós eljá-rás segítségével összehasonlítja a supervised és unsupervised hebbi tanulásúRNN teljesítményét. Kiemeli, hogy az unsupervised esetben a hálózat magahatározza meg a kódolandó informá iós egységeket a lényeges informá iórakon entrálva.Egy egészen érdekes, ritka rekurrens neuronhálózat jelent meg néhányévvel ezel®tt, az úgynevezett visszhanghálózat (E ho State Network, ESNJaeger, 2001; Maas et al., 2002), mely dolgozatunk modell-témája. A követ-kez® szakaszban áttekintjük az ESN-nel foglalkozó közleményeket.1.2.4. A visszhanghálózat el®zményei, irodalmaPerturbálható rendszerek informá iótárolási képességének kérdése már Hol-den et al. (1991) munkájában felmerült, mint tranziensek elemzése folya-dékban valamilyen hatásra. E rendszereknek egyedül a nyugalmi állapotukstabil. A diszkrét id®ben változó tranzienseket rekurrens neuronhálók álla-potaival reprezentálta Jaeger (2001) és Maas et al. (2002), ezek az ESN vagyLSM (liquid state ma hine) rendszerek. F® jellemz®jük egy rejtett, rekur-rens, nemlineáris, klaszterezett dinamikai rezervoár, melyhez sak a projek-tor kap solatok tanulnak, lineárisan. Így az ar hitektúra egyszerre sokrét¶ ésgyors, egyaránt alkalmasak felismerésre és el®rejelzésre. Itt jegyezzük meg,hogy Maas et al. folytonos id®ben tüzel® neuronokkal foglalkozott, tehát azelv azonossága mellett a konkrét implementá ió különbözik. Munkánkban a7

Jaeger-féle rátakódos ESN változatot használjuk. A közelmúltban Baier andDe Feo (2004) meghatározták ESN rendszer diverzitásának, azaz adott mé-rethez a legsokrét¶bb dinamikai rezervoár kialakításának optimális paramé-tereit az informá iós entrópia segítségével. E munka kísérleti küls® referen iaeredményeinkhez.Jaeger (2001) meghatározott néhány struktúrális paraméter megszorítástaz ESN dení iók mellé. Kés®bb Jaeger (2002) megállapította folytonos je-lek tanulásának paraméteroptimalizá ióját. A diszkretizá ió id®konstansa,és a szivárgó integrálás exponense (leaky integrator) belekerült a paraméte-roptimalizáló ini ializá ióba. Mindezeket bemutatjuk az 1.3. szakaszban.Jaeger (2005) legújabb konferen iaanyagában foglalkozik további optimali-zá iós kérdésekkel, mint id®-sürítés (time-warping, mellyel egy korábbi, refe-rálatlan munkánkban soportunk is foglalkozott, Hajnal and Radi s (2005)),vagy küls® állapotkap solók. Az anyag ezen túl összefoglalja, hogy a leglé-nyegesebb felmerült kérdésekre nin s kielégít® elméleti válasz. Intuitíve írjaJaeger is nyilvánvaló, hogy a megoldás a rejtett rekurrens réteg szerkeze-tében rejlik, azonban elismeri, hogy ez az ESN születése óta eltelt mintegyöt év után is nyitott kutatási kérdés. Tanulmányunkban éppen ezt az iránytt¶ztük ki élul.A felhasználási lehet®ségek igen sokrét¶ek. Visszhanghálók különböz®,köztük kaotikus id®sorokat tanultak, valamint szabályozóként m¶ködtek Ja-eger (2001, 2002) els® munkáiban. Spe iálisabban kváziperiódikus kaotikusrendszer attraktorát vizsgálta Baier (2003). ESN-nel modellezték bakteriá-lis protein-szintézis transzkrip iós fázisát Xianhua (2004). Születtek olyanalkalmazások, mint drótnélküli kommuniká iós satorna hibájának két nagy-ságrendes sökkentése (Jaeger and Haas, 2004), búvárrobot irányításának sta-bilitása (Ishii et al., 2004a,b, szintén Jaeger soport). Ígéretes a visszhanghá-lózatok Brain-Ma hine-Interfa e kutatásban kipróbált megbízhatósága (Raoet al., 2005).1.3. A visszhanghálózat m¶ködéseÁttekintés. Dolgozatunkban alkalmazott spe iális m¶ködés¶ rekurrens nem-lineáris neuronhálózat (RNN) a visszhanghálózat (e ho state network, ESN).Kimagaslóan pontos a hosszútávú memórián alapuló felismer® és el®rejelz®képessége. Ez utóbbi az egyik legérdekesebb felhasználási lehet®sége, melyéppen abban rejlik, hogy saját kimenetetét szekven iálisan vissza satolvahosszabb id®sorokat képes tárolni a bels® kap solatrendszer érzékenysége és akimen® kap solatrendszer lineáris leképezésként megtanult formájában. Ne-uronhálós aspektusból szemlélve az ar hitektúra kul s eleme az, hogy ilymó-8

1.5. ábra. A visszhanghálók (ESN) f® motorja a viszonylag nagy dimenziós, bels®,ritkán, rekurrensen kap solt K háló, a dinamikai rezervoár. A motort hozzá képest küls®jel hajtja meg, mely lehet az x(t) bemeneti id®sor, de a bels® rezervoárról projektáltel®z® id®pontbeli y(t − 1) kimenet is. Így megvan mind a tanítás, mind a felismerés,mind vissza satoláson alapuló el®rejelzés lehet®sége is. Az egyszer¶ vonalak jelzik azokata súlyokat, amiket nem változtat a tanítás, a szaggatott vonalakkal jelzett súlyokat tanuljaa rendszer.don kettébomlik a nagy kapa itást igényl® dinamikai diverzitást tárolni képesréteg és a gyorsan és egyszer¶en tanítható kimeneti leképez® réteg. Ebben aszakaszban bemutatjuk a visszhanghálózat felépítését és használatát.1.3.1. A visszhanghálózat általános leírásaA 1.5. ábrán felvázolt szerkezetb®l kit¶nik, hogy a legfontosabb része a há-lózatnak az el®z® id®pillanathoz vissza satolt, valamint saját, kollaterális re-kurrens kap solatokkal rendelkez® rejtett, bels®, réteg. Az ESN dinamikusm¶ködésének alapja (és az elnevezések is innen származnak) az a tény, hogya bels® neuronok aktivitása a küls® jelek egy szisztematikusan változó nem-lineáris leképezését alkotják. Minden küls® jelnek a lenyomata, mint egyvisszhang, ott lesz a bels® reprezentá ióban a vissza satolások révén. Fi-zikából köl sönvett analógiával úgy is fogalmazhatunk, hogy a rejtett rétegstabil, sta ionárius alapállapotai küls® forrással gerjeszthet®ek. A válaszfügg-vény aszimptotikus karakterisztikája intuitíve láthatóvá tehet® dira -deltaszer¶ impulzus perturbáló hatásával: az aktivitás id®ben exponen iálisangyengülve kihal; intuitív, mivel a rekurrens kap solatok miatt természetesennem alkalmazható a lineáris válaszfüggvények elmélete. A háló m¶ködéséhezegy elégséges jelleg¶ feltétel, hogy a rekurrens kap solatmátrix kontraháljonaz iterá iók között, ebb®l adódik, hogy a visszhang id®ben exponen iálisangyengül (fordítva fogalmazva: ez a bemenet- illetve állapot-felejt® tulajdon-ság). 9

A felhasználás szempontjából fontos, hogy a bels® mintázatok tárházaminél gazdagabb legyen. Ezt az eddigi gyakorlat szerint úgy érhetjük el, halegalább 30-40 sejtet tartalmaz a rejtett réteg, valamint a rekurrens kap so-latokat igen ritkává kell tennünk. Általában 0.5 − 5% körül szokták válasz-tani a kap solódási arányt sejtszámtól függ®en. Baier and De Feo (2004)vizsgálatai alapján a maximális informá iótároló képesség pl. 60 rejtettneuronnal 1.35%-nál van. Az irodalomban fellelhet® magyarázatok szerintez a kap solati-ritkaság feltétel biztosítja, hogy az id®ben iterált aktivitás-mintázatok sok lazán satolt alrendszerbe rendez®dnek (amit e dolgozatbanklasztereknek, fürtöknek tekintünk). Ez nagy szabadságot ad a lehetségesdinamikák reprezentálhatóságának.Összefoglalva megismételjük Jaeger dení iós kritériumait: egy hálózat-nak vannak visszhangzó állapotai, ha1. állapot-összehúzó,2. állapot-felejt®,3. bemenet-felejt®,és állapot alatt a bels® réteg aktivitásvektorát értjük. Az alábbiakban rész-letesen bemutatjuk a hálózatot.1.3.2. A visszhanghálózat ar hitektúrájaA bels® szerkezet. Legyen a diszkrét-idej¶ neurális hálózatnak l bemenetiegysége, m bels® neuronja és n kimeneti egysége. Továbbá jelölje a t id®pilla-natban x(t) = (x1(t), . . . , xl(t)) a bemenetet, a(t) = (a1(t), ..., am(t)) a bels®réteg aktivitását és y(t) = (y1(t), . . . , yn(t)) pedig a kimenetet. A valós ér-ték¶ bemeneti súlyokat fogjuk össze a W ∈ Rm×l mátrixba, hasonlóan jelölje

K ∈ Rm×m a bels® kap solati súlyokat, F ∈ R

n×(l+m+n) a kimeneti illetveV ∈ R

m×n a kimenetr®l a bels® reprezentá ióra visszavetít® kap solati súlyo-kat. Vegyük észre, hogy megengedjük a bemenetr®l közvetlenül a kimenetreés a kimenetr®l kimenetre való leképezést is, valamint egyel®re nem teszünkfel semmilyen további megkötést a háló bels® szerkezetére sem, ezért a bels®neuronok közötti súlyoknál K-ben már el®fordulhat vissza satolt rész.A bels® neuronok aktivitása a t-edik id®pillanatban a következ® módonfügg korábbi értékekt®l:at = f

(

Wxt−1 + Kat−1 + Vyt−1

)

, (1.3)ahol f = (f1..fm) a bels® egységek, általában szigmoid jelleg¶, aktivá iósfüggvényei. A kimenet a következ®képp számolható:yt = f

(

F(xt−1, at,yt−1))

, (1.4)10

ahol f = (f1..fn) a kimeneti egységek kimeneti függvényei és (xt−1, at,yt−1

)a bemenet, a bels® és a kimeneti réteg aktivitásának konkatená iója.Az általános esetnek a 1.5. ábrán is látható lesz¶kített változatát hasz-náljuk jelen vizsgálatainkhoz. Ebben V ≡ 0, F ∈ Rn×m, valamint ∀i-re

fi = σ = tanh szigmoid a bels® hálóban, míg a küls® projek iónál elhagytuka nemlinearitást. Így a t. diszkrét id®pontra vonatkoztatva:at = σ(Kat−1 + Wxt−1), (1.5)

yt = Fat = F(

σ(Kat−1 + Wxt−1))

. (1.6)Ini ializálás. Visszhangzó állapok létrejöttéhez a K rekurrens mátrix álta-lánosan megfogalmazott ritkán kap solt és kontrak ió megszorításoknak kétlépésben teszünk eleget.Meghatározva a p konnektivitási valószín¶séget, véletlenszer¶en sorsoljukK elemeit. Nagy részük tehát 0, míg a valódi kap solatokat reprezentáló ér-tékeiket (1.3)-beli f nemlinearitás értelmezési tartománya és értékkészlete,valamint a lineáris és nemlineáris tartomány elhelyezkedése illetve m bels®neuronszám és átlagos aktivitásösszegük gyelembevételével érdemes meg-adni.A következ® lépés a kontrak ió beállítása. Az ily módon véletlenszer¶enini ializáltKmátrixot átskálázzuk, hogy legnagyobb sajátértéke, maxi λi < 1legyen. Többszöri ||at+k|| ≈ ||Kkat|| alkalmazás esetén k függvényében ér-telemszer¶en exponen iálisan, (maxi λi)

k-val sökken a nagyságrendje. Vilá-gos, hogy minél közelebb van a legnagyobb sajátérték 1-hez, annál kevésbékontrahál az iterá iókban. Ekkor tehát ritkábban kell küls® forrásnak (x vagyadott esetben y) vezetnie, meghajtania, perturbálnia a rendszert. Ellentéteshatást érünk el, ha a kontrak iós rátát távolabbra állítjuk 1-t®l. Ennek azaz el®nye, hogy lerövidül a bemelegedési vagy ráhangolódási tranziens hossz.Az alsó határt a háló instabillá, pontatlanná válása szabja meg, hiszen akontrak ió mértéke felfogható felejtésként is.Folytonos, lassan változó id®sorok, mint amilyent munkánkban is alkal-maztunk, optimális tanulásához szükség van további expli it módon megha-tározni a felejtést. Kiegészítve (1.5)-et:at = (1 − µ)at−1 + σ(Kat−1 + Wxt−1), (1.7)az úgynevezett szivárgó integrálás µ kitev®jével (leaky integrator). Teljes fe-lejtéskor az (1.5) esetet visszakapjuk µ = 1-re. Vigyázzunk, hogy a felejtésitt szó szerint értend®, tehát el®z® értékek direkt kivonásáról van szó (azegyenlet bal oldalán at = at−1 +∆at−1 áll!), mely az id®indext®l exponen iá-lisan sökken® mértékben függ. Gyakorlatilag a σ(·) függvény nemlinearitási11

tartománya és a felejtés mértéke egyensúlyozza ki az (1.7)-beli Wx bemenetitagok járulékát.Tanítás. Jaeger és Maas et al. rendkívül gyors tanulást lehet®vé tev® elkép-zelése az volt, hogy sak a kimeneti térre lineárisan képez® F kap solatokathangoljuk lineáris regresszióval. A K rekurrens mátrix tanítására nin senszükség, a visszhang állapotok dinamikai tárháza elegend®en gazdag. Ez-zel más RNN tanító algoritmusokkal szemben jelent®s divergen ia és gépid®problémáktól szabadulunk meg. A lineáris regresszió tulajdonképpen megke-resi a bels® reprezentá ió megfelel® projek ióját a tanító id®sor terére, ezértis lehetséges az, hogy az általánosítóképesség is robusztus annak ellenére,hogy nem iterá iós hangolással közelítjük az adott tanító id®sorhoz tökéletesF-et. Az általánosítóképesség a bels® rejtett réteg feladata.Alkalmazásainkban azt kívánjuk elérni, hogy y minél jobban közelítsex-et. A tanításhoz a bemeneti mátrix nélküli és sak aktivitásokról képez®kimeneti mátrixú (W = V, F ∈ R

n×(m)) spe iális esetünkben ennek érde-kében a hálózatot végigfuttatjuk a tanító Wx vissza satolással, és mindent = 0, .., tmax pillanathoz meghatározzuk y-t; ismét valamivel általánosabbformában.

at = f(

Wxt−1 + Kat−1

)

yt = f(

Fat

) (1.8)Végül a kezdeti tranziens szakaszt, amikor a háló ráhangolódik a bemenetreelhagyjuk, és a maradék részen tanítjuk majd a hálót. Jelölje tmin a tranziensszakasz végét, továbbá legyen gj(t) = (fj)−1xj(t) minden j = 1, .., n-re, ekkora következ®

msetrain,j = 1/(tmax − tmin)tmax∑

t=tmin

(

gj(t) −m∑

i=1

Fjiai(t)

)2 (1.9)átlagos négyzetes eltérést kell minimalizálniF szerint, egy tetsz®leges lineárisregressziós eljárással.Memória, el®rejelzés. Mint említettük, a visszhanghálózatok legérdeke-sebb tulajdonsága az, hogy hosszú id®sorokat képes pre ízen megtanulni. Akezdeti tranziensnél valamivel hosszabb id®sorrészlettel beindítva, és innent®lkezdve a saját el®z® id®pontbeli kimenetét satolva vissza bemenetre (azazxt = yt−1) a rendszer önmagában el®állítja az id®sor hátralev® részét apontosság és memóriahossz természetesen függ az id®sor bonyolultságától ésa rejtett neuronok számától. 12

További robusztus képessége a visszhanghálónak az el®rejelzés. Ez szinténteljesen hasonlóan zajlik (1.5)-(1.8)-hoz, a különbség a megközelítésben van.Egy adott hosszúságú id®sor fenti értelemben való megtanulása után m¶-ködési módot váltunk. Ett®l kezdve x(t)-re már nem tanítandó id®sorkénttekintünk, hanem olyan küls® forrásként fogjuk fel, amely hajtja és irányítjaa rekurrensen lejátszódó bels® aktivitásokat, és amelyet a megtanult korábbiid®sorrészlet alapján el®re tud jelezni, ha a dinamika továbbra is jellemz®.Így xt-b®l yt+1 kimenet minden pillanatban meghatározható, mely kimenetbe slése a valódi küls® forrás xt+1-ének. Hosszabb intervallumra az el®rejelzésszintén m¶ködik, mégpedig úgy, hogy az egyel feljebbi memória bekezdésbenleírt módon vissza satoljuk az aktuális kimenetet a következ® id®pillanatbelibemenethez. Részleteiben ez az (1.8) els® egyenletében x(τ) → y(τ) helyet-tesítéssel történhet t+1 ≤ τ ≤ t+T -re, ez a többpont (T -pont) jósolhatóság,míg T = 1-re 1-pont jósolhatóságról beszélünk. Dolgozatunkban több-pontel®rejelzést vizsgálunk majd.Mind memóriából rekonstruk ió, mind el®rejelzés esetében, mivel xt for-rást be sli a rendszer, a kimenetet, yt-t szokásos xt-vel jelölni.1.3.3. ESN me hanikaE szakaszban bemutatunk néhány általunk készített feltáró vizsgálatot, melysegítheti a dinamikai rezervoár kifejezés megértését. Ezek a vizsgálatok ha-sonlóak Jaeger (2001, 2002); Baier (2003); Molter et al. (2003, 2004, 2005)munkákhoz, kiegészítik azokat.Bels® reprezentá ió. Az a = f(a,x) leképezéseket tekintve, ahol a abels® reprezentá ió, x a küls® világ, az ESN jól be sl® rendszer az a → xrekonstruk ióban. A visszhanghálózatok sikeressége abból a tényb®l fakad,hogy bármely aktivitásvektor értéke adott id®ben (a(t = t0)) determinisz-tikusan függ a megel®z® a(t < t0) aktivitásoktól és x(t) küls® perturbá ióesetén x(t < t0)-tól is. A rendszer kauzális, memória-szer¶ jellegzetességeketmutat.Az x-szel perturbált visszhangháló m¶ködése közben bels® reprezentá i-óban követi a bemenetet. A bels® rendszer attraktora is vizsgálható. Azeredeti bemen® x jel attraktorának leképezésekor kauzalitás rejlik abban,hogy az egyenlet egy adott paraméter-mátrix együtteséhez (K,F és W) abels® réteg egy adott attraktora (fázistérbeli ponthalmaz) tartozik, melyegészen addig ugyanaz marad, amig 1) nem változtatjuk meg K-t, illetve2) nem változtatjuk meg az egyenletet, pl. úgy, hogy magát a perturbá ióstagot, Wx-et, változtatjuk. Egy perturbált, meghajtott rendszer bármely13

id®beli állapotában determinisztikus módon 'emlékszik' el®z® állapotaira, te-hát az el®z® bemenetekre. Ez úgy értend®, hogy az a aktivitás vektor id®beliállapotváltozás-szekven iája összeolvad a x meghajtó jellel reprezentá ió ér-telemben a jól ismert ESN tranziens után.A hálózat úgy van kialakítva, hogy a bemenet és a felejtés arányuljonegymáshoz, a σ nemlinearitás optimális tartományában egyensúlyozva azösszegekkel. Ha egy hosszabb perturbá ió érkezik, az aktivitásvektorok nem sak egyszer¶en a K által kijelölt módon önmagukba képz®dnek le saját,a kontrak ió miatt mindenképpen xpont típusú attraktoruknak megfele-l®en, hanem egy hajtó er®, a perturbá ió távolítja ®ket ett®l az attraktor-tól. A visszhanghálózatok gazdag dinamika-modellez® képessége a vonzó ésszéthúzó er®k megfelel® egyensúlyán alapszik. Hogy a rendszer ne lehessentúlvezérelt, azaz a σ nemlinearitás miatt ne telít®djön, disszipá ió vagy fe-lejtés szükséges. A x távolabbi id®pillanatokbeli értékei t-vel exponen iális sökken® mértékben meghatározóak. A visszhanghálók pre izitásának tehátegyik fontos tényez®je e jelenség. Még ha a véletlenszer¶en ini ializált Krekurrens kap solatai önmagukban, bemenet nélkül pörgetve sak xponto-kat, határ iklust alakítanának ki, a legtöbb fajta perturbá ió kizökkenti arendszert stabil attraktoraiból és körülötte kialakítja a bemenet reprezentá- iójára jellemz® attraktort, kaotikus jel esetén egy kaotikus attraktort, demás nemlineáris jellel való kombinálás is okozhat már káoszt.Hogyan tudjuk megmutatni az attraktor természetét kvantitatíve, azaz azegzakt (1.5)-s egyenletet használva σ(·) nemlinearitással? A következ®kbena feladat megoldásához két utat választunk. Az egyensúly az egyik esetbena mindent, de kevésbé pontosan irányba d®l: ha minden aktivitásvektor-komponensr®l szeretnénk informá iót, diszkretizáljuk az állapotteret. A má-sik eset a szokásos Poin aré-metszet, mely kevesebb komponensr®l vizuá-lisan áttekinthet® módon maximum 3-ról ad képet, azonban az állapottéradott esetben el®t¶n® különös attraktorainak fraktális szerkezetetét sak ittláthatjuk.Dinamikai rendszerek diszkrét állapottérrel. Be kell ismernünk, hogyigen nehéz vizuálisan plauzibilis állapotokat rendelni a egy bizonyos realizá- iójához, mert a folytonos tér végtelen lehetséges állapotot enged meg. Aszámítógépek numerikus pontossága határt szab ugyan e végtelen dimenzi-onalitásnak, azonban pl. 32 bites lebeg®pontos reprezentá ióban 232 ≈ 1010állapot vektorkomponensenként, tehát összesen 1010·C , C = dim(a) állapo-tot kell meg ímkéznünk az azonosításhoz, ami még mindig messze van attól,hogy kombinatorikusan követhet® legyen.Ahelyett, hogy elveszítenénk a talajt, a egy realizá iójához úgy rendelünk14

állapotokat, hogy a komponensek lehetséges Rσ = [−1, 1] folytonos értékkész-letét felosztjuk N számú intervallumra, ahol N nagyon ki si a korábbiakhozképest. Ezek után a rendszer állapota, azaz az aktivitás vektorok állapotaegyszer¶en egy kód, b. N-es számrendszerben vizsgálva b-t azzal az el®nnyeljár, hogy a helyiértékek megfelelnek az aktivitás komponenseknek (nyilvánfordított sorrendben), és bármely helyiértéken az a 0 ≤ i ≤ N−1, i ∈ N számáll, amely a sorszáma annak az intervallumnak, amelybe az adott aktivitáskomponens értéke esik:b =

C∑

i=1

L

(

ai + 1

2· N)

· N i−1, (1.10)ahol L(·) majdnem mindenhol a [·] egészrészfüggvény, értéke mindössze ai+12

·N = N-re nem N , hanem [·] − 1 = N − 1, hogy a legnagyobb értékekis a megfelel® helyiértékre kerüljenek. Az intervallumok tehát egyenletesenoszlanak el, alul zártak, felül nyíltak, kivéve a legutolsó, amely mindkét végénzárt.A b számot akár olyan B, C × N-es mátrixnak is elképzelhetjük, mely-hez egyszer¶ izomorzmusokkal jutunk. A mátrix sorai az aktivitáskompo-nensekre vonatkoznak, az oszlopok mentén az intervallumoknak megfelel®enbináris 1, ha a adott eleme beleesik, 0 ha nem az intervallumba.Tizes számrendszerben nyilvánvalóan illusztratívabbak a példák, így N-et vizsgálatainkban 10-nek választottuk, mely megfelel®en ki si a kezelhet®-séghez, de elegend®en nagy, hogy leírja az aktivitásállapotok változásánakgazdagságát.Bemutatunk két érdekes attraktort, egy kváziperiódikus és egy igen kao-tikus formát, a fent deniált diszkretizált, egydimenziós b állapottérben. Az1.6. ábra e két attraktor formáját mutatja be, b(t) id®fejl®dését és diszkrétid®vel metszett Poin aré visszatérési térképét.Meg kell jegyeznünk, hogy a b(t) állapotváltozó kaotikusságának pl. Lja-punov exponenssel mérhet® mértéke nem áll direkt összefüggésben a diszkre-tizá ióval, azaz N nagyságával. Találhatunk határ iklusokat pl. N > 100-rais megfelel® K-val.Az itt bemutatott diszkretizá ió elvében nagyon hasonlít Molter et al.(2003, 2004); Salihoglu (2004); Molter et al. (2005) munkákhoz. Molter et al.kutató soportban iklikus attraktorokat kódoltak állapotokként. Végs® ered-ményeink erre a pontra fognak majd satolódni, mint iklikus attraktorokmintázatában kódolt informá ió a 2.2.5. szakaszban.Az aktivitások saját fázisterükben. Bemutatjuk az aktivitásvektorokid®beli alakulását egy szokásosabb vizualizá ióval is. Az önhasonló szerkezet15

0 10 20 30 40 50 60 70 80 9010

1

102

103

stateflow

iterations

stat

e

101

102

103

101

102

103

poincare return map

state

stat

e+1

0 500 1000 1500 2000 2500 3000

1019.6

1019.7

1019.8

t

b

1019.6

1019.7

1019.8

1019.6

1019.7

1019.8

bt

b t+11.6. ábra. Diszkrétizált állapottér id®fejl®dése, Ma key-Glass id®sorral perturbálva avisszhanghálózatot. A fels® alábra az állapottér id®fejl®dését mutatja, az alsó ábrák azattraktorokat mutatják a mögöttük megbújó határ iklussal.szemléletesen ábrázolható az úgynevezett Poin aré-metszeteken (Poin aré-se tion), melyek a fázistér vizuálisan áttekinthet® dimenziószámú, általábanvonal vagy sík, metszetei. Ugyan a teljes fázistérben a trajektóriák nem met-szik egymást, önkényesen kiválasztott dimenziókban ez már nem lesz igaz.Ahogy említettük ekkor nin s szükség a fenti részleteket elmosó diszkretizá- ióra, azonban nyilvánvaló, hogy a tetsz®legesen választott néhány kompo-nensen kívülieket egyáltalán nem látjuk. Három és kett® dimenziós Poin aré-metszetet mutatunk az aktivitásvektorokról a 1.7. és 1.8. ábrákon.

-1

-0.5

0

0.5

1

-1

-0.5

0

0.5

1-1

-0.5

0

0.5

1

a1

a2

a 3

1.7. ábra. Poin aré-metszet ESN egy adott bels® hálózat K ini ializá iójával az els®három aktivitáskomponensr®l, bemenetként Ma key-Glass id®sort alkalmazva. Látható,hogy a kezdeti érték után a egy ideig bolyong az attraktor körül, majd a vonzásába kerülvemár azon marad. A rendszer természetesen más kezdeti értékek után is rááll az attraktorrarövid tranziens után. Paraméterek: a dimenziója 10, t ∈ [0, 500], kap soltság 7%.16

0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

a1

a 2

1.8. ábra. Poin aré-metszet a 1.7. ábrán bemutatott ESN-r®l. Az els® és másodikaktivitáskomponenst ábrázoljuk, ránagyítva az attraktor által elfoglalt fázistér-részletre.A teljes fázistér fontos része dadt

id®deriváltja, melyet diszkrét esetbenvizualizálhatunk például az id®ben periódikusan mintavételezett visszatérésitérképpel (Poin aré return map) egy-egy komponensr®l (1.9. ábra).

0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.6

a1(t)

a 1(t+

1)

1.9. ábra. Poin aré-visszatérési térkép az 1.7. ábrán bemutatott visszhangháló egyaktivitásvektor-komponensének id®beli alakulásáról. Az attraktor a fázistér egy korlátostartományát tölti ki. A hálózatot kaotikus MG id®sorral hajtottuk meg.17

2. fejezetA rejtett rekurrens réteg kritikusjelenségei2.1. Alkalmazott módszerekÁttekintés. Ebben a szakaszban bemutatjuk a visszhanghálózat kritikusjelenségeinek vizsgálatakor alkalmazott módszereket. A dolgozat végkövet-keztetéséhez (2.2.5-2.2.7. szakaszok) három fontos, a témában mer®ben újvizsgálat segítségével jutottunk. Az eredmények ok-okozati egymásrakövet-kezése szerint tagolva a kritikus jelenségek vizsgálatával a hálózatban a 2.1.2.szakasz foglalkozik, a kritikus ponttal összefügg® kaotikus attraktor megjele-nését (2.1.3. szakasz) mutatja be és az ez alapján várható el®rejelz® képes-ség kritikus pont körüli növekedésének elegend®en érzékeny tesztel® eljárása2.1.4. szakaszban kerül leírásra. A 2.1.1. szakasz mindezek el®tt rövidenbemutatja a hálózat által megtanulandó és el®rejelzend®, a Ma key-Glassegyenlet (Ma key and Glass, 1977) által generált folytonos id®sorokat. Meg-említjük, hogy egy korábbi munkánkban (Hajnal and Radi s, 2005) részle-tesen vizsgáltuk a hálózat el®rejelz® képességét a feladat nehézsége, mint aMa key-Glass id®sor Ljapunov-exponenseivel és bifurká iós pontokkal kvan-tikált kaotikusság függvényében, ezért jelen vizsgálódásainkban az MG id®-sorokat már supán teszt id®soroknak tekintjük.2.1.1. Késleltetett dieren iálegyenletek, Ma key-Glassid®sorokAMa key-Glass egyenlet a x(t) = f

(

x(t), x(t−τ)) általános alakú késleltetettparaméter¶ dieren iálegyenletek osztályába tartozik, melyet el®ször legz®-szervi és vérképz® betegségek dinamikájában használt Ma key and Glass:18

x(t) = −γx(t) +αx(t − τ)

1 + x(t − τ)β, (2.1)ahol bifurká iós β és késleltetési τ komplexitást befolyásoló paraméterek,és szokásosan α = 0.2, γ = 0.1. Az egyenlet végtelen dimenziós, a teljes

t ∈ [0 − τ, 0[ intervallumban meg kell adni a kezdeti feltételeket. A 2.1.ábrán egy tipikus diszkrét Ma key-Glass id®sort látunk.0 100 200 300 400

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

x(t)

τ=30

2.1. ábra. Ma key-Glass id®sor β = 10, τ = 30 paraméterekkel. E paraméterkombiná iókaotikus id®sort eredményez.Több szerz® vizsgálta a Ma key-Glass egyenletek diszkretizálását, e he-lyütt Farmer (1982) munkáját említjük els®ként, τ -függ® Ljapunov exponensszámítása tekintetében. Az alapprobléma a következ®. Bármennyi végesszámú mintavételi szakaszra osztjuk fel a [t− τ, t] intervallumot, nem mond-hatunk biztosat a fázistérbeli attraktor maximális dimenziójáról. Általábanaz a tapasztalat, hogy még a fenti értelemben végtelen dimenziós dieren- iálegyenlet kaotikus attraktora is ala sony dimenziós, ezért az egyszer¶ségkedvéért dolgozatunkban egész τ értékeket tekintve diszkretizáljuk a Ma key-Glass id®sort: a késleltetési id®intervallumot τ+1 mennyiség¶ [t−τ,t]τ

nagyságúszakaszra osztjuk.2.1.2. Kritikus jelenségekA zikából hosszú évtizedek óta ismert, hogy egyszer¶ mikroszkópikus egysé-gekb®l álló rendszerek együttesen új makroszkópikusan megfogható tulajdon-ságokat alakítanak ki. Tipikusan interdisz iplináris, divatos kutatási területlett az önszervez® összetettség, self-organising omplexity, szinte minden tu-dományágban találhatóak univerzális tulajdonságoknak megfelel®, skálafüg-getlen, vagy éppen kaotikus rendszerek. Ezek a kérdéskörök adott témától19

függ®en szorosabban-lazán egymáshoz köt®dnek, zikai leírásuk pedig ha-sonló. Így lehetséges az, hogy univerzális tulajdonságok (Feigenbaum, 1978)tapasztalhatók eredetüket tekintve különböz® 'anyagú' kritikus jelenségek-nél, mint fázisátalakulások, perkolá iók, növekedések, stb. A fázisok közöttiszimmetriaeltérések ugrásszer¶en következnek be, a mikroszkópikus változá-sok gyorsan skáláznak a teljes rendszerméretre. A fázisátalakulásokat, egyébkritikus jelenségeket behatároló kritikus pontok környékén a rendszerek ano-mális, divergens módon változtatják makroszkópikus tulajdonságaikat, pl.anomális fajh®, lambda átalakulás, kritikus lelassulás, stb.Dolgozatunk legfontosabb elméleti eredménye az, hogy kimutatta: a vé-letlen betöltéssel ini ializált nagy ritkaságú visszhanghálózatok az ini ializá-lás egyik strukturális paraméter, a konnektivitás id®fejl®dése szerint kritikusjelenséget produkálnak. Az alábbiakban bemutatjuk azt az új eljárást, amelysegítségével a rendparaméter, a tranziens utáni, nyugalmi konnektivitás kö-vethet® a folytonos változó, a kezdeti ini ializá iós konnektivitás függvényé-ben. Az els® lépés a disszipá ió megsz¶ntetése, a második pedig az ezáltalkialakulható nyugalmi konnektivitás vizsgálata.Függetlenítés a kontrak iótól. A (1.5), (1.6) egyenletek által leírt per-turbá iómentes visszhanghálózatokat stabil determinisztikus rendszerekneknevezhetjük. A perturbá iómentes disszipatív rendszer esetében a xpon-tok, mint stabil állapotok esete világos. Meglehet®sen nyilvánvaló, hogydisszipatív rendszerr®l van szó. A rekurrens kap solat operátora (K), Jaeger(2001) kritériumaival Lips hitz-kontrak ió. Küls® perturbá ió nélkül disszi-patív rendszerek valemely stabil állapotukba kerülnek a kezdeti állapottólfügg®en. Gondoljuk azonban meg, hogyan értelmezhet® a stabil állapotbakerülés! Igazából soha nem nyugszanak meg teljesen folytonos térben, hiszena stabil állapot exponen iális relaxá ióval közelít®dik, ahol az id®állandó pl.max norma esetében a legnagyobb λ sajátértéke a rekurrens operátornak. Haσ egy nemlineáris, általában szigmoid függvényt jelöl |a| < O(1)-re els®rend-ben közelíthetjük az egyenlet megoldását. Az alábbiakban nem tételezünkfel perturbá iót, azaz x = 0. Áttérve az (1.7) egyenlet folytonos verziójáravizsgáljuk a lineáris stabilitást:

da

dt= −µa + σ(Ka)

|a| ≈ e(−µ+λ)t(2.2)ahol λ K legnagyobb sajátértéke. Látszik, hogy µ = 1 teljes felejtés esetén(lásd 1.3.2. szakasz) K legnagyobb sajátértéke határozza meg a viselkedé-sét, melyet a gyakorlatnak megfelel®en < 1-nek választottunk: mindenképp20

kontrak iót a kapunk. Egyszer¶en fogalmazva az egyenlet egy adott para-métermátrixához (K) egy xpontsereg tartozik, melyek együttesen alkotjáka stabil attraktort. Már most megjegyezzük azonban, hogy ha megengedünk supa 0-t tartalmazó (k-adik) sort K-ban, akkor a hozzá tartozó ak kompo-nens a perturbá iómentes esetben már az els® iterá ió után egzaktul 0 lesz.Egy második, érdekesebb típusa az állapotváltozásoknak akkor válik lát-hatóvá, ha lemondunk a disszipá ióról, a visszhanghálózatok egyik lényegeshasználhatósági kritériumáról, azaz legyen most λ = 1. A fenti els®rend¶megoldás ekkor nem segít, mivel a korlátosságot, ||a|| ≤ 1-t azért tartanunkkell, melyet a levágó σ(·) függvénnyel érünk el. Ez a módosítás azonbanrendkívül lényeges, mert lehet®vé teszi, hogy elemezzük az aktivitások re-kurrens operátor általi önmagukban történ® id®fejl®dését hosszútávon. Abels® rendszer perturbá iómentes id®fejl®dése közelebb kerül így a pertur-bált rendszeréhez úgy, hogy az attraktorok mégis megtartják a sak a bels®rétegre jellemz® tulajdonságaikat. Azt tapasztaljuk, hogy stabil határ iklus,tórusz illetve kaotikus attraktorok is kialakulhatnak. Az ilyen nem-xpontattraktorú, térfogattartó (tehát nem kontrak ió) spe iálisan módosított di-namikájú bels® réteg különösen alkalmas arra, hogy modellezze, miért képesérzékenyen idomulni a visszhanghálózat a megtanult id®sor változásaira.Szeparáltuk tehát a rekurrens mátrix egy fontos kvantitatív hatását, akontrak iót, minden egyéb kvantitatív és kvalitatív hatástól, annak érde-kében, hogy sak ez utóbbiakat tanulmányozzuk. A módosítás eszközölésete hnikailag úgy néz ki, hogy valóban λ = 1 legnagyobb sajátértékre ská-lázzuk K-t. A teljesítménytesztek esetén pedig (2.1.4. szakasz) a szokásosλ < 1-gyel vizsgálódunk, Hajnal and Radi s (2005)-ben kimért, egyébkéntid®sor-átlagfrekven iától is függ® optimális λ = 0.9- el.A konnektivitás id®fejl®dése. Vizsgáljuk most meg az ilyen K rekur-rens operátor hatását több iterá ión keresztül, diszkrét id®lépéseket tekintve.Jelen pillanatban sak kvalitatív választ várunk a következ® kérdésre: az ak-tivitás vektor mely komponensei képez®dnek le az el®z® id®pillanatbeli at−1értékeikb®l az új at-kre. E szellemben módosítva (1.5)-et, a kvalitatív iterá ióaz

at = Kta0 (2.3)egyenletet adja. Elhagytuk tehát a σ(·) függényt, hiszen elegend® lineárisrendig fejteni, a nemlinearitás nem változtat az egzakt nullákon azokon amegmaradó nullákon, melyek a K ritkaságából következnek, azaz ahol vanegész sor 0 mátrix elem, a mátrixszorzás következtében az ahhoz tartozó avektorelem 0 lesz. Ez az a (2.3) egyenlet amelynek segítségével egy kisebb,húsz dimenziós példát tekinthetünk meg a 2.2. ábrán. Függetlenül a kez-21

21

2 4 6 8 10 12 14 16 18 20

2

4

6

8

10

12

14

16

18

202.2. ábra. A rekurrens mátrix, K egymás utáni többszöri hatásának operátora. AKt = Kt, t = 21, konnektivitás = 7% mátrix színkódolt értékei látszanak, a fekete 0mátrixelemet jelent.deti a0 aktivitás értékekt®l, a perturbá iómentes egyenlet további iterá ióisorán végül gyakran egy x értékek közötti ip-op jelleg¶ mozgást látunk apillanatnyi Kt mátrixban és következésképp az aktivitásvektorban is. Nyil-vánvalóan iklikus attraktorok közelítésér®l van szó, emlékezzünk rá, hogymost már K legalább egy a komponensre nem kontrak ió.Az ESN ar hitektúra leírásánál a 1.3. szakaszban említettük, hogy Baierand De Feo (2004) komputá iós kísérleti munkája alapján létezik kvantita-tíve is behatárolt optimális sejtszám függ® konnektivitás. Ez az optimuma itált szerz®k és saját elképzelésünk szerint is azt jelenti, hogy id®beli és'térbeli' klaszterek alakulnak ki, azonban tudomásunk szerint senki nem vizs-gálta még e klasztereket. A 2.2. ábrán látható módon a térbeliség alatt a vi-lágosan elkülöníthet® aktív mátrixelemek értend®ek. Id®beli klaszterezettségalatt pedig azt értjük, hogy bizonyos mátrixelemek megengedik a következ®iterá ióban az aktivitásvektor-komponensek leképez®dését egyrészt saját ma-gukra is, másrészt más komponensekre is az o-diagonális mátrixelemek mi-att. Sejtésünk az volt, hogy optimális az id® és térbeli klaszterezettség, haezek néhány egymásra következéses iklus vagy kaotikus, átlagos megfele-lés közben kialakítják azokat az aktív rejtettréteg komponenseket, melyekbizonyos id®beli mintázatban folytonosan laza, de konstans hányadát alkot-ják a teljes rejtett rétegbeli aktivitásvektor komponenseinek. Mint a 2.2.5.szakasztól látni fogjuk, optimális hálózatra ennél még több is igaz.A továbbiakban a rekurrens réteg konkrét szerkezetét, tehát hogy melyelemek vannak betöltve a K mátrixban topológiának fogjuk nevezni. Vilá-gos, hogy a visszhanghálózat kutatásában megkezdtük a topológikus kérdé-sek tárgyalását, azonban egyel®re sak egy következmény jelleg¶ paraméterrelvizsgáljuk hatását. 22

Mindezek alapján a konnektivitás (p) id®beli változása (pt) a következ®módon számolandó (2.3)-ból, bármely t id®pillanatban Qt-val jelölve a Ktmátrix betöltöttségét (nem 0 elemeinek számát), és C-vel az a aktivitásvektordimenzióját:pt =

Qt

C2=

∑

ij g (Kij 6= 0)

C2, (2.4)úgy, hogy g értéke 1, ha a hasában lev® kifejezés igaz, egyébként 0. Az id®bentörtén® fázisátalakulás során x t-vel pt-t tekintjük tehát rendparaméternek,a folytonos változó pedig p0, a kezdetben meghatározott konnektivitás.A kapott eredményeinket a 2.2.1. szakaszban tárgyaljuk. A következ®2.1.3. szakaszban viszont tovább haladunk sejtéseinket igazolandó eljárá-sok leírásában. A Ljapunov exponens a visszhanghálózat bels® dinamiká-jára nézve bizonyítja azt az egyébként univerzális jelenséget, hogy a kritikuspont közelében egyes dinamikai rendszerek kaotikussága feler®södik (edge-of- haos).2.1.3. Ljapunov exponensA visszhangháló bels® rekurrens rétegének id®fejl®dése, mint dinamikai re-zervoár már Jaeger (2001) munkájában megfogalmazódott. A Jaeger (2002);Baier (2003); Baier and De Feo (2004) vizsgálatok már eleve a vissza satoltdinamikai rendszer attraktorait vizsgálják. Azonban minden esetben a meg-hajtó jel és a hálózat együttm¶ködéséb®l alakult egyenletek alapján (lásderr®l az 1.7-1.9. ábrákat az 1.3.3. szakaszban), így nem tudnak általánosérvény¶ kvantitatív eredményeket hozni. Dolgozatunk második fontos mé-rési eredménye, hogy bizonyítja, a kritikus konnektivitás környékén randomtopológiával ini ializált rendszer egyre inkább megközelíti a határ iklus att-raktorokat és valóban kifejezhet önmagában, mindenféle bemenet nélkül iskaotikus attraktorokat. Az alábbiakban áttekintjük, hogy milyen módszertalkalmaztunk e jelenség mérésére.Alapvet®en az ergodikus és kevered® folyamatok mutatnak kaotikus tulaj-donságokat. A visszhanghálózat a véletlen rejtett rétegbeli K kap solatmát-rix ini ializálással és a levágó szigmoid függvénnyel éppen ilyen dinamikávalrendelkezik.Kaotikus dinamikai rendszerek id®fejl®dése kezdeti érték függ®. A fázistéregy adott x(0) pontjából indulva x(t) = f t (x(0)) leképezéssel a determinisz-tikus f id®fejl®dés operátor segítségével egyértelm¶en meghatározhatjuk azadott trajektóriát. A kaotikusság mértéke meghatározható a találóan alko-tott λ Ljapunov exponenssel, mely dení ió szerint azt mondja meg, hogymennyi két, eredetileg végtelen közeli pont eltávolodásának karakterisztikus23

ideje,|δx(t)| ≈ eλt|δx(0)|, (2.5)azaz 1/λ. A Ljapunov exponens tehát értelmezhet® a kezdeti feltételekrevaló érzékenység, vagy az el®re jelezhet®ség fogalmakkal is.Többdimenziós esetben az x(0)+δx(0) pont id®ben innitezimális transz-formá ióját kifejezhetjük Taylor-sorának lineáris tagig való kifejtésével, azels®rend¶ tag az id®fejl®dés operátora, a Ja obi mátrix,

δx(t) = Jt(

x(0))

δx(0), J tij =

∂x(t)i

∂xj

∣

∣

∣

x=x(0), (2.6)tehát ortonormált bázisú értint®teret keressünk. A t = 1 érték¶ J1 = Jegylépés-operátorral kifejezhet® az id®fejl®dés: Jt+1 = J Jt, mely mátrixreprezentá ióban szorzás.Hogyan képzeljük el a Ja obi mátrix hatását? Gondolhatunk arra, hogy

x(0) innitezimálisan közeli szomszédait (környezet) tartalmazó ||δx(0)|| su-garú gömb a transzformá ió során ellipszoiddá torzul. F®tengelyeinek irányaiJ sajátvektorai, λi sajátértékei pedig megadják a trajektórián való el®rehala-dás közben a trajektóriák egymáshoz viszonyított innitezimális elmozdulásisebességét. E sajátértékek a Ljapunov exponensek.A fázistérbeli trajektóriák lokális (a fázistér egy pontját megadja az x(0), tpár is, lokális környezetének pontjai az x(0) + δx(0)-ek) stabilitása a kö-vetkez®képpen osztályozható. Az i-edik sajátvektor irányában, ha λi < 0,kontrak ióról beszélünk (az attraktorok xpontok), λi = 0 változatlan tra-jektórias¶r¶séget jelent (az attraktorok stabil határ iklusok), míg λi > 0a trajektóriák szeparálódnak (attraktorok különleges (strange) attraktorok).Áttekinthet® a kvalitatív soportosítás 2.1. táblázatban, MG id®sorokkalpéldázva a 2.3. ábrán. A dení ió alapján világos, hogy lokális kaotikustulajdonságot mutat egy id®sor, ha ∃i, λi > 0.

maxi λi attraktor típusa< 0 xpont= 0 iklus> 0 különös (káosz)2.1. táblázat. A legnagyobb Ljapunov exponens által meghatározott attraktorok.Egy egyszer¶ módja a Ljapunov exponensek meghatározásának, ha a di-namikai rendszer fenti id®fejl®dést okozó Ja obi mátrixából indulunk ki (Wolfet al., 1985). Dolgozatunkban Ljapunov exponensek számolása numerikusúton történ® integrálással, az értint®térre viv® Ja obi-operátor QR faktori-zá iójával, Hubertus et al. (1997) módszere alapján történt. Hogy statisztikai24

0 100 200 300 4000.9

0.95

1

1.05

1.1

1.15

x(t)

τ=4.5

0 100 200 300 4000.4

0.5

0.6

0.7

0.8

0.9

1

1.1

1.2

1.3

x(t)

τ=15

0 100 200 300 4000.2

0.4

0.6

0.8

1

1.2

1.4

1.6

x(t)

τ=30

0.95 1 1.05-0.01

-0.005

0

0.005

0.01

x(t)

dx(t

)/dt

0 0.5 1 1.5-0.1

-0.05

0

0.05

0.1

x(t)

dx(t

)/dt

0 0.5 1 1.5-0.1

-0.05

0

0.05

0.1

x(t)

dx(t

)/dt

2.3. ábra. Ma key-Glass id®sor kaotikus attraktorai a τ paraméter függvényében, és ahozzájuk tartozó id®sorok (xpont, iklus, kaotikus).értelemben elegend®en leképezzük a fázisteret, sok különböz® kezdeti felté-tellel, azaz kezdeti konnektivitással (p), iterálunk (tér-átlagolás). Éppen anemlinearitási tulajdonság miatt van erre szükség, hiszen a különleges att-raktorok szinguláris jelelg¶, nem egyenletes eloszlásúak, fraktálok. Továbbáa kritikus pont környékén divergens módon növekszik a valószín¶sége szél-s®séges Ljapunov exponens¶ hálózatoknak, részben a számolás numerikusinstabilitása (id®beli átlagolás hossza) okán is, ahogy majd a 2.2.2. és 2.2.4.szakaszban látni fogjuk.El®ször tehát a diszkretizált (1.6) egyenlet perturbá ió mentes (2.2) válto-zatának Ja obi mátrixát határozzuk meg. A C dimenziós bels® a aktivitásokváltozása:dat+1 = Jdat, (2.7)ahol J az egylépés-Ja obi mátrix. Kiírva a deriválásokat

Jkl =d (tanh (

∑

i Kliai))

dak

=

=

(

1 − tanh2

(

∑

i

Kliai

))

·∑

m

Klmδkm =

=

(

1 − tanh2

(

∑

i

Kliai

))

· Klk,

(2.8)ami tehát egy KT alapú mátrix, melynek oszlopai meg vannak szorozva a25

bal oldalon álló taggal, azaz l Kliai-ban is a minden oszlopban végigfutóelemindex.A legnagyobb Ljapunov-exponens általában egyedül elegend® a kaotikus-ság egyszer¶ jellemzéséhez, egyrészt azért, mert rövid id® után a legnagyobbjárulékot ez adja, másrészr®l az ala sony dimenzió rendszerint azzal jár, hogya második Ljapunov-exponens már kisebb 0-nál.2.1.4. El®rejelz® képesség tesztDolgozatunk harmadik fontos eredménye az, hogy az el®bbiek egyenes követ-kezményeként igazolja azt a sejtést, hogy ha sikerül ini ializáláskor a kritikuspont közelébe kerülni, akkor a rendszer el®rejelz® képessége növekszik. Ennekokát az el®z® szakaszban bemutatott Ljapunov exponenst számoló módszer-rel fogjuk látni: a bels® rekurrens réteg attraktorainak dinamikai rezervoárjellege b®vül, kaotikussá, kaotikusabbá válik. Az alábbiakban az el®rejel-zési képesség érzékeny mérésére mutatunk be a 2.1.2. szakaszhoz hasonlóanszintén saját fejlesztés¶ eljárást.El®rejelzési hibafüggvény. A 1.3. szakaszban (12. oldal) tárgyaltuk,hogy milyen módon tanítható, valamint hogyan kell futtatni memória el®-hívó ill. el®rejelz® módon a visszhanghálót. Emlékeztet®ül: a (1.5)-(1.8)egyenletekben a kimenettel be süljük a küls® id®sort, x = y, és mindenid®pillanatban ezt a be sült értéket satoljuk vissza. Ily módon a következ®-képpen alakul az iterá iós egyenlet:xt = Fat = F

(

σ(Kat−1 + Wxt−1))

. (2.9)Már a tanítás során is négyzetes hibát minimalizáltunk (visszautalunkmég a bevezet® fejezet 1.2.1. szakaszára a 4. oldalon), így kézenfekv®, hogya be sült és a tényleges id®sor közti különbséget pontonkénti eltérések négy-zetes átlagával (Mean Squared Error, lásd még. pl. Ljung, 1999) fejezzükki.ε(t) =

(

x(t) − x(t))2

. (2.10)A több mint egy pontra el®re jóslás sikerességét ezen ε(t) függvény id®, ésegynél nagyobb dimenzió esetén x komponenseire való átlagával vagy egy-szer¶ összegével vizsgálhatjuk. Annak érdekében, hogy az el®rejelzés kezde-tét®l számítva távoli, kaotikus dinamikából fakadó exponen iális divergen iamiatt már pontosan visszadni nem tudó be sült x(t) id®sor által okozottmegnövekedett hibákat kompenzáljuk (2.10)-et meghatározott szakaszra t-vel exponen iálisan le seng® módon átlagoljuk, γ-val el®re meghatározva a26

vizsgálni kívánt jóslási hosszt:E(T1, T2) =

⟨

e−t−T1

γ · ε(t)⟩

t=T1...T2Ugyan korábbi vizsgálatainkban (Hajnal and Radi s, 2005) így használtuk,divergens kritikus pontok közelében ez sem bizonyult elegend®en érzékeny-nek, ráadásul nehéz meghatározni, hogy mely γ-kkal érünk el optimális sz¶-rést egy adott id®sor-komplexitásnál, esetünkben pl. a (2.1) MG egyenletbenτ egy adott értékénél.Ehelyett a vizsgált mennyiségünk a jóslási hossz, mely azt mutatja meg,hogy mi az a ζ-val jelölt id®intervallum, amennyit még úgy tudja x-et el®re-jósolni, hogy a rákövetkez® T id®egységen átlagolt ε eltérésfüggvény értékenem ér el egy küszöb értéket, Θ-t. Ha ugyanis ezt meghaladja, akkor úgytekintünk a rendszerre, hogy képtelen visszakerülni az eredeti trajektóriára:

ζ(tv) = arg maxτ

(〈ε(tv + τ + t)〉t=1...T ) < Θ, (2.11)ahol τ a próbált egyre növekv® predik iós hossz, tv a vissza satolás kezdeté-nek id®pontja, és T az átlagolási id®intervallum, t az átlagolás futó indexe.Tapasztalataink szerint ez a mennyiség kiválóan m¶ködik, és el®nye aγ-le seng® módszerrel szemben, hogy a rejtett réteg dinamikai reprezentá- iós poten iálját teljes mértékben kihasználja. A küszöbértéknek, Θ-nak xértékkészlete nagyságának 1%-át választottuk, valamint a T átlagoló id®in-tervallumra T/γ ill. T/α = O(2) (a MG egyenlet felejt® ill. vissza satolóid®konstansainak százszorosa, azaz az átlagos periódushosszal összemérhet®id®tartam). Szemléletesen ez azt jelenti, hogy ha átlagosan 1%-nyira tévedel egy hullám alatt a be sült kimenet a valódi id®sortól, akkor leállítjuk a(2.9) vissza satolt iterá iós egyenletet, és a vissza satolás kezdete óta elteltid®lépések (2.11)-beli τ számát tekintjük ζ-nak. Példaként tekintsük a 2.4.ábrát, melyben két eltér® ζ predik iós hosszúságú teszteredményt látunk, azid®sorok mellett az ε(t) pontonkénti hibafüggvénnyel.A 2.2.3. szakasz értelmezéséhez még két dení iót kell el®rebo sájtanunk.Várható minimális jóslási hossz és várható maximális jóslási hiba hálózatokegy x ini ializá iós paraméterével generált statisztikai mennyiség¶ hálózatesetén el®fordult legkisebb jóslási hossz ill. legnagyobb jóslási hiba értékeketjelenti.2.2. EredményekÁttekintés. Eredményeink bemutatása következik. A kritikus pont léte-zésének felismerése (2.2.1. szakasz) után kritikus pont közeli hálózatok el®-rejelz® képességének nagyságrendes javulását bizonyítjuk (2.2.3. szakasz),27

1450 1500 1550 16000

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

t

MG

1450 1500 1550 16000

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

t

MS

E

1450 1500 1550 1600 16500

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

t

MG

1450 1500 1550 1600 16500

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

t

MS

E

2.4. ábra. A bal oldali két ábrán Ma key-Glass id®sorokat látunk (szagatott), melyeketvisszhangháló közelít. A jobb oldali két ábra ezek ε(t) pontonkénti négyzetes eltérésfügg-vénye. Az ESN színek jelentése a következ®, balról jobbra. A zöld szakasz vissza satolásax eredeti Ma key-Glass egyenlet (ez tehát egy pontra el®re jóslás), a bíbor szakasz a (2.11)kritériummal sikeresnek ítélt ζ predik iós intervallum, mely t = tv-vel kezd®dik. A kékszakasz már ezen túl van, látható, hogy a kimeneti jel más fázisba, frekven iához (fent) ill.trajektóriára (fent és lent) került, mint az eredeti id®sor. A fels® és az alsó ábra ugyanazontopológiájú hálózat jóslását mutatja, a MG id®sor más más szakaszán (a t index a tanításiablaktól számozódik, azért egyezik).összefüggésben a határ iklus és ritkán kaotikus attraktorok gyakoribbá vá-lásával (2.2.2. szakasz). A kritikus pont kimérése után (2.2.4. szakasz)elméleti úton bizonyítjuk pontosságát, és bemutatjuk az új tipusú visszhang-hálót, mely bizonyos topológiai megszorításokkal egzaktul a kritikus pontbantalálható. Emiatt kritikus, m¶ködési módja szerint pedig iklikus vagy kom-binatorikus visszhanghálózatnak (CESN) nevezzük el (2.2.5. szakasz).2.2.1. A kritikus pont felismeréseA 2.1.2. szakaszban tárgyalt módon a (2.3) egyenlet segítségével meghatá-roztuk visszhanghálózatok bels® rétegének id®fejl®dését (pt). A 2.5. ábránlátható módon egy rövidebb tranziens után beáll egy nyugalmi pt = onstérték, melyet p∞-nek nevezünk. 28

0 10 20 30 40 500

0.2

0.4

0.6

0.8

1

t

p t

2.5. ábra. A p konnektivitás (rekurrens mátrix Q nem nulla elemeinek száma osztva aC2 méretével) id®fejl®dése különböz® hálózatméreteknél a (2.3) egyenlet iterálásával. Akezdeti p0 értékb®l pt eltér® p∞ végállapotokba konvergál. Hasznos mennyiség lesz kezdetiés végs® állapot eltérésének aránya, p∞/p0.

0 0.05 0.1 0.15 0.20

0.2

0.4

0.6

0.8

1

p0

p ∞

1020406080100120140200400

0 0.005 0.01 0.015 0.020

0.2

0.4

0.6

0.8

1

p0

p ∞

2.6. ábra. A konnektivitás id®fejl®désének fázisátalakulása különböz® hálózatméreteknél.Az ábrákon p0 a kezdeti, p∞ a végállapotbeli konnektivitást jelöli. Ez utóbbit t = 50iterá ió után határoztuk meg, a (2.3) egyenlet alapján (lásd a fenti 2.5. ábra els® és utolsót-hez tartozó értékei). Jobb oldalon a bal oldali ábra absz isszáján egy nagyságrendnyitnagyítottunk a nagyobb C hálózatméretek tartományához. A hálózatméret színkódolásmindkét ábrára érvényes, a nagy C-khez tartoznak a meredekebb és keskenyebb, 0-hozközelebbi baloldali görbék.A kritikus paraméter tehát a 2.6. ábrán láthatóan p∞ viszonya p0-hoz.Sejtésünknek megfelel®en a p∞ < p0 → p∞ > p0 átbillenés a fázisátalaku-lás. Tekinthetünk e fázisátalakulásra perkolá ió módon is, talán ez a jelenségszemléletesebb. A kritikus intervallum el®tt id®vel az összes aktivitás elt¶-nik, utána minden komponens aktív lesz. Nyilvánvaló, hogy egyik széls®ségesvégállapot sem alkalmas informá iókódolásra, ahogyan ez korábbi visszhang-hálózatokkal foglalkozó munkákban mind kísérletileg bizonyítva is van (lásd29

pl. Baier and De Feo, 2004).Sejtésünk az volt a kutatás ezen szakaszában, hogy a topológiát nemtekintve várhatóan p∞ = p0 az optimális konnektivitás, azaz p∞/p0 = 1,hiszen ekkor id®ben nem változik az aktív komponensek száma. A következ®2.2.2. és 2.2.3. szakaszokban bemutatjuk, hogy sejtésünk beigazolódott.2.2.2. Határ iklusok közelítése, káosz kialakulásaA 2.1. szakaszban logikus vizsgálati sorrendben az esetleges kaotikus jelensé-gek felderítése következik. Kiszámoltuk a legnagyobb ljapunov exponensekettöbb C bels® réteg méretre, azonban körültekint®en kellett eljárnunk a há-lózatok generálásánál: gyelembe vettük a 2.2.1. szakasz eredményeit. Egy-fajta Monte-Carlo módszert alkalmaztunk: a kap soltsági hányados fázisát-alakulási képén (2.6. ábra) kijelölt kritikus pontok körül nagy valószín¶séggelgeneráltunk K rekurrens mátrixokat, hogy az érdekes, ritka kongurá iókatmegtaláljuk.A 2.7. ábrán két dolgot gyelhetünk meg. Az egyik, hogy a kritikus pontkörül vannak pozitív legnagyobb Ljapunov kitev®j¶ bels® réteg kongurá iók,els® ránézésre egyértelm¶en jelezve káosz kialakulását a bels® dinamikában.A másik érdekes statisztikai jelenség, hogy a generált hálózatok zöménekugyan negatív marad a legnagyobb Ljapunov exponense, de nagyobb való-szín¶séggel közelít 0-hoz, azaz a x-pont attraktorok helyett határesetben iklusok jelenhetnek meg. Ez azt jelentheti, hogy jóval könnyebben képesmár kis perturbá iókra is átbillenni a kaotikus tartományba a dinamikai fo-lyamat, könnyebben hozzáférhet®vé téve ezáltal Jaeger-féle kifejezéssel élve a 'dinamikai rezervoárt'.2.2.3. Az el®rejelz® teljesítmény szignikáns emelkedésea kritikus pont környékénKövetkez® feladatunk annak igazolása, hogy a kritikus pont környékén érzé-kenyített hálózat a fentiek alapján valóban jobb el®rejelz® képesség¶. Kuta-tásunk ezen kísérleti eredménye látványosan alátámasztja az el®z® két szakaszelméleti sejtéseit, és felveti a kritikus hálózat megtalálásának lehet®ségét.A 2.1.4. szakaszban deniált ζ el®rejelzési hosszt, valamint ezen interval-lumon mért átlagos négyzetes hibát mértük különböz® hálózatoknál, mind-egyikre λmax = 0.9 legnagyobb sajátértéket beállítva. További paraméterek:µ = 0.3 (1.7)-ben, a szivárgó integrálás kitev®je, az MG egyenlet mintavéte-lézési frekven iája 10/id®egység. Sehol nem alkalmaztunk sem zaj alapú sta-bilitázálást, sem konstans bemeneti bias-t. Elhagytuk (1.6)-nak megfelel®en30

0 0.01 0.02 0.03 0.04-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

p0

legn

. lja

puno

v ex

pone

ns

C 100

0 0.5 1 1.5 2 2.5 3 3.5-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

poo

/p0

legn

. lja

puno

v ex

pone

ns

C 100

0 0.002 0.004 0.006 0.008 0.01 0.012-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

p0

legn

. lja

puno

v ex

pone

ns

C 400

0 1 2 3 4-0.1

-0.08

-0.06

-0.04

-0.02

0

0.02

poo

/p0

legn

. lja

puno

v ex

pone

ns

C 400

2.7. ábra. Ljapunov exponensek a kritikus pont körül. Figyeljük meg, hogy a kritikuspontban egyrészt megjelennek nagyon negatív és pozitív Ljapunov exponensek is, másrészta medián környéki negatív kitev®j¶ek is közelebb vannak 0-hoz. Az észrevételek jobbanlátszanak a 2.8. eloszlásgörbén.a kimeneti nemlinearitást, sak pozitív rejtettréteg mátrix komponenseketkészítettünk, valamint a be satoló W mátrixot (ami esetünkben x(t) ≡ x(t)egy dimenziós volta miatt valójában oszlopvektor) konzisztens módon fels®fele 4/C, alsó fele −4/C értékekkel töltöttük fel, ahol C a dimenziója, arejtett réteg mérete. Ezen paraméterek minden tesztnél megegyeztek.Egyetlen MG egyenlet (τ = 17, gyengén kaotikus) egyetlen pontjábólindított, 3000 ponton tanított, és 1500 pont hosszú szakaszon xt−1 vissza sa-tolással kialakult kimeneti id®sor (2.4. ábra zöld szakasz) további, immárteljesen xt−1 vissza satolással történ® predik ióját (bíbor és kék szakasz)vizsgáltuk az összes generált hálózatnál. Erre az egységesítésre azért voltszükség, mert így tudtunk sak azonos feltételt biztosítani minden hálózat-hoz. Megvizsgáltuk a 17-es MG véletlen pontjaiból indítva is ζ-t, azonban atúlságosan nagy szórás elfedte volna eredményeinket, le kellett sz¶kíteni a va-riált paraméterek számát, a kutatás ezen szakaszában tehát megmaradtunk31

-0.1 -0.05 0 0.05 0.10

0.05

0.1

0.15

0.2

0.25

legn. ljapunov exponens

rel.

gyak

.

100 k100 r140 k140 r400 k400 r

2.8. ábra. Ljapunov exponensek növekedése a kritikus pont körül. Különböz® nagyságúhálózatokban a teljesen véletlen ini ializáláshoz képest (szagatott vonal, x, r) a kritikuspont közelében in ializált hálózatoknál (folytonos vonal, pontok, k) a legnagyobb Ljapunovexponens értéke a numerikus instabilitás miatt általánosságban jobban szór (az eloszláslaposabb), pl. el®fordulnak extrém ala sony, akár −30,−40-es, illetve az eloszlás fels®farka átlóg a pozitív Ljapunov exponensek tartományába. Azonban a legnagyobb valószí-n¶séggel (az eloszlás grakon sú sa) generált hálózatok átlagosan jelent®sen közeledneka 0-hoz. Megnövekszik tehát a stabil határ iklus és kaotikus attraktorok gyakorisága.az említett egy konkrét id®szekven iánál. A 2.2.7. szakaszban kísérletilegis igazoljuk majd, hogy ez a sz¶kítés nem befolyásolja eredményeink általá-nosíthatóságát, mivel a konkrét topológiájú hálózatok minden körülményekközött hasonló eloszlással jósolnak.A numerikus kísérletek kimenetelét úgy foglalhatjuk össze, hogy a kriti-kus pont körül kisebb és nagyobb egyel®re tetsz®leges: véletlen topológiájú hálózatoknál egyaránt biztosabbá válik az el®rejelzés. A sikeres interval-lumban (2.4. ábra bíbor szakasz) az el®rejelzési hossz várható minimumamegnövekszik, a jóslás hibájának várható maximuma pedig le sökken (2.9.és 2.10. ábra).Igen gyelemreméltó, hogy C > 100 hálóméreteknél lényegében nin sen20 − 25-nél kevesebbet el®rejelzni tudó kritikus érték közelében lev® háló,és az el®rejelzés várható hibája meglehet®s biztonsággal nem haladja meg akritikus ponttól távolabbi háló várható maximális hibájának harmadát (C =100-nál 0.004) hatodát (C = 400-nál 0.002). Áttekinthet®ek az eredményeka relatív gyakoriságokat összehasonlító hisztogrammokon (2.10. ábra).Az eddigi eredmények azt sugallják, hogy minél közelebb kerülünk a kri-tikus ponthoz, annál sikeresebb hálózatok is el®fordulhatnak nem sak a vár-ható minimális jóslási hossz, ζ értelmében, hanem konkrétan extrém hosszúζ-kkal.Két nyilvánvaló ok miatt azonban az eddigi hálózat-ini ializálási móda kritikus pont közelében nem hatékony, nem biztonságos. Egyértelm¶en32

0 0.01 0.02 0.03 0.040

50

100

150

200

p0

ζ, C

100

0 1 2 30

50

100

150

200

poo

/p0

ζ

0 0.01 0.02 0.03 0.040

0.002

0.004

0.006

0.008

0.01

0.012

p0

MS

E

0 1 2 30

0.002

0.004

0.006

0.008

0.01

0.012

poo

/p0

MS

E

0 0.005 0.010

50

100

150

200

p0

ζ, C

400

0 1 2 3 40

50

100

150

200

poo

/p0

ζ

0 0.005 0.010

0.002

0.004

0.006

0.008

0.01

0.012

p0

MS

E

0 1 2 3 40

0.002

0.004

0.006

0.008

0.01

0.012

poo

/p0

MS

E

2.9. ábra. El®rejelzési hossz (ζ) és jóslási hiba (MSE) a kritikus pont körül.33

0 50 100 150 200 250 300 3500

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

ζ

rel.

gyak

.

100 k100 r140 k140 r400 k400 r

0 0.002 0.004 0.006 0.008 0.01 0.012 0.0140

0.2

0.4

0.6

0.8

1

MSE

rel.

gyak

.

100 k100 r140 k140 r400 k400 r

2.10. ábra. El®rejelzési hossz (ζ) és jóslási hiba (MSE) eloszlásának kritikus javulása.Három hálózatméretben látható, hogy a teljesen véletlen ini ializáláshoz képest (szagatottvonal, x, r) a kritikus pont közelében in ializált hálózatoknál (folytonos vonal, pontok, k) ajóslási hossz várható minimum értéke növekszik (az eloszlás grakon sú sa magasabb ζ-kfelé tolódik). Ezzel egyid®ben a jóslás hibájának várható maximuma sökken (az eloszlásgrakon farka közelebb húzódik az MSE 0 értékhez).er®sebben szór a Ljapunov exponens (2.8. ábrán látható, hogy szélesedikaz eloszlás), és az el®rejelzési hossz ugyan minimum értékben n®, de felfeléváltozatlanul szór (2.10. ábra). Az egyik ok amiért ez történik az, hogy a há-lózatmérettel, C-vel növekedve a pt(p∞) függvény egyre meredekebben sapát p∞ < pt- ból p∞ > pt-ba (gyors a fázisátalakulás, lásd 2.6. ábra), így közelkritikus értéken maradó p∞-k mellett a véletlenszer¶ ini ializálás mindkét fá-zisba tartozóakat is jelent®s számban produkál. Az instabilitás érthet® még akonkrét K topológia ismerete nélkül is, hiszen ez önmagában is a kritikus je-lenségek egyik jellemz®je. De nyilvánvalóan arról van szó, hogy számszer¶enazonos p0-aknál a kap solatok igen eltér®ek lehetnek K-ban, a kritikus pontkörnyékén a legkisebb topológiai változtatás is fázisátalakuláshoz vezethet.2.2.4. A kritikus pont pontosabb meghatározásaNagyobb mintaszámon meghatároztuk különböz® C hálózatméreteknél a kri-tikus pontokat (2.11. ábra, 2.2 táblázat). Az átlagolásba került pontokfeltétele az volt, hogy közel legyenek egymáshoz kezd® és tranziens utánikonnektivitásuk: |p∞−p0| < Θ√C, és Θ-t 0.02-nek választottuk. A határértékilyen módon a C-függ® fázisátalakulás meredekséget kompenzálva egyenletes,

C-független mintaszámot adott.Az ábrákon látszik, hogy hatvány-összefüggés van a hálózat mérete és akritikus pont között. Logaritmikusan transzformálva a legkisebb négyzetekmódszerével egyenest illesztettünk, mely visszatranszformálva dolgozatunkegyik fontos téziséhez vezet el: 34

0 100 200 300 400 5000.002

0.004

0.006

0.008

0.01

0.012

0.014

0.016

0.018

C

p c=p ∞

krit

ikus

pon

t

102

10-2

C

p c=p ∞

krit

ikus

pon

t

2.11. ábra. A kritikus pont pc = p0 = p∞ összefüggése a C hálózat mérettel. Akritikus konnektivitás hatványfüggvénnyel, illetve akár pc = 1

Cfüggvénnyel közelíthet®.Az illesztést a 2.3. táblázat második sora szerint, a 4 nagyobb hálózatméretre végeztük.

C N pc kritikus konnektivitás [% 95% konf. int.[%60 46 1.530% ±0.108%80 50 1.113% ±0.070%100 34 0.934% ±0.064%120 40 0.817% ±0.044%140 45 0.700% ±0.034%200 46 0.502% ±0.020%400 29 0.243% ±0.010%2.2. táblázat. Kritikus pc konnektivitások a hálózat C méretének függvényében. N akritikus pont megállapításához használt mintaszám, a hozzá tartozó konden ia interval-lumok a 2.11. ábra bal oldalán vannak bejelölve.pc = bCs

Qc = bCs+2 (2.12)Természetesen a Q betöltési számot is vizsgálhatjuk, mely C2 szerese a pkonnektivitásnak. A 2.3. táblázat két adathalmazból számolt paraméterér-tékeket mutat1.1A (2.12) hatványfüggvényben a hiba az exponen iális és logaritmikus függvényeknekmegfelel® s és b par iális deriváltakkal, 1-normával propagálva:∆s =

δpc√N

=∆pc√Neln pc

,

∆b =

(

δpc + max(C)s ∆s

s

)

b.

N a gyelembe vett pontok száma, a 2.3. táblázatban a zárójelben lev® szám. C hibája0, hiszen konkrét egész értékeket választottunk, b hibájában C-kb®l a hatványfüggvény35

felhasznált hálózatok s b60-400 (7) −0.95 ± 0.18 0.76 ± 0.14120-400 (4) −1.00 ± 0.11 1.01 ± 0.112.3. táblázat. A (2.12) egyenlet s kitev®je és b szorzója hibákkal. Az els® oszlopbanzárójelben a felhasznált hálózat soportok száma, mely a 2.11. ábrán látható, hálóméretszerint összevont pontok számát jelenti.A sak a kritikus pontok megállapítása tekintetében kisebb hibát mutatóC ≥ 120 hálózatokból számolt második sor alapján elképzelhet®, hogy akára pc = 1

C, valamint Qc = C egyenletek is érvényesek lehetnek, s = 1, b =

1 módon. Ez azt jelenti, hogy az a aktivitásvektorok dimenziója egzaktulegyenl® az ini ializáláskor betöltend® elemek kritikus számával. Az O am-elv értelmében dolgozatunkban ez utóbbi, egyszer¶bb, szebb C → pc, Qcösszefüggést fogadjuk el.pc =

1

CQc = C

(2.13)A kritikus konnektivitás végtelenül pontos meghatározása és ebb®l a (2.13)egyenlet bizonyítása azonban az eddigiek mentén nem egyszer¶ feladat. Afentiek alapján egyrészr®l látható, hogy a teljesen véletlenszer¶ sorsolást ésminden sorsolt háló tesztelését mint egyszer¶ eljárást jelent®sen javíthatjuk,ha kritikus feltételként megszabjuk, hogy a generált K mátrix id®evolváltkonnektivitása legyen a kritikus konnektivitás, p∞ = pc, tehát Qc = C nem0 elemet tartalmazzon a rejtett réteg. A 'véletlenszer¶ ini ializálás, amígnem sikerül' módszer hasonlít a bevezet®ben tárgyalt RNN problémák egyesmegoldási kísérleteihez, itt azonban egy kritikus feltétellel nagyságrendekkelnövelhetjük az ügyes hálózat megtalálásának esélyét.Másrészr®l azt is érezni kell azonban, hogy semmilyen topológiai informá- iónk nin sen, s®t általában itt is igaz lesz, hogy bármilyen áthuzalozássaldönt® eséllyel sak rontani tudunk a kritikusságon. Ez magyarázza azt atényt, hogy véletlen ini ializálással még az egzakt elméleti kritikus ponton ésannak közelében is rendkívül nehéz a p∞ = pc ± 2δ intervallumot tetsz®lege-sen megközelíteni. Ugyanis δ minél kisebb, a feltétel teljesítéséhez szükségesvéletlenszer¶ ini ializálások száma annál inkább divergálni fog, melynek meg-oldása els®sorban 'brute for e' gépid® kérdése, ami azonban nem lineárisanalapjához a legnagyobb értéket vettük és pc relatív hibájában (δpc) az osztó a transzfor-mált átlagos érték visszatranszformáltja. A transzformált függvény illesztésekor a reziduu-mok normájának relatív értéke 1.5%, négyzetes értelemben ennyire 'lógnak ki' a linearissátranszformált hatványfüggvényb®l a konkrét mért pc-k a transzformált térben.36

változik 1/δ-val. Szeren sére egy adott topológiájú visszhangháló univerzáli-san használható, a rejtett réteg nem vesz részt a feladatra tanulásban. Tehátha találtunk egy kritikus hálózatot, azt más feladatban is felhasználhatjukmajd.2.2.5. A kritikus feltételnek egzaktul eleget tev® háló permutá iós mátrixTovábbi számolások helyett azonban a következ®t gondoljuk végig! Milyenesetben érhet® el egzaktul az, hogy p∞ = pc? Itt jön segítségünkre a tapasz-talati úton felismert (2.13) összefüggés, mely megmutatja, hogy, Qc pontosanC-vel egyenl®. Ekkor sak úgy teljesül a kritikus feltétel, ha minden sorbanés minden oszlopban egy mátrixelem van. Ezek pedig nem mások, mint apermutáló mátrixok:

λ · P = λ

0 1 0 0 0 . . . 00 0 0 0 0 . . . 1... . . .0 0 0 0 1 . . . 0

(2.14)és λ a legnagyobb sajátérték, amit a pt id®fejl®déskor (2.3)-ban 1-nek állítot-tunk be, épp azért, hogy kiküszöböljük a konstans faktor általi sökkentést.Informá ió kódolás szempontjából érthet® is e (2.14) topológia, hiszen apermutá ió az egyetlen módja annak, hogy a memorizált szekven ia mindenpontjánál (minden iterá ióban) az összes a komponens végig részt vehessen.Ha sak egyetlen sor is üres, azaz supa 0, id®vel a hozzátartozó aktivitáskomponens elt¶nik. Ha vannak erre az aktivitáskomponensre más komponen-sekr®l is vezet® mátrixelemek, akkor ezek aktivitása a következ® iterá ióbanmár nem vesz részt a kódolásban, és így tovább (lefolyó). Másfel®l pedig,ha van olyan sor, amelyben több nem 0 is szerepel, az a mátrix legnagyobbsajátértékét növeli, tehát a leskálázás során az összes többi sorba 1-nél kisebbelem kerül, mely id®vel az összes többi aktivitását le sökkenti (túlnyomás).A 2.2.2. szakaszban meggyelhettük, hogy a legnagyobb Ljapunov exponen-sek statisztikai értelemben húzódnak fel a 0 irányába a kritikus pont közelé-ben. Világos, hogy a permutá iós mátrixok Ljapunov exponense egzaktul 0,hiszen dení ió szer¶en határ iklus attraktorúak. Mindezzel bizonyítottuktehát, hogy sak a permutáló mátrixok lehetnek a kritikus mátrixok.Milyen mértékben növeltük jó informá iókódolási képesség¶ hálózat meg-találásának valószín¶ségét, ha feltételezzük, hogy a permutá iós mátrixoktulajdonságai az els®rend¶en meghatározóak? A szokásos visszhangháló ini- ializáláskor még azonos adott C bels® réteg méretnél és p konnektivitásnál37

is rendkívül sokféle hálózati kap solat jöhet létre. Ha sak azt tekintjük,hogy egy mátrixelem 0-e vagy sem, Q = p ·C2 betöltési szám esetén így a kü-lönféle létrehozható mátrixok száma (C2

Q

), mely meglehet®sen nagy szám;még viszonylag kis hálózatméreteknél is kombinatorikus robbanáshoz vezet.A kritikus Qc = C feltételnek eleget tev® permutáló mátrixot viszont C! fé-leképpen tölthetjük fel, hiszen ha egy elemet már elhelyeztünk, az kijelöli asort is és az oszlopot is. Az elméletileg legjobb mátrix megtalálásának esé-lye így jelent®sen n®tt, persze még így is mindössze annyi történt, hogy egykombinatorikus robbanást egy kisebbre seréltünk.A következ® szakaszban megpróbálunk néhány egyszer¶ topológiai felve-tést elemezni.2.2.6. Diszjunkt iklusok eloszlásaTovább gondolkodva azonban a jól m¶köd® topológia megtalálása érdekébenmegvizsgálhatjuk, hogy a permutá iós mátrix többszöri hatása milyen disz-junkt iklusokkal írható le. Diszjunkt iklusnak nevezzük az aktivitásvektorkomponensek egy olyan részhalmazát, melyek sak egymásra képz®dnek le,ez a részhalmaz a rajtuk ható permutá iós mátrix egy pályája. Például azalábbi háromelem¶ vektor szögletes zárójelben jelölt komponenseinek seréjea permutá iós mátrix szorzásával oldható meg. A m¶velet az utána követ-kez® két diszjunkt iklussal is leírható, a permutá iós és iklikus soportokközötti izomorzmusok miatt.[1, 2, 3] → [2, 1, 3] ≡

0 1 01 0 00 0 1

≡ (1, 2)(3) (2.15)Ez a permutá ió egy egyes és egy kettes iklussal jellemezhet®.Hasonló módon nézhetjük kritikus hálózataink permutá iós mátrixát, vizs-gálva a diszjunkt iklusokat. Sem számuk, sem átlagos méretük nin senvizsgálataink alapján kimutatható kap solatban az el®rejelz®képességgel: a iklusszámok és méretek véletlen sorsolással létrejött eloszlása szerint nor-málva egyenletes eloszlásúak ζ-ban. Ha azonban ζ-t ezen változók szerintkétdimenzióban ábrázoljuk, kirajzolódik a burkoló (2.12. ábra). Ezért meg-fordíthatjuk az állítást: biztosan rossz hálózatokat tudunk mondani. Éspedigazokat, amelyek iklusszáma nem optimális a következ® értelemben. Ha n a iklusok száma és l a iklusok átlagos hossza, akkor sak az egyszerre optimá-lis nl szorzatból: n ∝ l. Egy mennyiség azonban, az 1-es, konstans ' iklusok'száma (nc1, ábra bal oldal) magától is egyenletesebb eloszlású, ezért direkt38

összefüggésben fogjuk használni a várható maximális jóslási képesség krité-riumaként. Minél több ilyen egyedül m¶köd® komponens van ugyanis, annáljobban sökken a várható legjobb ζ . Ez érthet® is, hiszen az 1-es iklusbanmaradó aktivitások teljesen kiesnek mindenfajta kombinálódásból.

0 5 100

100

200

300

400

500

600

700

nc1

0 10 200

100

200

300

400

500

600

700

n10

010

110

20

100

200

300

400

500

600

700

l2.12. ábra. A ζ el®rejelz® képesség diszjunkt iklusok számától és méretét®l való függése,C = 60. A bal oldali ábra a xpontok (1-es iklusok) számát (nc1), a középs® a diszjunkt iklusok teljes számát (n) mutatja be. Jobb oldalon az átlagos iklus hosszat (l) látjuk,mely nyilván nem lehet nagyobb C-nél. Ne tévesszen meg minket az a tény, hogy a iklu-sok saját eloszlása is ilyen jelleg¶ (központi határeloszlástétel). A három ábrából kit¶nikazonban, hogy a várható legjobb el®rejelzés értelmében (fels® burkoló) létezhet optimálisdiszjunkt iklus eloszlás. A minél kiegyenlítettebb méret¶ és számú iklus ugyan a leg-gyakoribb, de talán éppen emiatt lényegében közülük találunk jó el®rejelz®képesség¶eket.Gondolkozzunk még másképpen. Ha iklusok reprezentá iós képességétvizsgáljuk, akkor nyilvánvaló, hogy a leghosszabb periódusú egyedi iklus azel®forduló iklusméretek legkisebb közös többszöröse (Θ) lesz. Ugyanakkor ahatékonyságból nem engedve a legrövidebb periódusban tárolható informá- ió hossza a legnagyobb közös osztó (Ω), ez a leghosszabb szakasz, amelynekreprezentálásában az összes iklus részt tud venni. Másképpen tehát Ω-t ve-hetjük olyan mértéknek, mely minél nagyobb, annál inkább vannak fölöslegesredundáns kódoló iklusok.E három feltételezett átlagos jelleg¶ teljesítményparaméter kombinálásá-val létrehozhatunk egy optimalizá iós mennyiséget.

η =Θ

Ωnc1(2.16)Összefoglalva: 39

nc1, konstans pályák (1-es iklusok) száma: kombinatorikusan használha-tatlan aktivitás komponensek,Θ, legkisebb közös többszörös: a leghosszabb ismétl®dés nélküli intervallum,amelyet reprezentálni képes a hálózat,Ω, legnagyobb közös osztó: redundan ia mértéke.A 2.13. ábrán követhetjük a ζ el®rejelzési hossz eloszlását η függvényé-ben. Az ábrából akár következtethet® is lenne, hogy a feltételek együttesoptimalizá iója kedvez a hosszabb el®rejelz®képességnek, tehát valamilyenvárható maximális teljesítmény értelemben ζ ∝ log η. Hangsúlyozzuk, hogynem rendelkezünk elegend® méréssel, hogy az ábrákon túlmen®en számszer¶következtetéseket vonjunk le. Emellett, ahogy az ábrák nagy szórású eloszlá-sából is látszik, további topológiai változóktól függ a teljesítmény a vizsgáltkonkrét id®sorra.

100

102

104

0

50

100

150

200

250

300

350

400

450

η=Θ/Ω/n1c

ζ

C 6

0

100

105

0

50

100

150

200

250

300

350

400

450

η=Θ/Ω/n1c

ζ

C 1

40

2.13. ábra. A ζ el®rejelz® képesség diszjunkt iklusok eloszlásától való függése, balolda-lon C = 60, jobboldalon C = 140. Az η = Θ

Ωnc1

optimalizá iós paraméter logaritmusávalvalószín¶bbek jobb teljesítmény¶ hálózatok. Nagyon nagy η-knál elképzelhet®, hogy rit-kábbak a nagyon rossz teljesítmény¶ek. Θ a diszjunkt iklusok hosszának legkisebb közöstöbbszöröse, Ω a legnagyobb közös osztója és nc1 a stabil pályák (1-es iklusok) száma.Az eloszlás két változója között korrelá ió sejthet®, ám a nagy szórásokok miatt a kérdés sak várható maximális ζ értelemben vizsgálható (fels® burkoló), mely a logaritmikus skálamiatt egyenes vonal.2.2.7. A kritikus visszhangháló rekord teljesítményeAz eddigiekb®l az is látható, hogy folyamatosan növeljük a vizsgálódás fel-bontását a rendkívül jól teljesít® topológiák megtalálásához, azonban válto-zatlanul úgy t¶nik, hogy még nem elegend® az informá iónk. Azt azonban40

leszögezhetjük a diszjunkt iklusok eloszlásának összevetése alapján, hogyvalószín¶leg a rekord topológiáknál sokkal inkább számít a iklusok konkrétszerkezete, illetve egymás melletti kombinálása, mint azok száma, vagy mé-rete. A 2.14. ábrán két ki si, rekord jelleg¶ kritikus hálózat teljesítményétmutatjuk be, melyekre éppen ez lesz vélhet®en igaz.1600 1800 2000 2200

0

0.5

1

1.5

2

t

MG

, C 2

0

1600 1800 2000 22000

0.1

0.2

0.3

0.4

t

MS

E

1500 2000 25000

0.5

1

1.5

2

t

MG

, C 6

0

1500 2000 25000

0.1

0.2

0.3

0.4

t

MS

E

2.14. ábra. A 2.4-hoz hasonló ábra, kritikus visszhanghálóval. Zöld vissza satolt, bíborsikeres, kék nem sikeres el®rejelzés. Az igazán meglep®, hogy milyen ki sik a hálózatmé-retek: a fels® hálózatban C = 20, ζ ≈ 350, alul pedig C = 60, ζ ≈ 700. Látható, hogymég a kék, tehát ζ származtatásakor elutasított szakaszban is kvalitatíve meglehet®senjól közelítik a dinamikát, bár a 20-as fázisban inkább eltér®. A hibafüggvényben (jobboldal), vannak le sökkenések kés®bbi pillanatokban is, tehát visszatalálnak a hálózatok.Természetesen az eredmények függnek attól, hogy hol indítjuk a tanulást és predik iót azid®soron, és egyáltalán milyen kaotikusságú id®soron. Azonban a konkrét, rekordot mu-tató hálózatok kimagaslóan jól teljesítenek mindenhol másutt is, összehasonlítva átlagoshálózatokkal. Az alsó CESN általános teljesít®képességét lásd a 2.15. ábra bal oszlopábanaz MG17-esnél, 'C60 esn' ímkével, kék vonal.Az tény, hogy ezeket kis hálózatokban találtuk, önmagában is azt jelenti,hogy a lehetséges topológiák száma a jó topológiák számához képest gyorsab-ban n® C-vel. Emiatt a különleges képesség¶ CESN-ek teljesítményének sta-tisztikailag korrekt összehasonlítását sak kis hálózatméretben végezhettükel. A 2.2.3. szakasz elején említett egy konkrét pontból indított vizsgálatot41

egészítjük ki 1000 különböz® nehézség¶ pontra az id®sor kaotikusabb illetveperiodikusabb szakaszai szerint. Ezek mindegyikéb®l indítva a rekord CESNés 5 eredeti ini ializá iójú ESN átlagos, valamint eloszlásuk fels® konden- ia határa által kijelölt ζ-it hasonlítottuk össze. A 2.15. ábrán szerepelneka nem párosított el®fordulási gyakoriságok, valamint az azonos pontból in-dított arányok illetve különbségek. Az eloszlások lognormálisak, amit úgyértelmezhetünk, hogy egy adott tesztben ζ megállapításakor minden követ-kez® id®pontig való predik ió sikeressége feltételezi az el®z®ek sikerességét,'és' kap solat van.A gyengén kaotikus MG17-es id®sornál valóban igen jelent®s a javulása rekord teljesítémény¶ kritikus visszhanghálózat javára. A MG30 er®senkaotikus, τ = 30 diszkrét id®pillanattal el®tti vissza satolású teszt id®sorjóval nehezebb feladat. Gyakrabbak az er®sen kaotikus szakaszok, általá-ban meg sem próbálják 100-200-nál kisebb hagyományos visszhanghálózattaljósolni. Azonban munkánk eredményeképp látható, hogy még a kis hálóza-toknál is jelent®sen megnövekedett az átlagos ESN teljesítményhez képest azel®rejelz®képesség. A CESN hisztogrammal be sült eloszlás s¶r¶ségfüggvényterületének jelent®s hányada esik olyan nagy ζ-k fölé, melyeknél az ESN egypontból sem tudott jobbat.A rekord képesség¶ hálózatok különböz® módszerekkel készültek. A 2.15.ábra bal odalán egyszer¶en kiválasztottuk a messze legjobb ζ-jú hálózatokat.A nehezebb, MG30-as feladatnál a 80-as (bíbor szín) hasonlóan lett kivá-lasztva. A 100-as esetében (zöld) ismerten jó ζ-jú 40-es és az el®bbi, 2.14.ábrán is bemutatott 60-as K-iból kombináltuk blokkdiagonálisan. Továbbámegpróbálkoztunk azzal, hogy legalábbis η értelmében optimális hálózatotkonstruáljunk. Az MG30 feladathoz használt 60-asnak, a 2.13. ábrán ki-kereshet® legnagyobb η érték¶t választottuk. A nehezebb MG30 feladatotmég a konstruált 100-asnál is jobban oldotta meg, jelent®sen túlszárnyalvaaz átlagos ini ializálású ESN-eket.Egyetlen, szúrópróbaszer¶ rekord topológia teljesítményének immáronstatisztikai bemutatása természetesen még nem helyettesíti a topológiai sta-tisztikát. További topológiai ismereteink hiányában azonban ez nem is végez-het® el, irányvonalakat további kutatásokhoz azonban mindenképpen adhat.Kitüntetett K topológiák létezésére elfogadható magyarázatnak t¶nik az,hogy különösen optimális iklusfelbontásokból összerakható permutáló mát-rix az aktivitásváltozások olyan id®beli mintázatát adja, mely mintegy élesítia hálózatot a bemenetre. Azaz, ha megfelel®ek a iklusok, akkor a iklus-pontok, a stabil és instabil sokaságok és az általuk kifeszített homoklinikusés heteroklinikus pontok s¶r¶ szövetet alkotnak a körülöttük meghúzódó be-men® jel attraktorának beágyazásához, reprezentálásához. Az is elképzelhet®továbbá, hogy a 1.3.3. szakaszban bemutatott diszkretizált állapottér egy42

0 200 400 600 800 10000

0.2

0.4

0.6

0.8

1

ζ

rel.g

y

mg1

7

C40 cesnC40 esn atlagC60 cesnC60 esn atlagC80 cesnC80 esn atlag

0 50 100 150 200 2500

0.1

0.2

0.3

0.4

0.5

0.6

0.7

ζ

rel.g

y

mg3

0

C60 cesnC60 esn atlagC80 cesnC80 esn atlagC100 cesnC100 esn atlag

0 5 10 15 20 25 300

0.1

0.2

0.3

0.4

0.5

ζcesn

/ζesn

rel.g

y

mg1

7

C40 cesn / esn atlagC40 cesn / esn 97.5% f.konf.h.C60 cesn / esn atlagC60 cesn / esn 97.5% f.konf.h.C80 cesn / esn atlagC80 cesn / esn 97.5% f.konf.h.

0 10 20 30 400

0.1

0.2

0.3

0.4

0.5

ζcesn

/ζesn

rel.g

y

mg3

0C60 cesn / esn atlagC60 cesn / esn 97.5% f.konf.h.C80 cesn / esn atlagC80 cesn / esn 97.5% f.konf.h.C100 cesn / esn atlagC100 cesn / esn 97.5% f.konf.h.

0 200 400 600 8000

0.002

0.004

0.006

0.008

0.01

ζcesn

-ζesn

rel.g

y

mg1

7

C40 cesn - esn atlagC40 cesn - esn 97.5% f.konf.h.C60 cesn - esn atlagC60 cesn - esn 97.5% f.konf.h.C80 cesn - esn atlagC80 cesn - esn 97.5% f.konf.h.

-50 0 50 100 150 2000

0.01

0.02

0.03

0.04

0.05

ζcesn

-ζesn

rel.g

y

mg3

0

C60 cesn - esn atlagC60 cesn - esn 97.5% f.konf.h.C80 cesn - esn atlagC80 cesn - esn 97.5% f.konf.h.C100 cesn - esn atlagC100 cesn - esn 97.5% f.konf.h.

2.15. ábra. Kritikus hálózat ( esn) el®rejelz® képessége hagyományos visszhanghálózatadott indításhoz átlagos (esn atlag) és várható legjobb (az eloszlás 97.5% fels® konden iahatára) teljesítményével összehasonlítva. 1000 indítás, 1-1 rekord teljesítmény¶ visszhang-háló és 5 ESN. Felül az indítási ponttól független eloszlás. Középen és lent adott pontbanösszehasonlított teljesítmény eloszlása: hányados és különbség. Azonos teljesítmény feketefolytonos függ®leges vonallal jelölve (ζc/ζe = 1 illetve ζc−ζe = 0). Bal oldal τ = 17 enyhén,jobb oldal τ = 30 er®sen kaotikus teszt id®sor. Kisebb hálózatok elsöpr®en ügyesebbekmindkét feladatban. 43

természetesebb felbontását kapjuk, ha a permutá iók prím iklusokból állófelbontásában gondolkodunk. Ezáltal meglehet®sen direktben kódolható azinformá ió, hasonlóan pl. Molter et al. (2003, 2004, 2005) munkáihoz.Mindezek miatt az optimális diszjunkt iklus-eloszlású permutá iós mát-rixokkal m¶köd® visszhanghálókat kritikus, m¶ködési módjuk szerint pedig iklikus vagy kombinatorikus visszhanghálózatnak (CESN) nevezzük el.

44

3. fejezetDiszkusszió, összefoglalás3.1. Az eredmények értékelése, jelent®ségeÚj ini ializá iós algoritmus. Eredményeink fényében a jelenlegi ESNini ializá iót le serélhetjük a kritikus hálózatok feltételeivel. Kétféle módonjavasoljuk a bels® rekurrens réteg kap solati mátrixának el®állítását. Elvár-hatóan jó, az átlagosnál egy nagyságrenddel jobb teljesít®képesség¶ hálózatgenerálását a permutá iós mátrix optimális diszjunkt iklus eloszlásából válo-gathatjuk. Kimagaslóan jó el®rejelzési képesség¶ hálózat véletlen találásánakvalószín¶sége azonban ki siny. A leglátványosabb rekord-hálózatok az eddi-giek alapján a kis hálózatoknál, C ≈ 40 − 100, fordulhatnak el® megfelel®valószín¶séggel.Felhasználás. Az els® praktikus következménye eredményeinknek nyilván-valóan az, hogy igényesebb, nagyobb dimenziójú alkalmazásokba is beke-rülhet a visszhangháló. Az ESN irodalmával és mérnöki alkalmazásaivalmegismerkedve úgy t¶nik, hogy az elméleti topológikus megszorítások követ-keztében jelent®sen megn®tt predik iós kapa itás számtalan alkalmazásbanfelhasználható. A leggyelemreméltóbb növekedés az el®rejelzési képességbentapasztalható.A visszhangháló m¶ködésének megértése. A iklusok konkrét szer-kezetének, els®sorban egymáshoz való viszonyának ismerete ad lehet®séget amegfelel®, s¶r¶ ikluspontok és attraktoraik hálójának kivetésére, jelen kuta-tásunk idáig sz¶kítette a véletlen ini ializálást. A iklusok attraktor váza úgyt¶nik rendkívüli módon alkalmassá élesít a kever® leképezésre, mely a kaoti-kus dinamikák egyik sarokköve. A perturbáló bemen® jel ezzel az optimálispermutá iós keveréssel oszlik el id®ben és térben a bels® hálózatban.45

Elképzelhet® továbbá, hogy a bels® hálózat már Jaeger (2002) munká-jában is talált tanítási invarian iája fel tud oldódni. Arról van szó, hogyRNN-ek rekurrens kap solatait általában is nehézkes tanítani. Ráadásul ki-fejezetten nem szokás, a teljesítmény meg®rzése végett, ESN bels® mátrixáttanítani. Dolgozatunkból kiderült, hogy ugyan egyel®re úgy t¶nik, minden-képpen a permutá iós mátrixok közül alakul ki a legjobb mátrix. Azonban,ha nem sak egység érték¶ mátrixelemekkel dolgozunk, nomítani lehet azegyszer¶ identikus érték¶ keverést. Bontsuk fel tehát a rekurrens kap solatokmátrixát egy diagonális és egy permutá iós tényez®re!K = DPHa a rekurrens mátrixban nem akarjuk elrontani a permutá iós kritikus szer-kezetet, tanítani legfeljebb sak a kap solódás tényét lehetne. Azonban aszétbontás miatt külön taníthatóak a kap solatok maguk (P), és a kap solater®sségek (D). Utóbbiak neurobiológiai analógiában LTP-nek és LTD-nek(hosszútávú poten iá ió és depresszió), szinaptikus plaszti itásnak felel meg.A kritikus visszhangháló, a CESN permutá iós tényez®jének tanítása pediganalóg a dentritek, axonok növekedésével, átalakulásával, kap solatok átren-dez®désével, mely már sejtbiológia szint¶ problémakör. Tra htenberg et al.(2002) napi szint¶ átrendez®déseket mutattak ki.Végül megemlítjük, hogy az a tény, hogy a felfedezett véletlen ini ializálásparaméterének id®fejl®désében tapasztalt fázisátalakulás kritikus pontja eg-zaktul elérhet® a permutá iós mátrix-szal, azt mutatja, hogy, egy eredetileganalitikai probléma magva algebrai, diszkrét matematikai, soportelméletielveken nyugszik. Dolgozatunk, úgy gondoljuk, hozzájárul nem sak a vissz-hangháló m¶ködésének megértéséhez, hanem minden iklusokon, permutá- iókon alapuló rendszeréhez is. Természetesen a kaotikus jelenségek pre ízvizsgálata a kul s kaotikus dinamikák megtanulásakor, de egyre több alkal-mazásban látszik, hogy ezek az elvek könnyítenek és pontosítják a feladatokmegoldását (Cvitanovi et al., 2004).Funk ionális hasonlóságok felfedezhet®ek egy neurobiológiai problémakör-rel, így elképzelhet®, hogy bizonyos tekintetben magyarázathatóak is ered-ményeinkkel. A kérdéssel a következ® 3.2. szakaszban foglalkozunk röviden.Az öteletet az adja, hogy a diszjunkt iklusok optimális középtartománybelieloszlása éppen ilyen nagyságrendben egyforma, önállóan m¶köd® sejtlán o-kat, - soportokat eredményez.További kutatások. Felvázolva a megkezdett út folytatását, vizsgálni szük-séges a továbbiakban a diszjunkt iklusok egymás melletti mintázatánakid®beli lefolyását, a bemen® jel keverését, hajtogatását. A iklusok mind46

soportelméleti, mind káoszelméleti megközelítésben tárgyalhatók, és való-szín¶leg mindkét irányra szükség van a visszhanghálózat m¶ködésének teljesmagyarázatához.Tovább fejlesztend® a 2.1.4. szakaszban bemutatott ζ függvény, hogy pl.lényegtelenebb fázis eltéréseket jobban kompenzáljon teljesen más trajektó-riára lépéshez képest.3.2. Neurobiológiai kitekintésVégezetül egy neurobiológiai témakör a kolumnák, minikolumnák, egyéb lo-kális soportba szervez®dött neuronális egységek kérdése merül fel funk i-onális analógiaként. Az irodalomban egyel®re a kolumnák, minikolumnákellentmondásos dení iójú szervez®dési egységei az agynak. Mikrokolumnakifejezés jelenthet lobus temporalis-beli vertikális, sejtb®l álló sejt soportot(3.1. ábra), de kifejezetten piramissejtek moduljait is apikális dentritjeik-nek kötegével. Nem feledkezhetünk meg más helyi szervez®désekr®l, néhány,vagy néhány tíz sejt szigetekbe, klaszterekbe rendez®désér®l az entorhina-lis ill. perirhinalis ortexben. Nem ismert pontosan, hogy mi a funk iójuk,prenatálisan, vagy kés®bb veszik fel végs® alakjukat, befolyásolja-e kialaku-lásukat stimulá ió, et . A további ismereteket az intrakortikális lokális szer-vez®désekr®l lásd pl. Buxhoeveden and Casanova (2002); Casanova (2003);Ro kland and I hinohe (2004).Amiért mégis foglalkozunk velük, az néhány szembet¶n® analógia kuta-tásunk eredményeivel. Ismert, hogy az agyban alapvet®en rekurrens, b®ségeskollaterálisokkal ellátott idegsejt hálózatok vannak. Már Jaeger (2001) bemu-tatta az ESN jelleg¶ hálózatok poten iális hasznosságát valódi agyszövetben.A x huzalozású rekurrens réteg bármilyen, s®t egyszerre több küls® jel rep-rezentá ióját láthatja el, egyedül a kimen® kap solatoknak kell máshogyanleképezni (és persze nem egyid®ben m¶ködni). Belátható, hogy nagyon gaz-daságos, kényelmes megoldás ez idegszövetben. Dolgozatunk sejtés jelleg¶eredménye, hogy a kombiná iós informá iókódolási tekintetben a diszjunktpermutá iós iklusoknak létezik optimális mérete és aránya (2.12. ábra). To-vábbá várható valamilyen valószín¶ségi összefüggés a jóslás (ζ) és a topológiareprezentá iós képessége (η) között. Világosabb a kódolási feladat, ha leg-kisebb közös többszörös (egyedi reprezentá ió hossza) és legnagyobb közösosztó (redundan ia) értelemben vizsgálódunk (2.13. ábra).Az nyilvánvaló, hogy kísérleteinkben a két konstruált rekord hálózatonkívül véletlenszer¶en ini ializált hálózatokat tekintettünk, és vizsgáltuk haté-konyságukat, de fordítsuk most ezt meg! Ha ismert, hogy léteznek optimális,hatékony diszjunkt iklushierar hia-méretek, akkor az agyban elképzelhet®,47

3.1. ábra. Minikolumnák makákó majom hátsó halántéklebenyében (kép Ro kland andI hinohe, 2004, -b®l). L4 a 4-es réteg, nyilak a minikolumnákra mutatnak.hogy éppen ezek az optimális diszjunkt iklusok, összefügg®, és így kolum-náris struktúrájú soportok ugyanezen feladat optimumában m¶ködnek. Apermutá iós mátrix-szal reprezentált kap solatok esetén az egy iklusba tar-tozó elemek megfelel® rendezésével blokkdiagonális almátrixokra bontjuk K-t, illetve ezáltal különálló soportokra, kolumnákra bontjuk az aktivitásvek-tort. Megtehet® a tanítás el®tti egyszeri rendezés: a kezdeti aktivitásvektorkomponens sorrend szimmetria. A gondolatmenet persze nem zárja ki azt,hogy a kolumnák feladatában nin sen akár jóval fontosabb magyarázat isa méreteloszlásukra. A kérdéskört természetesen nem a kolumnákat kiala-kító genetikai vagy neurális növekedési folyamatok stratégiája, szabályozásairányából közelítettük. Mindössze funk ionális analógiát vontunk különböz®ar hitektúrájú rekurrens hálózatok között.3.3. ÖsszefoglalásBefejezésül elmondhatjuk, hogy dolgozatunk tézisei:48

1. véletlenül ini ializált visszhanghálók konnektivitásának id®fejl®désébenfázisátalakulás fedezhet® fel, melynek létezik kritikus pontja,2. a kritikus pont környékén véletlenszer¶en ini ializálva a hálózatok fél-egy nagyságrenddel nagyobb el®rejelzési képességr®l tettek tanúbizony-ságot, melyet érzékeny jóslási hossz algoritmusunkkal mértünk ki; akés®bbi rekord képesség¶ kis dimenziós hálózatokat éppen a kritikuspontban találtuk,3. ha a kontrak iót nem tekintjük, a kritikus közeli perturbá iómentes há-lózat önmagában is határ iklushoz idomul, esetleg kaotikus attraktorú,4. a kritikus pont kimérése után elméleti úton bizonyítottuk egzaktságát,a betöltend® elemek kritikus száma éppen az aktivitásvektor dimenzi-ójával egyenl®,5. megtaláltuk azt a mátrix soportot, mely pontosan megfelel a kritikus-ság kritériumának, és beláttuk, hogy másfajta mátrix nem lehetséges:ezek a permutá iós mátrixok, a segítségükkel ini ializált rejtett réteg-hez tartozó hálózatot kritikus visszhanghálózatnak, vagy CESN-nekneveztük el,6. diszjunkt iklusok reprezentá iójában vizsgálva a permutá iós mátrixotazok hosszának és számának eloszlása jelent®sen befolyásolja a hálózatvárható maximális teljesítményét, optimumot az eloszlások középér-tékei felé találunk, egyébként összhangban a iklushosszak és számoktermészetes eloszlásával, véletlen permutá ióval generált hálózat esetén,7. informá iókódolási tekintetben optimális paramétert konstruáltunk: a iklushosszak legkisebb közös többszöröse vélhet®en arányos, a leg-hosszabb egyedi reprezentálható szekven iával, a legnagyobb közös osz-tójuk a redundan ia mértékét állapítja meg, valamint az 1-es iklusokszáma a kombinálódásokból kies®, nem kihasznált komponensek száma;az optimalitási paraméter maximum értékénél talált hálózat mindeneddigi hálózat teljesítményénél jobb,8. felvetettük annak lehet®ségét, hogy az agyi kolumnák és kisebb na-gyobb együttm¶köd® sejt soportok hierar hiája hasonló, informá ió-kódolási hatékonyság okánál fogva lehetnek kiváló predik iós egységeiaz agynakmind jelent®sen hozzájárultak a visszhanghálózatról való ismeretekhez, tu-domásunk szerint semmilyen tanulmány még közelít®leg sem vizsgálta ilyenbehatóan. 49

IrodalomjegyzékBaier, N. (2003). Attra tor Learning with Re urrent, Arti ial, Nonlinear,Neural Network. In European Conferen e on Cir uit Theory and Design.Baier, N. and De Feo, O. (2004). Chaoti Model Identi ation Using aBiologi ally Inspired Algorithm. Aperest, Universidad Complutense deMadrid.Berts hinger, N. and Nats hläger, T. (2004). Real-Time Computation atthe Edge of Chaos in Re urrent Neural Networks. Neural Computing,16(7):14131436.Buxhoeveden, D. and Casanova, M. (2002). The mini olumn hypothesis inneuros ien e. Brain, 125:935951.Casanova, M. (2003). Modular on epts of brain organization and the neu-ropathology of psy hiatri onditions. Psy hiatry Resear h, 118:101102.Cvitanovi , P., Artuso, R., Mainieri, R., Tanner, G., Vattay, G., Whelan,N., and Wirzba, A. (2004). Chaos: Classi al and Quantum. Niels BohrInstitue, Copenhagen, haosbook.org version 11.Elman, J. (1988). Finding stru ture in time, CRL Te hni al Report 8801.Te hni al report, Center for Resear h in Language, University of Califor-nia, San Diego.Farmer, J. (1982). Chaoti Attra tors of an Innite-Dimensional Dynami alSystem. Physi a 4D, pages 366393.Feigenbaum, M. (1978). Quantitative universality for a lass of nonlineartransformations. Journal of Statisti al Physi s, 19:2552.Hajnal, M. A. and Radi s, G. (2005). Folyamatok felismerése nemlineárisrekurrens neuronhálókkal (II. helyezés). In OTDK, Informatika Szek ió.50

Ho hreiter, S. and S hmidhuber, J. (1997). Long Short-Term Memory. Ne-ural Computation, 9(8):17351780.Holden, A., Tu ker, J., and Thompson, B. (1991). Can ex itable media be onsidered as omputational systems? Physi a D, 49:240246.Hopeld, J. (1982). Neural Networks and Physi al System with EmergentColle tive Computational Abilities. In Pro eedings of the National A a-demy of S ien es, USA, volume 79, pages 25542558.Hornik, K., Stin h ombe, M., and White, H. (1989). Multilayer feedforwardnetworks are universal approximators. Neural Networks, 2:359366.Hubertus, F., Udwadia, F., and Proskurowski, W. (1997). An E ient QRBased Method for the Computation of Lyapunov Exponents. Physi a D,101:116.Ishii, K., Zant, T., Be anovi , V., and Plöger, P. (2004a). Identi ation ofMotion with E ho State Network. In Pro . O eans, pages 12051230.Ishii, K., Zant, T., Be anovi , V., and Plöger, P. (2004b). Optimizationof Parameters of E ho State Network and Its Appli ation to UnderwaterRobot. In Pro eedings of SICE2004, pages 28002805.Jaeger, H. (2001). The E ho State Approa h to Analysing and TrainingRe urrent Neural Networks. Te hni al Report 148, Fraunhofer Institutefor Autonomous Intelligent Systems.Jaeger, H. (2002). Short Term Memory in E ho State Networks. Te hni alreport, German National Resear h Center for Information Te hnology.Jaeger, H. (2005). Reservoir Riddles: Suggestions for E ho State NetworkResear h (Extended Abstra t). In Pro eedings of International Joint Con-feren e on Neural Networks, Montreal, Canada.Jaeger, H. and Haas, H. (2004). Harnessing Nonlinearity: Predi ting Chaoti Systems and Saving Energy in Wireless Communi ation. S ien e, 304:7880.Ljung, L. (1999). System Identi ation - Theory for the User. Prenti e Hall,se ond edition.Maas, W., Nats hläger, T., and Markram, H. (2002). Real-Time ComputingWithout Stable States: A New Framework for Neural Computation Basedon Perturbations. Neural Computation, 14:25312560.51

Ma key, M. and Glass, L. (1977). Os illation and haos in physiologi al ontrol systems. S ien e, 197:287289.Minsky, M. and Papert, S. (1969). Per eptrons. Cambridge, MA: The MITPress.Molter, C., Salihoglu, U., and Bersini, H. (2003). Fas inating rhythms by haoti hopeld networks. In Pro eedings of the IJCNN onferen e.Molter, C., Salihoglu, U., and Bersini, H. (2004). How haos boosts the en o-ding apa ity of small Re urrent Neural Networks : learning onsideration.Pro eedings of the IJCNN onferen e - Budapest, 2004.Molter, C., Salihoglu, U., and Bersini, H. (2005). An interpretative re ur-rent neural network to improve pattern storing apabilities - dynami al onsiderations. Pro . Nolta Conferen e - Bruge 2005.Rao, Y., Kim, S., San hez, J., Erdogmus, D., Prin ipe, J., Carmena, J.,Lebedev, M., and Ni olelis, M. (2005). Learning Mappings in Brain Ma- hine Interfa es with E ho State Networks. Journal of Neural Engineering,submitted.Rieke, F., Warland, D., de Ruyter van Stevenin k, R., and Bialek, W. (1996).Spikes - Exploring the neural ode. MIT Press, Cambridge, MA.Ro kland, K. and I hinohe, N. (2004). Some thoughts on orti al mini o-lumns. Experimental Brain Resear h, 158:265277.Rumelhart, D., Hinton, G., and Williams, R. (1986). Learning Representa-tions by Ba k Propagation Errors. Nature, 323:533536.Salihoglu, U. (2004). Chaos in small Re urrent Neural Networks : theoreti- al and pra ti al studies. Master's thesis, Université Libre de Bruxelles,Département d'Informatique.S hürmann, F., Meier, K., and S hemmel, J. (2004). Edge of Chaos Compu-tation in Mixed-Mode VLSI - "A Hard Liquid". In Pro . of NIPS 2004.Tra htenberg, J., Chen, B., Knott, G., Feng, G., Sanes, J., Welker, E., andSvoboda, K. (2002). Long-term in vivo imaging of experien e-dependentsynapti plasti ity in adult ortex. Nature, 420:788794.Wolf, A., Swift, J., Swinney, H., and Vastano, J. (1985). Determining Ly-apunov Exponents from a Time Series. Physi a 16D, pages 285317.52

Xianhua, D. (2004). Geneti Regulatory Systems Modeled by Re urrent Ne-ural Network. In Advan es in Neural Networks - ISNN 2004, InternationalSymposium on Neural Networks, Part II, volume 3174 of Le ture Notes inComputer S ien e, pages 519524.

53