attività cerebrale i neuroni si attivano in gruppi sotto lazione di uno stimolo attività in gruppi...
TRANSCRIPT
Attività cerebrale
•I neuroni si attivano in gruppi sotto l’azione di uno stimolo
•Attività in gruppi ben delimitati con alta o bassa attività
•Il gruppo di attività è chiamato “bolla”
•La bolla persiste a lungo e si restringe lentamente
Attività neuronale
n
ijiji
j ndt
d
1
In assenza di altri neuroni, l’attività del neurone j-esimo è:
Ove:
- attività del neurone j-esimo
- componente i-esima dello stimolo con “n” ingressi
- peso della connessione tra neurone j-esimo e ingresso i-esimo
- perdite nel trasferimento delle informazioni
j
i
ji
Equazione attivitàL’andamento della sinapsi, in base alla distanza dal neurone, è:
2
22
14
2
22
22
yx
eyx
G
L’equazione dell’attività del neurone j-esimo diventa
ik
kki
n
ijiji
j wdt
d
1
con wki = sinapsi connessione tra neurone “i” e “k”
Trasferimento informazioni
L’evoluzione temprale della sinapsi è espressa da
jijiiji
dt
d
Con α che controlla la velocità di
apprendimento e β come fattore di dimenticanza
Dipende, quindi, dall’attività dei neuroni della connessione
L’attività varia in base alla posizione del neurone, dentro o fuori dalla bolla
Neurone “entro”
•Attività massima, normalizzabile a 1
•Normalizzazione di α e β per avere jj ~
jiiji
dt
d
La sinapsi cerca di uguagliare l’ingresso relativo
Neurone “fuori”
Attività trascurabile, ηj = 0
0dt
d ji
Le sinapsi non vengono modificate
•Modello costruito nel 1983
•Rete auto-organizzante
•Replica il processo di formazione delle mappe cerebrali
•L’apprendimento si basa sulla competizione tra neuroni
Reti di Kohonen
Griglia rettangolare di unità collegate a tutti gli ingressi
Architettura
j
x1
x2
xi
xn-1
xn
wj1
wj2
wji
wj(n-1)
wjn
Unità lineare
n
1iijij xwy
wji è il peso della connessione tra il neurone “j” e l’ingresso “i”
Neurone con uscita massima
cos1
XWXWxwy jj
n
ijjij
Necessaria la normalizzazione
1WX
Senza la normalizzazione
W1
W2
X
coscos 21 XWXW
anche se
Distanza vettore-ingresso
Viene scelto il neurone il cui vettore dei pesi è più vicino all’ingresso
Non è necessaria la normalizzazione
W1
W2
X
Si può usare la distanza Euclidea
N
ijiij wxXWd
1
2,
Legge di apprendimento
La legge di apprendimento per l’aggiornamento delle sinapsi del neurone vincente risulta:
NiconkVj
kwkxkkwkw
jo
jiijiji
...2,1
11
Vjo indica il vicinato del neurone vincente all’iterazione k
Dalla legge precedente, in notazione vettoriale: WXtW
Apprendimento cosciente
Adattamento alla distanza tra il neurone j-esimo ed il neurone vincitore
0,...2,1
11
jjDSTdeNiconkVj
kwkxdkkwkw
jo
jiijiji
Scelte e variazioni
• Il vicinato va scelto in modo da imitare la biologia del cervello
• La scelta del vicinato deve variare in modo da includere tutti i neuroni
• Alla fine si dovrà avere il solo neurone vincente
Variazioni ed iterazioni
• Anche il fattore R varia
• Costante per un certo numero di iterazioni, poi decresce
• Il numero delle iterazioni dell’algoritmo dipende dal numero M di neuroni
• Solitamente (500÷5000)M
Riduzione di R e A
Rmax
Rmint
tr
Amax
Amint
t
1,2 minmax
max
minmax
max
RN
R
R
RRtr
T
t
0,1 minmax
max
minmax
max
AA
A
AAt
T
t
Algoritmo
1. Inizializzazione casuale dei pesi2. Inizializzazione parametri α=Amax e r=Rmax
3. Fino a che α>Amin
A. Per ogni ingresso,
B. Riduzione di “α” e “r”
i. Calcolo dell’uscita
ii. Determinazione del neurone vincente
iii. Aggiornamento pesi del vicinato
Applicazioni
•Classificazione
•Es. odorato, fonemi
•Clustering
•Raggruppamento dati in sottoinsiemi di dimensione limitata
•Compressione
•Es. immagini