2014-3-mestructuras-nnmodelos-tras.doc

8/15/2019 2014-3-MEstructuras-NNModelos-Tras.doc

1/23


2/23

••

4AR9$ a las R$:4AR9$ a las R$:

&' os *Os+,ros. &' os *Os+,ros.

•• lorit$o!lorit$o! 1inimizar el n;mero de errores en la salida (< => ?).1inimizar el n;mero de errores en la salida (< => ?).

RE/0MEN! El algoritmodel perceptron es un

proceso iterativo quetransforma 2 conjuntos de

puntos linealmente sepa-

rables (en su caso en un

!iperplano que los separa.

As@, puede servir para problemas de clasificaci%n.

Entrenamiento 1inimizar una funci%n del error entrelo 6ue calcula la R$A lo

6ue 6ueremos 6ue aprenda.

•• S'BUC9$ delS'BUC9$ del Proble$aProble$a

1OR1OR con una capa oculta, secon una capa oculta, se

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 2 / 23

0.- Fijar Pesos W ij i = 1..p, j = 1..q

1.- Repetir 2-5 mientras haya errores

2.- Coger un ejemplo !, "# mientras haya

$.- %ntro&u'ir !, 'al'ular (, 'omparar 'on ")

( j = 1 *i Σ i ! i W ij + 0 en otro 'aso#

.- a# *i sali&a es 'orre'ta ( j = " j # , ir a 2.-

# *ino. 1# *i ( j = 0, W/ ij = W ij ! i

2# *i ( j = 1, W/ ij = W ij - ! i

D.3 W’ij = Wij +δXi (δ = sig(Y j -T j ) =± 1) ]

5.- %r a $.-

PERCEPTRON 2


3/23

puede obtener fFcil (cuenta de la vie!a), pero es necesario puede obtener fFcil (cuenta de la vie!a), pero es necesario

generalizar para todos los problemas.generalizar para todos los problemas.



4/23


5/23

#(tG) #(t) G#(tG) #(t) G α δα δll(t) &(t) &ll HH δδll(t) ?(t) ?ll I


6/23

E3 PERCEPTRON M03T4CP

•• 7espuJs de - aKos, varios investigadores (Lopfield, Mohonen,7espuJs de - aKos, varios investigadores (Lopfield, Mohonen,

Rumelhart, N) encontraron la manera de hacer ;tiles las R$A.Rumelhart, N) encontraron la manera de hacer ;tiles las R$A.

• Retropropaa+i=n del

Error (lorit$o). En

las capas ocultas, no ha

salida esperada (no ha

medida del error). Se

retropropaga el error desde la capa posterior.

• El Error CuadrFtico se acumula en la salida, sobre todos los

e!emplos. 7erivando (regla de la cadena para la funci%n de

activaci%n). Si la activaci%n es sigmoide, no ha entradas de

tendencia (umbral como peso), la derivada de la f. activaci%n es ,

aplicando la regla delta los pesos se a!ustan

con:Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. & / 23

PERCEPTRON M$"TICP 1

( ) (O pj pj " " f −=


7/23

( p indi+a n>$ero de e:e$plo)

δ p2 se refieren a valoresobtenidos en capa posterior

• /e ter$ina si el error +,adr?ti+oes s,fi+iente$ente pe@,eo.

PROBLEMAS :

P N>$ero de +apas y de ne,ronas. P Con:,nto de entrena$iento.

P Prepara+i=n de 2atos. 4reprocesamientoA Es un con!unto de Apro"imadores Universales< pero no se sabe

+o$o obtener la f,n+i=n +on+reta apro;i$adora.A Belo+idad de +oneren+ia.. A MDni$os 3o+ales..A /obreentrena$iento. A /at,ra+i=n.

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. ' / 23

( ) ocultaes !si O #j p# #

pj pj pj $ " " δ δ ∑−=

pi pj ji p %$ δ α =∆

( ( salidade ! si ( pj pj pj pj pj " " "t −−=δ



8/23

BR4NTE/ (Red,+ir tie$po +=$p,to< o resoler proble$as).

Tr$ino Mo$ent,n. (direcci%n de a!uste de iteraci%n previa).

0sar Tenden+ias (bias). Entrada con valor cte (hace de umbral).

Tasa de aprendiFa:e ariable. Reducirla si el error disminue, aumentarla si el error crece.?asa diferente en cada peso (cone"i%n).

?asa proporcional a las entradas del 4E e"tremo de cone"i%n

adirG@,itar ne,ronas. 1e!orar el aprendiza!e / Eliminar 4Ecuos pesos se modifican mu poco.

Entrena$iento esto+?sti+o. Se modifica aleatoriamente un peso

Bariantes sobre el radiente: 8radiente hacia delante atrFsRetroprogaci%n en el tiempo Regla 7elta3Qar37elta

Alg. ull4ropagation Alg. uic24ropagation 8radiente con!ugado. 1Jtodo 6uasi3$eTton 1Jtodo direcciones aleatorias Alg. Bevenberg31ar6uart.

Hibrida+i=n +on . Ienti+os y T+ni+as 2if,sas. 4.e., paraoptimizar la topolog@a, o para aplicaciones concretas.

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. ( / 23

( ) ( )n$ %n$ ji p pi pj ji p ∆+=+∆ α ηδ



9/23

MP/ 0TOORIN4J2O/ 2E KOHONEN (/OM)

E3 3IOR4TMO /OM! (Aprend.

no supervisado, competitivo )*+nner

ta,e all-). Bos pesos intracapa (salida)

no se consideran en programaci%n.Se actualizan los pesos de los 4E vecinos del ganador , seg;n tipo

de vecindad, siguiendo la idea del sombrero me!icano5. As@ se

consigue la autoorganizaci%n.

♦ El S'1 tiene dos efectos claros con la entrada actual:

• Concentraci%n de la actividad de la Red en el entorno de los 4E6ue me!or la aceptan. (,tooraniFa+i=n).

• 1Fs sensibilidad de 4E cercanos a otros 4E sensibles a entradascercanas a la actual. (Consera TopoloDa)

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. / 23

SOM


10/23

3IOR4TMO

1.- &niciali'ar 4esos (Ti!), teraciones, ?asa aprendi. (γ ), Vecindad.

2.- Para cada muestra del espacio de entrada %

-..3 'btener 4E ganador 2 tal 6ue W"3T2 W miniW"3TiW

-.-.3 Actualizar sus pesos, los de las unidades vecinas (c!to. S):) i (t$-#(%(t(t!(i,*(t$=+*(t $ iii ε γ ∀

3.- odificacin del parmetro de aprendi'aje γ (t.

4.- /epetir pasos 2 " 0 !asta completar iteraciones.

Algunas cuestiones a tener en cuenta:

1opologa /ed . Mohonen: 1alla rectangular vecindad he"agonal.

&niciali'acin pesos 3leatorio (en D, .X o e!emplos entrenamie)

45mero de iteraciones: Mohonen: 5''LN,$ PE 6istancia E,+lDdea el ?n,lo de la muestra el vector peso si

estFn normalizados7oeficiente de aprendi'aje Y(t) .Z (3t/)

Y(t) .3 .0[(t/).8ecindad )intoni'acin (+999 iterac: - Autoorgani'acin

(:< k) 9 e;p (- d&

(:< k) G& a&

)H d distancia, D a(t) / tH a(t) IrtX.Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 1 / 23

SOM 2


11/23

MEMOR4 /OC4T4B M. RE2 2E HOP4E32

3 pares de vectores binarios a almacenar.

Ba matriz de pesos se calcula directamente:

w 9 (y"6 ";"6" y"& ";"&" ... y"3 ";"3")

Para re+,perar la infor$a+i=n al$a+enada!.3 Se aplica el vector inicial &o a las capas & ( ;o a la ; ).-.3 Se propaga &o a la capa


12/23


13/23

finito, no ha mucha diferencia, salvo 6ue permite usar vectores

con valores reales activaci%n log@stica.

3 MQ04N 2E O3TJMNN

R$A de unidades binarias, estados posibles

\,] cone"i%n total (autocone"iones (i,i))Es Red recurrente. Algunas neuronas de E/S.

Ba unci%n Energ@a E(s) - #"(i,!)"Ti! si s !

se establece para cada estado o configuraci%n de la Red. Secambia a configuraciones vecinas, modificando el estado de una

neurona, ""r ", 6ue se selecciona con probabilidad uniforme, 8(r).

Se puede ver como una generalizaci%n de la RL, donde las transi3ciones se hacen como en el Enfriamiento Simulado (annealing).

Se toma ?" "inicial alta una Configuraci%n inicial aleatoria. Ba

transici%n a un estado vecino se acepta si reduce la energ@a, si


M$IN !E BO"TMNN 1


14/23

no,con una probabilidad As(r,?) 6ue depende de la 7istribuci%n

asociada (Qoltzmann), para escapar de los m@nimos locales.

Es asint%ticamente convergente en probabilidad. En la prFctica

re6uiere un Es6uema de Enfriamiento en tiempo finito.

4uede

usarse en

diferentes

formas,

seg;n el

es6uema.

La diversas posibilidades, seg;n se definan los parFmetros de

aprendiza!e los del es6uema del enfriamiento simulado

(annealing). lo eremos en la parte pr'ti'a#


M$IN !E BO"TMNN 2


15/23

lorit$o Modifi+ado de la M?@,ina de oltF$ann.

Bas variables son bivaloradas (dos valores diferentes, indicativos

de activaci%n (incluida en la soluci%n) no activaci%n (valor ) Bos valores de las variables intervienen en la E.

El es6uema bFsico es la 1Q, modificada al intervenir las salidas

de las neuronas (valores difusos o valores reales asociados por el

@ndice promedio o el 4 del decisor), en la E del sistema global. 8ector de activacin " 7onfiguraciones.

• Cada unidad i tiene un valor s(i)/vi, ( si la unidad estF activada,

si no lo estF). s v (v, v-, ..,v $), es el vector de activaci%n.

• Una configuraci%n es un vector c (g, g-, .., g $), donde gi es el

valor (activaci%n) de la unidad i, en la configuraci%n c, dado por

g i = "i con ( )

( ) ( ) #

#

si s # ;

&P6 c si s #

==

=$

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 1% / 23

MB !I$S. OPTIMIR


16/23

uncin de Energa del sistema. Se define: , ( )

( ) ()

( ) ( )

ij i j # i j

si s # E s $ g g donde g

&P6 < si s #

== =

=

∑ $

Ui! gi g ! es el potencial local de la cone"i%n (i, !).

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 1& / 23


17/23

REDES DE FUNCION BASE RADIAL

• Orien en Clasificadores Qaesianos Regresi%n Estad@stica.

• Red hacia3adelante. Son con!untos de apro"imadores universales. $o ha 4esos en la capa oculta. Cada 4E filtra5 una entrada, grupode entradas, seg;n - parFmetros: valor medio amplitud.

• Me:or @,e Qac2propagation: 4arFlisis. 1@nimos Bocales.Entrenamiento rFpido. Peor! Bentas en modo US'

•• CapaCapa oculta con Respuesta 8aussiana.oculta con Respuesta 8aussiana. hhi i == e%p >-6e%p >-6ii22 ?(2 ?(2σ σ 22 @ @ 7 7ii-- ("3u ("3uii))tt ("3u("3uii)) AA " entrada H" entrada H uuii valor medio (pesos^). valor medio (pesos^).

•• Salida suma lineal ponderada:Salida suma lineal ponderada: " = " = ΣΣ !!ii $$ii .. 4esos de la salida4esos de la salidase entrenan. RQ iltro (capa oculta) G 1adaline (capa salida)se entrenan. RQ iltro (capa oculta) G 1adaline (capa salida)• 7os entradas: . Qase radial(mente simJtrica)

• Ca$po re+eptio (respu.apreciable) (u3σ, uGσ)

• . E;ponen+ial me!orapro"imaci%n. Respuesta

$' e"ponencial Campo receptivo pe6ueKo.

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 1' / 23

RN de $NCIN BSE R!I".


18/23

• $ormalizaci%n optativa: z i = i hi wij / i hi

Modelos de RN. M.r Estructuras. ETSICCP. Nov 11. I. Requena. 1( / 23


19/23

RE2 de HOP4E32 M03T4E/T2O

R$ recurrente, donde el estado de cada neurona i en t (salida Si(t)),

toma valores en un con!unto M 9 S6< &< . . . ), donde d

representa una distancia ( d(", ") W" ` "W ).

Cada estado de la red, en cada instante t, tiene una energ@a (E E):

f : 11 R mide la analog@a o similitud entre las salidas de las

neuronas i, !. f(", ) a ` b d(", ), f(", ) a ` b d

-

(", ), b > . Condi+iones de si$ilit,d (. -. son las importantes)

) Coincidencia: ∀"∈1, f(", ") C, Cconstante.-) Simetr@a: ∀", ∈1, f(", ) f(, ").+) Si no coincidencia la salida es menor: ∀" ≠ f(", ) C


RE! 0OPIE" M$"TI EST!O 1


20/23

2in?$i+a de la red

• Ba red evoluciona en el espacio de estados, al 6ue mFs disminua

la E, o sea, al de maor incremento potencial

2in?$i+a asDn+rona. Una neurona a cambia al estado " de maor

incremento potencial U"a(t). Si no es ;nico, el de menor @ndice.

3a +oneren+ia se asegura en condiciones similares a las de la RL.

Caso 2is+reto! f(;< y) se p,ede poner +o$o ,na $atriF N;N

3a RHME eneraliFa las si,ientes:

Red de Lopfield binaria: 1 \, ], la funci%n f(", ) ", (o

bien f(,) f(,) f(,) , f(,)), _i(") _",

Si salidas \`, ], f(", ) " (f(3,) f(,3) 3, f(,) f(3,3) ) cumple las condiciones de similitud.

Red de Lopfield continua es caso particular de RL1E continua.

El modelo funciona tambiJn como 1emoria Asociativa.





21/23

P34CC4ONE/ de la RHME (estados y tie$po dis+reto)

• $;mero de $euronas (P) de Estados (N).

• 1atrices: 4esos P;P H Similitud N;N H Umbral ΘP;N

• E

2in?$i+a de la Co$p,ta+i=n.

• sDn+rona< /Dn+rona y otras! Elegir Es!e"# $e %&'errg#i*&

(r"# $e selei*&) , 'e&er Es'#$s A$,#e&'es (.siles &!e/s)

T"#r el es'#$ #$,#e&'e & < E&erg# (> %&re"e&' 2'e&i#l)• 3# &e!r elegi$# a (S#(') = 4)5 "$ii# s! es'#$ seg6& l# regl#7

Sa 5t617 8, s++ (84(') 9 8i(')5 ∀i=15 5 :) Y (4="i&i∈% ; %= "8"(')=8l('))

Otras din?$i+as para la red.

• Seleccionar -, +,.., 2 neuronas para modificarlas (k-asDn+rona).

• 4ermitir solo algunos estados adacentes factibles (+ondi+ionado)

• Es6uema secuencial completo G selecciones adicionales aleatorias.

• Aceptar cambios de estado de igual energ@a^^.


E(t)

RE! 0OPIE" M$"TI EST!O %


22/23

$3Reinas el %ptimo siempre H Via!ante se llega a ciclos.

Modo K-asDn+rono.

• La M[$3 estados adacentes el 6ue mFs reduzca la energ@a.

• 4ermitir alg;n cambio de igual energ@a da resultados me!ores.

E:e$plo< &-asDn+ronoH sean neuronas a b (a=b), Sa(t)2, S b(t)l.• El incremento de potencial es:

• Cambio

de (a, b) al par 6ue ma"imice U2,l (m, n). Si no es ;nico, tomar

(= 2, = l). E(tG) E(t) no ciclos converge en t. finito

Modo +ondi+ionado• 4enalizar los estados no factibles aKadiendo tJrminos en la E.

• 4ermitir ir solo a estados factibles. Se puede usar una fun. barrera

(la usa RL continua para no sobrepasar los valores e"tremos , 3).

• E!emplo: Ba neurona solo cambia una unidad (WSa(tG)`Sa(t)W=).


RE! 0OPIE" M$"TI EST!O &


23/23

Modelos HDbridos (k-asDn+rono +ondi+ionado)


2014-3-mestructuras-nnmodelos-tras.doc

Documents