razón de aprendizaje variable lvbp

Noviembre 2002 ESCOM IPN 1

LVBP

http://www.escom.ipn.mx/


Razón de Aprendizaje Razón de Aprendizaje Variable (LVBP)Variable (LVBP)

❚ Incrementa la velocidad de convergencia al aumentar la velocidad de aprendizaje α en superficies planas y diminuye esta razón cuando la pendiente aumenta.



Razón de Aprendizaje Adaptable (∆α)

❚ Una forma de incrementar la velocidad de convergencia hacia un mínimo del error cuadrático medio (E) es variando la velocidad de aprendizaje.

❚ si E disminuye constantemente, ∇E es negativo para un número de pasos, entonces se debe incrementar la α.

0)()1( >+=+ cckk αα


Razón de Aprendizaje Adaptable (∆α) 2

❚ si E se ha incrementado (∇E>0) entonces se debe reducir la α.

10)()1( <<=+ bkbk αα


Reglas del algoritmoReglas del algoritmo VLBP (1) VLBP (1)

❚ 1.- Si el error cuadrático se incrementa mayor a un porcentaje establecido (1% a 5%) después de haber actualizado W; entonces se descarta la actualización;

❚ α se multiplica por 0 < ρ < 1 ❚ γ se ajusta a cero (si se utiliza el

momento).



Reglas de algoritmo Reglas de algoritmo VLBP (2)VLBP (2)

❚ 2.- si el error cuadrático disminuye después de haber actualizado W, entonces la actualización es aceptada.

❚ α es multiplicada por un factor η >1.❚ Si γ había sido ajusta a cero, este regresa

a su valor original.



Reglas de AlgoritmoReglas de Algoritmo VLBP VLBP

❚ 3.- Si el error cuadrático se incrementa en un valor menor a ζ , entonces la actualización de W se acepta pero α no cambia.

❚ Si γ había sido ajusta a cero, este regresa a su valor original.

❚ Valores típicos: η = 1.05 ρ= 0.7 ζ=4%



❚ Cuando la trayectoria viaja en línea recta, α y el tamaño del paso tienden a incrementarse con una disminución del error constante.

❚ Cuando la trayectoria llega a un valle angosto disminuye α rápidamente.



-5 0 5 10 15-5

0

5

10

15

w11,1

w21,1

η 1.05=

ρ 0.7=

ζ 4%=

Ejemplo



100 102 1040

0.5

1

1.5

Iteration Number100 102 1040

20

40

60

Iteration Number

Razón de Aprendizaje Error Cuadrático


Variantes del AlgoritmoVariantes del Algoritmo VLBP VLBP

❚ Delta-bar-delta (R. A Jacobs)❚ Cada parámetro de la red (W y b) tiene su

propia razón de aprendizaje. El algoritmo incrementa α, para un parámetro si este cambia en la misma dirección por varia iteraciones. Si la dirección del parámetro (p/ej. W ) cambia alternamente, entonces debe reducirse la α .



Variantes del AlgoritmoVariantes del Algoritmo VLBP (2) VLBP (2)

❚ Algoritmo de tolerancia SuperSAB (T. Tollenaere)

❚ Es similar al Delta bar delta de Jacobs, pero tiene reglas mas complejas para ajustar la velocidad de aprendizaje α.



EjemplosEjemplosMétodo del Momento Método del Momento

y Aprendizaje variabley Aprendizaje variable



Ejemplo: 1❚ Aplique el algoritmo de Razón de

Aprendizaje Variable y Momento a la siguiente función.

❚ Valores iniciales:

❚ A) Realice 5 iteraciones.❚ B) Dibuje la superficie de error en 2D.❚ C) Grafique los punto obtenidos.

22

21 25)( xxxF +=

=

5.0

5.00x

5.12.005.0 === ηγα

%55.0 == ζρ



Solución


❚ La regla de actualización de pesos y umbrales es la misma que la usada en Backpropagation, con la variante que se modifica la velocidad de aprendizaje en cada época, cuando se actualiza por lotes de entrenamiento.

❚ La estimación instantánea del error se puede calcular por:

( ) ( )qqT

qqq aTaTE −−=21

Conclusión


Algoritmo de Retropropagación con Razón de Aprendizaje Variable

)()()1( kWkWkW mmm ∆+=+

Tmmq

m askW )()( 1−−=∆ α

mq

m skb α−=∆ )(

qαDonde: Es la razón de aprendizaje variable, actualizada en cada época q.



Razón de Aprendizaje Variable con Momento

( ) ( )kWkWkW mmm ∆+=+ )(1

Tmmq

mm askWkW )()1()1()( 1−−−−∆=∆ αγγ

mq

mm skbkb αγγ )1()1()( −−−∆=∆



Simulación en

Matlab / NNT



❚traingdaEs una funcion que entrena redes multicapa

con retropropagación, actualizando W y b de acuerdo al gradiente descendente con razón de aprendizaje adaptable.

Sintaxis[net, tr] = traingda (net, P,T,A,Q,Ts,VV)

Algoritmo de Retropropagación

con Aprendizaje Adaptable (LVBP)


❚ Donde:❚ net = Define la red neuronal❚ net = netff([0 5 ] [3 1] {tansig purelin}

traingda)❚ P patrones de entrada❚ T valores objetivo❚ Ai Condiciones iniciales❚ Q Tamaño del lote❚ Ts Tamaño del paso❚ VV Estructura de vectores de validación


Valores por omisiónValores por omisión

net.trainParam.epochs= 10net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.lr_inc= 1.05net.trainParam.lr_dec= 0.7net.trainParam.max_fail= 5


Valores por omisión (2)Valores por omisión (2)

net.trainParam.max_perf_inc= 1.04 net.trainParam.min_grad= 1e-10net.trainParam.show= 25 net.trainParam.time= inf


❚trainbpx❚ Entrena redes multicapa con

retropropagación rápida. Se puede usar para redes de una,dos o tres capas.

❚ Ejemplo use la funcion trainbpx para una red de dos capas.

❚ [W1,b1,W2,b2,epochs,tr] = trainbpx (W1,b1,’tansig’, W2,b2,’purelin’,p,t,tp)

Método del Momento y Aprendizaje Variable


Valores por omisión para tpValores por omisión para tp❚ tp= [disp-freq = 25 ❚ max-epoch= 100 ❚ err-goal= 0.02❚ lr= 0.01❚ momentum= 0.9❚ lr-inc= 1.05❚ lr-dec= 0.7❚ err-ratio= 1.04 ]


❚ %EJEMPLO: OR EXCLUSIVA❚ clear;echo on;clc;NNTWARN OFF;

P = [0 0 1 1 ;0 1 0 1];

T = [0 1 1 0 ];

[w1,b1,w2,b2]=initff(P,2,'tansig',1,'purelin')

[w1, b1,w2,b2,epochs,tr]= trainbpx(w1,b1,'tansig',w2,b2,'purelin',P,T)


[a1,a2]=simuff(P,w1,b1,'tansig',w2,b2,'purelin')

pause %Pulse una tecla para graficar la solución

plotpv(P,T);

plotpc(w1,b1);

plotpc(w2,b2);

echo off


Dudas ???



Hasta la próxima !!!


razón de aprendizaje variable lvbp

Education