Download - Variantes de BACKPROPAGATION
![Page 1: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/1.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 1
.
![Page 2: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/2.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 2
Técnicas Heurísticas y de
optimización Numérica
![Page 3: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/3.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 3
Técnicas de Acelerar el algoritmo de Retropropagación. Técnicas Heurísticas
– Momento– Razón de aprendizaje variable
Técnicas de optimización numérica– Algoritmo de gradiente conjugado– Algoritmo de Levenberg-Marquardt
![Page 4: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/4.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 4
SDBP
![Page 5: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/5.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 5
Características del algoritmo de Retropropagación.
El mejor avance en RNA Permite entrenar redes multicapa Aproximación de un algoritmo de
Gradiente Descendente SDBP es una generalización de LMS SDBP es equivalente LMS para red lineal
monocapa SDBP Se utiliza entre 80% a 85%
![Page 6: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/6.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 6
La superficie de error de una red monocapa lineal tiene un solo mínimo y una curvatura constante
La superficie de error en una multicapa puede tener varios mínimos locales y la curvatura puede variar ampliamente en diferentes regiones.
![Page 7: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/7.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 7
Error cuadrático vs. w1
1,1 y w21,1
-5
0
5
10
15
-5
0
5
10
15
0
5
10
-5 0 5 10 15-5
0
5
10
15
w11,1w2
1,1
w11,1
w21,1
![Page 8: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/8.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 8
Ejemplo de Convergencia
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
![Page 9: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/9.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 9
Inconvenientes del algoritmo Básico (SDBP)
Algoritmo de entrenamiento muy lento
Tiempo de entrenamiento grande (días e incluso semanas)
La razón de aprendizaje es pequeña. 0.05 < < 0.25 (max=1)
![Page 10: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/10.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 10
Razón de aprendizaje muy grande
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
![Page 11: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/11.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 11
Recomendaciones para iniciar los parámetros del SDBP
1.- No ajustar los parámetros iniciales a cero. 2.- no ajustar los parámetros iniciales a
valores grandes. 3.- Escoger valores iniciales aleatorios
pequeños. 4.- Probar con diferentes valores iniciales
hasta alcanzar un mínimo global o un error mínimo.
![Page 12: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/12.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 12
Alternativas para mejorar la convergencia del algoritmo SDBP Incrementar la velocidad de aprendizaje
en superficies planas y disminuirla conforme la pendiente aumente.
Suavizar la trayectoria de convergencia (a través de un filtro)
![Page 13: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/13.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 13
Ejemplos BPEjemplos BP
Método del Gradiente Método del Gradiente DescendenteDescendente
![Page 14: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/14.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 14
Ejemplo: 1 Aplique el algoritmo de Gradiente Descendente a
la siguiente función.
Los Valores iniciales son:
A) Realice 5 iteraciones. B) Dibuje la superficie de error en 2D. C) Grafique los punto obtenidos.
22
21 25)( xxxF
01.0
5.0
5.00x
![Page 15: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/15.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 15
MOBP
![Page 16: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/16.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 16
Técnicas HeurísticasTécnicas Heurísticas
Método del Momento Basado en suavizar las oscilaciones en
la trayectoria hacia la convergencia al usar un filtro pasabajas.
Al incrementar el momento () las oscilaciones de la salida filtrada se reducen.
![Page 17: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/17.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 17
El El MomentoMomento
0 50 100 150 2000
0.5
1
1.5
2
0 50 100 150 2000
0.5
1
1.5
2
y k y k 1– 1 – w k +=
Filtro
0 1Ejemplo
w k 12k16
--------- sin+=
0.9= 0.98=
![Page 18: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/18.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 18
Wm
k sma
m 1–
T–= b
mk s
m–=
Wm
k Wm
k 1– 1 – sma
m 1–
T–=
bmk bm
k 1– 1 – sm–=
Algoritmo de Retropropagación de Gradiente Descendente
(SDBP)
Retropropagación con Momento(MOBP)
![Page 19: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/19.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 19
Método del Momento (MOBP)
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
0.8=
Wm
k Wm
k 1– 1 – sma
m 1–
T–=
bmk bm
k 1– 1 – sm–=
![Page 20: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/20.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 20
Ventajas del método del Momento (MOBP)
Permite una razón de aprendizaje mayor
Se acelera la convergencia cuando la trayectoria se este moviendo en una dirección constante.
Tiende a hacer la la trayectoria continua en la misma dirección.
![Page 21: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/21.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 21
LVBP
![Page 22: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/22.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 22
Razón de Aprendizaje Razón de Aprendizaje Variable (LVBP)Variable (LVBP)
Incrementa la velocidad de convergencia al aumentar la velocidad de aprendizaje en superficies planas y diminuye esta razón cuando la pendiente aumenta.
![Page 23: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/23.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 23
Reglas del algoritmoReglas del algoritmo VLBP (1) VLBP (1)
1.- Si el error cuadrático se incrementa mayor a un porcentaje establecido (1% a 5%) después de haber actualizado W; entonces se descarta la actualización;
se multiplica por 0 < < 1 se ajusta a cero (si se utiliza el
momento).
![Page 24: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/24.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 24
Reglas de algoritmo Reglas de algoritmo VLBP (2)VLBP (2)
2.- si el error cuadrático disminuye después de haber actualizado W, entonces la actualización es aceptada.
es multiplicada por un factor >1. Si había sido ajusta a cero, este
regresa a su valor original.
![Page 25: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/25.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 25
Reglas de AlgoritmoReglas de Algoritmo VLBP VLBP
Si el error cuadrático se incrementa en un valor menor a , entonces la actualización de W se acepta pero no cambia.
Si había sido ajusta a cero, este regresa a su valor original.
Valores típicos: = 1.05 = 0.7 =4%
![Page 26: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/26.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 26
Cuando la trayectoria viaja en línea recta, y el tamaño del paso tienden a incrementarse con una disminución del error constante.
Cuando la trayectoria llega a un valle angosto disminuye rápidamente.
![Page 27: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/27.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 27
-5 0 5 10 15-5
0
5
10
15
100 102 1040
0.5
1
1.5
Iteration Number100 102 1040
20
40
60
Iteration Number
w11,1
w21,1
1.05=
0.7=
4%=
Ejemplo
![Page 28: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/28.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 28
Variantes del AlgoritmoVariantes del Algoritmo VLBP VLBP
Delta-bar-delta (R. A Jacobs)
Algoritmo de tolerancia SuperSAB (T. Tollenaere)
Quickprop (S.E. Fahlman)
![Page 29: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/29.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 29
Ejemplos BPEjemplos BP
Método del Momento Método del Momento
( () y ) y variablevariable
![Page 30: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/30.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 30
Ejemplo: 1 Aplique el algoritmo de Razón de
Aprendizaje Variable y Momento a la siguiente función.
Valores iniciales:
A) Realice 5 iteraciones. B) Dibuje la superficie de error en 2D. C) Grafique los punto obtenidos.
22
21 25)( xxxF
5.0
5.00x
5.12.005.0
%55.0
![Page 31: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/31.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 31
Inconvenientes de losInconvenientes de losMétodos HeurísticosMétodos Heurísticos
Requiere de ajustar muchos parámetros (, , ) algunos pueden tener hasta 6 parámetros; a diferencia de
SDBP que solo requiere . Pueden fallar en la convergencia donde
el algoritmo SDBP encuentra solución.
![Page 32: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/32.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 32
Técnicas de Técnicas de Optimización NuméricaOptimización Numérica
El Gradiente conjugado (CGBP)
Levenberg-Marquardt (LMBP)
![Page 33: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/33.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 33
CGBP
![Page 34: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/34.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 34
Algoritmo de Gradiente Algoritmo de Gradiente Conjugado (CGBP)Conjugado (CGBP)
CGBP converge a un mínimo de una función cuadrática en un numero finito de iteraciones.
El procedimiento general para localizar un mínimo de una función en una dirección requiere:
Localizar el intervalo donde se encuentra Reducir el intervalo
![Page 35: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/35.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 35
Algoritmo deAlgoritmo de
*** Gradiente *** *** Gradiente ***
ConjugadoConjugado
![Page 36: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/36.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 36
1. La primera dirección de búsqueda es el gradiente descendente
2. Tomar un paso y escoger una razón de aprendizaje para minimizar la función a lo largo de la dirección búsqueda.
p0 g0–= gk F x x x k=
xk 1+ xk kpk+=
![Page 37: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/37.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 37
3. Seleccione la siguiente dirección de búsqueda de acuerdo a:
Donde:
pk gk– kpk 1–+=
k
gkTgk
gk 1–Tg k 1–
-------------------------=
k F x T
x x k=pk
pkT
F x 2x xk=
pk
------------------------------------------------– g k
Tpk
pkTAkpk
--------------------–= =
![Page 38: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/38.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 38
Si el algoritmo no ha convergido regrese al paso 2.
![Page 39: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/39.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 39
Ejemplos BPEjemplos BP
Método del Gradiente Método del Gradiente Conjugado Conjugado
![Page 40: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/40.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 40
Ejemplo: 1 Aplique el algoritmo de Gradiente
Conjugado a la siguiente función.
Los valores iniciales son:
A) Realice 2 iteraciones. B) Dibuje la superficie de error en 2D. C) Grafique los punto obtenidos.
22
21 25)( xxxF
5.0
5.00x
![Page 41: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/41.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 41
Inconvenientes del algoritmo de Gradiente Conjugado. El algoritmo GC nos puede aplicar
directamente al entrenamiento de RNA, dado que el índice de desempeño de las mismas no es cuadrático.
No se puede usar k para minimizar la función a lo largo de una línea.
No se alcanzara un mínimo exacto en un numero finito de iteraciones.
![Page 42: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/42.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 42
Para localizar un mínimo de una función en una dirección especificada se requiere:– a) Localización del intervalo.– b) Reducción del intervalo.
El propósito del paso de localización del intervalo es encontrar un intervalo inicial que contenga un mínimo local.
![Page 43: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/43.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 43
El paso de la reducción del intervalo, reduce el tamaño del intervalo hasta que el mínimo es localizado en la precisión deseada.
Para lo anterior se propuso: “El método de búsqueda de la Sección
de Oro”
![Page 44: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/44.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 44
A) Localización del IntervaloA) Localización del Intervalo
Búsqueda de la sección de oroBúsqueda de la sección de oro
![Page 45: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/45.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 45
B) Reducción delB) Reducción del Intervalo Intervalo
![Page 46: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/46.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 46
Búsqueda de la Búsqueda de la sección de orosección de oro=0.618
Set c1 = a1 + (1-)(b1-a1), Fc=F(c1)
d1 = b1 - (1-)(b1-a1), Fd=F(d1)
For k=1,2, ... repeatIf Fc < Fd then
Set ak+1 = ak ; bk+1 = dk ; dk+1 = ck
c k+1 = a k+1 + (1-)(b k+1 -a k+1 )
Fd= Fc; Fc=F(c k+1 )
elseSet ak+1 = ck ; bk+1 = bk ; ck+1 = dk
d k+1 = b k+1 - (1-)(b k+1 -a k+1 )
Fc= Fd; Fd=F(d k+1 )
endend until bk+1 - ak+1 < tol
![Page 47: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/47.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 47
Ejemplo: 1 Realice una iteración del algoritmo de
Gradiente Conjugado para la función:
Para la minimización lineal use la localización del intervalo mediante la evaluación de la función F(x); y para la reducción del intervalo por medio de Búsqueda de la Sección de Oro.
2221
21)( xxxxxF
![Page 48: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/48.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 48
Algoritmo de gradiente Algoritmo de gradiente ConjugadoConjugado
-5 0 5 10 15-5
0
5
10
15
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
w11,1
w21,1
Pasos Intermedios Trayectoria Completa
![Page 49: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/49.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 49
LMBP
![Page 50: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/50.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 50
Método de NewtonMétodo de Newtonxk 1+ xk Ak
1– gk–=
Ak F x 2x xk=
gk F x x xk=
Si el índice de desempeño es una suma del cuadrado de la función:
F x v i2 x
i 1=
N
vT x v x = =
Entonces el j-esimo elemento del gradiente es
F x jF x
x j--------------- 2 vi x
vi x x j
---------------
i 1=
N
= =
![Page 51: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/51.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 51
Forma de la Matriz
F x 2JTx v x =
El gradiente se puede escribir en forma de matriz:
Donde J es la matriz Jacobiana:
J x
v1 x x1
----------------v1 x
x2----------------
v1 x xn
----------------
v2 x x1
----------------v2 x
x2----------------
v2 x xn
----------------
vN x
x1-----------------
vN x x2
-----------------vN x
xn-----------------
=
![Page 52: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/52.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 52
Hessiano
F x 2 k j2 F x
xk x j------------------ 2
vi x x k
---------------vi x
x j--------------- vi x
2v i x xk x j
------------------+
i 1=
N
= =
F x 2 2JT x J x 2S x +=
S x vi x v i x 2
i 1=
N
=
![Page 53: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/53.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 53
Método de Método de Gauss-NewtonGauss-Newton
F x 2 2JTx J x
xk 1+ xk 2JT xk J xk 1–2JT xk v xk –=
xk JT xk J xk 1–JT xk v xk –=
Aproximar la matriz Hessiana como:
El método de Newton se transforma:
![Page 54: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/54.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 54
Algoritmo: Algoritmo: Levenberg-MarquardtLevenberg-Marquardt
H JTJ=
G H I+=
1 2 n z1 z2 zn
Gz i H I+ zi Hzi zi+ izi zi+ i + z i= = = =
Gauss-Newton aproxima el Hesiano por:
Esta matriz puede ser singular, pero puede ser invertible como sigue:
Si los eigenvalores y eigenvectores de H son:
entonces Eigenvalues of G
xk 1+ x k JT x k J x k kI+ 1–JT xk v xk –=
![Page 55: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/55.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 55
Ajuste de k
Conforme Conforme kk0, LM se transforma0, LM se transforma
en Gauss-Newtonen Gauss-Newton..
x k 1+ xk JT xk J xk 1–JT x k v xk –=
Conforme Conforme kk, LM se transforma en Gradiente , LM se transforma en Gradiente
Descendente con razón de aprendizaje pequeñaDescendente con razón de aprendizaje pequeña.
x k 1+ xk1k-----JT xk v xk – x k
12k--------- F x –=
![Page 56: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/56.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 56
Por lo tanto, comience con un valor pequeño de k para usar Gauss Newton y
velocidad Convergencia. Si un paso no permite una
pequeña F(x), entonces repetir el paso con un parámetro k mayor, hasta que F(x)
sea decrementada. F(x) debe decrementarse eventualmente, puesto que habremos tomado un muy pequeño paso en la dirección del Gradiente Descendente.
![Page 57: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/57.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 57
Aplicación a las Redes Multicapa
F x tq aq– Ttq aq–
q 1=
Q
eqTeq
q 1=
Q
e j q 2
j 1=
SM
q 1=
Q
vi 2
i 1=
N
= = = =
El índice de desempeño para la red multicapa es:
El vector de error es:
El vector parámetro es:
vT
v1 v2 vNe 1 1 e2 1 e
SM
1e1 2 e
SM
Q= =
xTx 1 x2 x n w1 1
1w1 2
1 wS
1R
1b1
1 bS
11
w1 12 b
SM
M= =
N Q SM=
Las dimensiones de los dos vectores son:
n S1
R 1+ S2
S1
1+ SM
SM 1–
1+ + + +=
![Page 58: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/58.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 58
Matriz JacobianaMatriz Jacobiana
J x
e1 1
w1 11
--------------e1 1
w1 21
-------------- e1 1
wS
1R
1----------------
e1 1
b11
------------
e2 1
w1 11
--------------
e2 1
w1 21
--------------
e2 1
wS
1R
1----------------
e2 1
b11
------------
eS
M1
w1 11
---------------e
SM
1
w1 21
---------------ee
SM
1
wS
1R
1----------------
eeS
M1
b11
----------------
e1 2
w1 11
--------------
e1 2
w1 21
--------------
e1 2
wS
1R
1----------------
e1 2
b11
------------
=
![Page 59: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/59.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 59
Calculo del JacobianoCalculo del Jacobiano
F̂ x x l
---------------eq
Teq
x l-----------------=
SDBP calcula terminos como:
J h lvhxl
--------e k q
xl------------= =
Para el Jacobiano se necesita calcular terminos como:
F̂
w i jm
------------F̂
nim
---------
nim
wi jm
------------=
sim F̂
nim
---------
Usando la regla de la cadena:
Donde la sensibilidad
Se calcula usando backpropagation.
![Page 60: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/60.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 60
Sensibilidad de Sensibilidad de MarquardtMarquardt
Si se define una sensibilidad de Marquardt :
s̃i hm vh
ni qm
------------ek q
ni qm
------------= h q 1– SMk+=
Se puede calcular la Jacobiana como sigue:
J h lv h
x l--------
ek q
wi jm
------------ek q
ni qm
------------ni q
m
w i jm
------------ s̃i hm ni q
m
wi jm
------------ s̃i hm
a j qm 1–
= = = = =
Pesos W
Umbral B
J h lvhxl
--------ek q
bim
------------
e k q
ni qm
------------ni q
m
bim
------------ s̃i hm ni q
m
bim
------------ s̃i hm
= = = = =
![Page 61: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/61.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 61
Calculo de las Calculo de las SensibilidadesSensibilidades
s̃i hM vh
ni qM
------------ek q
ni qM
------------tk q ak q
M–
ni qM
--------------------------------ak q
M
ni qM
------------–= = = =
s̃i hM
fÝM
ni qM – for i k=
0 for i k
=
S̃qM
FÝMnq
M –=
S̃qm
FÝmnq
m( ) Wm 1+
TS̃q
m 1+= S̃
mS̃1
mS̃2
m S̃Q
m=
Backpropagation
Iniciación
![Page 62: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/62.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 62
Algoritmo LMBPAlgoritmo LMBP Presentar todas las entradas a la red y
calcular la salidas correspondiente y los errores. Calcular la suma de los errores cuadráticos en todas las entradas.
Calcular la matriz Jacobiana. Después de inicializar, calcule la sensibilidades con el algoritmo de retropropagación. Aumente la matrices en las sensibilidades de Marquardt. Calcule los elementos de la matriz Jacobiana.
![Page 63: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/63.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 63
Solucione para obtener el cambio en los pesos.
Recalcule la suma del error cuadrático con los nuevos pesos. – Si esta nueva suma de cuadrados es mas
pequeña, que el calculado en el paso 1, entonces divida k en actualice los
pesos y regrese al paso 1.– Si la suma de los cuadrados no es
reducida, entonces multiplique k por y
regrese al paso 3.
![Page 64: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/64.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 64
Ejemplo de LMBP Ejemplo de LMBP
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
![Page 65: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/65.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 65
Trayectoria del LMBPTrayectoria del LMBP
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
![Page 66: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/66.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 66
Ejemplos BPEjemplos BP
Método de Levenberg Método de Levenberg MarquardtMarquardt
![Page 67: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/67.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 67
Ejemplo: 1 Encuentre la matriz Jacobina para el
primer paso del método de Levenberg Marquardt. Vea la figura siguiente.
1111 bpWfa 2222 baWfa
21 nnf nnf 2
![Page 68: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/68.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 68
Los pares entrada / salida son:
Los paramentos iniciales son:
11 11 TP 22 22 TP
01 11 bW
12 22 bW
![Page 69: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/69.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 69
El LMBP es el algoritmo mas rápido que se ha probado para entrenar redes neuronales multicapa de tamaño moderado.
Su principal inconveniente es los requerimientos de memoria; si la red tiene mas de unos cuantos cientos de parámetros el algoritmo se vuelve impráctico.
Conclusiones del Conclusiones del
LMBPLMBP
![Page 70: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/70.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 70
Simulación en
Matlab / NNT
![Page 71: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/71.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 71
trainbpx Entrena redes multicapa con
retropropagación rápida. Se puede usar para redes de una,dos o tres capas.
Ejemplo use la funcion trainbpx para una red de dos capas.
[W1,b1,W2,b2,epochs,tr] = trainbpx (W1,b1,’tansig’, W2,b2,’purelin’,p,t,tp)
Método del Momento y Aprendizaje Variable
![Page 72: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/72.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 72
Valores por omisión para tpValores por omisión para tp tp= [disp-freq = 25 max-epoch= 100 err-goal= 0.02 lr= 0.01 momentum= 0.9 lr-inc= 1.05 lr-dec= 0.7 err-ratio= 1.04 ]
![Page 73: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/73.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 73
%EJEMPLO: OR EXCLUSIVA clear;echo on;clc;NNTWARN OFF; P = [0 0 1 1 ;0 1 0 1]; T = [0 1 1 0 ];
[w1,b1,w2,b2]=initff(P,2,'tansig',1,'purelin')
[w1, b1,w2,b2,epochs]= trainbpx(w1,b1,'tansig',w2,b2,'purelin',P,T)
![Page 74: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/74.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 74
[a1,a2]=simuff(P,w1,b1,'tansig',w2,b2,'purelin')
pause %Pulse una tecla para graficar la solución
plotpv(P,T); plotpc(w1,b1); plotpc(w2,b2); echo off
![Page 75: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/75.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 75
trainlm Entrena redes feed forward con el
algoritmo de Levenberg Marquardt. Se puede usar para entrenar redes de
0, 1 y 2 capas ocultas. Este algoritmo es mucho mas rápido
que el de gradiente descendente tal como trainbp o trainbpx; sin embargo requiere de mas memoria.
Método de Levenverg-Marquart
![Page 76: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/76.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 76
Ejemplo use la funcion trainlm para una red de dos capas.
[W1,b1,W2,b2,epochs,tr] = trainlm (W1,b1,’tansig’, W2,b2,’purelin’,P,T,tp)
Parámetros opcionales para tp= Frecuencia de muestreo = 25; # Máximo de épocas= 1000; Sumatoria del error cuadrático=0.02;
![Page 77: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/77.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 77
Gradiente mínimo=0.0001; Valor inicial de =0.001; Multiplicador para Inc. =10 Multiplicador para dec. =0.1; Máximo valor de =1E10
![Page 78: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/78.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 78
%EJEMPLO: OR EXCLUSIVA clear;echo on;clc;NNTWARN OFF; P = [0 0 1 1 ;0 1 0 1]; T = [0 1 1 0 ];
[w1,b1,w2,b2]=initff(P,2,'tansig',1,'purelin')
[w1, b1,w2,b2,epochs]= trainlm(w1,b1,'tansig',w2,b2,'purelin',P,T)
![Page 79: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/79.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 79
[a1,a2]=simuff(P,w1,b1,'tansig',w2,b2,'purelin')
pause %Pulse una tecla para graficar la solución
plotpv(P,T); plotpc(w1,b1); plotpc(w2,b2); echo off
![Page 80: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/80.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 80
Dudas ???
![Page 81: Variantes de BACKPROPAGATION](https://reader035.vdocuments.pub/reader035/viewer/2022062303/558a79dcd8b42aa3028b4640/html5/thumbnails/81.jpg)
SEPTIEMBRE DE 2002
ESCOM IPN 81
Hasta la próxima !!!