algoritmo de retropropagación. notación n i, j, k son índices de las neuronas en las distintas...
TRANSCRIPT
![Page 1: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/1.jpg)
Algoritmo de Retropropagación
![Page 2: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/2.jpg)
Notación
i, j, k son índices de las neuronas en las distintas capas
![Page 3: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/3.jpg)
Notación
En el paso n se presenta el n-ésimo patrón de entrada a la red
se refiere a la suma instantánea de los cuadrados de los errores en la iteración n.
El promedio de sobre todas las n es el error promedio de la energía
es la señal de error de la neurona j en la muestra n
)(n
)(n
)(ne j
)(nAV
![Page 4: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/4.jpg)
Notación
es la salida deseada en la neurona j para la muestra n
es la salida observada en la neurona j para la muestra n
denota el peso conectando las neuronas i y j en la muestra n
La corrección se denota con
)(nd j
)(ny j
)(nw ji
)(nw ji
![Page 5: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/5.jpg)
Notación
El campo local inducido ( ) se denota pori
jiiwO
)(nv j
![Page 6: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/6.jpg)
Notación
La función de activación asociada a se denota por
El sesgo de umbral aplicado a la neurona j es . con entrada +1
El i-ésimo elemento del vector de entrada es El k-ésimo elemento del vector de salida global es
La tasa de aprendizaje es
jv)(j
0jj wb )(nX i
)(nOk
![Page 7: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/7.jpg)
Notación
denota el número de neuronas en la l-ésima capa
l = 0, 1, ..., L = tamaño de la capa de entrada = tamaño de las capas escondidas = tamaño de la capa de salida
lm
0m
11,..., Lmm
Lm
![Page 8: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/8.jpg)
Retropropagación
Señal de error:
Valor instantáneo de la energía del error para la neurona j:
Valor instantáneo de la energía del error:
C incluye todas las neuronas en L.
)0.7()()()( nyndne jjj
)()2/1( 2 ne j
)1.7()()2/1()( 2 nenCj
j
![Page 9: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/9.jpg)
Retropropagación
N es el númerode muestras
N
nAV nNn
1
)()/1()(
![Page 10: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/10.jpg)
Retropropagación
![Page 11: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/11.jpg)
Retropropagación
La corrección a es proporcional a
m
iijij anynwnv
0
)1.7()()()(
)2.7())(()( nvny jj
)(nw ji )(nw ji
)(
)(
nw
n
ji
![Page 12: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/12.jpg)
Retropropagación
Podemos escribir
diferenciando ambos lados de (7.1)
)(
)(
)(
)(
)(
)(
)(
)(
)(
)(
nw
nv
nv
ny
ny
ne
ne
n
nw
n
ji
j
j
j
j
j
jji
)1.8()()(
)(ne
ne
nj
j
)()2/1()( 2 nenCj
j
![Page 13: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/13.jpg)
Retropropagación
diferenciando ambos lados de (7.0)
diferenciando ambos lados de (7.2)
)2.8(1)(
)(
ny
ne
j
j
)()()( nyndne jjj
))(()( nvny jj
)3.8()(
))(())(('
)(
)(
nv
nvnv
nv
ny
j
jj
j
j
![Page 14: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/14.jpg)
Retropropagación
diferenciando (7.1a)
De 8.1,2,3,4 tenemos
)4.8()()(
)(ny
nw
nvi
ji
j
m
iijij nynwnv
0
)()()(
)5.8()())((')()(
)(nynvne
nw
nijjj
ji
j
![Page 15: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/15.jpg)
Retropropagación
La corrección aplicada a está definida por la regla delta:
Poniendo (8.5) en (9.1):
)1.9()(
)()(
nw
nnw
ji
)(nw ji )(nw ji
)()()( nynnw ijji
![Page 16: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/16.jpg)
Retropropagación
En donde el gradiente local está definido por
)(nj
)1.1.9()(
)(
)(
)(
)(
)()(
)()(
nv
ny
ny
ne
ne
nnv
nn
j
i
i
j
j
jj
)2.9())((')()( nvnen jjjj
![Page 17: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/17.jpg)
Retropropagación
Consideremos el caso en donde j es un nodo de salida.
se calcula de
y)()()( nyndne jjj
)(ne j
))(('))()(()( nvnyndn jjjjj
![Page 18: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/18.jpg)
Retropropagación
![Page 19: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/19.jpg)
Retropropagación
Consideremos el caso en donde j es un nodo de escondido.
De (9.1.1):
De la figura anterior:
)3.9())((')(
)(
)(
)(
)(
)()( nv
ny
n
nv
ny
ny
nn jj
jj
j
jj
Ck
k nen )()2/1()( 2
![Page 20: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/20.jpg)
Retropropagación
rescribimos
pero
cuando k es una salida y m+1 es el número de entradas (incluyendo el sesgo)
)(
)(
)(
)(
ny
nee
ny
n
j
kk
j
)(
)(
)(
)(
)(
)(
ny
nv
nv
nee
ny
n
j
k
k
k
kk
j
))(()()()()(
nvndnyndnekkk
kkk
![Page 21: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/21.jpg)
Retropropagación
Por tanto:
para la neurona k el campo local inducido es
y
)1.10())((')(
)(nv
nv
nekk
k
k
m
jjkjk nynwnv
0
)()()(
)2.10()()(
)(nw
ny
nvkj
j
k
![Page 22: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/22.jpg)
Retropropagación
De (10.1) y (10.2) tenemos:
Poniendo (10.3) en (9.3):
cuando j es escondida
kkjk
kkjkkk
j
nwn
nwnvneny
n
)3.10()()(
)())((')()(
)(
k
kjkjj nwnnvn )()())((')(
![Page 23: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/23.jpg)
Retropropagación
![Page 24: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/24.jpg)
Retropropagación
1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error . Ambas están asociadas a la neurona j.
)(ne j
))((' nv jj)(nj
![Page 25: Algoritmo de Retropropagación. Notación n i, j, k son índices de las neuronas en las distintas capas](https://reader035.vdocuments.pub/reader035/viewer/2022081421/5665b4d81a28abb57c942de8/html5/thumbnails/25.jpg)
Retropropagación
2. Si la neurona j es un nodo escondido, es igual al producto de la derivada asociada y la suma pesada de las calculada para las neuronas de la siguiente
capa escondida o de salida que se conectan a la neurona j.
)(nj
s))((' nv jj