redes neuronales artificiales entrenamiento por retropropagación del error-backpropagation dr....
TRANSCRIPT
![Page 1: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/1.jpg)
Redes Neuronales Artificiales Entrenamiento por Retropropagación
del Error-Backpropagation
Dr. Pedro Ponce CruzEGIA-MCI
![Page 2: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/2.jpg)
Consultar Libro de TextoInteligencia Artificial con aplicaciones a la ingeniería
![Page 3: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/3.jpg)
Redes multicapa
1
o
o
o
o
pi
p1
pn
F(·)
F(·)
F(·)
F(·)
F(·)
F(·)
1o
wj iu1
u j
u m
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
h1
h j
h m
s 1
s k
s r
o 1
o k
o r
v k j- +
- +
- +
d1
d k
d r
.
.
.
.
.
.
e1
e k
e r
entrada capa oculta capa de salida valoresdeseados
Las redes multicapa que se entrenan con el método de Backpropagationrequieren de encontrar el valor del error que se define como la diferencia delvalor deseado y el valor de salida. Es una topología de entrenamiento supervisado
![Page 4: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/4.jpg)
Si definimos la red multicapa, empleando 6 neuronas
Cada neurona se compone de una función de activación
![Page 5: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/5.jpg)
La función Sigmoidal es de las más empleadas dentro de las redes multicapa
• La función sigmoidal se define como
Dentro de cada neurona se tiene el valor de x que se presenta en la función Sigmoidal como la sumatoria de los pesos por las entradas
-5 -4 -3 -2 -1 0 1 2 3 4 50
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1Funcion de activacion Sigmoidal
x
Sig
moi
dal(x
)
![Page 6: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/6.jpg)
Función Sigmoidal y su derivada
Encontrando la derivada f’(x)
![Page 7: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/7.jpg)
Las derivadas de las funciones empleadas en redes multicapas se puede resumir
2)(1)('
)(
Tanh
)(1)()('1
1)(
1)('
)(
Lineal
xfxf
ee
eexf
xfxfxfe
xf
Sigmoidal
xf
xxf
xx
xx
x
![Page 8: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/8.jpg)
Graficas de la función sigmoidal y su derivada
-8 -6 -4 -2 0 2 4 6 80
0.2
0.4
0.6
0.8
1Función sigmoidal
-8 -6 -4 -2 0 2 4 6 80
0.1
0.2
0.3
0.4Derivada de la función sigmoidal
![Page 9: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/9.jpg)
Evaluación de entradas en una red multicapa
![Page 10: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/10.jpg)
Representación grafica del método Backpropagation
![Page 11: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/11.jpg)
Representación grafica del método Backpropagation
![Page 12: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/12.jpg)
Deducción de la regla de entrenamiento Backpropagation• Definiendo el gradiente del error con
respecto a los pesos.
i
kj
e
2
![Page 13: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/13.jpg)
Deducción de la regla de entrenamiento Backpropagation
Donde
![Page 14: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/14.jpg)
Backpropagation
si δ es la sensibilidad del error
![Page 15: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/15.jpg)
Backpropagation
Para una función sigmoidal
Regla para la capa de salida , se tiene el valor deseado (d), en está capa
![Page 16: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/16.jpg)
Capas intermedias
![Page 17: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/17.jpg)
Capas intermedias
![Page 18: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/18.jpg)
Regla general para todas las capas ocultas
![Page 19: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/19.jpg)
Ejemplo de Backpropagation
![Page 20: Redes Neuronales Artificiales Entrenamiento por Retropropagación del Error-Backpropagation Dr. Pedro Ponce Cruz EGIA-MCI](https://reader036.vdocuments.pub/reader036/viewer/2022081514/5665b4ad1a28abb57c932718/html5/thumbnails/20.jpg)
Algoritmo backpropagation• Pasos 1- Definir la estructura de la Red
• Paso 2- Poner pesos de manera aleatoria en cada neurona
• Paso 3- Calcular la salida de la Red
• Paso 4- Calcular Coef. De Sensibilidad del error
• Paso 5-Calcular nuevos pesos
• Paso 6- Regresar al paso 3 si no se alcanzar la tolerancia o número de iteraciones , en otro caso detener algoritmo