redes neuronales artificiales 3 - perceptrones dr. juan josé flores romero división de estudios de...
TRANSCRIPT
![Page 1: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/1.jpg)
Redes Neuronales Artificiales
3 - Perceptrones
Redes Neuronales Artificiales
3 - Perceptrones
Dr. Juan José Flores RomeroDivisión de Estudios de Posgrado
Facultad de Ingeniería Elé[email protected]
http://lsc.fie.umich.mx/~juan/http://lsc.fie.umich.mx/~juan/Materias/ANN
![Page 2: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/2.jpg)
Curso Redes Neuronales Artificiales
Curso Redes Neuronales Artificiales
CONTENIDO
IntroducciónAprendizajePerceptrones mono-nivelPerceptrones multi-nivelOtras Arquitecturas
![Page 3: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/3.jpg)
Separación LinealPerceptrones Monocapa
Separación LinealPerceptrones Monocapa
Condición crítica de clasificación:
n
iiixw
1
θ
Para 2-D:
θ2211 xwxw
Despejando:
21
2
12
θw
xww
xTutorial Matlab:
ch 2 – 1ch 2 – 2ch 3 – 1
![Page 4: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/4.jpg)
Separación LinealHyperplanos
Separación LinealHyperplanos
![Page 5: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/5.jpg)
Separación Lineal
Enfoque Vectorial
Separación Lineal
Enfoque Vectorial
Condición crítica de clasificación: θxw
![Page 6: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/6.jpg)
AprendizajeFalso Negativo
AprendizajeFalso Negativo
Conjunto de Entrenamiento: {v,t}
Supongamos que t=1, pero y=0Necesitamos que w apunte en dirección de vCon cambios no muy bruscos
vww α
![Page 7: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/7.jpg)
AprendizajeFalso PositivoAprendizaje
Falso Positivo
Ahora supongamos que t=0, pero y=1Necesitamos que w apunte en dirección de -vCon cambios no muy bruscos
vww α
![Page 8: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/8.jpg)
AprendizajeGeneralización
AprendizajeGeneralización
ii vt-yw
vt-yww
αΔ
α
t=1, y=0 vww α
t=0, y=1 vww α
Repeatpara cada (v, t)
y=f(v)if yt
calcular w’until y=t para todo el TS
Tutorial Matlab: ch 4 – 1ch 4 – 2
![Page 9: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/9.jpg)
Clasificadores con +2 Clases
Clasificadores con +2 Clases
![Page 10: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/10.jpg)
Clasificadores con +2 Clases
Clasificadores con +2 Clases
Clases linealmente separables
Separables por hyperplanos
![Page 11: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/11.jpg)
Clases No Separables Linealmente
Clases No Separables Linealmente
![Page 12: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/12.jpg)
Clases No Separables Linealmente
Clases No Separables Linealmente
Tutorial Matlab: ch 11 – 1
![Page 13: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/13.jpg)
Regla DeltaRegla Delta
lerror tota
salida de neuronas #
ppatrón k, neuronaen error
αΔ
αΔ
1
1
2
j
e
ee
M
e
yde
ydXw
w
ew
P
pp
p
M
kpkpkp
pkpkji
ji
pji
![Page 14: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/14.jpg)
Regla Delta - MulticapaRegla Delta - Multicapa
iji
iii
iii
iiji
aw
ingErr
OTErr
ingErraw
j
j
αΔ
)(
)(αΔ
BACKPROP:La neurona oculta j es responsable de parte del error i
jkkj
ii
jijj
Iw
wing
αΔ
)(Δ
![Page 15: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/15.jpg)
Algoritmo BackPropagation
Algoritmo BackPropagation
![Page 16: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/16.jpg)
LearningLearning
Tutorial Matlab: ch 10 – 3ch 11 – 2ch 11 – 3
![Page 17: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/17.jpg)
Overfitting – Demasiadas Neuronas
Overfitting – Demasiadas Neuronas
![Page 18: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/18.jpg)
Overfitting – Mala Generalización
Overfitting – Mala Generalización
![Page 19: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/19.jpg)
Mínimos LocalesMínimos Locales
![Page 20: Redes Neuronales Artificiales 3 - Perceptrones Dr. Juan José Flores Romero División de Estudios de Posgrado Facultad de Ingeniería Eléctrica juanf@zeus.umich.mx](https://reader035.vdocuments.pub/reader035/viewer/2022070418/5665b4821a28abb57c92153f/html5/thumbnails/20.jpg)
MomentoMomento
)(βΔ)(α)1(Δ
)(α)1(Δ
j
j
twtatw
tatw
jiiji
iji
• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor
• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor
• Si el incremento en t es positivo y en t+1 también, el paso en t+1 es mayor
• Si en t el incremento es positivo y en t+1 es negativo, el paso en t+1 es menor