![Page 1: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/1.jpg)
11 /37/37
Redes Neuronales
INTRODUCCION A TECNICAS DE MINERIA DE DATOS
Mg. Samuel Oporto Díaz Lima, 28 de Diciembre 2005
![Page 2: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/2.jpg)
22 /37/37
Tabla de Contenido1. Neuronas Artificiales
2. Análisis de las Redes Neuronales
![Page 3: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/3.jpg)
33 /37/37
NEURONAS ARTIFICIALES
Redes NeuronalesRedes NeuronalesRedes NeuronalesRedes Neuronales
![Page 4: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/4.jpg)
44 /37/37
Redes Neuronales• Modelo matemático inspirados en el funcionamientos de
las neuronas biológicas.
• Aprendizaje basado en la experiencia.
• Compuesta por unidades de procesamiento (neuronas)
• Las unidades están ligadas por conexiones (sinapsis)
• Modela funciones complejas y no-lineales.
• Herramienta matemática, similar al análisis estadístico.
• Apoyada por computadoras de alta velocidad.
![Page 5: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/5.jpg)
55 /37/37
Neuronas Artificiales
• Súper-simplificación• Analogía Metafórica• Sorprendente poder de
cómputo
![Page 6: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/6.jpg)
66 /37/37
Características• El estilo de procesamiento como el de procesamiento de señales,
no simbólico. No hay instrucciones.• La información se almacena en un conjunto de pesos, no en un
programa. Los pesos se adaptan.• Tolerantes a ruido: pequeños cambios en la entrada no afecta
drásticamente la salida de la red.• La memoria se trata como patrones de actividad almacenada en
toda la red y no como el contenido de pequeños grupos de celdas de memoria.
• La red puede generalizar el conjunto de entrenamiento y así tratar con ejemplos no conocidos.
• Son buenas para tareas perceptuales y asociaciones. Difícil para la computación tradicional.
![Page 7: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/7.jpg)
77 /37/37
TIPOS DE REDES NEURONALES
![Page 8: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/8.jpg)
88 /37/37
Redes Neuronales Artificiales• Interconexión entre neuronas
– Decide flujo de información en red– Total
• genera lazos en flujo de datos• redes recurrentes
– Parcial• en capas: entrada, internas, salida• Recurrente: contiene lazos• Feedforward: no contiene lazos
• Junto con pesos y funciones de salida de cada neurona definen comportamiento global de la red
• Se debe definir la forma de actualización de estados de cada neurona en la red– secuencial, asíncrono, sincrónico– especialmente importante en redes recurrentes o con
dinámica temporal
uy
![Page 9: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/9.jpg)
99 /37/37
Perceptron• Perceptron
– Separa espacio con hiperplano– y = f ( w1 u1 + w2 u2 + ... + wn un ),– f(s) = { 1 si s0, 0 si s<0 }– Puede incluir offset w0.
– Importante históricamente• estudiado muy detalladamente (Minsky y Papert ‘69)
– Es un clasificador lineal en 2 clases.• bueno si patrones linealmente separables• XOR problem
– Análogo a clasificador de Bayes gaussiano.• minimiza probabilidad de error• clasificador denominado paramétrico
wt.u=0
u1
u2
![Page 10: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/10.jpg)
1010 /37/37
Perceptron
![Page 11: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/11.jpg)
1111 /37/37
Perceptron
![Page 12: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/12.jpg)
1212 /37/37
Adaline• Adaptive Linear Element• Estructura:
– Como un Perceptron pero con función lineal a la salida.
• Permite trabajar con problemas mas generales
– Widrow y Hoff propusieron un método más eficiente computacionalmente denominado LMS para determinar parámetros del Adaline (1962).
• similar a aplicar gradiente descendente
• muy intuitivo
ippip
ppp
n
iii
xytw
ytE
wxwy
2
01
21
y=0
![Page 13: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/13.jpg)
1313 /37/37
ADALINE
![Page 14: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/14.jpg)
1414 /37/37
ADALINE
![Page 15: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/15.jpg)
1515 /37/37
Perceptron Multicapa• Representación ordenada
– Werbos (1972)
– Red lineal
– Activaciones dependen:• entradas• activaciones de neuronas
precedentes
– Derivadas ordenadas backpropagation
1
2
3
4
57
6Wij
1 Wij2
u1
u2
y1
y2
Wij3
u1
u2
y1
y21 2 3 4 5 6 7
i
i
j
ni
kkikjijii uwxwfx
1
1 1
0
![Page 16: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/16.jpg)
1616 /37/37
Perceptron Multicapa
w11=1 w12=1w21=1 w22=1
w31=1 w32=-1.5b1=0.5 b2=1.5 b3=0.5
![Page 17: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/17.jpg)
1717 /37/37
Retropropagación• Procedimiento para encontrar el vector gradiente de una
función error asociada a la salida de la red con respecto a los parámetros de la misma
• El nombre backpropagation surge pues el cálculo se hace en el sentido inverso de la red, propagándose desde los nodos de salida hacia los nodos de entrada
• Esto permite poder aplicar a posteriori alguno de los muchos métodos de optimización con gradiente para obtener el comportamiento deseado de la red
![Page 18: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/18.jpg)
1818 /37/37
Retropropagación
f()
entradasPesos
k = capa
sumatoria
constanteb
función detransferenciaresultado
net =ok(n)salida
calculadayk(n)
x1(n)wk1 (n)
x2(n)
x3(n)
wk2 (n)
wk3 (n)ek(n) = dk(n) – yk(n)
salidadeseadadk(n)
ek(n)
![Page 19: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/19.jpg)
1919 /37/37
Función de transferencia
![Page 20: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/20.jpg)
Funciones de transferenciacompet
Competitive transfer function. hardlim
Hard limit transfer function. hardlims
Symmetric hard limit transfer function logsig
Log sigmoid transfer function. poslin
Positive linear transfer function purelin
Linear transfer function. radbas
Radial basis transfer function. satlin
Saturating linear transfer function. satlins
Symmetric saturating linear transfer function softmax
Soft max transfer function. tansig
Hyperbolic tangent sigmoid transfer function. tribas
Triangular basis transfer function.
![Page 21: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/21.jpg)
2121 /37/37
Aprendizajeentrada neta a i
j i
salida de i
error de la salida k
error total
regla de aprendizaje
η: velocidad de aprendizaje
![Page 22: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/22.jpg)
2222 /37/37
Regla de Aprendizaje
Si j es una unidad de salida
Si no
![Page 23: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/23.jpg)
2323 /37/37
ANALISIS DE LAS ANN
![Page 24: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/24.jpg)
2424 /37/37
Propiedades: Mapeo Universal• Pregunta:
– Qué tipo de funciones puedo representar con una ANN?
• La idea se remonta al problema #13 de Hilbert (1900).– Representar función de N variables como combinación lineal de
funciones en una variable (bajar dimensionalidad del problema)
• Respuesta:
– Puedo representar el conjunto de funciones “suaves”.– Hay varias pruebas para diferentes arquitecturas– Kolgomorov (1957)– Cybenko (1960)– Hornik (1989)– Chen (1991)
![Page 25: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/25.jpg)
2525 /37/37
Propiedades: Mapeo Universal• Idea:
– Usando red con 2 capas ocultas es posible crear funciones tipo localizadas que combinadas pueden formar cualquier función “suave”
• Prueba intuitiva:– Fácil de ver en R2 R.– Red: y = ANN (x1,x2)
• Paso 1:– Que mapeo obtengo con una sola
neurona?• y = logsig(.x1)
• y = logsig(.x2)
![Page 26: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/26.jpg)
2626 /37/37
Propiedades: Mapeo Universal• Paso 2:
– Uso Perceptron Multicapa
– Puedo lograr “pico” en cualquier valor de x1 con red de 1 sola capa oculta• el ancho del pico depende del
valor de b.
– Puedo hacer lo mismo con x2.
x1
1
y
b
b
b-b
1
1-1
![Page 27: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/27.jpg)
2727 /37/37
Propiedades: Mapeo Universal• Paso 3:
– Agrupo redes en cada entrada en una sola red para combinar picos en x1 y x2.
– Ajustando parámetros puedo obtener un pico bien definido centrado en cualquier punto de R2.
x1
1y
b
b
b-b
1
1
-2
x2
1
b
b
b-b
1
1
![Page 28: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/28.jpg)
2828 /37/37
Propiedades: Mapeo Universal• Paso 4:
– Agregando una capa adicional• 2 capas ocultas
– Combinando estos picos se puede aproximar cualquier función de R2 R con el grado de error que desee.
x1
1
a
b1c1
-a 1
1
-2
x2
1
a
d1e1
-a 1
1
x1
1
a
bncn
-a 1
1
-2
x2
1
a
dnen
-a 1
1
y
f1
fn
![Page 29: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/29.jpg)
2929 /37/37
Teorema de Kolmogorov• Dada cualquier función continua f: [0 1] n R m, y = f(x), f puede ser
implementada exactamente por una red neuronal de tres capas sin retroalimentación que tiene una capa de entrada de n elementos que unicamente copian las entradas a la siguiente capa, (2n + 1) elementos de procesamiento en la capa intermedia y me elementos de procesamiento en la capa de salida
![Page 30: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/30.jpg)
3030 /37/37
Mapeo no lineal• Una red de retropropagación intenta encontrar un mapeo no lineal
entre el espacio de entradas de n dimensiones y el espacio de salida de m dimensiones. Este mapeo se induce a través de patrones de entrenamiento que son puntos correspondientes en los espacios de entrada y salida.
y1
y3y2
y4
x1
x3
x2
x4
![Page 31: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/31.jpg)
3131 /37/37
Sobreajuste y subajuste• La red de retropropagación es en cierta medida un método de
ajuste de curvas. La red ya entrenada implementa un mapeo no lineal entre el espacio de entradas y salidas de manera que entradas cercanas entre sí producen salidas cercanas, por lo tanto una ANN es interpolativa.
![Page 32: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/32.jpg)
3232 /37/37
Subajuste
La red produce un mapeo mas sencillo de lo que se requiere para implementar la relación entrada/salidaSintoma. Error alto.Solución. Aumentar los ciclos de entrenamiento, más neuronas capa intermedia, más capas
![Page 33: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/33.jpg)
3333 /37/37
Sobreajuste
La red produce un mapeo más complicado de lo que se requiere para implementar la relación entrada/salida.Sintoma. Error ante patrones de entrenamiento pequeño y error ante patrones de prueba alto.Solución. Menos ciclos de entrenamiento, menos capas, menos neuronas
![Page 34: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/34.jpg)
3434 /37/37
Epoca• Pasar varias veces los patrones de entrada a la red.
![Page 35: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/35.jpg)
3535 /37/37
Offset de f’• Las funciones de transferencia sigmoidal o tangente hiperbólica se
pueden saturar, se saturan cuando los valores absolutos de sus entradas son grandes. Dado que la derivada participa en la regla de aprendizaje, puede suceder que ya no aprendan.
Normalización de datos
![Page 36: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/36.jpg)
3636 /37/37
PREGUNTAS
![Page 38: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/38.jpg)
3838 /37/37
APRENDIZAJE ARTIFICIAL
PARTE III
![Page 39: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/39.jpg)
3939 /37/37
Aprendizaje SupervisadoPor Corrección de Error
x (n)
Synapticweights
Summingfunction
ActivationfunctionLocal
Field
vk(n)Output
yk(n)
x1(n)wk1 (n)
)(
x2(n)
x3(n)
wk2 (n)
wk3 (n) ek(n) = dk(n) – yk(n)
![Page 40: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/40.jpg)
4040 /37/37Error(n) = y(n) - Y(n)Error(n) = y(n) - Y(n)
x1
x2
v11
m1 = x1 . v11 + x2 . v21
v12
v13
w11
w21
w31
m1
m2
m3
n1
n2
n3
v21
v22
v23
Y
Y = f(n1w11 + n2w21 + n3w31)
n1 = f ( m1)
Pesos o Coeficientes Vij , Wij
A.S. Por Corrección de Error ∂ J = (Y1- y1 ) ∂Y1 / ∂V11 + (Y2 - y2 ) ∂Y2 / ∂V11 + …. ∂ V11
∂ Y = W11 ∂n1 / ∂V11+ W21 ∂n2 / ∂V11+ W31 ∂n3 / ∂V11 ∂ V11
∂ n1 = ∂ n1 ∂ m1 = ∂ n1 x1∂ V11 ∂ m1 ∂ V11 ∂ m11
Si n es SIGMOIDEA : n = ( 1+ e –m) –1
∂ n = - ( 1+ e –m ) -2 e -m (-1) = n (1 – n ) ∂ m
∂ Y = W11 n ( 1 – n ) X1 ∂ V11
∂ J = (Y1-y1 ) W11 n11 (1- n11) X11 + (Y2 - y2 ) W11 n12 (1- n12) X12 + …. ∂ V11
![Page 41: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/41.jpg)
4141 /37/37
Dados Iniciales = Experiencia de la RN
A.S. Por Corrección de Error
w11 w21 w31k x1 x2 y Y m1 n1 m2 n2 m3 n3 y - Y 1 x11 x21 y1 Y1 m11 n11 m21 n21 m31 n312 x12 x22 y2 Y2 m12 n12 m22 n22 m32 n323 x13 x23 y3 Y3 m13 n13 m23 n23 m33 n33...N
![Page 42: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/42.jpg)
4242 /37/37
: Umbral de aprendizaje que regula la velocidad
de precisión (0 < <= 1)
Yi : Salida del i-esimo Nodo
Yj : Salida del j-esimo Nodo
dj : Valor de salida deseado de la j-esima unidad de procesamiento
) ( YjdjYiwij
A.S. Por Corrección de Error
![Page 43: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/43.jpg)
4343 /37/37
El aprendizaje consiste en mejorar los coeficientes de la red hasta minimizar la FUNCION DE ERROR dada por
J = Σ 1 / 2 (Yk - y k ) 2
A.S. Por Corrección de Error
Wij = Wij - η ∂ J
∂Wij Ratio de Aprendizaje
![Page 44: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/44.jpg)
4444 /37/37
Algoritmo BackPropagation
Camada de Saída
Camada de Entrada
Camada Escondida
+1
+1
Patrones
Patrones
ej(n) = dj(n) - yj(n)ej(n) = dj(n) - yj(n)
![Page 45: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/45.jpg)
4545 /37/37
Algoritmo BackPropagation (W)
En Particular : W11 = W11 - η ∂ J
∂W11
∂ J = (Y1-y1 ) ∂Y1 / ∂W11 + (Y2 - y2 ) ∂Y2 / ∂W11 + ….
∂ W11
= (Y1 - y1 ) n11 + (Y2 - y2 ) n12 + …. En General : ∂ J = Σ(Yk - yk ) njk
∂ Wj1
![Page 46: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/46.jpg)
4646 /37/37
Algoritmo BackPropagation (V)
En Particular : V11 = V11 - η ∂ J ∂V11
∂ J = (Y1- y1 ) ∂Y1 / ∂V11 + (Y2 - y2 ) ∂Y2 / ∂V11 + …. ∂ V11
∂ Y = W11 ∂n1 / ∂V11+ W21 ∂n2 / ∂V11+ W31 ∂n3 / ∂V11 ∂ V11
∂ n1 = ∂ n1 ∂ m1 = ∂ n1 x1∂ V11 ∂ m1 ∂ V11 ∂ m11 Si n es SIGMOIDEA : n = ( 1+ e –m) –1
∂ n = - ( 1+ e –m ) -2 e -m (-1) = n (1 – n ) ∂ m
∂ Y = W11 n ( 1 – n ) X1 ∂ V11
∂ J = (Y1-y1 ) W11 n11 (1- n11) X11 + (Y2 - y2 ) W11 n12 (1- n12) X12 + …. ∂ V11
![Page 47: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/47.jpg)
4747 /37/37
Algoritmo BackPropagation
∂ J .
∂ V11= Error Retropropagado Entrada Correspondiente*
REGLA DELTA :
= Error * Peso * f ’ X1*
= (Y1 – y1) * W11 * n1 (1 –n1) X1*
![Page 48: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/48.jpg)
4848 /37/37
x1
x2
w11m1
m2
n1
n2
Ejemplo
w12
w21
w22
u11
u12
u21
u22
y1
y2
W11 = W11 + η (y1 - ÿ1) n1 W12 = W12 + η (y2 - ÿ2) n2
U11 = U11 + η [ (y1 - ÿ1) W11 + (y2 - ÿ2) W12 ] * n1(1-n1) * x1
![Page 49: 1/37 Redes Neuronales INTRODUCCION A TECNICAS DE MINERIA DE DATOS Mg. Samuel Oporto DíazLima, 28 de Diciembre 2005](https://reader033.vdocuments.pub/reader033/viewer/2022061215/54a5c04c4979592a738b4bf5/html5/thumbnails/49.jpg)
4949 /37/37
x1
x2
v11
v12
w11m1
m2
n1
n2
v21
v22
Ejercicios
w12
w21
w22
u11
u12
u21
u22
p1
p2
q1
q2
y1
y2
U12 = U12 + η [ error * peso * f’ ] * x1
U12 = U12 + η [ ( (y1-ÿ1) W11 + (y2-ÿ2) W12 )* q1(1-q1) * V21 +
( (y1-ÿ1) W21 + (y2-ÿ2) W22 )* q2(1-q2) * V22 ] n2 (1-n2) * x1