Download - REDES NEURONALES NO SUPERVISADAS
![Page 1: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/1.jpg)
Introducción a las Redes Neuronales Artificiales
REDES NEURONALES NO
SUPERVISADAS
Redes no supervisadas
![Page 2: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/2.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
El cerebro tiene la capacidad de auto-organizarse a partir de los
estímulos recibidos y esto lo logra de manera no supervisada.
Diferentes estímulos son enviados y procesados en partes específicas
del cerebro. Por ejemplo, un estímulo visual y otro auditivo son
dirigidos a regiones distintas en el cerebro.
![Page 3: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/3.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
La capacidad de auto-organización a partir de los estímulos es
importante porque permite descubrir patrones o características
importantes.
Esto se logra al observar como los estímulos son mapeados en
diversas regiones mostrando así las diferentes características o
patrones presentes
![Page 4: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/4.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
Los algoritmos de entrenamiento no supervisados pueden ser
divididos en dos grandes categorías:
Hard Competitive learning Soft Competitive learning
Las neuronas en la red
compiten entre si y sólo una
de ellas (la neurona
ganadora) produce la
respuesta al estímulo.
Durante el entrenamiento
sólo los pesos sinápticos de
la neurona ganadora se
actualizan
No existe interacción entre
neuronas vecinas
Las neuronas en la red
compiten entre si y sólo una
de ellas (la neurona
ganadora) produce la
respuesta al estímulo.
Durante el entrenamiento los
pesos sinápticos de la
neurona ganadora y sus
vecinas se actualizan
Existe interacción entre
neuronas vecinas
![Page 5: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/5.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
Mecanismo de Competencia
Consiste en considerar una medida de similitud y buscar la neurona
cuyo vector de pesos sinápticos se asemeja más al estímulo
presentado a la red.
La medida de similitud usada varía dependiendo de las aplicaciones y
entre las más usadas se encuentran:
La distancia Euclídea usual: NjWXWXd jj ,,2,1,
En este caso la neurona ganadora es aquella para la cual la
distancia es la más pequeña
Producto interno usual: NjXWWXd t
jj ,,2,1,
En esta caso la neurona ganadora es aquella para la cual la
distancia es la más grande
![Page 6: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/6.jpg)
Introducción a las Redes Neuronales Artificiales
X
1,WXd
2,WXd
3,WXd
4,WXd
Neurona Ganadora
Redes no supervisadas
Este proceso puede ser
bastante lento cuando la
cantidad de neuronas es
grande !
![Page 7: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/7.jpg)
Introducción a las Redes Neuronales Artificiales
Mecanismo de Actualización
Redes no supervisadas
Consiste en mover en cierto grado el vector de pesos sinápticos para
que se asemeje al patrón o estímulo de entrada.
Para ello se considera:
nWnXnW
nWnWnW 1
10
La tasa o constante de aprendizaje puede ser constante o función del
número de épocas. Esto es,
n
![Page 8: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/8.jpg)
Introducción a las Redes Neuronales Artificiales
Configuración de la red
Generalmente se utiliza una red con una sola capa de neuronas o un
arreglo 2D de neuronas, dependiendo de la aplicación. Esta
configuración puede ser estática(fija) o dinámica (cambiante)
Para efectos de visualización, es preferible trabajar con un arreglo de
neuronas en 2D.
X
1D 2D
Redes no supervisadas
![Page 9: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/9.jpg)
Introducción a las Redes Neuronales Artificiales
Respuesta de la red
Dependiendo de la aplicación, la respuesta puede ser:
• El Vector de pesos sinápticos de la neurona ganadora
Permite detectar cluster en los estímulos presentados a la red.
• El índice de la neurona ganadora
Permite detectar cluster en los estímulos presentados a la red.
Permite visualizar agrupamiento de los estímulos o patrones
cuando estos se encuentran en dimensiones superiores
Esto se logra asignando a cada estimulo el índice de la neurona
ganadora que lo representa
Redes no supervisadas
![Page 10: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/10.jpg)
Introducción a las Redes Neuronales Artificiales
iteración 1000
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
iteración 2000
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
iteración 1
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
iteración 20
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
iteración 100
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
iteración 500
-1,5
-1
-0,5
0
0,5
1
1,5
-1,5 -1 -0,5 0 0,5 1 1,5
-1,5
-0,5
0,5
1,5
-1,5 -0,5 0,5 1,5
Patrones de
entrada
Valores de los
pesos sinápticos
Redes no supervisadas
Red 1D, 4 Neuronas
![Page 11: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/11.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
Espacio de entrada original
de los estímulos
Espacio de representación
X
![Page 12: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/12.jpg)
Introducción a las Redes Neuronales Artificiales
Redes no supervisadas
![Page 13: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/13.jpg)
Introducción a las Redes Neuronales Artificiales
HARD COMPETITIVE
LEARNING
Hard Competitive Learning
![Page 14: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/14.jpg)
Introducción a las Redes Neuronales Artificiales
Hard Competitive Learning
El algoritmo básico del HCL es:
1. Escoger un estímulo o patrón de entrada X(n)
*i2. Determinar la neurona ganadora
Esta corresponde al índice i* para el cual
jWXWX ji *
3. Actualizar el vector de pesos sinápticos de la neurona i*
nWnXnnWnWiii *** 1
4. Repetir hasta satisfacer la condición de parada
![Page 15: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/15.jpg)
Introducción a las Redes Neuronales Artificiales
Geométricamente este algoritmo acerca a los pesos hacia los
patrones.
x
w
x-w
nWnXnnWnW 1
![Page 16: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/16.jpg)
Introducción a las Redes Neuronales Artificiales
Hard Competitive Learning
Bernd Fritzke.Some Competitive learning methods, 1997
![Page 17: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/17.jpg)
Introducción a las Redes Neuronales Artificiales
Hard Competitive Learning
La desventaja del algoritmo es que algunas neuronas pudieran ser
actualizadas menos frecuentemente que otras o incluso no ser
actualizadas.
Los estímulos tienen distribución
uniforme en la región y sin
embargo la densidad de puntos
es 10 veces mayor en la parte
superior
![Page 18: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/18.jpg)
Introducción a las Redes Neuronales Artificiales
REDES DE KOHONEN
![Page 19: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/19.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
Las redes de kohonen son redes no supervisadas en 1D o 2D
entrenadas con un algoritmo de entrenamiento del tipo soft
competitive learning
Tienen la ventaja de que todas las neuronas son actualizadas en cierta
medida. Esto se logra utilizando una vecindad cambiante con el tiempo
El uso de la vecindad hace que la red respete la topología de los datos
o estímulos. Es decir, estímulos similares son mapeados en neuronas
próximas y estímulos completamente similares son mapeados en
neuronas distantes
Esto permite utilizar estas redes para extraer patrones y características
resaltantes en los estímulos
![Page 20: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/20.jpg)
Introducción a las Redes Neuronales Artificiales
El algoritmo básico entrenamiento de una red de kohonen es:
1. Escoger un estímulo o patrón de entrada X(n)
*i2. Determinar la neurona ganadora
Esta corresponde al índice i* para el cual
jWXWX ji *
4. Repetir hasta satisfacer la condición de parada
3. Actualizar el vector de pesos sinápticos de la neurona i* y
de todas las neuronas en la vecindad utilizando la
ecuación
nWnXnnWnW 1
ni*
Kohonen
![Page 21: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/21.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
1*i
2*i
ni*
Esta característica evita el overfitting de la red !
![Page 22: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/22.jpg)
Introducción a las Redes Neuronales Artificiales
La vecindad se puede definir considerando:
ndnhjiji
22
,,2/exp **
Y de esta forma la corrección de los pesos sinápticos se puede resumir
como
nWnXnhnnWnWjijj
,*1
![Page 23: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/23.jpg)
Introducción a las Redes Neuronales Artificiales
El entrenamiento se divide en dos fases:
fase de ordenamiento:
Durante esta fase ocurre el ordenamiento topológico inicial. Esta
fase puede llegar a durar unas 1000 épocas. Aqui debemos
cuidar de elegir convenientemente:
– La tasa de aprendizaje: debe estar cercana a 0.1 inicialmente y
decrecer hasta mas o menos 0.01.
– Tamaño de la vecindad: inicialmente deberia abarcar casi la
totalidad de las neuronas y gradualmente decrecer.
fase de convergencia:
es una etapa para afinar la red, hacen falta unas 500 veces el
número de neuronas en épocas para entrenar.
– La tasa de aprendizaje debe mantenerse cercano a 0.01 (no
permitir decrecer hasta 0).
– Tamaño de la vecindad: seguir decreciendo hasta algunas
pocas o solo abarcar la neurona ganadora.
![Page 24: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/24.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
Para la fase de ordenamiento, una forma usual de escoger la tasa de
aprendizaje es considerar
20 /exp nn
Esta escogencia también evita el overfitting de la red y las constantes se
escogen para satisfacer ciertos requerimientos durante la fase de
organización de la red. Algunos valores sugeridos:
1.00 10002
La vecindad se puede definir con radios cada vez más pequeños
(decrecen con las épocas).
10 /exp nn 01 /log1000
![Page 25: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/25.jpg)
Introducción a las Redes Neuronales Artificiales
Un decrecimiento muy rápido de la vecindad podría afectar el
“despliegue” del mapa.
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
11000 epocas
TraingLat.m
![Page 26: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/26.jpg)
Introducción a las Redes Neuronales Artificiales
0 200 400 600 800 1000 12000
10
20S
igm
a
0 200 400 600 800 1000 12000
0.05
0.1
Eta
0 200 400 600 800 1000 12000
50
100
num
ero
vecin
dad
epoca
![Page 27: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/27.jpg)
Introducción a las Redes Neuronales Artificiales
Casos de estudio:
– Distribución (TriangLat.m)
– Clasificación (SOMClass.m)
– PDVSA (cortesia Prof. O. Rondón)
– Mapas contextuales
– Señales ultrasónicas (cortesia Ing. C Correia)
![Page 28: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/28.jpg)
Introducción a las Redes Neuronales Artificiales
0 5 100
2
4
6
position(1,i)
positio
n(2
,i)
inicial
2 4 6 8 10
2
4
6
W(i,1)
W(i,2
)
10 epocas
2 4 6 8 10
2
4
6
W(i,1)
W(i,2
)
100 epocas
2 4 6 8 10
2
4
6
W(i,1)
W(i,2
)
600 epocas
SOMMatlab.m
![Page 29: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/29.jpg)
Introducción a las Redes Neuronales Artificiales
0 1 2 3 4 5 6 7 8-2
0
2
4
6
8
10Inicialmente
0 1 2 3 4 5 6 7 8-2
0
2
4
6
8
1050 epocas
1 2 3 4 5 6 7 8-2
0
2
4
6
8
10100 epocas
1 2 3 4 5 6 7 8-2
0
2
4
6
8
10300 epocas
SOMClass.m
![Page 30: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/30.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
P1
P1
Se quiere encontrar
zonas similares
![Page 31: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/31.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
P2
P2
![Page 32: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/32.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
P3
P3
![Page 33: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/33.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
Aplicación con datos
reales
![Page 34: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/34.jpg)
Introducción a las Redes Neuronales Artificiales
Kohonen
Aplicación con datos
reales
![Page 35: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/35.jpg)
Introducción a las Redes Neuronales Artificiales
Grietas
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
Falta de Fusión
1 2 3 4 5 6 7 8 9 10
1
2
3
4
5
6
7
8
9
10
Señales Ultrasónicas
![Page 36: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/36.jpg)
Introducción a las Redes Neuronales Artificiales
http:/www.patol.com/java/fill/index.html
![Page 37: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/37.jpg)
Introducción a las Redes Neuronales Artificiales
• Gas neural y Variantes:
http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/JavaPaper/
http://www.sund.de/netze/applets/gng/full/GNG_0.html
Sugerencia para un proyecto
![Page 38: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/38.jpg)
Introducción a las Redes Neuronales Artificiales
Pobreza Mundial
![Page 39: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/39.jpg)
Introducción a las Redes Neuronales Artificiales
![Page 40: REDES NEURONALES NO SUPERVISADAS](https://reader031.vdocuments.pub/reader031/viewer/2022012102/616a018611a7b741a34dc728/html5/thumbnails/40.jpg)
Introducción a las Redes Neuronales Artificiales
Mapa Semántico