réseau de kohonen « les carte auto-organisatrices · pdf filei. introduction :...
Post on 06-Mar-2018
222 Views
Preview:
TRANSCRIPT
République Algérienne Démocratique et Populaire.
Université des Sciences et de la Technologie d’Oran USTO M.B.
Faculté des sciences. Département d’informatique. 2ème année Master
RFIA.
Réseau de Kohonen « les Carte Auto-Organisatrices »
Présenter par : Kouadri Boudjelthia Mohamed.
2011-2012
Sous la direction du : Pr. BENYETTOU Mohamed.
Table des Matières
I. Introduction ……………………………………….. 01
a. Model Biologique …………………………………… 01
II. Historique …………………………………………. 02
III. Quelques mots sur le neurone formel …………… 03
IV. Modèle de Kohonen ………………………………. 03
a. L’origine ……………………………………………. 03
b. Leur utilisation ……………………………………... 05
V. Architecture du réseau …………………………… 05
VI. Algorithme d'apprentissage ……………………… 07
a. Principe …………………………………………….. 07
b. Formalisation mathématique ……………………… 08
c. Sur la notion de voisinage …………………... 08
VII. Propriétés …………………………………………. 09
VIII. Avantages et inconvénients des cartes auto
adaptatives ………………………………………… 10
IX. Conclusion ………………………………………… 10
I. Introduction :
Les réseaux de neurones sont composés d’éléments simples (ou neurones)
fonctionnant en parallèle. Ces éléments ont été fortement inspirés par le système
nerveux biologique. Comme dans la nature, le fonctionnement du réseau (de
neurone) est fortement influencé par la connections des éléments entre eux. On
peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance
de caractères par exemple) en ajustant les valeurs des connections (ou poids)
entre les éléments (neurone).
L’apprentissage permet aux réseaux de neurones de réaliser des taches
complexes dans différents types d’application (classification, identification,
reconnaissance de caractères, de la voix, vision, système de contrôle…). Ces
réseaux de neurones peuvent souvent apporter une solution simple à des
problèmes encore trop complexes ne pouvant être résolus rapidement par les
ordinateurs actuels (puissance de calcul insuffisante) ou par notre manque de
connaissances.
La méthode d’apprentissage dite supervisé est souvent utilisée mais des
techniques d’apprentissage non supervisé existent pour des réseaux de neurones
spécifiques. Ces réseaux peuvent, par exemple, problèmes de classification
(réseaux de Kohonen).
Model Biologique :
• Les neurones reçoivent des signaux (impulsions électriques) par les dendrites
et envoient l’information par les axones.
• Les contacts entre deux neurones (entre axone et dendrite) se font par
l’intermédiaire des synapses.
• Les signaux n’opèrent pas de manière linéaire : effet de seuil.
II. Historique :
-Début en 1943 : par W. MCCulloch et W. Pitts du neurone formel qui est une
abstraction du neurone physiologique.
-En 1949, D. Hebb présente dans son ouvrage "The Organization of Behavior"
une
règle d'apprentissage. De nombreux modèles de réseaux aujourd'hui s'inpirent
encore de la règle de Hebb.
-En 1958, F. Rosenblatt développe le modèle du Perceptron. C'est un réseau de
neurones inspiré du système visuel. Il posséde deux couches de neurones : une
couche de perception et une couche lié à la prise de décision. C'est le premier
système artificiel capable d'apprendre par expérience.
-Dans la même période, L'Adaline (ADAptive LINar Element) a été présenté par
B.Widrow, chercheur américain à Stanford. base des réseaux multi-couches.
-En 1969, M.Minsky et S.Papert publient une critique des propriétés du
Perceptron. Cela va avoir une grande incidence sur la recherche dans ce
domaine. Elle va fortement diminuer jusqu'en 1972, où T.Kohonen présente ses
travaux sur les
mémoires associatives. et propose des applications à la reconnaissance de
formes.
-C'est en 1982 que J. Hopfield présente son étude d'un réseau complétement
rebouclé, dont il analyse la dynamique.
Aujourd'hui, les réseaux neuronaux sont utilisés dans de nombreux domaines
(entre
autres, vie artificielle et intelligence artificielle) à cause de leur propriété en
particulier, leur capacité d'apprentissage, et qu'ils soient des systèmes
dynamiques.
III. Quelques mots sur le neurone formel :
Le fonctionnement d'un Neurone Formel (par exemple : le Perceptron) est très
simple : il fonctionne de manière itérative et, à chaque itération, calcule sa sortie
en fonction de ses entrées.
IV. Modèle de Kohonen :
L’origine :
Les neurones sont modélisés de la façon la plus simple possible, on recherche ici
un modèle de neurone proche de la réalité.
Ces réseaux sont inspirés des observations biologiques du fonctionnement des
systèmes nerveux de perception des mammifères.
En effet, il existe des zones du cerveau (dans le cortex visuel par exemple) qui
présentent la même topologie que les capteurs sensoriels. C'est à dire deux zones
proches dans le cortex visuel correspondent à deux zones proches dans la rétine.
Ces propriétés se retrouvent avec le bulbe olfactif, ou l'appareil auditif. Il est
intéressant de souligner que ces dispositions au sein du cerveau ne sont pas
génétiques, mais sont dues à un apprentissage.
A la suite de ces observations, Kohonen proposa un modèle de carte topologique
auto-adaptative. Seules les entrées modifient le processus, l'apprentissage est
donc non-supervisé.
Il s'agit de reproduire le principe neuronal du cerveau des vertébrés : des stimuli
de même nature excitent une région du cerveau bien particulière. Les neurones
sont organisés dans le cortex de façon à interpréter tous les types de stimuli
imaginables. De la même manière, la carte auto adaptative se déploie de façon à
représenter un ensemble des données, et chaque neurone se spécialise pour
représenter un groupe bien particulier des données selon les points communs qui
les rassemblent. Elle permet une visualisation en dimension multiple de données
croisées.
Techniquement, la carte réalise une quantification vectorielle de l'espace de
données. Cela signifie discrétiser l'espace ; c'est-à-dire le diviser en zones, et
assigner à chaque zone un point significatif dit vecteur référent
Architecture des cartes auto-organisatrices. L'espace d'entrée V est divisé
en plusieurs zones. wr représente un vecteur référent associé à une petite
zone de l'espace et r(2,3) représente son neurone associé dans la grille A.
Chaque zone peut être adressée facilement par les index des neurones dans
la grille.
Leur utilisation :
Les cartes de Kohonen peuvent être utilisées dans le cadre de la projection de
données multi-variées, d'approximation de densité ou de classification.
Elles ont été utilisées avec succès en reconnaissance de la parole, classification
et traitement d'images, robotique, contrôle de processus, l'aide à la décision et
l'optimisation. Les paramètres à définir dans ce cas sont :
la dimension des tableaux de cellules.
le nombre de cellules dans chaque dimension.
la forme du voisinage.
l'échéancier de réduction de la taille du voisinage.
le coefficient d'apprentissage.
EDF a mis en oeuvre ce type de réseau pour procéder à une classification de
séries de consommations d'énergie. Cette classification a pour objet d'améliorer
les modèles de consommations, en les adaptant spécifiquement à chaque classe
de séries homogènes.
V. Architecture du réseau :
D'un point de vue architectural, les « cartes auto-organisatrices de Kohonen »
sont constituées d'une grille (le plus souvent uni- ou bidimensionnelle). Dans
chaque nœud de la grille se trouve un « neurone ». Chaque neurone est lié à un
vecteur référent, responsable d'une zone dans l'espace des données (appelé
encore espace d'entrée).
Dans une carte auto-organisatrice, les vecteurs référents fournissent une
représentation discrète de l'espace d'entrée. Ils sont positionnés de telle façon
qu'ils conservent la forme topologique de l'espace d'entrée. En gardant les
relations de voisinage dans la grille, ils permettent une indexation facile (via les
coordonnées dans la grille).
Ceci s'avère utile dans divers domaines, comme la classification de textures,
l'interpolation entre des données, la visualisation des données
multidimensionnelles.
Soit A la grille neuronale rectangulaire d'une carte auto-organisatrice. Une carte
de neurones assigne à chaque vecteur d'entrée un neurone désigné
par son vecteur de position , tel que le vecteur référent wr est le plus proche de
v.
Mathématiquement, on exprime cette association par une fonction:
Cette fonction permet de définir les applications de la carte.
quantificateur vectoriel: on approxime chaque point dans l'espace d'entrée
par le vecteur référent le plus proche par
classificateur en utilisant la fonction r = ϕw(v)
on assigne à chaque neurone de la grille une étiquette correspondante à une
classe; tous les points de l'espace d'entrée qui se projettent sur un même neurone
appartiennent à la même classe. Une même classe peut être associée à plusieurs
neurones.
VI. Algorithme d'apprentissage :
Principe :
Après une initialisation aléatoire des valeurs de chaque neurones on soumet une
à une les données à la carte auto adaptative. Selon les valeurs des neurones, il y
en a un qui répondra le mieux au stimulus. Celui dont la valeur sera la plus
proche de la donnée présentée. Alors ce neurone sera gratifié d'un changement
de valeur pour qu'il réponde encore mieux à un autre stimulus de même nature
que le précédent. Par là même, on gratifie aussi un peu aussi les neurones
voisins du gagnant avec un facteur multiplicatif du gain inférieur à un. Ainsi,
c'est toute la région de la carte autour du neurone gagnant qui se spécialise. En
fin d'algorithme, lorsque les neurones ne bougent plus, ou très peu, à chaque
itération, la carte auto organisatrice recouvre toute la topologie des données.
Représentation de l'algorithme d'auto-organisation pour le modèle de
Kohonen. Chaque neurone a un vecteur référent qui le représente dans
l'espace d'entrée. Un vecteur d'entrée v est présenté. v sélectionne le
neurone vainqueur s, le plus proche dans l'espace d'entrée. Le vecteur
référent du vainqueur ws est rapproché de v. Les vecteurs référents des
autres neurones sont aussi déplacés vers v, mais avec une amplitude moins
importante.
Formalisation mathématique
La cartographie de l'espace d'entrée est réalisée en adaptant les vecteurs
référents wr. L'adaptation est faite par un algorithme d'apprentissage dont la
puissance réside dans la compétition entre neurones et dans l'importance donnée
à la notion de voisinage.
Une séquence aléatoire de vecteurs d'entrée est présentée pendant
l'apprentissage. Avec chaque vecteur, un nouveau cycle d'adaptation est
démarré. Pour chaque vecteur v dans la séquence, on détermine le neurone
vainqueur, c'est-à-dire le neurone dont le vecteur référent approche v le mieux
possible:
Le neurone vainqueur s et ses voisins (définis par une fonction d'appartenance
au voisinage) déplacent leurs vecteurs référents vers le vecteur d'entrée
avec
où représente le coefficient d'apprentissage et h = h(r,s,t) la fonction qui
définit l'appartenance au voisinage.
Le coefficient d'apprentissage définit l'amplitude du déplacement global de la
carte.
Sur la notion de voisinage
Tout comme dans le cortex, les neurones sont reliés les uns aux autres, c'est la
topologie de la carte. La forme de la carte définie les voisinages des neurones et
donc les liaisons entre neurones.
La fonction de voisinage décrit comment les neurones dans la proximité du
vainqueur s sont entraînés dans le mouvement de correction. On utilise en
général :
où σ s'appelle coefficient de voisinage. Son rôle est de déterminer un rayon de
voisinage autour du neurone vainqueur.
La fonction de voisinage h force les neurones qui se trouvent dans le voisinage
de s à rapprocher leurs vecteurs référents du vecteur d'entrée v. Moins un
neurone est proche du vainqueur dans la grille, moins son déplacement est
important.
La correction de vecteurs référents est pondérée par les distances dans la grille.
Cela fait apparaître, dans l'espace d'entrée, les relations d'ordre dans la grille.
Pendant l'apprentissage la carte décrite par les vecteurs référents du réseau
évolue d'un état aléatoire vers un état de stabilité dans lequel elle décrit la
topologie de l'espace d'entrée tout en respectant les relations d'ordre dans la
grille.
VII. Propriétés
Similitude des densités dans l'espace d'entrée :
La carte reflète la distribution des points dans l'espace d'entrée. Les zones
dans lesquelles les vecteurs d'entraînement v sont tirés avec une grande
probabilité d'occurrence sont cartographiées avec une meilleure résolution
que les zones dans lesquelles les vecteurs d'entraînement v sont tirés avec
une petite probabilité d'occurrence.
Préservation des relations topologiques :
Des neurones voisins dans la grille occupent des positions voisines dans
l'espace d'entrée (préservation des voisinages de la grille) ; et des points
proches dans l'espace d'entrée se projettent sur des neurones voisins dans
la grille (préservation de la topologie de l'espace d'entrée). Les neurones
ont tendance à discrétiser l'espace de façon ordonnée.
VIII. Avantages et inconvénients des cartes auto adaptatives :
Les ancêtres des cartes auto-organisatrices, les algorithmes comme "k-
moyennes", réalisent la discrétisation de l'espace d'entrée en ne modifiant à
chaque cycle d'adaptation qu'un seul vecteur référent. Leur processus
d'apprentissage est donc très long.
L'algorithme de Kohonen profite des relations de voisinage dans la grille pour
réaliser une discrétisation dans un temps très court. On suppose que l'espace
n'est pas constitué de zones isolées, mais de sous-ensembles compacts.
Donc en déplaçant un vecteur référent vers une zone, on peut se dire qu'il y a
probablement d'autres zones dans la même direction qui doivent être
représentées par des vecteurs référents. Cela justifie le fait de déplacer les
neurones proches du vainqueur dans la grille dans cette même direction, avec
une amplitude de déplacement moins importante. L'algorithme présente des
opérations simples ; il est donc très léger en termes de coût de calculs.
Le voisinage dans les cartes auto adaptatives est malheureusement fixe, et une
liaison entre neurones ne peut être cassée même pour mieux représenter des
données discontinues. Les Growing Cell Structure, ou Growing Neural Gas sont
la solution à ce problème. Des neurones et les liaisons entre neurones peuvent y
être supprimées ou ajoutées quand le besoin s'en fait sentir.
IX. Conclusion :
Contrairement aux méthodes classiques qui ont montré leurs limites, les réseaux
de neurones ont montré leurs tendances à s’adapter à des problèmes complexes
grâce à leur grande capacité de calcul et d’apprentissage. Ils sont l’objet
d’utilisation dans les différents domaines tels que : La reconnaissance des
formes et le traitement des images.
Le grand avantage caractérisé dans les réseaux de neurones de Kohonen est que
ces derniers sont léger en cout et en calcule et sont portable dans différents
domaines, ce qui les rend les plus simples à utiliser et les plus rapides.
Références
T. Kohonen, Self-Organized Formation of Topologically Correct
Feature Maps, Biological Cybernetics, vol. 46, pp. 59–69, 1982.
T. Kohonen, Self-Organizing Maps, vol. 30, Springer Verlag,
1995.
H. J. Ritter, T. M. Martinetz, et K. J. Schulten, Neural
Computation and Self-Organizing Maps : An Introduction,
Addison–Wesley, 1992.
top related