1 les reseaux de neurones rachid ladjadj ir 3e année
TRANSCRIPT
11
LES RESEAUX DE LES RESEAUX DE NEURONESNEURONES
Rachid Ladjadj IR 3e année
22
SOMMAIRESOMMAIRE IntroductionIntroduction
Pourquoi les réseaux de neurones?Pourquoi les réseaux de neurones?HistoriqueHistorique
Le neurone biologiqueLe neurone biologique
Le neurone formelLe neurone formelLe modèle Mc Culloch et PittsLe modèle Mc Culloch et Pitts
Architecture des réseaux de neuronesArchitecture des réseaux de neuronesRéseaux bouclés et réseaux non Réseaux bouclés et réseaux non
bouclésbouclés
Notion d’apprentissageNotion d’apprentissageApprentissage supervisé et non Apprentissage supervisé et non
supervisésupervisé
Quelques modèles de réseaux de neuronesQuelques modèles de réseaux de neuronesLe perceptron multicoucheLe perceptron multicoucheLe modèle de HopefieldLe modèle de HopefieldLes cartes de KohonenLes cartes de Kohonen
Exemples d’applicationsExemples d’applications
ConclusionConclusion
33
IntroductionIntroduction
44
Pourquoi les réseaux de Pourquoi les réseaux de neurones?neurones?
Caractéristiques de l’architecture du cerveau Caractéristiques de l’architecture du cerveau humain:humain: une architecture massivement parallèleune architecture massivement parallèle un mode de calcul et une mémoire distribuésun mode de calcul et une mémoire distribués une capacité d'apprentissageune capacité d'apprentissage une capacité de généralisationune capacité de généralisation une capacité d'adaptationune capacité d'adaptation une résistance aux pannesune résistance aux pannes une faible consommation énergétiqueune faible consommation énergétique
IntroductionIntroduction Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
55
IntroductionIntroduction Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Utilisation des réseaux de neurones:Utilisation des réseaux de neurones: ClassificationClassification CatégorisationCatégorisation Approximation de fonctionsApproximation de fonctions Prédiction - prévisionPrédiction - prévision OptimisationOptimisation Mémoire adressable par le contenuMémoire adressable par le contenu
66
IntroductionIntroduction Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
HistoriqueHistorique
1943 :1943 : Modèle de McCulloch et PittsModèle de McCulloch et Pitts
1960 :1960 : Rosenblatt : perceptron et théorème de convergenceRosenblatt : perceptron et théorème de convergence Minsky et Papert : limites du perceptron mono-Minsky et Papert : limites du perceptron mono-
couchecouche 1980 :1980 :
Modèle de HopefieldModèle de Hopefield Werbos : rétropropagation dans le cadre des Werbos : rétropropagation dans le cadre des
perceptrons multi-couches (popularisé en 1986 par perceptrons multi-couches (popularisé en 1986 par Rumelhart)Rumelhart)
77
Le neurone biologiqueLe neurone biologique
88
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Le neurone biologiqueLe neurone biologique
Dendrites : Signaux d’entréeDendrites : Signaux d’entrée Axone : Signal de sortieAxone : Signal de sortie
99
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
SynapseSynapse
Transmission entre un axone et une dendriteTransmission entre un axone et une dendrite Synapses excitatrices / synapses inhibitricesSynapses excitatrices / synapses inhibitrices
1010
Le neurone formelLe neurone formel
1111
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Neurone formel: le modèle Mc Culloch et Neurone formel: le modèle Mc Culloch et PittsPitts
1212
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Interprétation mathématiqueInterprétation mathématique
1313
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Fonctions de transfert (ou fonctions Fonctions de transfert (ou fonctions d’activation)d’activation)
(a) :(a) : seuil (fonction de Heavyside)seuil (fonction de Heavyside) (b) : linéaire par morceaux(b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e (c) : sigmoïde g(x) = (1 + e – – ββxx) ) - 1- 1
(d) : gaussienne(d) : gaussienne
1414
Architecture des réseaux Architecture des réseaux de neuronesde neurones
1515
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Réseaux bouclésRéseaux bouclés
Les neurones ne peuvent pas être ordonnés de sorte qu’il Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrièren’y ai pas de connexion vers l’arrière
Exemple -> réseau entièrement connecté :Exemple -> réseau entièrement connecté :
1616
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Réseaux « non bouclés » ou réseaux à Réseaux « non bouclés » ou réseaux à couchescouches
Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrièreLes neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière
Exemple -> réseau à une couche intermédiaire :Exemple -> réseau à une couche intermédiaire :
1717
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Si Y est le vecteur des sorties et X le vecteur des entrées:Si Y est le vecteur des sorties et X le vecteur des entrées:
Y = FY = FWW(X)(X) FFW : W : fonction d’activation du réseau fonction d’activation du réseau W : vecteur des « poids » des liaisons synaptiquesW : vecteur des « poids » des liaisons synaptiques
Apprentissage = détermination des poids permettant Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Yd’obtenir une sortie proche d’une sortie Y00 voulue à partir voulue à partir d’une entrée Xd’une entrée X
1818
Notion d’apprentissageNotion d’apprentissage
1919
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Mise à jour des poids de connexion, en général à partir d’un ensemble Mise à jour des poids de connexion, en général à partir d’un ensemble de données d’entraînementde données d’entraînement
Modification itérative des poidsModification itérative des poids
Paradigme d’apprentissage : modélisation de l’environnement dans Paradigme d’apprentissage : modélisation de l’environnement dans lequel le réseau opèrera.lequel le réseau opèrera.
3 paradigmes d’apprentissage:3 paradigmes d’apprentissage: Supervisé : on veut qu’à une entrée corresponde une sortie Supervisé : on veut qu’à une entrée corresponde une sortie
préalablement définiepréalablement définie Non supervisé : on veut construire un réseau dont on ne connaît Non supervisé : on veut construire un réseau dont on ne connaît
pas a priori la sortie correspondant à des entrées donnéespas a priori la sortie correspondant à des entrées données HybrideHybride
Règles d’apprentissage : gouvernent la mise à jour des poids du Règles d’apprentissage : gouvernent la mise à jour des poids du réseauréseau
Algorithme d’apprentissage : procédure dans laquelle les règles Algorithme d’apprentissage : procédure dans laquelle les règles d’apprentissage sont utilisées en vue de l’ajustement des poidsd’apprentissage sont utilisées en vue de l’ajustement des poids
2020
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
4 types de règles d’apprentissage:4 types de règles d’apprentissage:
Correction d’erreurCorrection d’erreur Apprentissage de BoltzmannApprentissage de Boltzmann Règle de HebbRègle de Hebb Apprentissage par compétitionApprentissage par compétition
2121
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Correction d’erreurCorrection d’erreur
Si d est la sortie désirée et y la sortie obtenue, la modification des poids se Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y)fait en fonction de (d-y)
Algorithme de retro-propagationAlgorithme de retro-propagation
Algorithme d’apprentissage du perceptron:Algorithme d’apprentissage du perceptron: Initialisation des poids et du seuil à de petites valeurs aléatoriesInitialisation des poids et du seuil à de petites valeurs aléatories Présenter un vecteur d’entrées xPrésenter un vecteur d’entrées x((μμ) ) et calculer sa sortieet calculer sa sortie Mettre à jour les poids en utilisant :Mettre à jour les poids en utilisant :
wwjj(t+1) = w(t+1) = wjj(t) + (t) + ηη (d- y) x (d- y) xj j
avec d la sortie désirée, w vecteur des poidsavec d la sortie désirée, w vecteur des poids
2222
Quelques modèles de Quelques modèles de réseaux de neuronesréseaux de neurones
2323
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Le Perceptron multicouchesLe Perceptron multicouches
Modèle du perceptron simple:Modèle du perceptron simple: pas de seuilpas de seuil fonction d’activation = fonction signefonction d’activation = fonction signe Séparation de deux classes d’entiers A et B -> Séparation de deux classes d’entiers A et B ->
apprentissage superviséapprentissage supervisé Inconvénient : A et B doivent être linéairement Inconvénient : A et B doivent être linéairement
séparablesséparables
2424
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
2525
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Le modèle de HopefieldLe modèle de Hopefield
Mémorisation de formes et de motifsMémorisation de formes et de motifs Mémoire distribuéeMémoire distribuée Mémoire associativeMémoire associative
2626
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
N neurones binaires (1 ou -1) : 2N neurones binaires (1 ou -1) : 2NN états possibles pour le états possibles pour le réseauréseau
Réseau entièrement connecté, connexion de poids CRéseau entièrement connecté, connexion de poids C ij ij = C= Cji ji État du neurone i à l’instant t:État du neurone i à l’instant t:
L’état du neurone i dépend de l’état du réseau en général L’état du neurone i dépend de l’état du réseau en général -> mémoire distribuée -> mémoire distribuée
But : trouver les CBut : trouver les Cjiji qui vont permettre de mémoriser un état qui vont permettre de mémoriser un état particulier du réseauparticulier du réseau
Soient S1, S2… Sp p configuration du réseau à mémoriser : Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir d’une configuration proche de Sm, converger on veut, a partir d’une configuration proche de Sm, converger vers Sm -> mémoire associativevers Sm -> mémoire associative
Principe de Hebb :Principe de Hebb :
2727
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Les cartes de KohonenLes cartes de Kohonen
On veut un réseau ayant deux caractéristiques particulières :On veut un réseau ayant deux caractéristiques particulières : Apprentissage non superviséApprentissage non supervisé Les réponses associées à des entrées voisines sont Les réponses associées à des entrées voisines sont
voisines : auto organisationvoisines : auto organisation
Notion de voisinage entre les classes d’observationNotion de voisinage entre les classes d’observation
Algorithme :Algorithme : Initialisation : à chaque classe on associe un vecteur Initialisation : à chaque classe on associe un vecteur
code dans l’espace d’observationcode dans l’espace d’observation Etape : on tire un point au hasard dans l’espace des Etape : on tire un point au hasard dans l’espace des
observations (données). On déplace ensuite la classe la observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, plus proche, ainsi que tous ses voisins les plus proches, vers ce point.vers ce point.
2828
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
2929
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
3030
Exemples d’applicationsExemples d’applications
3131
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
OCROCR
3232
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Applications industrielles:Applications industrielles:
Reconnaissance de codes postaux (AT&T, la Poste)Reconnaissance de codes postaux (AT&T, la Poste) Contrôle de paramètres de processus de production Contrôle de paramètres de processus de production
industrielle de pâte à papier (Siemens)industrielle de pâte à papier (Siemens) Prévision de consommation d’eau (Générale des eaux)Prévision de consommation d’eau (Générale des eaux) Logiciels d’aide à la décisionLogiciels d’aide à la décision Prévisions météorologiquesPrévisions météorologiques
3333
ConclusionConclusion
3434
Introduction et Introduction et historiquehistorique
Le neurone Le neurone biologiquebiologique
Le neurone Le neurone formelformel
Architecture Architecture des réseaux des réseaux de neuronesde neurones
Notion Notion d’apprentissagd’apprentissag
ee
Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones
Exemples Exemples d’applicationsd’applications
ConclusionConclusion
Essor important ces 30 dernières annéesEssor important ces 30 dernières années Approximateurs universelsApproximateurs universels Aujourd’hui utilisés dans la vie quotidienne Aujourd’hui utilisés dans la vie quotidienne
(systèmes de tarifications basés sur la (systèmes de tarifications basés sur la classification des types de consommation)classification des types de consommation)