réseaux de neurones. 2 sommaire perceptron mémoires associatives réseau à couches cachées...
TRANSCRIPT
![Page 1: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/1.jpg)
Réseaux de neurones
![Page 2: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/2.jpg)
2
Sommaire
PerceptronMémoires associativesRéseau à couches cachées
Rétro-propagation de l’erreur
![Page 3: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/3.jpg)
3
Perceptron
Considéré comme 1er réseau de neurones
Basé sur la biologie humaineCréé
Par Rosenblatt Entre 1957 et 1961
But : associer des configurations d’entrée à des réponses
![Page 4: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/4.jpg)
4
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
Couche d’entrée / Rétine Couche de sortie
Connexions/Synapses
![Page 5: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/5.jpg)
5
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
Couche d’entrée / Rétine Couche de sortie
Connexions/Synapses
![Page 6: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/6.jpg)
6
Perceptron
Constitution
1/0
1/0
1/0
1/0
∑
∑
∑
{0/1}
{0/1}
{0/1}
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
![Page 7: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/7.jpg)
7
Perceptron
Constitution
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
aj : activation de la jème cellule de sortie
xi : valeur de sortie de la ième cellule de la rétine
wi,j : intensité connexion entre ième cellule d’entrée et jème cellule de sortie
oj : régle de décisionoj = 0 pour aj <= θj, 1 pour aj > θj
![Page 8: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/8.jpg)
8
Perceptron
Apprentissage Supervisé
On donne l’entrée et la sortie attendue Si sortie d’une cellule est bonne => on ne fait rien Sinon,
si elle est activée : on diminue la valeur de ses connexions
si elle est désactivée : on augmente la valeur de ses connexions
Jusqu’au moment où les réponses sont toutes correctes
![Page 9: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/9.jpg)
9
Perceptron
Apprentissage Comment diminuer ou augmenter les
connexions ? Règle d’apprentissage de Widrow-Hoff
wi,j(t+1) = wi,j
(t)+n(tj-oj)xi = wi,j(t)+∆wi,j
Réponse théorique de la jème cellule de sortie
Facteur d’apprentissage
![Page 10: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/10.jpg)
10
Perceptron
Problèmes Difficile de trouver de bons paramètres Impossible de modéliser le XOR
Pourquoi ? XOR est non linéairement séparable
Conséquence Le perceptron est alors mal vu et est abandonné
1,0
0,1
0,0
1,1
![Page 11: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/11.jpg)
11
Mémoires associatives
Vers 1970Deux types
Mémoires hétéro-associatives Mémoires auto-associatives
![Page 12: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/12.jpg)
12
Mémoires hétéro-associatives
Généralisation du perceptronL’activation de sortie est continue et non
plus 0 ou 1Même constitution mais
oj=γaj= γ(∑i xiwij)
![Page 13: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/13.jpg)
13
Mémoires auto-associatives
Constitution
InputRéseau de neurones
![Page 14: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/14.jpg)
14
Mémoires auto-associatives
Deux types Linéaires
Recherche de réponse par combinaison linéaire des stimulis stockés
Non linéaires Réseaux de Hopfield
• Réponses binaires : fonction sign dans {-1 , 1}• Mise à jour asynchrone
![Page 15: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/15.jpg)
15
Mémoires auto-associatives
But Retrouver une information à partir d’une partie
de celle-ci
Exemple Retrouver un visage connu à partir d’un nez et
deux yeux
![Page 16: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/16.jpg)
16
Sommaire
PerceptronMémoires associativesRéseau à couches cachées
Rétro-propagation de l’erreur
![Page 17: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/17.jpg)
17
Réseaux à couches cachées
xINPUT
I neurones
hHIDDEN
L neurones
oOUTPUT
J neurones
Matrices de connexions
W Z
Constitution
![Page 18: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/18.jpg)
18
Réseaux à couches cachées
aj= ∑i xiwij
x0
x1
x2
x3
w0j
w1j
w2j
w3j
oj=f(aj)
Zj0
Zj1
Zj2
Constitution
![Page 19: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/19.jpg)
19
Rétro-propagation de l’erreur
Technique d’apprentissageIdée :
On teste une entrée On récupère la réponse On la compare à la réponse théorique On propage l’erreur entre les deux réponses, de
la sortie vers l’entrée du réseau
![Page 20: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/20.jpg)
20
Rétro-propagation de l’erreur
Choix de f (fonction de transfert): La plus populaire : la fonction logistique
Sa dérivée
xexf
1
1)(
)](1)[()(' xfxfxf
![Page 21: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/21.jpg)
21
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
![Page 22: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/22.jpg)
22
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour hh=f(W*x)
![Page 23: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/23.jpg)
23
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
o=f(Z*h)
3. Calcul des réponses pour o
h=f(W*x)
![Page 24: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/24.jpg)
24
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
sortie=f’(Zh)*(t - o)o=f(Z*h)
![Page 25: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/25.jpg)
25
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z
sortie=f’(Zh)*(t - o)
![Page 26: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/26.jpg)
26
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
cachée=f’(Wx)*(Z sortie)
Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z
![Page 27: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/27.jpg)
27
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W
cachée=f’(Wx)*(Z sortie)
![Page 28: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/28.jpg)
28
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W
![Page 29: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/29.jpg)
29
Rétro-propagation de l’erreur
Algorithme1. On place une entrée
2. Calcul des réponses pour h
3. Calcul des réponses pour o
4. Calcul du signal d’erreur de sortie
5. On ajuste Z avec le signal d’erreur
6. Calcul du signal d’erreur de la couche cachée
7. On ajuste W avec le signal d’erreur
![Page 30: Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur](https://reader036.vdocuments.pub/reader036/viewer/2022062307/551d9da7497959293b8d83e0/html5/thumbnails/30.jpg)
30
Domaine des réseaux de neurones
Aide pour l’hommeClassification d’objetsApprentissage superviséRecherche d’une fonction complexe