chapitre 5 mémoires associatives. gpa-779 application des réseaux de neurones et des systèmes...
TRANSCRIPT
![Page 1: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/1.jpg)
Chapitre 5
Mémoires associatives
![Page 2: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/2.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 2
Plan Architecture Phases d’opérations Catégories Entraînement
Hebb Delta
Mémoire anticipative Mémoire itérative
![Page 3: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/3.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 3
Découverte 3 livres du groupe PDP
Vol. 1: théorie 1986
Vol. 2: modèles bio. 1986 Vol. 3: modèles informatiques 1988successeur: PDP++ 2003 http://psych.colorado.edu/~oreilly/PDP++/PDP++.html
Bibles de l’époque Modèles info. PC-MAC-UNIX
Bases de la rétropropag. Appendice: analyse vectorielle
1. Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 1. 1986, The MIT Press: Cambridge, Massachusetts. 547.2. McClelland, J.L., D.E. Rumelhart, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 2. 1986, The MIT Press: Cambridge, Massachusetts. 611.3. McClelland, J.L. and D.E. Rumelhart, Explorations in Parallel Distributed Processing - A Handbook of Models, Programs, and Exercises. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. 1989, Cambridge, Massachusetts: The MIT Press. 353.
![Page 4: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/4.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 4
Principaux domaines d ’application
1. Classification2. Regroupement3. Approximation4. Prédiction5. Optimisation de parcours6. Mémoire associative7. Commande
![Page 5: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/5.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 5
Reconstruction d ’images
![Page 6: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/6.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 6
• Exemple d’application
![Page 7: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/7.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 7
5.1 Architecture
W
x1
x2
xN yM
y2
y1
![Page 8: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/8.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 8
x1
x2
xn
xN
y1
y2
ym
yM
w 1n
w 2n
wmn
wMn
![Page 9: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/9.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 9
€
W =
w11 w12 L w1n L w1N
M M M M M M
wm1 wm2 L wmn L wmNM M M M M M
wM1 wM 2 L wMn L wMN
⎡
⎣
⎢ ⎢ ⎢ ⎢ ⎢ ⎢
⎤
⎦
⎥ ⎥ ⎥ ⎥ ⎥ ⎥
€
X = x1 x2 L xN[ ]
Y = y1 y2 L yM[ ]
€
Y = XW T
Y T =WXT
![Page 10: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/10.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 10
Phases d’opération1- Entraînement
Prototype à mémoriser:
Mémorisation:
Entrée:
2- Recherche
Pk ≤≤1Vk
W= W(k)
k:1
p
∑
kT
TT
T
WXY
XWY
==
![Page 11: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/11.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 11
Catégories 1- Mémoire auto-associative
2- Mémoire héréro-associative
PkVTkk TVkk ≤≤→ = 1
PkVTkk TVkk ≤≤→ ≠ 1
![Page 12: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/12.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 12
5.2 Entraînement Règle de Hebb
Algorithme0- Initialisation
Wmn = 0
1- Pour chaque paire T : V2- xn = tn
3- ym = vm
4- Wmn = Wmn(précédent) + xnym
![Page 13: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/13.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 13
Algorithme alternatif: produit externe de vecteurs
PIWW −=0
⎥⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢⎢
⎣
⎡
=×==
MNNN
Mnnn
Mm
kTkkkk
vtvtvt
vtvtvt
vtvtvt
VTVTW
LL
MMM
LL
MMM
LL
o
11
11
1111
∑=
×=P
kk
Tk VTW
1
![Page 14: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/14.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 14
Phase de recherche
1- Entrées non-corrélées (vecteurs orthogonaux)
recouvrement total et parfait
2- Entrées corrélésrecouvrement croisé (bruit d’intercorrélation)
llk TTX == =
TXWY =
∑
∑
≠
+=
=
lkk
Tkll
Tll
p
kk
Tkl
VTTVTT
VTT1:
![Page 15: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/15.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 15
Capacité d’emmagasinement–Maximum: N-1 (si tous les vecteurs d’apprentissage sont orthogonaux)
–Pour un réseau de Hopfield (mémoire itérative):
NPN
15,0log2 2
<<
![Page 16: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/16.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 16
Règle DeltaRègle itérative utilisée pour des vecteurs à mémoriser qui sont linéairement indépendants mais non-orthogonaux. La règle atténue les effets de corrélation croisée et produit une solution de moindres carrés lorsque les vecteurs ne sont pas linéairement indépendants
ijjjij
ijjiij
ii
xyvnetfw
netwxfy
tx
)()( −′=Δ
⎟⎠
⎞⎜⎝
⎛ ==
=
∑η
![Page 17: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/17.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 17
5.3 Mémoires anticipatives
Algorithme 1- Entraînement
a) Hebbienb) Delta
2- Forme (partielle ou bruitée) présentée à l’entrée
01
00
01
<−=>
=
=∑
j
j
j
j
ijiij
netnetnet
y
wxnet
![Page 18: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/18.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 18
5.4 Mémoires itératives 5.4.1 Réseau de Hopfield
1 1
-1
y1 y3
x2
1x1
1
y2
-2
+1+4
⎪⎩
⎪⎨
⎧
<−
≥=
=
=
∑∑
jjij
jjij
i
ii
jiij
yw
yw
y
w
ww
01
01
0
![Page 19: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/19.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 19
Énergie d’un réseau de Hopfield
![Page 20: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/20.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 20
Algorithme 1- Entraînement: mémoriser les couples T:V
PIVTW k
P
k
Tk −=∑
=1
2- Forme (partielle ou bruitée) présentée à l’entrée
yi = xi
Relaxation:
Pour chaque neurone (pris au hasard):
neti =xi + yjwijj
∑
yi =
1 neti >θiyi neti =θi−1 neti <θi
![Page 21: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/21.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 21
Un réseau simple de Hopfield
![Page 22: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/22.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 22
Relaxation7
5 4 3
12+1
-1
6
![Page 23: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/23.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 23
Les états stables du réseau
![Page 24: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/24.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 24
Un réseau de Hopfield comme MA
NPN
15,0log2 2
<<
![Page 25: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/25.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 25
5.4.2 Mémoire associative bidirectionnelle - BAM
![Page 26: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/26.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 26
ExerciceTrouver la matrice de transformation W (poids) pour emmagasiner les patrons:
»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];
![Page 27: Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations](https://reader035.vdocuments.pub/reader035/viewer/2022062417/551d9db5497959293b8da3c3/html5/thumbnails/27.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 27
Solution»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];»W1=t1'*t1W1 =
1 1 -1 -1 1 1 -1 -1 -1 -1 1 1 -1 -1 1 1
»W2=t2'*t2W2 =
1 -1 -1 1 -1 1 1 -1 -1 1 1 -1 1 -1 -1 1
»W=W1+W2
W =
2 0 -2 0 0 2 0 -2 -2 0 2 0 0 -2 0 2
» W0=W-2*eye(4)
W0 =
0 0 -2 0 0 0 0 -2 -2 0 0 0 0 -2 0 0