-
8/2/2019 Les rseaux de neurones et leurs applications
1/40
1
Rseaux neuronaux et applications
Richard LepageM.Sc.A ingnierie
Dpartement dinformatique, de
mathmatiques et de gnie.
Universit du Qubec Rimouski
@2007
-
8/2/2019 Les rseaux de neurones et leurs applications
2/40
2
Les Sujets de discussion
Historique et concepts .
Types de rseau (MLP, RBF, Kohonen).
Les champs dapplications.
Avenir des rseaux de neurones artificielles
Conclusion.
-
8/2/2019 Les rseaux de neurones et leurs applications
3/40
3
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
Naissance du modle thorique (mathmatique et informatique) duneurone biologique labor par 2 neuro-biologistes (McCulloch etPitts, 1943).
Schmatisation dunneurone biologique.
Schmatisationdun neurone
formel servant demodle biologique
-
8/2/2019 Les rseaux de neurones et leurs applications
4/40
4
Neurone formel (automate seuil avec entres et sorties binaires).
A B S
0 0 0
0 1 1
1 0 1
1 1 1
OU logique
S=0
S=1
A B S
0 0 0
0 1 0
1 0 0
1 1 1
ET logique
S=0
S=1
ni ii xwxwxwxwY 0 221100)sgn(S
1
1Y
0Y
bmxyw
wx
w
wy
ou
2
0
2
1
Le neurone formelSapparente la mthodedu discriminant linaire.
La mise jour des poidsseffectue manuellement.
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
Le Biais permetde jouer sur
lordonne de ladroite desparation
35.01 w
35.02 w
1x
2x
Y)sgn(S
n
i
iixw1
10 x
3.0 w
35.01 w
35.02
w
1x
2x
Y)sgn(S
n
i
iixw
1
10x
5.0 w
Biais
0),(02211
wxwxwcbyaxyxd
Poids
-
8/2/2019 Les rseaux de neurones et leurs applications
5/40
5
Rgles du Perceptron
En 1949, dcouverte de la rgle dapprentissage de Hebb pour la mise jour
des poids dun rseau de neurones. Dveloppement de lalgorithme du perceptron qui permet la mise jour des
poids selon la sortie dsire d(i) durant le processus dapprentissage.
tape 1Choisir des valeurs alatoires pour les poids et le biais
tape 2Appliquer le vecteur dentre x(i)
tape 3 -Calculer la valeur de S ()
tape 4 Si S= d(i) on retourne ltape 2 sinon on continue
ltape 5
tape 5 -
tape 6 - Retourner ltape 2.
nwww .., 21 0w
02211 ... wxwxwS
)()(dw),( i0 idixiddw nidwww ..1pourdwww, iii000
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
6/40
6
Mise jour des poids dela couche linaire par la
rgle de Hebb
1.01 w
22 w
1x
2x
Y
)sgn(S
10 x3.0 w
)(id
-err
)(id
1.01
nw
2nw
1nx
nx
Y
)sgn(S
10 x3.0 w
-
err
Rosenblatt entraina unecouche linaire de neuronesformels soumis la rgledapprentissage de Hebb
Entres
Entres
Sortie dsire
Sortie dsire
Modification des
biais et des
poids du rseau
selon lerreur
entre la sortie
dsire et la
sortie du rseau
Le perceptron de Rosenblatt (1958).
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
Le but premier duperceptron est lamodlisation de laperception visuelle.
-
8/2/2019 Les rseaux de neurones et leurs applications
7/40
7
Problme non linairementsparable
En 1970, Minsky et Papert valurent lesfaiblesses du Perceptron.
impossibilit pour le Perceptron dersoudre un problme qui nest paslinairement sparable.
Minsky et Papert prconisrent dajouter
des couches de neurones entre lentre etla sortie mais il restait trouver uneprocdure qui ntait pas connu pour mettre jour les poids et les biais du rseau.
A B S
0 0 0
0 1 1
1 0 1
1 1 0
XOR logique
S=1
S=1
S=0
S=0
La droite dediscrimination linairene peut sparer les
deux classes peutimporte les valeursdes poids et du biais
1.01 w
22 w
1x
2x
Y
)sgn(S
10 x3.0 w
)(id
-err
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
8/40
8
volution du rseau multi-couche
En 1980, rvolution du Perceptron couches multiples (MLP) avec la rgle dertropropagation du gradient de lerreur (back-propagation).
xy
Couche de sortieCouche cacheCouche d'entre
x1
x2
x3
x4
wji
wkj
y1
y2
y3
z1
z2
zk
Fonctions dactivations jkkj y)('z-ty kkkj netfw
Couche cache vers la couche de sortie
Couche dentre vers la couche cache
i
c
1k
i x)('x jkkjjji netfww
Cette dcouverte revient deux quipes indpendantes:
Gnralisation de lalgorithme de
Widrow et Hoff ou rgle delta en
minimisant la somme des erreursquadratiques.
Rumelhart et all et Le Cun et all xy
xey 1
1
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
9/40
9
Rsolution dun problme non linairement sparable avec le rseau MLP
A B S
0 0 0
0 1 1
1 0 1
1 1 0
XOR logique
D1
S=1
S=1S=0
S=0
D2
y2
o
x1
x2
y111,1w
2
1,1w
2
2,1w
1
1,2w
1
1,2w
Le rseau MLP permet de
sparer les deux classes
du problme XOR. Noeuds dentre
Noeuds cachs
Noeuds de sortie
Branchements
Couche 0
Couche 1
CoucheN
CoucheN-1
Rseau N-couches
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
10/40
10
Configuration optimale du rseau de neurone (MLP)
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
Un des gros problmes qui apparait dans lutilisation desrseaux de neurones est la difficult du choix dans le nombrede couche et le nombre de neurone par couche.
Le pas dapprentissage La vitesse dapprentissage La capacit de gnralisation du rseau Les fonctions dactivations des couches caches
Paramtres prendre en considration
Comment y remdier?
Mthode essai et erreur La mthode des plans dexpriences (taguchi) Optimisation conjointe des paramtres et de la topologie du
rseau par algorithme gntique hirarchiques.
Utilisation de lensemble de Pareto optimal (Vilfredo Pareto )
-
8/2/2019 Les rseaux de neurones et leurs applications
11/40
11
Avantages:
Le rseau atteint une prcision trs leve au niveau de la reconnaissanceet la base dexemplena pas besoin dtre trs grande.
Dsavantage:
On perd en gnralit car les formes sont reconnues dune manire tropexacte. Si une forme proche est prsente au rseau, celle-ci ne sera peut-tre pas reconnue. On peut ajouter un bruit blanc au donnes pour permettreune meilleure gnralisation.
Techniques dapprentissage ou de dtermination des poids
Apprentissage supervis (Approche dterministe)
On enseigne au rseau ce quil doit prsenter comme information la sortieselon les donnes prsentes lentre. Cela force les poids prendre desvaleurs distinctes selon les formes prsentes au rseau de neurones.
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
12/40
12
Le rseau regroupe les donnes selon des algorithmes de calcul de distancepar la mthode des moindres carres. chaque groupe correspond uneclasse. Aprs lidentification de toutes les classes, une valeur de sortie,dicte par lusager, est associe chacune des classes. Peut-tre associ une infrence baysienne pour produire des probabilits conditionnelles pour
chaque variable alatoire tant donn les autres.
Avantages:
Le rseau atteint une prcision trs leve au niveau de la reconnaissance
et la gnralisation est trs bonne.
Dsavantage:
La base dexemples se doit dtre trs volumineuse et le tempsdapprentissage est trs long si un nouvel exemple est prsent au rseau
pour un nouvel apprentissage.
Techniques dapprentissage ou de dtermination des poids
Apprentissage non supervis (approche statistique)
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
13/40
13
Mthode de minimisation pour le calcul des poids.
)(
)(
2
1
,
2
,
n
j
n
jn
j
n
j
n
i
n
j
n
jn
ij
n
ij
hf
xhfw
w
Mthode de descente du Gradient
Mise jour des poids et des biais
n
j
n
j
n
j
n
ij
n
ij
n
ij
oldnew
woldwneww
)()(
)()( ,,,
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
14/40
14
Mthode de minimisation pour le calcul des poids.
jkkj y)('z-ty kkkj netfw
Mthode de descente du Gradient avec terme dinertie
)()(2
oldww
neww
0
-
8/2/2019 Les rseaux de neurones et leurs applications
15/40
15
Mthode de minimisation pour le calcul des poids.
Mthode de Newton
HwwwEwwwEwE2
0000 )(2
1)()()()(
Par lutilisation de la srie de Taylor
ji
ijww
EH
2
o H= matrice Hessienne E = fonction derreur (2)
De la srie de Taylor, nous obtenons
)()()( 00 wwHwEwE
o)( 0
1
0 wEHww
(Mthode de Newton)
N
i
iijjjjxwYdYwE
1
o2
1)(
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
16/40
16
Avantages:
w Convergence rapide (forme quadratique)
Dsavantages:
wCalcul intensif (ncessit de calculer la matrice inverse
chaque pas ditration.
wLa matrice Hessienne est difficile calculer selon lacomplexit de la fonction dactivation. Nous devons choisir
une fonction dactivation qui est continuement drivable.
Mthode de minimisation pour le calcul des poids.
Mise jour des poids par la mthode de Newton
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
17/40
17
Avantages:
wConvergence trs rapide et gnralisation trs bonne.
wMthode la plus utilise jusqu maintenant.
Dsavantages:
Il ne faut pas que le nombre de poids constituant le rseau soit plus
grand que 200 car cette mthode devient infficace en terme de
rapidit de calcul.
Mthode de minimisation pour le calcul des poids.
Mthode Levenberg-Marquardt Backpropagation
1)(
)(
)()(
JEIJJw
EwJJE
wJwJJJ
o J= Matrice Jacobienne
E= Toutes les erreurs
I= Matrice identit
= Taux dapprentissage
HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
18/40
18
TYPES DE RSEAU (MLP, RBF, KOHONEN).
MLP Multilayer perceptron (perceptron multi-couches)Rseau vu prcdemment.
RBFRadial Basis Function (Fonction dactivation gaussienne)Approximation de fonctions plusieurs variables.
Rseau de Kohonen (Rseau auto-organisateur)Conservation topologique de la forme
Compression de donnes
Rseau de Hopfield (Rseau pleine connection) non prsent dans cetteprsentation
Nouvelles tendances:
Combinaison de plusieurs types de rseaux pour des problmes spcifiques
Rseau de Kohonen Rseau MLPEntre Sortie
-
8/2/2019 Les rseaux de neurones et leurs applications
19/40
19
Le rseau RBF (Radial Basis Function)
TYPES DE RSEAU (MLP, RBF, KOHONEN).
Broomhead et Lowe (1988) employrent pour la premire fois le rseau RBF.
Sert actuellement pour les applications dapproximation de fonction mais
sexplique mieux dans le contexte de la classification.
Structure du rseau RBF
x2
x1
La couche cache est constituede fonction-noyau de type gaussienne.
Paramtrisation ncessaire
de la fonction noyau.
sortie linaire
Entres
Le rseau RBF est un
rseau trois couches(Couche dentre, coucheRBF, couche de sortielinaire).
La rgle Delta est utilise commetechnique dapprentissage. Il fautchoisir le bon nombre de neuronepour la couche RBF.
TYPES DE RSEAU (MLP RBF KOHONEN)
-
8/2/2019 Les rseaux de neurones et leurs applications
20/40
20
Le rseau RBF (Radial Basis Function)
TYPES DE RSEAU (MLP, RBF, KOHONEN).
Pour dterminer le nombre et la position des neurones-noyau, on utilise
lalgorithme dcrit par Mustawi et all (1992).
1. On associe un neurone par donne du corpus dapprentissagereprsentant un nuage distinct, le but tant de regrouper des nuages dedonnes.
2. Choisir alatoirement un nuage (un neurone i)3. Trouver un second nuage de la mme classe (un neurone j).4. Regroupement des deux nuages en un nouveau nuage k et calculer
barycentre Ck.5. Calculer la distance rk entre Ck et la donne de k la plus loigne.6. Calculer la distance dk entre Ck et le barycentre du nuage le plus
proche.7. Si dk > Delta*rk, alors regroupement accept et nouveau nuage k
remplace nuage i et j, sinon rpt depuis ltape 3 jusqu ce que leregroupement soit accept.
8. Rpter lopration partir de 2, en examinant tous les nuages jusquce quaucun regroupement ne soit plus possible.
TYPES DE RSEAU (MLP RBF KOHONEN)
-
8/2/2019 Les rseaux de neurones et leurs applications
21/40
21
Le rseau RBF (Radial Basis Function) dans lapproximation dune fonction
TYPES DE RSEAU (MLP, RBF, KOHONEN).
Vecteurs dapprentissage
Fonction gaussienne
Somme pondre des entres
Rsultat aprs apprentissage
On prsente 20 vecteursque le rseau doit
apprendre (x,y). Une foislapprentissage termin,nimporte laquelle desvaleurs prsentes lentre donnera unevaleur de sortie qui seraprsente sur la courbe.
TYPES DE RSEAU (MLP RBF KOHONEN)
-
8/2/2019 Les rseaux de neurones et leurs applications
22/40
22
Le rseau SOM de Kohonen (rseau comptitif)
TYPES DE RSEAU (MLP, RBF, KOHONEN).
Kohonen (1990) dveloppa la carte topologique (Self-Organizing Map).
Le rseau apprentissagecomptitif de Kohonen(spcialisation du neurone )sapproche le plus du typede structure observ dans lecerveau.
Le rseau SOM est constitu dune couche dentre et dune couche de comptition ensortie.
1,1w
1e
1,2w
2,1w
2,2w2
e
1i
2i
Couchedentre
Couche decomptition
Poidsdu
rseau
I1 I2
W1 0.6 0.4
W2 0.4 0.6
Patron 1 1.0 0.0
Patron 2 0.8 0.2
Patron 3 0.0 1.0Patron 4 0.2 0.8
La rgle dapprentissage
modifie les poids duneurone 1 de faon lerapprocher du patronprsent.
Le rseau SOM est parfaitement adapt dans lanalyse des donnes (regroupement
sous forme de nuage de donnes).
TYPES DE RSEAU (MLP RBF KOHONEN)
-
8/2/2019 Les rseaux de neurones et leurs applications
23/40
23
Le rseau SOM de Kohonen (rseau comptitif)
TYPES DE RSEAU (MLP, RBF, KOHONEN).
100 points de donnes crs surun cercle unitaire
1,1w 1e
1,2w
2,1w
2,2w
2e
x
y9
e
10e
2 entre et 10 neurones dans lacouche comptitive Les vecteurs poids suivent la courbede donnes aprs apprentissage.
Le graphique reprsentant les poids de chaque neurone suivent lacourbe de donnes en positionnant les poids de chacun desneurones au barycentre des nuages de donnes qui ont t cr.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
24/40
24
APPLICATIONS DES RSEAUX NEURONAUX
Classification de donnes vectorielles Reconnaissance de formes Approximation de fonctions
Dtection de patrons dans un signal Prdiction future selon des donnes passs Contrle robotique (PID) Compression de donnes
rgression linaire et non-linaire
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
25/40
25
Classification par rseau MLP.
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
Class 1Class 0
x = randn([2 200]);
o = (x(1,:).^2+x(2,:).^2)
-
8/2/2019 Les rseaux de neurones et leurs applications
26/40
26
PR = [min(x(1,:)) max(x(1,:));
min(x(2,:)) max(x(2,:))];
S1 = 10;
S2 = 1;
TF1 = 'logsig';
TF2 = 'logsig';
BTF = 'traingd';
BLF = 'learngd';
PF = 'mse';
net = newff(PR,[S1 S2],{TF1
TF2},BTF,BLF,PF);
Commande Matlab : Cration dun rseau deux couches
Bornes de chacune des entres
Nbr. de noeuds dans la couche 1 et 2
Fonction dactivation de la couche 1 et 2
Fonction dentrainement
Fonction dapprentissage
Fonction cot (mean square error ou MSE)
Commande de cration du rseau
APPLICATIONS DES RSEAUX NEURONAUX
Classification par rseau MLP.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
27/40
27
net.trainParam.epochs = 2000;
net.trainParam.goal = 0.002;
net = train(net,x,o);
y = sim(net,x);
netout = y>0.5;
Nbr. dpoque de calcul
Erreur maximale dsire
Commande dapprentissage
Calcul en continue des sortie du rseau
Conversion en sortie binaire
Structure du rseau
x2
x1
Couche cache
(sigmoide)
Noeud de sortie (Sigmoide)
Noeuds dentre
Unit de seuil
(pour sortie binaire)
APPLICATIONS DES RSEAUX NEURONAUX
Classification par rseau MLP.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
28/40
28
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
Class 1Class 0
Les poids sont choisis alatoirement avant
le dbut du calcul. Affichage des droites de
sparation avant apprentissage.
APPLICATIONS DES RSEAUX NEURONAUX
Classification par rseau MLP.
Lorsque le processus dapprentissage est
termin, tout vecteur se prsentant en
entre du rseau sera reconnu comme
faisant partie de la classe o ou x.
On essaye de voir jusqu quel point lesdroites de sparation peuvent encercler les
vecteurs x pour former une classe distinctes
des vecteurs o.
Trois types dalgorithme de gestion
des poids seront utiliss dans cet
exemple pour dmontrer la rapidit
de chacun deux lors du processus
dapprentissage.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
29/40
29
Algorithme dapprentissage:Descente de gradient avec terme dinertie
0 0.5 1 1.5 2
x 104
10-3
10-2
10-1
100 Performance is 0.151679, Goal is 0.002
20000 Epochs
Training-Blue
Goal-Black
MSE vspoques dapprentissage
Erreur de classification : 40/200
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
Class 1Class 0
MSE vspoques dapprentissage(convergence atteinte en 10 poques)
Algorithme dapprentissage:Levenberg-Marquardt Backpropagation
0 2 4 6 8 1010
-3
10-2
10-1
100 Performance is 0.00172594, Goal is 0.002
10 Epochs
Training-Blue
Goal-Black
Erreur de classification : 0/200
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
Class 1Class 0
la fin de lapprentissage, 6 noeuds seulement sont ncessaires pour classer les vecteurs x.
APPLICATIONS DES RSEAUX NEURONAUX
Classification par rseau MLP.
MSE vs poques dapprentissage
Algorithme dapprentissage:Mthode de descente par le gradient
0 0.5 1 1.5 2
x 104
10-3
10-2
10-1
100 Performance is 0.151511, Goal is 0.002
20000 Epochs
Training-Blue
Goal-Black
Erreur de classification : 40/200
-3 -2 -1 0 1 2 3-3
-2
-1
0
1
2
Class 1Class 0
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
30/40
30
APPLICATIONS DES RSEAUX NEURONAUX
Reconnaissance de forme avec rseau MLP
Schmas synoptiques dun systme de reconnaissance de formes
Acquisition de limage
Prtraitement de limage
Extraction descaractristiques
dinvariance Cration dune base de donnes des caractristiquesinvariantes (Identifier chaque image avec une classe
dappartenance)
Processus dapprentissage du rseau de neurones
(stabilisation des poids du rseau selon la base dedonnes des caractristiques).
Prsentation au rseau de
neurones pour findidentification (le processus
dapprentissage est ralis
au pralable).
Prsentation du rsultatde la classification.
Choisir alatoirement selon une courbe normale(moyenne nulle et variance unitaire) des chantillons
qui serviront lapprentissage du rseau)
On se sert des trois premier modules pour former labase de donnes des caractristiques dimages.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
31/40
31
APPLICATIONS DES RSEAUX NEURONAUX
Prtraitement des donnes images
Image originale encouleurs Niveau de gris Filtre Sobel
Rehaussement decontraste
Remplissage desvides
Linarisation delobjet
Segmentation delimage
1 2 3
4 56
Reconnaissance de forme avec rseau MLP
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
32/40
32
Reconnaissance de forme avec rseau MLP
APPLICATIONS DES RSEAUX NEURONAUX
M10 et M01 dfinissent lecentre de gravit de la
surface et M00 dfinit lasurface de lobjet
Moments centrs dordre p,q
Extraction des caractristiques de la forme
Moments lmentaires dordre p,q
On recherche linvariance en translation, en rotation et en homothtie en
groupant des moments centrs dordre p,q, par exemple M20+M02
Axes principaux dinertie
Allongement et orientationde la forme
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
33/40
33
Reconnaissance de forme avec rseau MLP
APPLICATIONS DES RSEAUX NEURONAUX
Normalisation des donnes et prsentation au
rseau MLP
La normalisation est le processus par lequel les donnes dentre et les
donnes en sortie ont des valeurs voluant entre -1 et +1.
On utilise habituellement deux couches
caches dune dizaine de neurones pourviter le sur-apprentissage et on fait apprendre
au rseau les formes qui sont prsentes lentre selon les paramtres caractristiques.
On peut ajouter un bruit blanc aux formes qui sont prsentes lors delapprentissage du rseau pour amliorer la gnralisation. On utilise un
algorithme dapprentissage de type Levenberg-Marquard qui est le plusadquat pour le rseau MLP.
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
34/40
34
APPLICATIONS DES RSEAUX NEURONAUX
Reconnaissance des signaux par rseau MLP
Signal analyser Patrons de signaux
Le signal que nous voulons analyser provient dune machine usiner. Pourviter dendommager la pice, un rseau de neurone dtecte les bris desoutils usiner (mches, fraiseuses) en reconnaissant les signauxprcurseurs.
Signal analyseren temps rel
Passage dunefentre de 10
chantillons parintervalle dun
chantillon.
Prsentation des10 chantillons au
rseau MLP
Dcision sur lacommande de
lappareil
APPLICATIONS DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
35/40
35
APPLICATIONS DES RSEAUX NEURONAUX
On utilise un rseau dune couche cache de 5 neurones avec fonction
dactivation logsig et un neurone en sortie avec fonction dactivation purelin.
Reconnaissance des signaux par rseau MLP
y1
y10
La mise jour des poids sefait par lalgorithme de
Levenberg-Marquard durantltapedapprentissage.
Contrle de lamachine usiner
AVENIR DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
36/40
36
S S U U O U
Caractristiques gnrales
Technology:0,35 CMOSChip size:35 mm2Supply voltage:3,3 VClock frequency:33 MHzPower consumption:0,5 WPackage type:CQFP 208Dimensions:30,6 mm x 30,6 mm x 4,1 mmProcessing speed at 33MHz:45MCUPS1
Implantation sous forme de circuits intgrs dun rseau de neurone
lectronique controle universel.
Rseau de neurones circuit intgr
Le DANA23 (Digital Adaptive Neuro ASIC) contient un rseau
complet avec modification et sauvegarde des poids et biais avec un
algorithme dapprentissage intgr de type backpropagation modifi.
AVENIR DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
37/40
37
Rseau de neurones circuit intgr
AVENIR DES RSEAUX NEURONAUX
-
8/2/2019 Les rseaux de neurones et leurs applications
38/40
38
Rseau de neurones biologiques sur substrat de silicium (neurochips)
Un groupe de chercheur du Caltech (institut de technologie de
Californie) ont russi la greffe dun neurone sur un substrat de siliciumen 1991.
La vision et les capacits de la mmoire neurologique excutent massivement desoprations parallles impossibles reproduire mme sur les plus grands
superordinateurs du monde.
Conception prochaine de circuits quiexcutent des calculs analogiques
massivement parallles
La surface lisse du silicium est unenvironnement idal pour lacroissance des cellulescrbrales.
CONCLUSIONS
-
8/2/2019 Les rseaux de neurones et leurs applications
39/40
39
Les rseaux de neurones sont en constante volution et la nouvelle vogueest de combiner diffrents rseaux pour accomplir des tche spcifiques.
Loptimisation de la configuration des rseaux de neurones est actuellement
un problme ouvert. Il existe diverses techniques mais celle qui optimisevraiment la configuration na pas vu le jour.
Des recherches intensives sont en cours pour appliquer les rseaux SOM(auto-organisateur) dans le secteur de lindustrie. La comprhension desrseaux SOM permet dapprocher le comportement du cerveau humain en
liaison avec la logique floue.
Nous sommes encore loin de lpoque o un cerveau humain sera remplac
par une machine car les fonctions humaines mme les plus simple sont unnorme dfis pour la technologie.
-
8/2/2019 Les rseaux de neurones et leurs applications
40/40
40
Vous avez des questions???