réseaux de neurones et probabilités romain brette projet odyssee (inria/ens) [email protected]
TRANSCRIPT
![Page 2: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/2.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 3: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/3.jpg)
Le neurone
Les neurones communiquent par impulsions électriques (potentiels d’action).
Ils reçoivent des milliers d’impulsions par les dendrites et émettent des impulsions par l’axone.
![Page 4: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/4.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 5: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/5.jpg)
Comment caractériser le graphe d’un réseau cortical? On n’a pas d’accès direct à ce graphe. Ce qu’on peut mesurer: géométrie du neurone (arbre dendritique)
Cellule de Purkinje(mesure expérimentale)
Cellule de Purkinje(description algorithmique)
Distribution spatiale des voisins
Ascoli et al (2001). Philos Trans R Soc Lond B Biol Sci 356, 1131-45.
![Page 6: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/6.jpg)
Comment caractériser le graphe d’un réseau cortical? Hypothèse: positions des neurones = processus ponctuels
indépendants (ex. Poisson)
Morphologie dendritique → probabilité de connexion entre deux neurones (en fonction de la distance)
Quel type de réseau obtient-on? (small-world?)
![Page 7: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/7.jpg)
Complications
Quelques difficultés: Il y a plusieurs types de neurones, avec des morphologies et des cibles
spécifiques Une région corticale est typiquement organisée en couches
Les positions des neurones ne sont pas indépendantes (e.g., on ne peut pas avoir deux neurones arbitrairement proches)
Densité des contacts synaptiques le long des branches?
Shepherd et al (2005). Nature Neurosci 8, 782-790
![Page 8: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/8.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? (« small-world »?) Implications fonctionnelles (épilepsie, oscillations)
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 9: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/9.jpg)
Quelles sont les implications de la géométrie du réseau?
Exemple 1: oscillations rapides dans un réseau aléatoire
N. Brunel (2000). J Physiol (Paris) 94, 445-463
Graphe aléatoire à connectivité faible (1-3%), neurones type « Intègre-et-Tire »
décharge irrégulière oscillation globale rapide
Qu’obtient-on avec un graphe plus réaliste?
![Page 10: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/10.jpg)
Quelles sont les implications de la géométrie du réseau?
Exemple 2: comportement épileptique d’un réseau « small-world »
Netoff et al (2004). J Neurosci 24, 8075-8083
Le réseau a une dynamique de type « épileptique » (forte activité synchrone) quand la proportion de connexions longue-distance est élevée.
Résultats numériques uniquement
![Page 11: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/11.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 12: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/12.jpg)
Modèles de neurones
« Intègre-et-Tire »:
V(t-) = seuil → V(t+) = V0
Intégration synaptique: instantanée:
courant synaptique:
conductance synaptique:
poids synaptique
temps de la je impulsion du neurone i
potentiel « de réversion »
¿dVdt = ¡ V +RI (t)
I (t) =X
i ;j
wi ±(t ¡ tji )
I (t) =X
i ;j
wi G(t ¡ tji )
I (t) =X
i ;j
wi G(t ¡ tji )(E i ¡ V)
![Page 13: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/13.jpg)
Formulation impulsionnelle
• V(t-) = seuil → V(t+) = V0
• impulsion du neurone i: V(t+)=V(t-) + wi
Modèle simple:
Modèle avec courant synaptique
• V(t-) = seuil → V(t+) = V0
• impulsion du neurone i: I(t+)=I(t-) + wi
¿dVdt = ¡ V
¿dVdt = ¡ V + I
¿sdIdt = ¡ I
G(t) = exp(¡ t=¿s)
![Page 14: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/14.jpg)
Formulation impulsionnelle
• X1(t-) = seuil → X1 (t+) = X0
• impulsion du neurone i:
Formulation générale:
d~Xdt = f ( ~X )
d~Xdt = f ( ~X ) ~X (t+) = ~X (t¡ ) + ~wi
![Page 15: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/15.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 16: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/16.jpg)
Modèles stochastiques
Les entrées sont des impulsions aléatoires (e.g. Poisson)
X1 (t-) = seuil→ X1 (t+) = X0
Quelle est la distribution stationnaire de X? (Ergodicité?)
Quelle est la loi des impulsions émises?
d~Xdt = f ( ~X )
~X (t+) = ~X (t¡ ) + ~wi
![Page 17: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/17.jpg)
Approche classique: Fokker-Planck
On suppose que les impulsions reçues sont très nombreuses: approximation de diffusion, ex.:
et V(t-) = seuil → V(t+) = V0
Equation de Fokker-Planck + conditions de bord:
dV = (¹ ¡ V)dt +¾dW
@p(V;t)@t = ¡ @((¹ ¡ V )p(V;t))
@V + 12
@2¾2p(V;t)@V 2
Solution stationnaire = gaussienne par morceaux
Difficile en dimension supérieure
![Page 18: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/18.jpg)
Une approche par les systèmes dynamiques discrets
Soit (tn) les temps d’impulsions reçues.
On suppose par ex. wi = w et (tn) = processus de Poisson.
On définit
Suite (X(tn)) = orbite de X(t0)
(ou: Xn → Xn+1 processus markovien)
On cherche la mesure invariante pour X.
suite d’applications i.i.d.
' n : ~X (tn) 7! ~X (tn+1)
![Page 19: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/19.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 20: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/20.jpg)
Plasticité synaptique
| | | | || | | |
|| | | | | || | | |w
Le poids synaptique évolue en fonction de l’activité présynaptique et postsynaptique
présynaptique
postsynaptique
LTP(dw>0)
LTD(dw<0)
Impulsion présynaptique avant postsynaptique: dw>0 Impulsion présynaptique avant postsynaptique: dw<0
tpre-tpost
![Page 21: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/21.jpg)
Dynamique des poids synaptiques
| | | | || | | |
|| | | | | || | | |
| | | || || |
…
|| | | | | || | | |
w1
w2
w3
w1000
Song & Abbott (2001) Neuron 32, 339-350
Entrées poissonniennes indépendantes:
Les poids évoluent vers une distribution bimodale concentrée sur les valeurs limitantes ([0,wmax])
![Page 22: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/22.jpg)
Un modèle simple
Intègre-et-Tire + LTP/LTD Formulation impulsionnelle:
dVdt = ¡ V
¿L T Pdui
dt = ¡ ui 8i 2 f1;:: : ;ng
¿L T Ddrdt = ¡ r
impulsion présynaptique (de l’entrée i):
impulsion postsynaptique (V>seuil):
ui ! ui +® (®> 0)
wi ! min(wi + ui ;wmax)
V ! V0
r ! r +¯ (¯ < 0)
8i;wi ! max(wi +r;0)
![Page 23: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/23.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 24: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/24.jpg)
Approche mathématique
Système impulsionnel à n+2 variables
si X 1 = seuil :~X ! g( ~X )
i~X ! ~X +f (wi ; ~X )
On définit:
suite d’applications i.i.d.
Implicitement, dépend de l’étiquette i de l’impulsion en tn (uniformément distribuée) et de l’intervalle (tn+1-tn) (exponentiellement distribué)
' n
' n : ( ~X ; ~w)(tn) 7! ( ~X ; ~w)(tn+1)
d ~Xdt = A ~X
![Page 25: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/25.jpg)
Questions associées
Distributions marginales stationnaires des wi
Ergodicité
Limite
Plus loin: autres lois de plasticité (ex. dw est proportionnel à w) entrées corrélées / impulsions non poissonniennes
n ! +1 et ®;¯ ¼1=n
![Page 26: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/26.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale
![Page 27: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/27.jpg)
Qu’est-ce que la synchronisation neuronale?
pas une synchronisation exacte
individuellement, les trains d’impulsions ressemblent à des réalisations de processus de Poisson
La fonction de corrélation entre deux trains peut ressembler par ex. à ceci:
N. Brunel (2000). J Physiol (Paris) 94, 445-463
-20 -10 0 10 200
![Page 28: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/28.jpg)
Comment générer des trains corrélés?
Comment générer n trains d’impulsions tels que:
individuellement, chaque train d’impulsions est poissonnien (intensité donnée)
la distribution jointe est invariante par permutation
la fonction de corrélation entre deux trainsest donnée
Le problème est-il bien défini?(en particulier: quelles contraintes sur la fonction de corrélation?)
-20 -10 0 10 200
![Page 29: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/29.jpg)
Une idée utilisant des processus stochastiques
On considère (n+1) mouvements browniens indépendants W0(t) … Wn(t).
On définit n processus d’Ornstein-Ulhenbeck avec seuil (= Intègre-et-Tire + bruit):
Propriétés: distribution jointe invariante par permutation impulsions émises « presque poissonniennes » pour petit degré de corrélation réglé par (α,β)
β =0: synchronisation parfaite α =0: trains d’impulsions indépendants
(impulsion émise)
¿dVi = ¡ Vi dt +®dW0 + ¯dWi
Vi = 1 ! Vi = 0
![Page 30: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/30.jpg)
Une idée plus générique
On considère un processus stochastique x(t) d’autocorrélation donnée (ex. Ornstein-Ulhenbeck)
On génère n trains d’impulsions comme des réalisations d’un processus de Poisson inhomogène d’intensité x(t).
Propriétés: distribution jointe invariante par permutation corrélation par paire correcte (?) quelle est la loi des trains d’impulsions individuels? que faire si x(t)<0 ?
-20 -10 0 10 200
x(t)
![Page 31: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/31.jpg)
Quel processus régit l’entrée synaptique totale?
On considère n trains d’impulsions convergeant sur un neurone
| | | | || | | |
|| | | | | || | | |
| | | || || |
…
|| | | | | || | | |
g(t) =X
i ;j
G(t ¡ tji )
neurone iimpulsion j
G(s) = £(s) exp(¡ s=¿s)ex.:
Trains poissonniens indépendants → « shot noise » limite n → (ici): g(t) = Ornstein-Ulhenbeck
Trains corrélés → ? union des trains = Hawkes?
![Page 32: Réseaux de neurones et probabilités Romain Brette Projet ODYSSEE (INRIA/ENS) brette@di.ens.fr](https://reader035.vdocuments.pub/reader035/viewer/2022062312/551d9dba497959293b8de36f/html5/thumbnails/32.jpg)
Réseaux de neurones et probabilités
Questions de réseaux Quelle est la connectivité du cerveau? Implications fonctionnelles
Modèles de neurones Quelques modèles simples Modèles stochastiques
Plasticité synaptique Un modèle simple Approche mathématique
Synchronisation neuronale