vision algorithmique vision biologique robotvisodyssée 2002 2007 modéliser pour –trouver des...

Vision algorithmique

Visionbiologique

Robotvis Odyssée2002

2007

• Modéliser pour– Trouver des solutions pour

résoudre de nouvelles problématiques dans un contexte applicatif ou industriel

• Méthodologie– Approches continues

variationnelles et par EDP– Systèmes d’EDO

• Critère de qualité– Amélioration qualitative ou

quantitative des résultats ou performances

• Modéliser pour– Reproduire la biologie– Comprendre les performances

du système visuel

• Méthodologie– Approches continues

variationnelles et par EDP?– Réseaux de neurones

analogiques et impulsionnels

• Critère de qualité– Se confronter aux

expérimentations biologiques– Se confronter à la vision algorithmique

La vision biologique• L'information visuelle est

traitée par plusieurs aires corticales

• Une hiérarchie élaborée hautement connectée

• Chaque aire pariétale est rétinotopique, organisée en unités (colonnes)

• De nombreuses échelles d’observation

• Une transmission de l’information par des impulsions (spikes)

• Le code neural?• Un percept

La vision biologique

Van Essen, Gallant (1994)

• L'information visuelle est traitée par plusieurs aires corticales







Tootell etal (1988)








[Churland, Sejnowski, 1992]

1m

10cm

1cm

1mm

100m

1m

1A

CNS

Systems

Maps

Networks

Neurons

Synapses

Molecules














• Taux de décharge moyen • Temps de latences par rapport à un temps de référence • Mesures de synchronisation ou de corrélations• Distributions des intervalles de temps entre impulsions• Répétition de certains motifs spatio-temporels• Différences de phases en régime oscillatoire• …

Au cœur des neurosciences

• Comprendre l’anatomie et le fonctionnement du système nerveux… Mais comment?– Des outils d’imagerie: IRMf, IRM de diffusion– Des outils de mesure de l’activité électrique:

MEG, EEG– Mais aussi optical imaging, mesures cellulaires

etc.– La psychophysique

Deux grands types de besoins

• Des besoins de formalisation, en fonction de l’échelle– Approches variationnelles– EDP stochastiques– Comment « décoder » le code neural?

• Des besoins de modélisation: La vision bio-inspirée saura-t’elle concurrencer la vision algorithmique?

Estimation du mouvement Psychophysique: Les préceptes du percept

Thèse d’Emilien Tlapale (2007-2010)co-encadrement: Guillaume Masson

Projet Européen SEARISE (Smart Eyes: Attending and Recognizing Instances of Salient Events)

• Problématique– Entrée: Une vidéo– Sortie: Une « probabilité » d’une vitesse donnée (en tt point)

• Une approche bio-inspirée– Dans l’architecture (V1-MT et V2)– Dans la présence de rétroactions MTV1 – Un modèle phénoménologique

• Validation des résultats– Se confronter avec la psychophysique

Mouvement et problème d’ouvertureIntégrer l’information non ambiguë

• En vision par ordinateur: Ajouter de la régularité• Dans le système visuel: Intégration par la diffusion

– La diffusion engendre la perception– La forme contrôle la diffusion– La diffusion s’opère principalement par la rétroaction

Wallach (1935)

• La preuve en image!

La diffusion engendre la perceptionNotre percept change en fonction du masquage

Exemple du barberpoleExemple de multistabilite

La diffusion engendre la perception

• Importance des mouvements non ambigus (fins de lignes, jonctions)• Le nombre fait la force? Pas seulement

Explications

La forme contrôle la diffusion

Illusion du Chopstick

Anstis (1990)

Notre percept change en fonction du masquage

La forme contrôle la diffusion

• Le percept naît de la scène globale• La notion de jonctions extrinsèque ou intrinsèque est globale

Explications

La diffusion s’opère principalement par la rétroaction

• Des vitesses de propagation très différentes– Horizontales (0,1 à 0,2 m/s)– Feedbacks (2 à 6 m/s)

• Rétroactions vers V1 très importantes– Quantité– Fonction: La diffusion longue

distance provient de la rétroaction

Angelucci, Bullier (2003)

Des modèles bio-inspirés existent

• Modèles sans rétroaction– Simoncelli, Heeger (1998): linéaire/non-linéaire

• Modèles avec rétroaction et intervention de la forme– Grossberg etal (2007): 15 équations, grand nombre de

paramètres, des images binaires en entrée– Bayerl, Neumann (2007): Détecteurs de jonctions qui

inhibent toute diffusion– Tlapale, Masson, Kornprobst (2007): Utiliser la forme

et les jonctions pour mieux diffuser, des cas réels

Modèle proposé

Tlapale, Masson, Kornprobst RR (2007)

• « Probabilité » d’avoir la vitesse v à la position x au temps t• Activité du neurone sensible à la vitesse v à la position x au temps t

unités

Modèle proposé


Détecteur de mouvement local

Normalisations

A priori sur les petites vitesses

Normalisations

Normalisations

Intégration dépendant de la forme

Prise en compte du feedback

• Diffusion par feedbacks

• Diffusion par la forme– Corrélation de luminosité en chaque point pour

chaque direction

– Intégration dépendant du contraste

• Normalisations

Points clés


RésultatsLa diffusion engendre la perception


Séquence V1 MT

Séquence


Résultats La forme contrôle la diffusion

V1 MT


RésultatsSéquences réelles

V1 MTSéquence

Un travail en cours

• Une implémentation très efficace en GPGPU

• Amélioration du modèle – Intégration, diffusion?

– Prédiction?

– Effets de l’attention?

• Validation avec un readout

Masson et al

En conclusion

• Modéliser de façon bio-inspirée– Reproduire une architecture et une variabilité– Reproduire la façon dont le système nerveux communique– Reproduire des fonctions, des mécanismes


Visionbiologique

• Confronter ses prédictions à la biologie– Mesures de cellules– Percept

• Mais reproduire n’est pas expliquer– Tout modèle reste une abstraction et repose sur des hypothèses– Difficulté de l’éventail des échelles– Si on ne peut pas toujours expliquer… on peut quand même…

Visionbiologique

• Comprendre le code neural– Un problème ouvert– Quel(s) critère(s) considérer?– Comment mesurer des distances entre trains d’impulsions?– Comment étudier ses distributions?

• Vers de nouvelles applications informatiques ?– Les impulsions comme nouveau paradigme?

• Nécessité d’un travail multidisciplinaire– Neurosciences et neurosciences computationnelles– Psychophysique– Mathématiques


Pour en savoir plus

[email protected]ée Lab

Visionbiologique


mailto:[email protected]

vision algorithmique vision biologique robotvisodyssée 2002 2007 modéliser pour –trouver des...

Documents