bases du traitement des images - introduction et fondements

BIMA Bref historique Acquisition Définitions Applications

Bases du traitement des images

I Introduction et fondements J

Nicolas Thome

13 Septembre 2016

1 / 102Bases du traitement des images


Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications



Déroulement du semestre

I Organisation

• Cours mardi 13h45-15h45 : Nicolas Thome (cours 1-2-3-4-5),Matthieu Cord (cours 7-8-9), Dominique Béréziat (cours 6-8)

• TD/TME jeudi 13h45-18h : Nicolas Thome (séances 1-2-3-4-6-7),Matthieu Cord (séances 9-10), Dominique Béréziat (séances 5-8)

I Polycopiés :

• supports de cours en ligne ;• énoncés de TD/TME disponibles au local AEIP6.

I Évaluation : une note finale regroupant :

• une note de contrôles et sur machine : 40% ;• un examen de fin de semestre : 60%.



Plan du cours sur le semestre

1 Outils de base en traitement d’image : N. Thome, M. Cord, D.Béréziat

• 13/09 : Introduction et fondements du traitement des images• 20/09 : Opérations de bases et améliorations d’images• 27/09 : Transformée de Fourier continue• 04/10 : Numérisation, Transformée de Fourier discrète• 11/10 : Filtrage d’images (spatial et fréquentiel)• 18/10 : Détection de contours

2 Application de méthodes de traitement d’images : N. Thome, M.Cord, D. Béréziat

• 25/10 : Extraction de primitives• 01/11 : ATTENTION pas de cours• 08/11 : ATTENTION pas de cours• 15/11 : Segmentation• 22/11 : Reconnaissance de formes (1)• 29/11 : Reconnaissance de formes (2)



Plan des TD/TME sur le semestre

1 Outils de base en traitement d’image : N. Thome, D. Béréziat• 22/09 : Opérations de bases et améliorations d’images• 29/09 : Transformée de Fourier continue• 06/10 : Numérisation, recouvrement spectral (alisaing)• 13/10 : Filtrage d’images (spatial et fréquentiel)• 20/10 : Détection de contours

2 Application de méthodes de traitement d’images : N. Thome, M.Cord, D. Béréziat• 27/10 : Extraction de primitives (détecteur de Harris)• 03/11 : ATTENTION pas de TD/TME• 10/11 : ATTENTION pas de TD/TME• 17/11 : Segmentation• 24/11 : Descripteurs couleur et indexation• 01/12 : Eigenfaces 1 (ACP)• 08/12 : Eigenfaces 2 (ACP)

3 Page où sont les ressources de l’UE sont centralisées :http://webia.lip6.fr/∼thomen/Teaching/BIMA.html


http://webia.lip6.fr/~thomen/Teaching/BIMA.html


Contrôle Continu : Évaluation

I Évaluation : compréhension des TD-TME

• Partie code : correction automatique (plate-forme cody) pour tousles TME

• Comptes-rendus de TD-TME (∼ 5-6/10)• TP avec CR : 80-90% de la note, les 4-5 autres : 10-20% de la note

I Importance de venir en cours (partie théorique), en TD (pont entrela partie théorique et la partie pratique) pour réussir les applicationsen TME !

• Corrélation des notes entre CC et examen final très élevée



Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications



Les origines du traitement d’images

Quelques grandes dates

I 1839 : photographie (Louis Jacques Mandé Daguerre)

I 1895 : cinématographe (frères Lumière)

I 1885 : rayons X (Röntgen)



Les origines du traitement d’images

Quelques grandes dates

I Années 20 : la presse doit envoyer des informations image entreLondres et New-York↪→ système Bartlane pour le codage d’images (5 niveaux)

I Années 60 : conquête de l’espace et diffusion d’images

I fin des années 60, début des années 70 : imagerie médicale(tomographie)

I Depuis les années 70 : augmentation constante de l’utilisation desimages↪→ géographie, biologie, médecine, nucléaire, internet, télévision,satellite, microscopie, ...



Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications



Acquisition d’images

I Acquisition = Formation d’image

I Spectre visible / non visible

I Couleur

I Acquisition vs perception



Les différents types d’images et leurutilisation

I Le spectre électromagnétique est la principale source d’énergie pourles images

I Il existe beaucoup d’autres sources : acoustique, électronique,ultrason, ...

I Ondes électromagnétiques : sinusoïdes à différentes longueursd’onde contenant une quantité d’énergie, ou photon



Le spectre électromagnétique non visible

L’imagerie par rayons gamma

I Utilisée principalement en :

• Médecine nucléaire : détecter les phénomènes métaboliques,fonctionnels, etc. (infections, tumeurs)↪→ PET (position emission tomography)

• Astronomie : mesure de la force des radiations (explosion d’étoile)




L’imagerie par rayons X

I La source du spectre électromagnétique utilisée depuis le pluslongtemps

I Rayons pénétrant la “matière molle”


• Médecine : par exemple, pour localiser les pathologies (infections,tumeurs) ↪→ radiographie, angiographie, scanner (CT)

• Industrie, astronomie




L’imagerie ultra-violet

I L’ultra-violet n’est pas visible


• Microscopie : différentes fluorescences pour mettre en valeurdifférentes zones d’une même image

• Astronomie, lithographie, biologie, ...




L’imagerie infra-rouge

I Souvent utilisés conjointement au spectre visible

I Utilisés principalement en :

• Télédétection : images multi-spectrales↪→ prévisions météo, cartographie, agriculture, géologie ...

• Microscopie, industrie ...• Photographie, vidéo, ...




Cas du multispectral : LANDSAT

I 1 (bleu) : différenciation sol /végétaux, zones côtières

I 2 (vert) : végétation

I 3 (rouge) : différenciation desespèces végétales

I 4 (infrarouge) : biomasse

I 5 (infrarouge) : différenciationneige/nuage

I 6 (infrarouge) : chaleur

I 7 (infrarouge) : lithologique(roches)




L’imagerie dans la bande micro-ondes

I Utilisée principalement en imagerie radar pour voir des zonesinaccessibles (nuages)↪→ cartographie, agriculture, ...




L’imagerie dans la bande radio


• Médecine : IRM (imagerie par résonance magnétique)• Astronomie ...




D’autres modalités d’image

I Imagerie par ultrasons : médecine, géologie

I Microscopes à électrons (TEM) : biologie, médecine



Le spectre électromagnétique

Le spectre visible

I Les images de la vie courante : Photos, images naturelles



Le spectre visible

Le spectre visible

I Les images de la vie courante : Photos, images naturelles

I Défis d’un point de vue Traitement Numérique des Images :analyser le contenu des données



La vision humaineL’œil humain

I La fovea est la région où la vision est la plus précise et sensible

I L’œil se déplace pour aligner la fovea, l’axe optique et l’objet désiré



L’œil humainI Deux types de photorécepteurs dans la rétine (répartition différente)

• Les cônes : réponse photométrique et chromatique, grâce à despigments absorbant le bleu, le vert ou le rouge↪→ base de la vision des couleurs trichromatiques.

• Les bâtonnets : responsables de la vision nocturne (visionscotopique).



Les cônesRôle

I Responsables de la vision des couleurs

I 3 types de photo-pigments : 64% rouges, 32% verts et 2% bleus

• Les cônes bleus (ou short wavelength) : λ ≈ 420 nm• Les cônes verts (ou medium wavelength) : λ ≈ 530 nm• Les cônes rouges (ou long wavelength) : λ ≈ 660 nm

I Peu nombreux (6 à 7 millions), densité importante dans la fovea

I Vision haute résolution, vision diurne ou photopique



Les bâtonnets

RôleI Très nombreux et plus sensibles à la lumière que les cônes

I Sensibles aux très faibles éclairements, discrimination descontrastes : vision photopique (diurne)

I Un seul type de pigment : ne peuvent distinguer les couleurs

I Très sensibles au mouvement

I Répartis hors de la fovea : responsables de la vision périphérique



Acquisition vs perception

Perception humaine



Rôle du cerveau : une petite expérience

I Quel est le carré le plus clair ? A ou B ?




I Les carrés ont la même couleur ! !

I Réalisé sans trucage !

I Le cerveau se force à imager les carrés tels qu’ils devraient être :l’un sombre et l’autre clair↪→ peu lui importe qu’ils soient de la même couleur,↪→ les carrés contigus étant supposés être de couleur différente,↪→ le cerveau fait en sorte qu’on les voit ainsi.

I L’important n’est pas dans ce qui compose le monde qui nousentoure, mais plutôt la manière dont on le perçoit.↪→ À MEDITER ...



Autres perceptions de l’œil

Illusions optiques




Illusion de mouvement




Illusion de Titchener



Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications



Qu’est-ce qu’une image ?

Vision discète




Vision surfacique




Définitions et notationsI Une image est représentée :

• par fonction continue f (x , y), x , y ∈ R ;• par une fonction numérique f (i , j) (ou f (n,m)), i , j ∈ N (n,m ∈ N)

et f ∈ N+, après numérisation.

I Image analogique → image numérique : numérisation en deuxétapes :

1 échantillonnage spatial : discrétisation des coordonnées de l’imageréelle ;

2 quantification des luminances : discrétisation des intensités del’image réelle.

I Une image numérique est composée d’un ensemble fini d’éléments,appelés picture element, ou pixels (voxels en 3D)



Qu’est-ce qu’une image numérique ?

Après échantillonnage spatial : notations

I N le nombre de lignes de l’image ;

I M le nombre de colonnes de l’image ;

I (i , j) les coordonnées spatiales d’un élément de l’image (ligne i ,colonne j) ;

I fj(i), ou encore f (i), la ligne i ;

I fi (j), ou encore f (j), la colonne j .




Après quantification : notations

I f (i , j) l’amplitude en du pixel (i , j) ;

I k (ou f ) un niveau de gris ;

I m le nombre de bits sur lesquels est codée la valeur d’un niveau degris ;

I L la dynamique de l’image, soit l’étendue des valeurs qu’un pixelpeut prendre.↪→ L = 2m, donc k ∈ [0, . . . , 2m − 1]



Représentation d’une image numérique

I Représentation matricielle :

• Représentation lexicographique de l’image, soit une matricef = [0, . . . ,N − 1]× [0, . . . ,M − 1]

• La largeur de l’image est donnée par la nombre de colonnes M de f ,sa hauteur par le nombre de lignes N

• Le pixel au croisement de la ligne i et de la colonne j est désignépar f (i , j)

I Représentation vectorielle :

• Les lignes de l’image sont juxtaposées de manière à former unvecteur v = [0, . . . ,M × N − 1]t

• Le pixel (i , j) correspond à la composante v [iM + j ]



Voisinage de pixels

ConnexitéI Notion fondamentale en traitement

d’images

• Topologie• Algorithmes de suivi de contours,

croissance de région, ...• Deux pixels voisins peuvent être agrégés

I Connexité d’ordre 4 : on considère les 4voisins directs N, S, O et E du pixel

I Connexité d’ordre 8 : on considère les 8voisins directs N, NE, NO, S, SE, SO, Oet E du pixel

I La connexité peut s’étendre aux voisinsindirects (i.e. pas de la première couronne)



L’importance de la numérisation

Une vision subjective

I L’échantillonnage spatial définit la taille du plus petit élément del’image (pixel)

I La quantification des luminances définit plus petit changementd’intensité dans l’image (est-il toujours perceptible à l’œil ?)

I Cela définit la taille (en bits) de l’image : tb = N ×M ×m




Types d’image

I m = 1, k ∈ {0, 1} : image binaire

I m = 8, k ∈ [0, . . . , 255] : image en niveaux de gris

• en général codée sur 1 octet ;• par convention : noir = 0 et blanc = 255 (ou 1 si normalisation) ;

I m = 24, k ∈ [0, . . . , 16777215] : image en couleurs (3 octets)



Les espaces de couleur

DéfinitionI Toute couleur peut être représentée comme une combinaison

linéaire de trois primaires c1, c2, c3I Deux types de synthèse : synthèse additive, synthèse soustractive

I Beaucoup d’espaces de couleur : RGB, CMYK (∼ RGB en synthèsesoustractive), HSV, YUV, Lab, CIE ...



Espace RGB

I Synthèse additive, 3 couleurs primaires :rouge, vert et bleu

I Luminance L = 0.3R + 0.59G + 0.11B

I Séparation des plans de couleur & Mélange de plans ⇒ TME 4Image couleur R G B

R ↔ B R ↔ G



Espace RGB : limites

Limites

I Toutes les couleurs perceptibles par l’œil ne peuventêtre définies à l’aide des trois composantes r , v et b

I Les composantes y sont souvent fortement corrélées.

I Différence perceptuelle entre deux couleurs necoïncide pas avec la distance dans l’espace RVB.

ExtensionsI Base où les composantes sont décorrélées, par analyse statistique

(ACP, ACI)

I Espace couleur plus "perceptuels" : HSV, XYZ, YUV, Lab, etc



Espace HSV

Définition

I Trois composantes : Hue (teinte),Saturation, Value (luminance)

I Passage RBG ↔ HSV :

V =R + G + B

3

H =

{θ si B ≤ G

2π − θ, sinon

θ = arccos

((R−G)+(R−B)

2√

(R−G)2+(R−B)(G−B)

)

S = 1− 3min(R,G ,B)

R + G + B



Espace HSV : exemple

I Espace HSV : TME 7 sur les descripteurs visuels



Formats d’images numériques

I Données brutes : raw data

I Standards universels : gif, bitmap, tiff, ppm, eps, ...

I Standards médicaux : DICOM

I Standards propriétaires : Philipsr, Siemensr, ...

I Quelques exemples :

• BMP (Bitmap) : matrice de bits codés en couleur (jusqu’à 24bits/pixel)

• GIF : format compressé avec codage 8 bits/pixel• JPG (jpeg) : format de compression d’images photographiques



Quelques exemples d’images numériques

I Image 2D : objet représenté par un tableau bidimensionnel desurfaces élémentaires (pixels)

I Séquence vidéo (2D) : scène dynamique présentant des objets 2D enmouvement↪→ juxtaposition d’images 2D, où le temps peut être vu comme unetroisième dimension (de nature différente)

I Image volumique : objet représenté par un tableau tridimensionnelde volumes élémentaires (voxels)

↪→ pile d’images 2D (ex. des coupes scanners)

I Séquences volumiques : scène dynamique présentant des objets 3Den mouvement



Qualité d’une image

I Lignage : phénomène d’alternance de lignes claires (ou sombres) demême direction et qui tranchent avec le reste de l’image

I Contraste : qualité de la dynamique des intensités de l’image

I Bruit : signal “parasite” dont la distribution dans l’image estaléatoire et la plupart du temps inconnue

I Déformations géométriques : défauts dus à l’acquisition de l’image(ex. différence d’axe entre le capteur d’acquisition et le centre de lascène observée)

I Dégradations connues (ex. dus à la réponse impulsionnelle dudétecteur)



Contenu d’une image

I Texture : répartition statistique ougéométrique des intensités dans l’image

I Contour : limite entre deux (ou un groupede) pixels dont la différence de niveaux degris (ou de couleurs) est significative

I Région : groupe de pixels présentant descaractéristiques similaires (intensité,mouvement, etc.)

I Objet : région (groupe de régions)entièrement délimitée par un contour,possédant une indépendance dans l’image↪→ description sémantique : on peutdonner un nom à un objet



Propriétés de l’image

BrillanceI Moyenne des niveaux de gris de l’image, ou intensité moyenne

B =1

NM

N−1∑i=0

M−1∑j=0

f (i , j)



Propriétés de l’imageContraste

I Définition 1 : variation maximale entre valeurs de niveaux de grismin et max dans l’image :

C =maxi,j [f (i , j)]−mini,j [f (i , j)]maxi,j [f (i , j)] +mini,j [f (i , j)]

I Définition 2 : écart-type des variations de niveaux de gris dansl’image :

C =

√√√√ 1NM

N−1∑i=0

M−1∑j=0

(f (i , j)− B)2

Attention, l’écart type traduit une moyenne de variation, ce qui estun peu différent

I Deux images totalement différentes peuvent avoir le même contraste



Exemples de calcul de contraste



Histogramme

DéfinitionI Fonction décrivant la répartition des niveaux de gris de l’image

I Fournit des informations propres à l’image, telles que :

• La distribution statistique des niveaux de gris• Les bornes de répartition des niveaux de gris

I Mais aucune information spatiale !

I À chaque image f de taille N ×M , on peut associer unedistribution H des valeurs contenues dans cette image par :

H(k) = Card{0 ≤ i ≤ N − 1, 0 ≤ j ≤ M − 1 : f (i , j) = k} = nk



Quelques exemples d’histogrammes



Remarque sur l’histogramme

Il ne code pas d’information spatiale

I Deux images différentes (en termes de contenu sémantique) peuventaussi avoir le même histogramme



Histogramme normalisé

Définition

I Fonction Hn donnant la probabilité (en termes de fréquenced’occurrence) qu’un pixel ait pour niveau de gris k

Hn(k) =H(k)

N ×M

où N et M sont respectivement le nombre de colonnes et de lignesde l’image

I Les valeurs de H sont normalisées

I Approximation discrète de la densité de probabilité (pdf) de lavariable aléatoire "niveau de gris d’un pixel"



Histogramme cumulé

DéfinitionI L’histogramme cumulé est donné par :

Hc(k) =∑i≤k

H(i)

où H(.) est l’histogramme

I L’histogramme cumulé normalisé est donné par :

Hc(k) =∑i≤k

Hn(i)

où Hn(.) est l’histogramme normalisé

I Hc(k) représente la probabilité d’avoir un niveau de gris inférieur ouégal à k : approximation discrète de la fonction de répartition de lavariable aléatoire "niveau de gris d’un pixel"



Histogramme cumulé



Plan

1 BIMA

2 Bref historique

3 Acquisition

4 Définitions

5 Applications



Champs d’application

⇒ des milliers d’applications potentielles



Traitements : classification et étapesfondamentales

I Traitement bas niveau

• Entrée : image• Sortie : image

I Traitement moyen niveau

• Entrée : image ou représentation préalable• Sortie : nouvelle représentation

I Traitement haut niveau

• Entrée : image ou représentation préalable• Sortie : sémantique de l’image (abstraction)



Exemples de traitements bas niveau desimages



Exemples de traitements bas niveau desimages

I Amélioration d’images : amélioration de l’aspect des images↪→ restauration (TME 1), débruitage, filtrage (TME 4)

I Analyse fréquentielle : changement d’espace de représentation↪→ Transformée de Fourier (TME 2)

I Acquisition d’images : disposer d’une image sous forme numérique↪→ échantillonnage, quantification (TME 3)

I Compression d’images : réduction de la quantité d’informationsnécessaires pour représenter une image↪→ codage, transmission (TME 4)

I Segmentation d’images : division de l’image en parties, ou zonescaractéristiques↪→ détection de contours (TME 5), partitionnement split & merge(TME 10)



Exemples de traitements moyen et hautniveau des images

I Représentation et description d’images : transformation de l’imageen un ensemble de “concepts” utilisables par l’ordinateur pour desalgorithmes plus évolués↪→ détection de caractéristiques, e.g. Harris (TME 6), modèles(graphes, ...)

I Indexation d’images : tri d’images selon un ensemble de descripteurs↪→ fouille dans les bases d’images (TME 7)

I Reconnaissance : association d’une étiquette à un objet à partir deses descripteurs↪→ Reconnaissance de visages (TME 8-9)



Un premier exemple : les prévisionsmétéorologiques

Traitement bas niveau : extraction de vecteurs de mouvement




Traitement moyen niveau : vecteurs de mouvement ⇒ carte despressions




Traitement haut niveau : carte des pressions ⇒ prévisionmétéorologiques



Un deuxième exemple : "compréhensiond’images"

I Compréhension : très vaste

• Classification• Détection• Segmentation• Combinaison (contexte) :

Classification + Détection +Segmentation

I Méthodes de traitement image/vision couplées avec des outilsd’apprentissage statistique (parl’exemple)



Classification imagesClassification : quelle(s) catégorie(s) sémantique(s) dans l’image ?

Cas simples : ∼ résolu

I Objets géométriques "simples", centrés dans l’image & segmentés

I Base d’apprentissage annotée, extraction descripteurs ⇒ prédictionde la classe

MNIST Formes Binaires75 / 102

Bases du traitement des images


Classification images

Classification : quelle(s) catégorie(s) sémantique(s) présente(s)dans l’image ?

Cas plus compliqués

I Plusieurs objets / image, plusieurs catégories / images

I Images réelles (photos), flickr ⇒ des difficultés importantes

PASCAL VOC



Classification imagesClassification : quelle(s) catégorie(s) sémantique(s) présente(s)dans l’image ?

Cas plus compliqués : principaux challenges

1 Variations : illumination, échelle, rotation, point de vue

2 Occultations, fond ("background clutter")

3 Variations intra-classe d’apparence visuelle

PASCAL VOC : cas difficiles 77 / 102Bases du traitement des images



Challenges

Variations Illumination Variations point de vue




Challenges

Variations échelle Occultations




Challenges

Objets Déformables Background clutter




Challenges : fortes variations d’apparence visuelle intra-classe




Recherche sémantique

I Descripteurs image : bas niveau (couleur, texture, forme, gradient)

I Concepts à prédire : haut niveau (objets, scènes, concepts abstraits)

I Principal défi : Combler le fossé sémantique

Requête :

Recherche basée couleur :





I Retrouver des concepts abstraits, e.g. émotions, liberté, etc

I Joie, amour, haine,etc

I Fossé sémantiqueextrême





I Des résultats récents : compétition ImageNet, conférence ECCV,octobre2012

• Tâche de classification très large échelle : 1000 classes, 1 millionimages entrainement

• Prédire la bonne classe : complexe





I Des résultats récents : compétition ImageNet, conférence ECCV,octobre2012

• Réseaux de neurones convolutifs• Gain très important par rapport aux méthodes traditionnelles• Intérêt : combler le fossé sémantique en apprennant les

représentations internes à partir des données



Détection objets

Classification vs détection : où se situent les objets des catégorie(s)sémantique(s) présente(s) dans l’image ?

Principe : fenêtre glissante



Détection objets

Détection visages : succès

I Dans la plupart des appareils photo



Détection objets

Autres exemple : détection de texte

I Détecter les zones de texte dans une image

I Contexte urbain

I De nombreuses applications pratiques



Détection objets

Autres exemple : détection de texte

I Couplé avec un OCR : outilde recherche sémantique

I Coupler les infos visuellesavec d’autres sources :geo-localisation, etc

I Applications téléphonesmobiles



Segmentation objets/régions

Autres exemple : segmentationClassification vs détection vs segmentation : quels sont les pixels oùse situent les objets des catégorie(s) sémantique(s) présente(s) dansl’image ?



Compréhension d’images

Le saint GraalI Coupler classification globale, détection et segmentation

I Contexte : Détection/segmentation objet/région renforce -détection autre objet/région



Dernier exemple : conformité des photosd’identité

I Connecté au problème de reconnaissance de visage

I Détection visage : identifier les zones de l’image de la classe "visage"

I Reconnaissance de visage : identifier une instance particulière de laclasse "visage"

I Problème très difficile dans le cas général




I La norme ISO/IEC (2005)




I Beaucoup de problèmes en un à résoudre !




I Détection du visage et seuillage de la peau




I Seuillage de la peau




I Détection des traits caractéristiques (yeux, bouche, ...)




I Détection des traits caractéristiques (yeux, bouche, ...) : si simple ?




I Détection des traits caractéristiques (yeux, bouche, ...) : beaucoupd’algorithmes ! !




I Travail sur le visage : représentations multiples




I Travail sur le visage : orientation du visage




I Et le fond ?


bases du traitement des images - introduction et fondements

Documents