dpt. télécommunications, services & usages traitement d'images h. benoit-cattin 161 v....
TRANSCRIPT
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 1
V. Segmentation
V.1 Définitions & classification
V.2 Approche fonctionnelle
V.3 Quelques méthodes de segmentation
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 2
La segmentation est un traitement bas-niveau qui consiste à créerune partition de l'image I en sous-ensembles Ri appelés régionstelles que :
i
i
jiji
ii
RI
RRji
R
0 ;
0
,
Une région est un ensemble de pixels connexes ayant despropriétés communes qui les différencient des pixels des régionsvoisines.
V.1 Définitions & classification
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 3
Le choix d'une technique est lié :
A la nature de l'image (éclairage, contours, texture ...)
Aux opérations en aval de la segmentation
- Compression- RF, interprétation- Mesure
Aux primitives à extraire (droites, régions, textures,...)
Aux contraintes d'exploitation (tps réel, mémoire ...)
Pas de norme ! Pas de méthode unique ! Pas de recette !
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 4
Approches "région"
- Basées sur l'homogénéité de caractéristiques localisées spatialement calculées sur les niveaux de gris
- Homogénéité : variation à l'intérieur d'une région < variation entre 2 régions
- Robustes aux bruits mais mauvaise localisation spatiale
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 5
Approches "frontière"
- Basées sur l'information de gradient pour localiser les frontières des régions
- 2 approches : (détection et fermeture de contours) ou (contours déformables)
- Sensibles aux bruits et aux contours mal définis, elles offrent une bonne localisation spatiale
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 6
Techniques de segmentation
Approches REGION
Approches FRONTIERE
Seuillage adaptatif
Méthodes variationnelles(contours actifs)
Méthodes dérivatives
Template Matching
Texture Méthodes
Markoviennes Approches structurales
Analyse et classification
Détection de contours+
Fermeture des contours
Vue d'ensemble
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 7
V.2 Approche fonctionnelle
Critères
Mesures
Evolution
Modification Arrêt
InitialisationImage
Carte desrégions
bloc élémentaire
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 8
Bloc 1
N1
Bloc k
Nk
Bloc 2
N2
Approche fonctionnelle et méthodes complexes
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 9
Bloc Mesures
- Réalise les mesures nécessaires pour évaluer l'homogénéité des régions
- Des mesures 'images' : moyenne, variance, entropie, gradient, texture ...
- spatiales- fréquentielles
- Des mesures 'régions' : forme, surface, périmètre ...
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 10
Le choix des mesures : un problème compliqué Texture
Détection decontour !
Seuillage
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 11
Texture = information visuelle qualitative:Grossière, fine, tachetée, marbrée, régulière, périodique...
Région homogène: Assemblage plus ou moins régulier de primitives plus ou moins similaires.
Texture microscopique: Aspect chaotique mais régulier, primitive de base réduite.
Texture macroscopique: primitive de baseévidente, assemblage régulier.
?
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 12
Approches pour l'analyse de Texture
Structurelles: recherche de primitives de base bien définies et de leur organisation (règles de placement)Méthodes peu utilisées
Stochastiques: primitives mal définies et organisation +/- aléatoire.
Principe: évaluation d’un paramètre dans une petite région(fenêtre de taille dépendant de la texture (!) ): Analyse fréquentielle, statistiques, comptage d’événements, corrélation,....
Pas de modèle général de texture Nombreuses méthodes ad-hoc.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 13
Trouver les bons paramètres
4x4 8x8
16x16 32x32
Le choix et le réglagedes mesures est
fondamental en segmentation
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 14
Bloc Critères
- Fusionne les mesures en un seul critère qui sera utilisé pour évaluer le besoin de modification
- Introduction d'hyper-paramètres conditionnant le résultat de la segmentation
M
i
ni
ni
n EwC1
.
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 15
Bloc Evolution
- Estime à partir des critères le besoin d'évolution des régions
- Evolution par seuillage : binaire ou progressive
- Evolution par dérivée : variation du critère entre 2 itérations
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 16
Bloc Modification
- Modifie la carte des régions- N constant : seuillage, contour actif, ...- N+ : split- N- : merge
- Stratégies diverses ... et représentation des régions adaptée- déplacement de point- étiquetage- maillage
- Considéré comme le cœur des méthodes de segmentation
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 17
Bloc Arrêt
- Décide l'arrêt des itération
- Par défaut, arrêt quand la carte de segmentation ne bouge plus
- Autres possibilités : manuel, nombre d'itération, nombre de points modifiés ...
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 18
V.3 Quelques méthodes de segmentation
V.3.1 Segmentation par seuillage adaptatif
V.3.2 Segmentation par détection / fermeture de contours
V.3.3 Segmentation par contours actifs
V.3.4 Segmentation par Split / Merge
V.3.5. Segmentation par Template Matching
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 19
H(N)
Seuil
N
Objet
Fond
• Détection de vallées, en prenant le minimum de l’histogramme situé entre les 2 pics• Optimisation du seuil S par modélisation Gaussienne p1(x) et p2(x) et en minimisant l’expression basée sur les fonctions de répartition :
Min F x S F x S1 1 2 ( ) ( )
V.3.1 Segmentation par seuillage adaptatif
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 20
Objectif : Trouver le seuil S qui minimise la somme des moments centrés d’ordre 2 (somme des Variances) des 2 classes
Centre de gravité G d’une classe
G S
xh x
h xi
x C
x C
i
i
( )
( )
( )
Var S x G h xi ix Ci
( ) ( ) ( ) 2
Variance Var d’une classe
h(x) : histogramme de l’image
Exemple : Méthode Fisher
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 21
)()( 21 SVarSVarMinSS
opt
Trouver S qui minimise la somme des variances :
En simplifiant les termes en carrés, cela revient à maximiser la fonctionnelle J(S) :
J S
xh x
h x
xh x
h x
x C
x C
x C
x C
( )
( )
( )
( )
( )
1
1
2
2
2 2
Le problème de seuillage ou de partitionnement revient à chercher S dans {0,255} qui maximise J(S)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 22
Détection decontour
Extraction decontour
Fermeture decontour
La détection de contour est suivie d’une localisation de contour et de la recherche d’un ensemble connexe de points
V.3.2 Segmentation par détection / fermeture de contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 23
Détection de contour
• Un contour caractérise la frontière d’une région• Un contour est défini par une variation «rapide» de caractéristique
Contour Contour ? Contour ?
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 24
Définition continue d'un contour
Mesure du gradient de f(x,y) dans la direction rLa direction du contour est obtenue pour :
2 max
),(
gpour
r
yxf
f(x,y)
r
x
g
f x y
r
( , )
0
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 25
)sin()cos(
y
f
x
f
r
y
y
f
r
x
x
f
r
f
f
x
f
xsin( ) cos( ) 0
f x y
r
( , )
0
g
fy
fx
arctan( )
22
max
y
f
x
f
r
f
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 26
Applications aux images numériques
• Pour chaque pixel (i,j), on mesure du gradient dans deux directions orthogonales : Dx Dy
• Calcul de l’amplitude du gradient M D Dx y 2 2
• Calcul de la direction du gradient
Arctan
D
Dy
x
f(i,j)
Dx
Dy
M
Carte d’amplitude
Carte de direction
H1
H2
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 27
Un contour est détecté si M dépasse une certaine valeur (seuil).
La carte de direction est utilisée pour «suivre» les contours.
Exemples d’opérateurs H1 H2
Roberts
Prewitt
Sobel
0 1
1 0
1 0
0 1
1 0 1
1 0 1
1 0 1
1 1 1
0 0 0
1 1 1
1 0 1
2 0 2
1 0 1
1 2 1
0 0 0
1 2 1
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 28
« Roberts »
Zoom
Amplitude
Direction
blanc=...gris = +128x128
(inhomogénéitédu contour)
Exemple de détection de contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 29
Amplitude
Direction
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 30
Il existe de nombreuses méthodes de détection de contour:• Dérivation au premier ordre
Prewitt, Sobel, Roberts, Kirsh, Compass, dérivateurs...• Dérivation au second ordre
Laplacien, Marr et Hildreth,...• Filtrage optimal
Canny-Deriche, Shen• Modélisation des contours
Hueckel, Haralick
• Morphologie mathématiquegradient morphologique, ligne de partage des eaux...
Caractéristiques:Complexité, précision de localisation, sensibilité au bruit, création de faux contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 31
Un contour = ligne de crête dans l’image de la norme du gradient (IG):
• des niveaux de gris toujours élevés• de faibles dénivelés le long de ces lignes• de forts dénivelés dans les autres directions
==> les points de contour = maxima locaux de IG
Le principe est de comparer le gradient G en un point M avec les gradients G1 et G2 des deux voisins pris dans la direction du gradientsi G>G1 et G>G2, alors M est un maximum local
contour
G
G1
G2
direction de G
M
Extraction des contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 32
Hypothèse : l’image de la norme de gradient est disponible et les extrémités des contours à fermer sont connues
contour de l’image A
arc d’un chemin solution
S0
Sf
S
Trouver le chemin du coût minimum :• S qui minimise
• S qui minimise la distance entre S et Sf
R
A S A R( ) ( )
Fermeture des contours
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 33
• Un contour actif est une courbe fermée ou non, initialisée à proximité du contour recherché qu’on déforme par itérations successives afin de converger vers le contour réel• L’évolution du contour actif est régie par une minimisation d’énergie• L’évolution s’arrête par un critère d’arrêt qui correspond à une condition de stabilité
Finalcontour
Initialcontour
La convergence traduit une adéquation entre la forme finale de la courbe C la fonction image au voisinage de la courbe
V.3.3 Segmentation par contours actifs
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 34
• Le contour actif est assimilé à une courbe C :
s est l‘abscisse curviligne, v(s,t) est un point courant de C, a et b sont les extrémités de C, l’évolution temporelle se fait entre 0 et T
• Une énergie E(C) est mesurée à chaque t durant l’évolution temporelle
• E(C) intégre :• les caractéristiques intrinsèques de la courbe C• les caractéristiques de l’image I au voisinage de C• l’interaction entre I et C
C v s t x s t y s t s a b t T ( , ) ( , ), ( , ) ; [ , ], [ , ]0
Contours actifs : définitions
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 35
Contours actifs : Energie du contour E(C)
E C E C E C E Cext image( ) ( ) ( ) ( )int
Eint : - lié à la rigidité (tension), il agit sur la longueur- lié à l'élasticité (flexion), il agit sur la courbure
Eext : - introduit des contraintes opérateur (points de contrôle ...)
Eimage : - introduit les caractéristiques images (gradient)
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 36
• Calculer l'énergie pour chaque point
• Faire la liste des points par ordre d’énergie croissante
• Faire évoluer le point avec l'énergie minimale
• Calculer l'énergie nouvelle pour ce point et organiser la liste
• si la distance entre deux points est trop grande, ajouter un
point entre les deux
Evolution temporelle du contour actif
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 37
• Le contour initial ne peut pas être sélectionné automatiquement
• Le contour initial doit être proche du contour final
• Le modèle n’est pas utilisable dans le cas de la présence de texture
• Le modèle peut être perturbé en présence de bruit
• La minimisation d'énergie demande l’inversion de matrices de grande
taille à chaque itération
==> calcul très long
Problèmes liés aux contours actif
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 38
• Les méthodes structurales visent à regrouper des ensembles de points ou de régions selon des critères d’homogénéité
• Ces méthodes garantissent la connexité des régions
• Les stratégies utilisées peuvent être :• ascendante : mécanisme de croissance (MERGE) de régions : du niveau élémentaire (ex : pixel) aux grandes régions
• descendante : mécanisme de division (SPLIT) de régions : du niveau haut (ex : image) vers la décomposition en petites régions
V.3.4 Segmentation par Split / Merge
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 39
• La croissance est conduite selon deux critères :
• homogénéité pour une région R formée de N pixels
• connexité (adjacence) du pixel à intégrer dans R
• Exemples de contrainte d’homogénéité :
• Variance Var(R) inférieure à un seuil
• Nombre de pixels M dont les NG se situe hors d’un intervalle
[Moy(R)-EcType(R),Moy(R)+EcType(R)] inférieur à un seuil
• Un pixel S est intégré à R si
• les caractéristiques de ce point (NG, couleur, texture centrée sur ce
point,..) est proche de celles de R
• S est connexe à R
Méthode ascendante : Croissance de régions
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 40
• Les méthodes descendantes divisent l’image ou une partie d’image en régions en utilisant des partitions élémentaires connues comme le quadtree
Méthodes descendantes : division de régions
• La division d’une région R en sous-régions se fait si R ne remplit pas la contrainte d’homogénéité fixée
• Le maillage peut être – régulier ou irrégulier– de type rectangulaire, triangulaire ou polygone quelconque
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 41
• La méthode Template Matching est basée sur la recherche de la position spatiale d’un motif (objet) M connu dans une image I
• La position du motif est donnée par les maxima de la fonction d’intercorrélation CIM
qp,t déplacemenpour tout
),(),(),( m n
IM qnpmMnmIqpC
V.3.5. Segmentation par Template Matching
• La recherche (ou le collage) se fait par le calcul de l’intercorrélation bidimensionnelle C(p,q) entre I et M :
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 42
Imageoriginale Motif
Image d’intercorrélation seuilléeImage d’intercorrélation
Dpt. Télécommunications, Services & Usages Traitement d'images H. Benoit-Cattin 43
• I. Introduction
• II. Représentations & Acquisition
• III. Pré-traitement & Amélioration
• IV. Compression
• V. Segmentation
• VI. Introduction à l'indexation
• VII. Introduction au tatouage
• VIII. Conclusion
Plan