Cours #9 Segmentation

Découverte4- Segmentation Introduction4.1 Seuillage4.2 Croissance de régions4.3 Partition de régions4.4 Regroupement4.5 Partition -

regroupement

SYS-844Hiver 2005

Cours #9 - 2

Forum

SYS-844Hiver 2005

Cours #9 - 3

Découverte

Osherson et al, Visual Cognition and Action, MIT Press, 1990, Vol. 2. Computational theories of low-level

vision - Yuille et Ullman Paradigme de Marr

Higher-level vision - Biederman

Chapitre 4Segmentation

Segmentation: partition d’une image en un ensemble de régions

Régions: zone homogène dans l’image (niveau de gris, couleur, texture, gradient, etc.)

Principes de base de la segmentation

SimilaritéProximité spatiale

SYS-844Hiver 2005

Cours #9 - 6

Représentation des régions Contour étiquetage

Segmentationpar contour

Étiquetage

SYS-844Hiver 2005

Cours #9 - 7

Composition des régions Image binaire N / B Image niveaux gris éclairement Image couleur RGB, HSI, L*a*b* Texture matrice cooccurrence Vecteurs déplacement mouvement Images 3D profondeur

SYS-844Hiver 2005

Cours #9 - 8

Ex.: segmentation en niveaux de gris

SYS-844Hiver 2005

Cours #9 - 9

Définition d’une région

Soit I une image

Segmentation en région partition de Ien K régions Rj

1. Tout pixel appartient à une région

2. Aucun pixel n’appartient à plus d’une région

3. Proximité (cohérence) spatiale

4. Cohérence de caractéristique de région

I = Rj

j:1

K

U Ri I Rj =0

p connecté à p'

∀p, ′ p ∈Ri

Pour un prédicat P:

PR i( ) est VRAI pour i:1,2,L K

PR i ∪ Rj( ) est FAUX pour Ri,Rj adjacents

et i≠j

SYS-844Hiver 2005

Cours #9 - 10

Représentation d’une région Étiquetage

Chaque région possède une étiquette unique

Un plan d’étiquettes est une image de même dimension et parallèle au plan image. Il indique les étiquettes correspondant aux pixels

Contours Tous les contours sont numérotés Les contours changent de nom aux

sommets et points de rencontre Description compacte: code de

Freeman

SYS-844Hiver 2005

Cours #9 - 11

Plan d’étiquettes

SYS-844Hiver 2005

Cours #9 - 12

Plan de contours

SYS-844Hiver 2005

Cours #9 - 13

Description de contour par code de Freeman• Déplacement le long de la région, en la gardant à

notre droite• Sens antihoraire (illustré) ou horaire

CC={i,j}[5 5 6 6 6 0 0 0 0 0 0 0 1 1 2 2 2 4 4 5 4 3 4 4]

SYS-844Hiver 2005

Cours #9 - 14

Segmentation en régions Croissance

Débuter en un point d’une région Agrandir la région par similarité Continuer tant que regroupements

possibles Partition

Débuter en 1 région (image complète ?) Séparer en plusieurs petites régions Continuer à séparer tant que possible

(récursif) Hybride

Séparer - regrouper

SYS-844Hiver 2005

Cours #9 - 15

Segmentation hybride Combinaison de partitions - regroupements Critères de partition ou regroupement

• Locaux: 1 pixel ou région et ses voisins• Globaux: grand nombre de pixels répartis dans

l’image

SYS-844Hiver 2005

Cours #9 - 16

Segmentation perceptuelle

SYS-844Hiver 2005

Cours #9 - 17

4.1Seuillage

Le seuillage constitue une approche simple à la segmentation. Le seuillage sert de composante de base à des algorithmes plus complexes de segmentation

SYS-844Hiver 2005

Cours #9 - 18

4.1.1 Seuillage global T Binarisation de l’image Production de 2 zones de base:

Zone 0 si I(x,y) T Zone 1 si I(x,y) > T

Segmentation par croissance de région

Algorithme simple, mais lent. On débute en 1 point, on lui assigne une valeur d’étiquette, puis on trouve les voisins possédant la même valeur de zone.

Effets du choix de la valeur de seuil T

T=46 T=64 T=96

T=128 T=192 T=224

SYS-844Hiver 2005

Cours #9 - 20

Le résultat de la binarisation n’est pas une segmentation car plusieurs zones déconnectées ont la même valeur d’étiquette. Il faut maintenant segmenter en assignant des étiquettes aux régions (décrivables par ex. par des codes de Freeman enchaînés).

SYS-844Hiver 2005

Cours #9 - 21

Algorithme simple de segmentation par croissance de région inter-connectée

SYS-844Hiver 2005

Cours #9 - 22

4.1.2 Seuillage multiple Principe :

Image seuillée avec m seuils Zones résultantes segmentées par

croissance de région Algorithme :

R(i,j) : étiquetage par croissancede région

zonei, j( )=k si Tk−1 ≤I i, j( )<Tk

avec k:1L m

SYS-844Hiver 2005

Cours #9 - 23

Seuillage Tk Global dépend de I(i,j) Local dépend de N(i,j) Dynamique dépend de I(i,j) et

N(i,j)

(ou hybride)• Hystérésis• Seuils d’après histogramme• Marquage dans une zone si un voisin est

marqué

SYS-844Hiver 2005

Cours #9 - 24

Choix des Tk : Selon l’histogramme (global)

Image

• Choisir le seuil T à la position de vallée : T=13• Appliquer le seuil trouvé T à chaque pixel de l’image

Image du mandrill Image après un seuillage globalavec T = 96

Par hystérésis (dynamique)

Seuillage global à 80 Seuillage global à 100

Seuillage avec hystérésis(valeurs de seuil : 80 et 100)

(local)Tk =nσ 2

voisinage

marque si I i, j( )−μ >Tk

Image originale de la route Image résultante du seuillageDes points extrêmes (n=2)

SYS-844Hiver 2005

Cours #9 - 28

4.2 Segmentation par croissance de régions

Algorithme: TANT QUE image n’est pas

segmentée en entier Choisir un pixel non-étiqueté Examiner les voisins:

Vj similaire étiquette k

TANT QUE Vj Région k• Examiner les voisins

Vi similaire étiquette k

k = k + 1

SYS-844Hiver 2005

Cours #9 - 29

Critères de similarité (fréquents)

Vj −région<seuil

Vj −région<nσ région2

SYS-844Hiver 2005

Cours #9 - 30

Exemple

11

1

1 1 1

11

1

1

1

1

1

1

1

1

1

1

1

1 1

1

1

1

?

?

?

?

2

2 2

2

2 2

2 2

2

Critère: 1er

Seuil: 2

SYS-844Hiver 2005

Cours #9 - 31

Performances Bonnes performances:

Images non-bruitées Images sans texture Images sans gradient

Performances moyennes: Images bruitées Images texturées

p1L pk

pj ,pj+1 sont voisins

pj −pj+1 <T

mais p1 −pk >k

SYS-844Hiver 2005

Cours #9 - 32

Image initiale de bactéries

Seuil = 10 Seuil = 25

SYS-844Hiver 2005

Cours #9 - 33

4.3 Segmentation par partition de régions

Algorithme: TANT QUE région non-uniforme

Débuter avec une région large Récursif:

• Diviser en plusieurs régions plus petites• Continuer à diviser jusqu’à ce que chaque

région soit uniforme

Critère de partition: seuillageglobal

(multiple)

SYS-844Hiver 2005

Cours #9 - 34

Exemple: nautile

Choix des seuils

SYS-844Hiver 2005

Cours #9 - 36

SYS-844Hiver 2005

Cours #9 - 37

4.4 Segmentation parregroupement

Principe: Image d’entrée déjà segmentée (mieux: sur-segmentée)

SYS-844Hiver 2005

Cours #9 - 38

Algorithme: Frontière entre 2 régions est évaluée

selon similitude des régions. Un petit score indique une frontière faible.

Regroupement des régions aux frontières faibles (frontière éliminée)

Statistiques recalculées

Calcul de similarité entre la nouvelle région et les voisines

On recommence tant que des frontières peuvent être supprimées

SYS-844Hiver 2005

Cours #9 - 39

Similarité de régions Plusieurs composantes (eg

couleur, texture, etc) Plusieurs façons de combiner.

Le plus usuel: le vote

Vi :

+1⇒ neutre

<1⇒ regrouper

>1⇒ ne pas regrouper

Vtotal= ViWi

N

∏

SYS-844Hiver 2005

Cours #9 - 40

Exemple Construire le graphe d’adjacence Indiquer sur les frontières la valeur

pondérée totale des votes Regrouper pour les minima locaux

SYS-844Hiver 2005

Cours #9 - 41

4.5 Segmentation par partition-regroupement

Il s’agit de combiner les deux algorithmes, de partition et de regroupement, de telle sorte que les forces de l’un compense les faiblesses de l’autre.

SYS-844Hiver 2005

Cours #9 - 42

Algorithme Pré-traitement: préservation des arêtes

par Nagao ou Weymouth-Overton Analyse locale par histogramme

Diviser l’image selon une grille Seuils dans les vallées Algorithme des composantes

connectées pour former des régions Enlever les frontières artificielles

SYS-844Hiver 2005

Cours #9 - 43

Regrouper les régions similaires

similarité=μa −μb

maxσa +σb,1( )

Regrouper les petites régions de 1 ou 2 pixels avec les régions voisines plus significatives

SYS-844Hiver 2005

Cours #9 - 44

Exemple