Évaluation de la segmentation - greycscati.greyc.fr/journees/journee170305/chabrier.pdf · la...
TRANSCRIPT
Évaluation de lasegmentation
CHABRIER SébastienLaboratoire de Vision et Robotique – UPRES EA 2078
ENSI de Bourges – Université d’Orléans10, Bd Lahitolle18000 Bourges
Introduction
La segmentation : traitement bas niveau consistant à partitionner une image en régions ou déterminer leurs frontières.
Image originale Résultat de segmentation
pas toujours d’adéquation entre :
� un résultat de segmentation (niveau de précision,..),
� les objectifs de l’interprétation.
Introduction
Quelle est la meilleure
segmentation?
Image originale
Résultats de segmentation
Introduction
Évaluation supervisée
Évaluation non supervisée
Étape primordiale pour l’interprétation d’images
Il existe un grand nombre de méthodes
Qualité difficile à évaluer
Plusieurs critères proposés
Souvent dédié
Complémentarité et applicabilité méconnues
Segmentation
Quel(s) critère(s) choisir?
Coopération possible?
Obj
ectif
s
Plan
1. Évaluation non supervisée
2. Étude comparative
3. Définition de nouveaux critères
4. Conclusion et perspectives
Évaluation non supervisée
Évaluation de critères de qualité
Segmentation région
Uniformité intra-régionContraste inter-régionsMesures topologiques
(forme, taille, quantité…)Mesures hybrides
Évaluation non supervisée
Peu de critères
Segmentation contour
Présentation de quelques critères
1. Critère de Borsotti
2. Critères de Lévine et Nazif (Intra, Inter, Intra/Inter)
3. Critère de dispersion des attributs de Levine et Nazif
4. Critère de Zéboudj
5. Critère de Rosenberger
Critère de Borsotti
Les régions d’un résultat de segmentation doivent :� être uniformes et homogènes,� contenir peu de petits trous,� avoir des caractéristiques d’uniformité significativement différentes pour des régions adjacentes.
∑=
++=RN
k k
k
k
kRAA
AeN
AIQ
1
22 )(
)log(11)( χ
α
Critères de Lévine & Nazif
Contraste intra région:
Contraste inter régions:
∑=k
RkCIntra 2σ
[ ] [ ][ ] [ ]
∑∑ ∑
∈ +−
=k
k
k RVR xk
xkRRk
A
RERERERE
pACInter kx
xk
)(
/
Critère dispersion des attributs
W
WAtt=(a1,a2,…an)
∑ ∑ ∑∈ ∈
−=
k Rji Rjikk k
jiAttA
jiAttCAttribut2
),( ),(
),(1),(
Critère de Zéboudj
1)()(
),( −−
=L
tIsItsc
{ }∑∈
∩∈=iRs
ii
RsWttscMaxA
iCI )(),,( 1)(
{ }∑∈
∉∈=iFs
ii
RtsWttscMaxl
iCE ),(),,( 1)(
Contraste entre 2 pixels s et t:
Contraste interne d’une région Ri
Contraste externe d’une région Ri
Critère de Zéboudj
∑ ×i
ii RCAA
)(1
=<<−
=sinon0
0)(si)(
)()(0si)()(1
)( iCIiCE
iCEiCIiCEiCI
RC i
Contraste d’une région Ri :
Contraste global:
Critère de Rosenberger
Disparité intra-région globale: valeur normalisée de l’homogénéité de l’ensemble des régions:� Cas uniforme : écart-type normalisé du niveau de gris,� Cas texturé : mesure de dispersion des attributs de texture calculés à l’intérieur de la région.
Disparité inter-régions globale:
2)()()( IDID
IFjj
j −=
∑=
=m
RDNr
mID
j
i
ji
ji
jj
1
)(1)(
W
W(a1,a2,…an)
Disparité inter-régions : valeur normalisée de la dissimilarité d’une région avec ses voisines :
� Uniforme - Texturé :
�Uniforme – Uniforme :
� Texturé – Texturé :
NGRERE
RRDji
ji][][
),(−
=
ji
jiji
BBBBdRRD += ),(),(
1),( =ji RRD
Critère de Rosenberger
Plan
1. Évaluation non supervisée
2. Étude comparative
i. Protocole expérimental
ii. Résultats
iii. Application à des images réelles
iv. Synthèse
3. Définition de nouveaux critères
4. Conclusion et perspectives
Bases d’images
Mixt : 100 images mixtes
Unif : 100 images uniformes
Text : 100 images texturées
Textures de l’album de Brodatz
Résultats de segmentation
Image originale Nuées1 Nuées2 Nuées3 Edison
Mixt
Unif
Text
Critères d’évaluation
Non supervisés
1. Critère de Borsotti
2. Critères de Lévine et Nazif (Intra, Inter, Intra/Inter)
3. Critère de dispersion des attributs de Levine et Nazif
4. Critère de Zéboudj
5. Critère de Rosenberger
Référence (Supervisé)
1. Critère de Vinet
Critère de VinetTaux de recouvrement maximal
∑ ∩−='
2121 )(),(
Cji cccardNCCD
Résultat de segmentation
Vérité terrain
Évaluation non supervisée
Critères Nuées1 Nuées2 Nuées3 EDISONBorsotti 0.0031 0.0016 0.0028 0.0005Zeboudj 0.38 0.20 0.06 0.72
Inter 0.19 0.18 0.19 0.38Intra 2.78 0.04 0.08 0.01
Intra/inter 0.49 0.56 0.55 0.57Rosenberger 0.70 0.76 0.65 0.69
Attributs 0.14 0.21 0.20 0.41Vinet 0.77 0.76 0.75 0.79
Évaluation non supervisée
Critères Nuées1 Nuées2 Nuées3 EdisonBorsotti 0.1608 0.1342 0.1013 0.0535Zeboudj 0.02 0.01 0.00 0.23
Inter 0.10 0.07 0.05 0.16Intra 14.06 8.48 4.96 2.45
Intra/inter 0.52 0.51 0.50 0.54Rosenberger 0.62 0.60 0.70 0.43
Vinet 0.22 0.41 0.45 0.28
Évaluation non supervisée
-0.02-0.13-0.23Attributs
0.3550.1110.295Rosenberger
-0.01-0.35-0.43Intra-inter
-0.02-0.11-0.28Intra-région
-0.09-0.21-0.55Inter-région
-0.141-0.0030.9Zeboudj
-0.206-0.263-0.845Borsotti
TextMixtUnif
Facteurs de corrélation par rapport au critère de Vinet
Application à des images réelles
Image originale FCM PCM Edison
FCM PCM EDISONBorsotti 0.0222 0.0297 0.0155Zeboudj 0.6228 0.6124 0.5428
Inter 0.0901 0.0889 0.1099Intra 0.7258 0.7112 0.9693
Intra-Inter 0.5202 0.5239 0.5275Rosenberger 0.6379 0.6328 0.6973
Application à des images réelles
Image originale FCM PCM Edison
FCM PCM EDISONBorsotti 0.1952 0.2793 0.0293Zeboudj 0.1094 0.1172 0.0432
Inter 0.1401 0.1394 0.2559Intra 6.2846 7.5824 1.1364
Intra-Inter 0.5196 0.5214 0.5419Rosenberger 0.4699 0.4677 0.9074
Synthèse évaluation non supervisée
Critères de Zéboudj ouBorsotti dans les cas
uniforme ou peu texturé
Critère de Rosenberger dans le
cas texturé
Choix de critères :
Plan
1. Évaluation non supervisée
2. Étude comparative
3. Définition de nouveaux critères
4. Conclusion et perspectives
Définition de nouveaux outils d’évaluation
Plusieurs approches envisagées:
� Amélioration d’un critère existant
� Fusion de critères d’évaluation :
� Par combinaison linéaire
� Par apprentissage
Amélioration d’un critère
Bilan étude comparative:
Critère Rosenbergerefficace dans le cas texturé (cas le plus difficile)
moins eficace dans le cas uniforme
Critères de Borsotti et Zéboudj
efficaces dans le cas uniforme
mauvais résultats dans le cas texturé
Principe du critère Rosenberger�Détection du type de chaque région�Calcul de caractéristiques adaptées au type de région
Solutions:�Amélioration de la détection de la nature texturée ou uniforme des régions�Intégration du critère de Zéboudj dans le cas uniforme
Fusion de critères
Objectif :Combiner les avantages de plusieurs critères pour en obtenir un plus performant par rapport à une référence
Zébou
dj
Bor
sott
i
Ros
enbe
rger
R
Z
Bé
b
ou
d
j
Fusion Nouveau Critère
o
s
e
nb
e rg
g
e
r o
r
tt i
Fusion de critères
Première approche: Combinaison linéaire
Nouveau Critère = a*Zéboudj + b*Borsotti + c*Rosenberger
On cherche alors (a,b,c) pour que le nouveau critère soit optimal par rapport à une référence (Critère de Vinet)
Utilisation d’un algorithme génétique et de la base ayant servi pour l’étude comparative pour l’optimisation
]1,1[−∈
Fusion de critères
Deuxième approche: Combinaison par apprentissage
Mesure de qualité entre 1 et 10
Apprentissage des données de l’étude comparative (SVM)
Borsotti Zéboudj Rosenberger VinetSegmentation 1 2,12 3,45 1,50 3Segmentation 2 2,14 3,50 1,54 5Segmentation 3 2,22 3,77 1,69 4Segmentation 4 2,22 3,79 1,69 6Segmentation 5 2,14 3,47 1,51 2Segmentation 6 2,39 4,06 1,86 1Segmentation 7 2,30 3,78 1,58 5
Résultats expérimentaux
Gain de similarité de comportement par rapport au critère de Vinet sur une base de 300 images et 1200 résultats de segmentation :
� Critère de Rosenberger amélioré : 5%
� Fusion par combinaison linéaire : 10%
� Fusion par apprentissage : 20%
Perspectives
1. Évaluation non supervisée
2. Étude comparative
3. Définition de nouveaux critères
4. Conclusion et perspectives
Conclusions
Améliorations possibles par fusion de critères existants
Perspectives
• Choix de paramètres d’entrée d’un algorithme de segmentation• Segmentation par optimisation d’un critère d’évaluation
Conclusions et perspectives
Cas non supervisé Critères de Zéboudj ou Borsotti dans les cas uniforme ou peu texturé
Critère de Rosenberger dans le cas texturé
Fin
Merci de votre attentionhttp://www.ensi-bourges.fr/perso/chabrier/
Multiseuillage
Image originale : 256 NG Image multiseuillée : 26 NG
Niveau de GrisNiveau de Gris
Nom
bre
de P
ixel
s
Nom
bre
de P
ixel
s
Retour
Album de Brodatz
Retour
Détection de régions texturées
-2,00E-01
0,00E+00
2,00E-01
4,00E-01
6,00E-01
8,00E-01
1,00E+00
1,20E+00
1 78
155
232
309
386
463
540
617
694
771
848
925
1002
1079
1156
1233
1310
1387
1464
1541
1618
1695
1772
1849
1926
Images Texturées < 750 < Images Uniformes
Val
eur
de
l'att
rib
ut
Attribut Corrélation
VT
Critères d’attributs testés� Angular Second Moment� Contrast� Correlation� Sum of Squares: Variance� Inverse Difference Moment� Sum Average� Sum Variance� Sum Entropy� Entropy� Difference Variance� Difference Entropy� Information Measures of Correlation� Information Measures of Correlation� Information sur l'homogeneite
La base d’images monorégion est composée d’images 128x128 pixels :� 50 images extraites de textures de Brodatz avec fort contraste (T1)� 50 images extraites de textures de Brodatz avec faible contraste (T2)� 50 images extraites de textures de Brodatz avec faible contraste et rotations (T3)� 500 images extraites de textures d’une base récupérée sur internet (T4)� 100 images extraites de textures d’une autre base récupérée sur internet (T5)� 100 images uniformes non bruitées avec un NG croissant entre 0 et 255 (U)� 100 images uniformes avec un bruit impultionnel de 0 à 100% avec un NG aléatoire (UBI)� 500 images uniformes avec un bruit Gaussien par groupes de 50 avec NG croissant et écart type de 5 10 20 30 40 50 60 70 80 90. (UBGX)� 500 images uniformes avec un bruit Multiplicatif par groupes de 50 avec NG croissant et écart type de 5 10 20 30 40 50 60 70 80 90 . (UBMX)