Segmentação de Imagens S.Furuie Jul/01- 1
Segmentação de Imagens
MotivaçãoIdentificação de objetosQuantização: contagens, área, perímetro, volumeVisualização 2D, 3DReconhecimento de padrõesClassificação
Segm. Reconh.Padrões
Classif.
NormalPatolog.
Congen.Adquir....
Segmentação de Imagens S.Furuie Jul/01- 2
Motivação
Processos convencionais (manual e semi-automático) : demorados e cansativos
gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem
Segmentação de Imagens S.Furuie Jul/01- 3
Resultados em RM
VE
VD
Transv.RM
Mioc.
Segmentação de Imagens S.Furuie Jul/01- 4
VE: pre-Ventriculotomia
Diástole
Segmentação de Imagens S.Furuie Jul/01- 5
VE: pre-ventriculotomia
Sístole
Segmentação de Imagens S.Furuie Jul/01- 6
Visão Global
OperadoresRepresentação dos resultados da segmentaçãoTécnicas de segmentação
thresholdingsnakesregion-growingsplit-mergefuzzy connectednessredes neuraismétodos estatísticos
Interpretação
Segmentação de Imagens S.Furuie Jul/01- 7
Segmentação de Imagens
Por descontinuidadeoperadores (detetores)
– ponto– linha– borda (gradiente,laplaciano e LoG)
contornos– manual– semi-automático– automático (conexão de bordas,Transf. de Hough)
Por similariedadethresholdingregion-growingsplit and merge
Segmentação de Imagens S.Furuie Jul/01- 8
Gradiente
∇ = +f x y f x yx
u f x yy
ux y( , ) ( , ) ( , )∂∂
∂∂
∂∂
∂∂
f x yx
f i f i
f i f i f i
f i f i f i
f x yx
f i f i
x i
x i
( , ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( , ) ( ) ( )
=
=
= + − −
+ =+ +
− =− +
=+ − −
12
12
12
12
12
12
1 12
i-1 i i+1-1 0 1
-1 0 1-1-1
00
11
-1 0 1-2-1
00
21
-1 -1 -101
01
01
-1 -2 -101
02
01
Sobel∂
∂
∂∂
f x yx
f x yy
( , )
( , )
Segmentação de Imagens S.Furuie Jul/01- 9
Algoritmo p/ Laplaciano em x?
∂∂
∂∂
f x yx
f i f i
f i f i f i
f i f i f i
f x yx
f i f i
x i
x i
( , ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( , ) ( ) ( )
=
=
= + − −
+ =+ +
− =− +
=+ − −
12
12
12
12
12
12
1 12
∇ = +22
2
2
2f x y f x yx
f x yy
( , ) ( , ) ( , )∂∂
∂∂
Segmentação de Imagens S.Furuie Jul/01- 10
Sobel, Laplace,...
Laplace
Sobel f x y f x yx
f x yy
( ( , ) ) ( ( , ) ) ( ( , ) )= +∂
∂∂
∂2 2
∇ = +22
2
2
2f x y f x yx
f x yy
( , ) ( , ) ( , )∂∂
∂∂
∂∂
∂∂∂∂
∂∂
∂∂
2
2 12
12
11 2 1
f x yx
fx
xfx
fx
f i f if i f i f i
ii i
( , ) ( )( ) ( )
( ) ( ) ( )
= = −
− − + +
+ −
= ( ( + ) - ( ) ) - ( f ( i ) - f ( i - 1 ) ) =
i-1 i i+11 -2 11
0 1 01 -4 1
10
H z z z
H w wT
( ) ( )
( ) ( cos ( ) )
= − +
= − −
− 1 2
2 1
Segmentação de Imagens S.Furuie Jul/01- 11
Laplaciano da Gaussiana (LoG)
Edge detectorGauss=>SmoothLaplace=>Zero crossing
),(*),(),(
)2
exp(),(
2
2
22
yxfyxGaussyxg
yxyxGauss
∇=
+−=
σ
LoG(x)
Segmentação de Imagens S.Furuie Jul/01- 12
Label (blob)
k=1 (classe do background/borda 0)scan image x
– if f(x)==0 continue– if f(xu)==1 and f(xL)==0 =>c(x)=c(xu)– if f(xu)==0 and f(xL)==1 =>c(x)=c(xL)– if f(xu)==1 and f(xL)==1 => c(x)=c(xL), c(xu) equiv. c(xL)– if f(xu)==0 and f(xL)==0 =>c(x)=k++
0 0 0 .. 000...0
xxu
xL
Expansão p/ 3D
Segmentação de Imagens S.Furuie Jul/01- 13
Representação dos objetos
formato, texturascaracterísticas desejadas:
invariância à Translação, Rotação e Escala (ePonto de início p/ contornos
Contornos de objetosencadeamento: 013102...
– direção– variação de direção– Invar. T, R, (E se usar escala adequada), (I se
normalizar)polígonos
– max. distância ao contornoconvex hull
– menor conjunto convexo que contém o objeto.
01
2
3
Segmentação de Imagens S.Furuie Jul/01- 14
Representação de contornos
esqueletoassinaturas r
ix i j y i
( ) :
( ) :( ) ( )
θ
θ
i n v . T , R ( s e m e s m o I ) , E ( s e n o r m a l i z a d o p e l a v a r . )
+
r
x
y i
θθ
x
y i
i1 2
Segmentação de Imagens S.Furuie Jul/01- 15
Segmentação por região
Região: Region-growingconectividade, afinidade, tamanho, forma,possibilidade
– semente– para cada vizinho, agregar o mesmo se similar. Se
agregado, considerar os vizinhos deste.Região: Split and Merge
quadtree, octree– testar homogeneidade de cada quadrante
se não homogêneo, subdividir e continuar até últimoquadrante
– merge de quadrantes vizinhos com homogeneidadessimilares.
Segmentação de Imagens S.Furuie Jul/01- 16
Movimento:diferença acumulativa: histogramadomínio da freq.: projeção das imagens. velocidademédia
Segmentação de Imagens S.Furuie Jul/01- 17
Técnicas: Thresholding
T=T[ f(x,y), x, y, p(x,y) ]de imagem f(x,y)p(x,y): propriedade local
GlobalÓtimo:local : baseado na região das bordasbaseado em características: grad. e laplacianomulti-banda m in Erro T
Erro T P p x dx P p x dx
Erro TT
P p T P p T
p x p xPP
TT
T
( )
( ) . ( ) . ( )
( ). ( ) . ( )
( ), ( ):
ln( )
= +
= => =
++
−
−∞
∞
∫ ∫2 2 1 1
1 1 2 2
1 2
22
2
2
1
0
2
∂∂
µ µ σµ µ
se G aussian
T = 1
1
Segmentação de Imagens S.Furuie Jul/01- 18
Optimal thresholding
)ln(2
)(.)(.
0min
.)(..)(.
1
)2
)(exp(2
1)(
)(.)(.)(
1
2
21
221
2211
1122
21
2
22211
PPT
TpPTpPT
ErroErro
dxxpPdxxpPErro
PP
xxp
xpPxpPxp
T
T
T
i
i
ii
µµσµµ
∂∂
σµ
σπ
−+
+=
=⇒
=⇒
+=
=+
−−=
+=
∫∫∞
∞−
T x
P1
P2
p1(x) p2(x)
Segmentação de Imagens S.Furuie Jul/01- 19
Isodata (k-means)
0
1
2
)
)
)
K classes com centro em c
Inicializar c
Para cada x => atribuir x p / classe j com menor distancia
3) Recalcular c
4) Repetir 2) e 3) ate nao haver mais alter.
i
j(0)
i i
j
atrib. 1
atrib
.2
Segmentação de Imagens S.Furuie Jul/01- 20
Segmentação de estruturas 3D dinâmicas
Motivaçãomedida e visualização de estruturas do mundo realestruturas dinâmicascoração, VE, miocárdio, ...parâmetros: FE, volume, área, ...
Dificuldadeselevado volume de dados:16 vol. X 12 slices X 256 X 256=> 192 slicesestruturas complexas : forma, superposição, diversasintersecções com um plano, não-homogeneidade,especifidade, ...
Segmentação de Imagens S.Furuie Jul/01- 21
PROBLEMA e PROPOSTA
PROBLEMASegmentação de estruturas 3D, 4DEstruturas complexas
PROPOSTAconectividade fuzzy considerando múltiplas imagensde um objeto
RAZÕES INTUITIVASestruturas de interesse tem voxels conectados (fuzzy)pelo menos em alguma dimensãoconectividade baseado em afinidade entre voxelsfácil expansão p/ 3D, 4D
Segmentação de Imagens S.Furuie Jul/01- 22
Fuzzy Connectedness entre 2 vox.
Considera adjacencia e afinidade entre dois voxelsDados 2 voxels “i” e “j” com valores (vetorial) v(i), v(j)fc(i,j)=max{f(i,j)}f(i,j)=g( adj(i,j), v(i), v(j), i, j )adj : adjacencia (fuzzy)f(i,j)=adj(i,j) . affin(v(i), v(j), i, j )affin: afinidade (fuzzy)
Segmentação de Imagens S.Furuie Jul/01- 23
Fuzzyness
fuzzy sets, membershipDomínio XFuzzy Set={ (x, f(x)) | x ε X }f : X => [0,1] (membership)
fuzzy relationi ε X , j ε Xrelation={(i,j), r(i,j)}r : X x X => [0,1]
Segmentação de Imagens S.Furuie Jul/01- 24
fuzzy relationconnectednessadjacencyaffinity
Propostaadj(i,j)=1 (se 1-adjacent)
=0affin(i,j)=exp(-0.5d**2)
d**2 : dist. estatísticaprogramação dinâmica
queue
Segmentação de Imagens S.Furuie Jul/01- 25
Conectividade Fuzzy
Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q
0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax
push all spels e | affin(c,e)>0 to Q endif2.4. endwhile
s
f:C
fos c dd e
Segmentação de Imagens S.Furuie Jul/01- 26
Conectividade Fuzzy
Algorit: Fuzzy Object ExtractionInput: imagem (C,f) e seed sOutput: imagem (Co,fo)Auxiliares:queue Q
0. Set fo(i)=0, i#s e fo(s)=11. Push all spels c of Co | affin(s,c)>0 to Q2. While Q is not empty do2.1. Remove a spel c from Q2.2. find fmax=maxd [min(fo(d),affin(c,d))]2.3. if fmax> fo(c) then set fo(c) = fmax
push all spels e | affin(c,e)>0 to Q endif2.4. endwhile
f:C
s
fos c dd e
Segmentação de Imagens S.Furuie Jul/01- 27
Segmentação de Imagens Médicas 3D baseadoem Vetor de Atributos e Conectividade
Competitiva
S.S. Furuie1, M.F.S. Rebelo1, M.A.Gutierrez1, J.K. Udupa2
1Divisão de InformáticaInstituto do Coração - HC.FMUSP
2Medical Image Processing GroupUniversity of Pennsylvania
Segmentação de Imagens S.Furuie Jul/01- 28
Motivação
Segmentação de objetos é crítica paraquantificação e visualização 3D
Segmentação de Imagens S.Furuie Jul/01- 29
Motivação
Segmentação manual(RM)
Aorta com patologia
• Evitar a extenuante tarefa de segmentarcentenas de imagens manualmente
Segmentação de Imagens S.Furuie Jul/01- 30
Motivação
Processos convencionais (manual e semi-automático) : demorados e cansativos
gated MRI : 16 volumes, 12 cortes => 192 imggated SPECT: idem
Segmentação de Imagens S.Furuie Jul/01- 31
Objetivos
Segmentação de estruturas Médicas 3DCom pequena intervenção humanaIndependente da modalidade e órgãoAplicável a 3D dinâmicasInclusão de múltiplos atributosPermita inclusão de informações “a priori”Múltiplos objetos (VE, VD, Miocárdio, ...)
Segmentação de Imagens S.Furuie Jul/01- 32
Protocolo
Imagens 3D dinâmicas deRessonância Magnética doCoração16 volumes com 12 cortes (256x 256, 16 bits)1,64 x 1,64 x 10,0 mmO usuário fornece uma regiãodo objeto de interesse em umdos cortes.
Segmentação de Imagens S.Furuie Jul/01- 33
12 3 4
ECG
1 2 3 4
(a)
(b)
Gated 3D
Segmentação de Imagens S.Furuie Jul/01- 34
Hipóteses
Possibilidade de treinar o classificador através deuma amostra do objeto com característicasaproximadamente homogêneas.Os parâmetros estimados, através de um corte(treinamento), são válidos para todo o objeto;
Segmentação de Imagens S.Furuie Jul/01- 35
Metodologia
Cálculo do vínculo de cada voxel a cada objeto deinteresse
Vínculo entre dois voxels depende da afinidade e daconectividade espacial em todos os caminhospossíveis
a
bc d
iV(a,b)= maxi { v (a,b | i) }
v(a,b | i)= min { afin(c,d) }
Segmentação de Imagens S.Furuie Jul/01- 36
Metodologia
Afinidade é baseado no vetor de atributos eadjacênciaafin(c,d) = h[ adj(c,d), f(c), f(d), c, d ]
f(x): vetor de atributos sobre o voxel x
afin(c,d) = adj(c,d) . h[ f(c), f(d) ]h( ) = grau de similaridade dos atributos aoobjetoprogramação dinâmica
Segmentação de Imagens S.Furuie Jul/01- 37
associação ‘fuzzy’
função de associação : verossimilhança
VE
VD
x=f(c) h Rj M: [ , ]→ 01
( )h x d xj j( ) exp .= −
12
2
( ) ( ) ( )d x x x S x xj jT
j j2 1= − −−. .
j
Segmentação de Imagens S.Furuie Jul/01- 38
Algoritmo
O algoritmo, para um dado objeto de interesse, consisteportanto em:
Estimar os parâmetros estatísticos (média ecovariância) do cluster correspondente ao objetoatravés dos voxels de uma região fornecida pelousuário;Calcular a matriz de covariância inversa;Obter o vínculo de cada voxel a cada objeto
– Para cada voxel, calcular a associação ao objeto– Calcular afinidade– Obter o vínculo (Programação dinâmica)
Segmentação de Imagens S.Furuie Jul/01- 39
Resultados em RM
VE
VD
Transv.RM
Mioc.
Segmentação de Imagens S.Furuie Jul/01- 40
Competição
Extração do objeto VE
Imagem com a associação aos objetos VE e Mioc.
Músculos
ifif ( ( fVE fVE(x) >(x) > fMIOC fMIOC(x))(x))then fVEthen fVE(x)=1(x)=1else fVEelse fVE(x)=0(x)=0
Segmentação de Imagens S.Furuie Jul/01- 41
Cavity Segmentation: results
a b
c d
Original
MYOC memb.
CAVI memb.
Segm. Cavity
Proc. time (1 vol.)=21 sUltra Sparc 1/140
Segmentação de Imagens S.Furuie Jul/01- 42
Segmentation of LV myocardium
From the endocardium surface: incorporation ofconnected voxels with low costCost: gradient, local texture, smoothness and shape
Segmentação de Imagens S.Furuie Jul/01- 43
Cost function
cost(i)=max{a.grad2(i), b. texture(i), c.shape(i)}grad (i) : local 3D gradiente magnitude
a=1/std(grad2)texture(i) : difference of local mean and expected
texture(i)=(vi - m)2
b=1/std(texture)shape(i): distance disparity in relation toendocardium
c=1/2 (two voxels of distance disparity)Threshold=max{avg(grad2), avg(texture)}+1.0
Segmentação de Imagens S.Furuie Jul/01- 44
Smoothness and shape
1
32 4 5
window=5
d
i1 2 3 4 5
dist.dispar=1
shape(i)=max m,n{dm - dn | m,n in N(i) }dk : the smallest distance of voxel k to
endocardium surfaceN(i) :neighbor surface voxels of i, including i. The
window size used for this work was 5x5x5.Based on distance map
Segmentação de Imagens S.Furuie Jul/01- 45
Results: LV Myocardium
a b
c d
Original w/o shape constraints
Proposed Manual
3D rendition
Proc. time (1 vol.): 4 sUltra Sparc 1/140
Segmentação de Imagens S.Furuie Jul/01- 46
Conclusions
Two-step technique: cavity and myocardiumSemi-automatic volumetric approach
Assures connectivityInclusion of priors:
– position– smoothness and shape
Independent of modality, patient, calibration,..Further investigation:
objective comparison with manual approachalternative shape cost functions
Segmentação de Imagens S.Furuie Jul/01- 47
Vantagens/Desvantagens
+ treinamento baseado na imagem• Independência da escala, equipamento,..
+ método inerentemente 3D, 4D+ incorpora conectividade espacial e afinidade
considerando múltiplos atributos
− lento− assume distribuição normal multivariada para os
atributos
Segmentação de Imagens S.Furuie Jul/01- 48
Conclusão
Abordagem geralno domínio espacial: imagens 2D, 3D, ...no domínio dos atributos: imagens múltiplas
Assegura conectividadeAprende as características dos objetos, considerandoas circunstâncias da aquisição (treinamento mínimo)Resultados no sentido ‘fuzzy’Pesquisas futuras:
agilização do algoritmotexturas específicas que ressaltem objetosmedidas de afinidade
Segmentação de Imagens S.Furuie Jul/01- 49
Resultados
Phantoms 3Dbons resultados
MRI do coração (4D)aquisição degradadaclassificaçao autom.vários falsos negativos
A investigaroutra aquisiçãodefinir novos affinity functionsrefinamento (simulated annealing, semi-automático, ...)
S.Furuie Jul/01- 50
Abordagem usando 'Level set' para segmentação deimagens
Unidade de Pesquisa e DesenvolvimentoServiço de InformáticaInCor
Segmentação de Imagens S.Furuie Jul/01- 51
4 LEVEL SET FUNCTIONS
Signed distance transform
RR:Ψ N >−
Ψ (c(t),t)= 0x
yΨ
c(t)
Segmentação de Imagens S.Furuie Jul/01- 52
6 Cost function: similarity
Similaritypointwise curvatures oflevel set ΨKGaussian curvature
Level set ΨK used forcurvature estimation.
ΨK (r)=ΨS (r) + ΨD (r)
S.Furuie Jul/01- 53
Motivação
Metodologia para segmentação de imagensn-dimensionalcontornos complexos
Descrição dos objetos identificadosAnálise e visualização
Segmentação de Imagens S.Furuie Jul/01- 54
Snakes
Não possibilita intersecção de contornos2DDependente da modelagem das forças/velocidadesDependente de pesos dos termos da função
S.Furuie Jul/01- 55
Descrição
Baseado em modelos físicos de propagação de interfaces emodelos deformáveis
fluídochamascrescimento de cristais
Solução de PDE do tipo Hamilton-Jacobi
Shape modeling with front propagation: a level set approachR Malladi, JA Sethian, BC Venturi. IEEE PAMI 17(2):158-175, feb1995
PARA MAIS INFORMAÇÕES...
S.Furuie Jul/01- 56
Vantagens
Sem suposições a priori de topologiasSuporta formas complexas e nDimensionaisPontos fracos
modelagem da velocidade de propagaçãocondições de parada
Segmentação de Imagens S.Furuie Jul/01- 57
Segmentação de Imagens S.Furuie Jul/01- 58
S.Furuie Jul/01- 59
Metodologia
Dado um contornoGerar uma hipersuperfícieNo qual o contorno ésolução )0),(|()(
:),(),0[:)(
=Ψ=>−Ψ
>−∞
txxtRRtx
RtN
N
rr
r
γ
γ
Segmentação de Imagens S.Furuie Jul/01- 60
Exemplo de hipersuperfície
S.Furuie Jul/01- 61
Metodologia: level set
Diferenciando...Notando que gradiente énormal ao contornoPDE do tipo Hamilton-JacobiCondição inicial
0..
0.
0.....
0),()0),(|()(
2
2
1
1
=
Ψ∇+
∂Ψ∂
=Ψ∇+∂Ψ∂
=+∂Ψ∂
+∂Ψ∂
+∂Ψ∂
=Ψ=Ψ=
dtxd
nt
dtxd
t
dtdx
xdtdx
xt
txtxxt
rrr
rr
r
rrγ
Segmentação de Imagens S.Furuie Jul/01- 62
Modelagem da velocidade
nK
n
Ft
dtxd
nt
r
r
rr
r
rrr
.
0.
0..
∇=
Ψ∇Ψ∇
=
=Ψ∇+∂Ψ∂
=
Ψ∇+
∂Ψ∂
),(*11
))(.( 0
yxIGg
KFFgF
σ∇+=
+=
Segmentação de Imagens S.Furuie Jul/01- 63
Segmentação de Imagens S.Furuie Jul/01- 64
Discretização
322
22
,,,1
,
)(..
)(/),(
))(),((
..
ss
ssssss
ssss
jim
jim
jim
ji
yxyxxyK
yxxyn
sysx
FT
+
−=
+−=
Ψ∇∆−Ψ=Ψ +
r
r
Segmentação de Imagens S.Furuie Jul/01- 65
split
Segmentação de Imagens S.Furuie Jul/01- 66
ramificação
S.Furuie Jul/01- 67
Status atual
S.Furuie Jul/01- 68
Outras Aplicações
Restauração de imagensEvolução de contornosPropagação de combustão, fluídos, sismologia,crescimento de cristais, ...Difusão, deposição de materiais, ...
Segmentação de Imagens S.Furuie Jul/01- 69
Segmentação de estruturas médicas baseado emcontornos ativos e elementos finitos
Segmentação de Imagens S.Furuie Jul/01- 70
Tema: Modelos deformáveis
Importânciamotivaçãoaplicações
Revisão de métodos 2D/3Dfundamentos/metodologiavantagens/desvantagens
Conclusões
Segmentação de Imagens S.Furuie Jul/01- 71
Motivação
Avaliação funcional dos músculos cardíacosGlobal
– variação do volume/área/energia cinéticaRegional
– pela movimentação regional do endocárdio– pelo encurtamento da parede do miocárdio
espessura do miocárdioLocal
– pela trajetória de pontos do músculo (tracking)– pela velocidade dos pontos do músculo
Segmentação de Imagens S.Furuie Jul/01- 72
Aplicações
Quantificação da avaliação cardíacaVisualização da deformação (fisiologia) localAlinhamento e fusão de imagensInterpolação
Segmentação de Imagens S.Furuie Jul/01- 73
Segmentação de estr. deform.
Baseados na intensidade do pixel/voxel– optical flow, region-growing, conectividade,..– ad hocs
Baseados em contornos/superfíciesSnakesBalloonTopological snakes
Baseados em marcas fiduciais (int. e ext.)– MR tagging
Segmentação de Imagens S.Furuie Jul/01- 74
Snakes
Objetivo: segmentação (obtenção de contornos esuperfícies)Dado: imagem (intensidades) e soluçao inicial
– obter uma função de energia (interna + externa) emfunção parametrizada
– minimizar em relação ao contornoanaliticamentenumericamente: steepest descent, CG, ...
Segmentação de Imagens S.Furuie Jul/01- 75
Snakes: equilíbrio de forças
1) P/ cada vértice do contornoinicial, obter:
forças internas (curvatura,..forças externas (gradiente ..
2) Determinação iterativa davelocidade e posição
tvpp
tavv
fm
a
ki
ki
ki
ki
ki
ki
ki
i
ki
∆+=
∆+=
=
++
++
++
.
.
.1
)1()()1(
)1()()1(
)1()1(
rrr
rrr
rr
pi-1
pi pi+1di-1
di
radialext
radial
ii
ii
Iffiltrocurvf
ddddcurv
)()(int
1
1
−∇=⊗=
−−
=−
−rr
rr
n
Segmentação de Imagens S.Furuie Jul/01- 76
Snakes: fundamento
)(min
).(.].[)(
)()()(:)(
3
2
2
2
2
2
1
cE
dscPwdsscw
scwcE
cEcEcEconfigsc
c
cc
EI
∫∫ +∂∂
+∂∂
=
+=
))(),(()( sysxsc = x
ys
s
Segmentação de Imagens S.Furuie Jul/01- 77
'','),(
).'',',;()(
)(min
ccsc
dscccsFcE
cE
c
c
∫=
...''/'.'.'/'../..)'',',;()''.'','.'),(.;())(''),('),(;(
+∂∂+∂∂+∂∂+=+++ cFvcFvcFvcccsFvcvcsvcsFscscscsF
εεεεεε
0)''
()'
(
0/min
2
2
=∂∂
+∂∂
−∂∂
−=>=∂∂=>
cF
dsd
cF
dsd
cF
LagrangeEulerEE εε
Segmentação de Imagens S.Furuie Jul/01- 78
Definição adequada da Energia
Elasticidade (suavidade do contorno)Rigidez (curvaturas )Informações de borda
Im)*())((
).(.].[)(
)()()(:)(
3
2
2
2
2
2
1
ρGscP
dscPwdsscw
scwcE
cEcEcEconfigsc
cc
EI
∇−=
+∂∂
+∂∂
=
+=
∫∫
Segmentação de Imagens S.Furuie Jul/01- 79
Solução da minimização
0)().().(
).(.])('')('.[)(
2
2
22
2
1
32
22
1
=∇++−
=>−
++= ∫∫
cPds
cdwdsd
dsdcw
dsd
LagrangeEuler
dscPwdsscwscwcEcc
Equilíbrio
Dinâmica
0)().().( 2
2
22
2
1 =∇++− cPds
cdwdsd
dsdcw
dsd
dtdc
Segmentação de Imagens S.Furuie Jul/01- 80
Implementação: difer.finitas
)()]2(...)2(..[)1()(2)1(.
...'))'(''()(''''
)1()(2)1()(''
)()1()('
)()(
)(
)(''''.''.
51221
2
21
iPixaixawh
ixixixw
ixixh
ixixixix
hixixix
iyix
ic
cPcwcw
−∇=++−+++−−
−
=
++−−=
−+=
=
−∇=+−
Para cada ponto i do contorno em equilíbrio
Segmentação de Imagens S.Furuie Jul/01- 81
Diferenças finitas
∇−
∇−∇−
=
−∇=+++−+−+++
)(
)2()1(
)(
...)2()1(
000
...00...
)()2(....)1(.)2(....00
1
21
2
1
21
521
nP
PP
nx
xx
bbb
bbbb
iPixbixbixb
Sistema de equações com dependência implícita
•Métodos numéricos iterativos
)(. XfXArrr
=
Segmentação de Imagens S.Furuie Jul/01- 82
Modo dinâmico
0)().().( 2
2
22
2
1 =∇++− cPds
cdwdsd
dsdcw
dsd
dtdc
)(.)..(
)(.
)(.
11
111
−−
−−−
∆+∆−=
=+∆−
=+
ttt
tttt
XftXAtIX
XfXAtXX
XfXAdt
dX rrr
Solução iterativa até atingir o equilíbrio
Segmentação de Imagens S.Furuie Jul/01- 83
Snakes:Vantagens/desvantagens
+ Emula modelo físico. Imagens são apenasrepresentações de modelos físicos.
- Processos reais são complexos p/ modelar- Constantes desconhecidas- Pesos relativos ?- Apenas segmentação e alinhamento. Tracking exige
modelagem mais precisa.
Segmentação de Imagens S.Furuie Jul/01- 84
Balloon
Simulated annealingRegion-growing com função custoModelo físico de expansão
Pode superar bordas espúrias
PsP
ksnwf∇
∇−=
)(.)(.1
r
n
Segmentação de Imagens S.Furuie Jul/01- 85
Elementos finitos (FEM)
O elemento como um todo é modelado e segue umalei.
Valores internos ao elemento podem ser estimados apartir dos extremos
Minimiza-se o resíduo total considerando as funçõesde interpolação
Segmentação de Imagens S.Furuie Jul/01- 86
FEM
)(''''.''. 21 cPcwcw −∇=+−Modelo c(s)
[ ]
fcA
dssNcPcwcwresiduo
sNcsNcsccPcwcw
i
c
ci
=
=+∇+−=
+==+∇+−
∫.
0)(.)(''''.''.
)(.)(.)(0)(''''.''.
2
121
2211
21Resíduo
)(.)..(
)(.
)(.
11
111
−−
−−−
∆+∆−=
=+∆−
=+
ttt
tttt
XftXAtIX
XfXAtXX
XfXAdt
dX rrr
Segmentação de Imagens S.Furuie Jul/01- 87
Topological Snakes
Snakes sobre um grid dodomínio
+ simples que o FEM+ eficiente que o snakes+ incorpora o balloon
Segmentação de Imagens S.Furuie Jul/01- 88
T-snake
0)().().( 2
2
22
2
1 =∇++− cPds
cdwdsd
dsdcw
dsd
dtdc
externaballoonflexaoelástica fffbfadtdck +=+− ...
))((
)(
/)...(1
tiflexao
tielástica
externaballoonflexaoelásticati
ti
cLaplacianoLaplacianof
cLaplacianof
ktfffbfacc
=
=
∆++−+=+
Segmentação de Imagens S.Furuie Jul/01- 89
resultados