univerza v ljubljani fakulteta za elektrotehniko analiza slik s sklopljenimi aktivnimi modeli
Post on 03-Jan-2016
54 Views
Preview:
DESCRIPTION
TRANSCRIPT
Univerza v Ljubljani
Fakulteta za elektrotehniko
Analiza slik s sklopljenimi aktivnimi modeli
mag. Aleš Klemenčič, univ. dipl. ing. el.
Uvod
• Predstavitev aktivnih modelov
• Koncept aktivne točke• Algoritem aktivne točke• Sklopljeni aktivni modeli
• Primer sintetične slike: olimpijski krogi• Primer realne slike: rentegenske slike vratnih vretenc
Aktivni modeli
• Aktivni modeli združujejo geometrijo modela s fizikalnimi lastnostmi elastičnih materijalov.
• Aktivni modeli se preoblikujejo pod vplivom lastnih, notranjih sil ter vplivom zunanjih sil, ki izhajajo iz okolice (slike).
• Aktivni modeli so namenjeni segmentaciji slik. Uporabni so zlasti za segmentacijo bio-medicinskih (2D, 3D) slik in za sledenje objektom v zaporedju slik.
Aktivni modeli
Aktivne površineAktivna telesaAktivne krivulje
Aktivna krivulja
• v(r)=(x(r),y(r),z(r)); • r [0,1]
• x(r) [0,xmax]
• y(r) [0,ymax]
• z(r) [0,zmax]
• Krivulji pripada energijski funkcional:
• Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:
1
0
)( drrErEE extint vvv
2
2
22)()(
2
1
r
rr
r
rrrE rrint
vvv
0)(
)()(
)(4
4
2
2
rPr
rr
r
rr v
vv rPr
rr
r
rr v
vv
4
4
2
2 )()(
)()(
Diskretna oblika Eulerjeve enačbe krivulje
• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne krivulje:
• Preurejena enačba, primerna za matrični zapis aktivnega modela
.0
222
21
1
2121
1121221
2
11
1
i
iiii
iiii
iiii
iii
iii
P
hhhh
hhh
v
vvvvvvvvv
vvvv
.0)(22
4
22
241
141
421
41
441
21
2
1441
2241
iii
iiii
iiiiii
iiii
ii
Phhhh
hhhhh
hhhh
vvv
v
vv
0)( vAv P
Aktivna površina
• v(r,s)=(x(r,s),y(r,s),z(r,s)); • r [0,1], s [0,1]
• x(r,s) [0,xmax]
• y(r,s) [0,ymax]
• z(r,s) [0,zmax]
• Površini pripada energijski funkcional:
• Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:
1
0
1
0
,,)( dsdrsrEsrEE extint vvv
2
2
2222
2
2
22
),(,
),(,2
),(,
),(,
),(,
2
1)),((
s
srsr
sr
srsr
r
srsr
s
srsr
r
srsr
srE
srsr
sr
int
vvv
vv
v
.0,
),(),(
),(),(2
),(),(
),(),(
),(),(
4
4
22
4
4
4
2
2
2
2
srP
s
srsr
sr
srsr
r
srsr
s
srsr
r
srsr
v
vvvvv
Diskretna oblika Eulerjeve enačbe površine
• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne površine:
.0
2
222
21
222
21
11
1111
1111
4
2222
2121
1121221
2
11
1
iiaiiaiiaiiai
iaiiaiiaiiaii
biaiiai
aiiaii
iaibiai
iiii
iiii
iiii
iaiai
aiii
iii
iii
Ph
hhhh
hhhh
hhhhhh
vvvvvvvvv
vvvvvvvv
vvvvvvvvv
vvvvvvvvv
vvvvvvvv
0)( vAv P
Aktivno telo• v(r,s,t)=(x(r,s,t),y(r,s,t),z(r,s,t));
• r [0,1], s [0,1], t [0,1]
• x(r,s,t) [0,xmax]
• y(r,s,t) [0,ymax]
• z(r,s,t) [0,zmax]
• Telesu pripada energijski funkcional
• Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:
1
0
1
0
1
0
,,,,)( dtdsdrtsrEtsrEE extint vvv
222222
2
2
22
2
22
2
2
222
),,(,,2
),,(,,2
),,(,,2
),,(,,
),,(,,
),,(,,
),,(,,
),,(,,
),,(,,
2
1
)),,((
ts
tsrtsr
tr
tsrtsr
sr
tsrtsr
t
tsrtsr
s
tsrtsr
r
tsrtsr
t
tsrtsr
s
tsrtsr
r
tsrtsr
tsrE
strtrs
tsr
tsr
int
vvv
vvv
vvv
v
.0,,),,(
),,(2),,(
),,(2),,(
),,(2
),,(),,(
),,(),,(
),,(),,(
),,(),,(
),,(),,(
),,(),,(
22
4
22
4
22
4
4
4
4
4
4
4
2
2
2
2
2
2
tsrPts
tsrtsr
tr
tsrtsr
sr
tsrtsr
t
tsrtsr
s
tsrtsr
r
tsrtsr
t
tsrtsr
s
tsrtsr
r
tsrtsr
vvvv
vvvvvv
Diskretna oblika Eulerjeve enačbe telesa
• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivnega telesa:
.0
2
2
2
222
21
222
21
222
21
1
11
4
1111
1111
4
1111
1111
4
2222
2222
2121
1121221
2
11
1
i
iaicicaiiaicicai
iaicicaiiaicicaii
iciiciiciici
iciiciiciicii
iaiiaiiaiiai
iaiiaiiaiiaii
diciici
ciicii
icidici
biaiiai
aiiaii
iaibiai
iiii
iiii
iiii
icici
ciii
iaiai
aiii
iii
iii
P
h
h
h
hhhh
hhhh
hhhh
hhh
hhhhhh
v
vvvvvvvv
vvvvvvvv
vvvvvvvv
vvvvvvvv
vvvvvvvv
vvvvvvvv
vvvvvvvvv
vvvvvvvvv
vvvvvvvvv
vvvv
vvvvvvvv
0)( vAv P
Zunanja energija
• Izvor zunanje energije je slika:• 2D, 3D• statične slike, časovno zaporedje 2D ali 3D slik, realni čas• barvna slika, teksture
• Zunanja energija izhaja iz slike in je neodvisna od aktivnega modela.
• Izvorno sliko preoblikujemo tako, da so na njej čimbolj poudarjene iskane strukture. Najpogosteje iščemo robove objektov na gradientnih slikah.
Variacijski pristop
• Iščemo rešitev Eulerjeve diferencialne enačbe
• Direktna metoda
• Aktivni modeli z vgrajenimi modeli oblike
• Elastični model (vm=v0): oblika modela je nespremenljiva
• Plastični model (vm=vt ): oblika modela se spreminja
0)( vAv P
)( 11 tttt P vvvAv
)( 111
ttt P vvIAv
)( 111
tmtt P vAvvIAv
Koncept aktivne točke
• Pri klasičnem pristopu se najprej diskretizira zvezni model, nato se na osnovi enačb zapiše matrika elastičnosti A.
• Urejenost množice točk se odraža v pasovni urejenosti matrike A.
• Pri metodi končnih diferenc so točka in njene povzave na sosednje točke osnovni sestavni del vsakega aktivnega modela.
• Pri konceptu aktivne točke, na vsako točko modela gledamo kot na samostojen in neodvisen delček celotnega sistema.
• Informacijo vsake aktivne točke posebej uporabimo za gradnjo matrike elastičnosti A.
• Ne zanima nas kakšna je geometrijska struktura modela kot celote. Vse vrste modelov obravnavamo na enoten način.
Dekompozicija matirke elastičnosti A
• Matrika elastičnosti vsebuje koeficiente diskretizirane Eulerjeve diferencialne enačbe.
• Dekompozicija matrike elastičnosti A =0: A = A
=0: A = A
>0, > 0: A = A + A
• Posebni primeri matrike elastičnosti A =1, =0, h=1: A = D
=0, =1, h=1: A = D
=1, =1, h=1: A = D + D
.0222
21
1
2121
1121221
2
11
1
iiii
iiii
iiii
iii
iii
hhhh
hhh
vvvvvvvvv
vvvv
0)( vAv P
011 iiii vvvv
02222 211112 iiiiiiiii vvvvvvvvv
-komponenta notranjih sil• Diskretizirana Eulerjeva diferencialna enačba aktivne
krivulje:
=1, =0, h=1: A = D
=
• Geometrijska predstavitev
0
vi
vi-1 vi+1
vi -vi+1vi -vi-1
f,i=(vi -vi-1)+(vi -vi+1)
0
vi
vi-1 vi+1
vi -vi+1vi -vi-1
f,i=(vi -vi-1)+(vi -vi+1)
.0222
21
1
2121
1121221
2
11
1
iiii
iiii
iiii
iii
iii
hhhh
hhh
vvvvvvvvv
vvvv
iiiii vvvvvf 11 11 iiiii vvvvvf
-komponenta notranjih sil• Diskretizirana Eulerjeva diferencialna enačba aktivne
krivulje:
=0, =1, h=1: A = D
=
.0222
21
1
2121
1121221
2
11
1
iiii
iiii
iiii
iii
iii
hhhh
hhh
vvvvvvvvv
vvvv
.02222 211112 iiiiiiiii vvvvvvvvv
11 iiiii vvvvvf 11 2 iiii vvvvf
0)()(2)( 1 iii vfvfvf
Algoritem aktivne točke
• Notranje sile, ki izvirajo iz četrtega odvoda Eulerjeve diferencialne enačbe in so zapisane v matriki D lahko izračunamo direktno iz matrike D po enačbi
• Algoritem aktivne točke:• Matriko D izračunamo iz topologije aktivnega modela
• Matriko D izračunamo neposredno iz matrike D
• Matriko elastičnosti izračunamo po enačbi
j
iji )( ,,, DDD
DSAS
;300
020
0011
2
h
DSAS
;300
020
0011
4
h
AAA
Izračun matrike D
• Kadar imamo opravka s klasičnim aktivnim modelom z enakomerno razporejenimi točkami, lahko uporabimo skrajšani algoritem aktivne točke.
2100112100012100012110012
1D
2010102011102100112011002
2D
Sklopljeni aktivni modeli
• Sklopljene aktivne modele dobimo, kadar med seboj povežemo klasične aktivne modele (krivulje, površine, telesa).
• Matriko elastičnosti A sklopljenega aktivnega modela izračunamo z algoritmom aktivne točke.
201010000000110000102100000001120000001100200000000002100100000121000000001210000000110000010012
31
13
D
Sklopljeni aktivni modeli
• Pri klasičnih aktivnih modelih vsaki točki pripišemo eno vrednost parametra elastičnosti in eno vrednost parametra elastičnosti .
• S temi vrednostmi vplivamo na moč povezave med točkami. Ker uporabljamo diferenco nazaj, oslabimo ali ojačamo zgolj povezave do točk z nižjim indeksom.
Sklopljeni aktivni modeli
• V vsaki točki aktivnega modela potrebujemo toliko vrednosti parametrov elastičnosti in , kolikor je povezav na sosednje točke.
Algoritem aktivne točke
• Če želimo imeti možnost nastavljanja moči posameznih povezav, izračunamo matriki A in A na sledeč način:
]00011000[
]00001100[
5,4
3,4
d
d
0,...,0,1,1,0,...,00,...,0,1,1,0,...,02,
,
2,
,,
ji
ji
ji
jii hh
A
j
ijji
ji h
)( ,,4,
,
DDA
0,...,0,1,1,0,...,00,...,0,1,1,0,...,0, iD
Sklopljeni aktivni modeli
• Nastavljanje moči povezav nam omogoča regulacijo vpliva posameznih povezav.
• Možne so tudi asimetrične povezave, ko so vrednosti parametrov elastičnosti na obeh koncih iste povezave različne.
Sintetična slika
• Za primer sintetične slike smo izbrali olimpijsko zastavo.
• Barvni krogi se pretvorijo v kroge različnih nivojev sivin.• Krogi različnih nivojev sivin se med seboj prekrivajo.• Olimpijski krogi kot celota so dokaj zapleten model.
Začetni položaji modelov
• Začetni položaj smo določili tako, da smo znani in željeni končni položaj aktivnih modelov uniformno premaknili navzdol.
p=15 p=20
p=25 p=30
Vrste aktivnih modelov
• V preizkusih smo uporabili sledeče vrste aktivnih modelov:• 10 neodvisnih klasičnih aktivnih krivulj• 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike• 5 sklopljenih aktivnih modelov z vgrajenimi modeli
oblike• 1 sklopljen aktivni model z vgrajenim modelom oblike
Vrste aktivnih modelov
• V preizkusih smo uporabili sledeče vrste aktivnih modelov:• 10 neodvisnih klasičnih aktivnih krivulj• 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike• 5 sklopljenih aktivnih modelov z vgrajenimi modeli
oblike• 1 sklopljen aktivni model z vgrajenim modelom oblike
Vrste aktivnih modelov
• V preizkusih smo uporabili sledeče vrste aktivnih modelov:• 10 neodvisnih klasičnih aktivnih krivulj• 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike• 5 sklopljenih aktivnih modelov z vgrajenimi modeli
oblike• 1 sklopljen aktivni model z vgrajenim modelom oblike
Vrste aktivnih modelov
• V preizkusih smo uporabili sledeče vrste aktivnih modelov:• 10 neodvisnih klasičnih aktivnih krivulj• 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike• 5 sklopljenih aktivnih modelov z vgrajenimi modeli
oblike• 1 sklopljen aktivni model z vgrajenim modelom oblike
Rezultati 10 neodvisnih aktivnih krivulj
=0.5; =0.5; p=15; =1; =1; p=15;
=1; =10; p=15; =10; =10; p=15;
Rezultati 10 neodvisnih aktivnih krivuljz vgrajeno obliko modela
=1; =0; p=15; =1; =10; p=15;
=10; =10; p=15; =100; =100; p=15;
Rezultati 5 sklopljenih aktivnih modelov z vgrajeno obliko modela
=1; =10; p=15; =100; =100; p=20;
=10; =10; p=25; =100; =100; p=30;
Rezultati 1 sklopljenega aktivnega modela z vgrajeno obliko modela
=1; =10; p=15; =100; =100; p=25;
=10; =10; p=30;
Segmentacija rentgenskih slik vratnih vretnec
• Na razpolago smo imeli 19 poravnanih rentgenskih slik vratnih vretenc.
• Na vsaki sliki so štiri vretenca (C3 do C6) označena s 7 ročno določenimi točkami.
Razdelitev slik v dve skupini
• Slike smo razdelili na dve skupini • Skupina 10 slik namenjenih segmentaciji• Skupina 9 slik za izračun modela povprečne vrednosti –
začetni položaj, ki je neodvisen od slike
Sklopljeni model vretenc
• Sklopljeni model vretenc smo zgradili s povezovanjem 5 točk sosednjih vretenc.
Klasične aktivne krivulje
• Začetni položaj aktivnih krivulj je neustrezen, zato so se klasične aktivne krivulje zelo slabo prilegale iskanim robovom.• Kopičenje točk v izrazitih delih robov• Prileganje ‘napačnim’ robovom
Klasične aktivne krivulje z omejenim gibanjem točk
• Kopičenje točk lahko preprečimo tako, da točkam dovolimo premikanje le pravokotno na aktivno krivuljo.
• Rezultati kljub temu niso bistveno boljši.
Baloni
• Rezultate še izboljšamo, če uporabimo sile napihovanja oziroma aktivne modele imenovane baloni. S preizkusi lahko določimo pravo mero sil napihovanja.
Aktivne krivulje z vgrajenim modelom oblike
• Zaradi slabo izraženih robov, smo uporabili model oblike, ki vzdržuje obliko aktivnega modela.
• Rezultati so bistveno boljši.
Sklopljeni model
• Na koncu smo uporabili še sklopljene aktivne modele z vgrajenimi modeli oblike. Oblika vretenca se ohranja, povezave pa povzročijo še dodatne deformacije.
Vrste modelov pri segmentaciji
• Vsako sliko smo segmentirali s sledečimi aktivnimi modeli• Baloni• Aktivnimi modeli z vgrajeno obliko modela
• plastični model oblike (vm=vt): • elastični model oblike (vm=v0):
• Sklopljeni aktivni modeli z vgrajeno obliko modela• plastični model oblike (vm=vt): • elastični model oblike (vm=v0):
• Vse zgoraj omenjene aktivne modele smo zagnali iz dveh različnih začetnih položajev • ročno določenega začetnega položaja• neodvisnega povprečnega začetnega položaja
• Ker ne obstaja merilo, s katerim bi lahko izmerili uspešnost metode, smo morali izvesti anketo, s katero smo želeli potrditi uspešnost sklopljenih aktivnih modelov.
Metoda rangiranja
• Sklopljeni aktivni modeli so boljši od ročno določenega položaja.
• Sklopljeni aktivni modeli so najboljši od vseh testiranih aktivnih modelov.
• Primerjava in rangiranje istoležnih krivulj: ročni položaj, baloni, vgrajeni modeli, sklopljeni modeli
A J B DI 3 1 4 2II 1 3 1 4III 2 4 2 2IV 4 2 2 1
Metoda primerjanja
• Želeli smo ugotoviti še vpliv začetnega položaja na rezultat • ročno določen položaj, ki pripada vsaki posamezni sliki• položaj, izračunan kot povprečje položajev preostalih 9 slik
• Vpliv vrste vgrajenega modela na rezultat• elastični model oblike • plastični model oblike
B/C D/E F/G H/I
I B E = I
II B D F =
III C E = I
IV = E = H
Metodologija raziskave
• V raziskavi je sodelovalo 8 oseb• 2 osebi, ki se ne ukvarjata ne z obdelavo slik, ne z medicino• 4 osebe, ki se ukvarjajo z obdelavo slik• 1 oseba, ki se ukvarja z medicino (splošni zdravnik)• 1 oseba, zdravnik specialist, kirurg, ki izvaja operacije
hrbtenice
• Vsaka oseba je pregledala 10 kompletov slik in pri tem izvedla• 160 razporeditev 4-ih krivulj po metodi rangiranja• 320 primerjav dveh krivulj
• Skupno je bilo torej izvedenih• 1280 razporeditev• 2560 primerjav
Rezultati rangiranja
• Spodnji rezultati zajemajo vseh 8 oseb. Razporeditev uspešnosti metod je bila pričakovana.
• Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.
Paired Differences t df Sig. (2-tailed)
Mean
Std. Deviation
Std. Error Mean
95% Confidence Interval of the
Difference
Lower Upper
Vgrajeni – Sklopljeni
,3149 ,33551 ,03799 ,2393 ,3905 8,289 77 ,000
Mean Std. Deviation Std. Error Mean
Ročno 2,9503 ,41143 ,04659
Baloni 3,6226 ,43001 ,04869
Vgrajeni 1,7917 ,32054 ,03629
Sklopljeni 1,4768 ,29021 ,03286
Rezultati rangiranja - strokovnjak
• Spodnji rezultati zajemajo le ocene strokovnjaka. Tudi tukaj je razporeditev metod pričakovana, vendar so ocene nižje.
• Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.
Mean Std. Deviation Std. Error Mean
Ročno 2,8000 ,18587 ,05878
Baloni 3,6563 ,37180 ,11757
Vgrajeni 2,0313 ,31903 ,10089
Sklopljeni 1,7813 ,23981 ,07583
Paired Differences t df Sig. (2-tailed)
Mean
Std. Deviation
Std. Error Mean
95% Confidence Interval of the
Difference
Lower Upper
Vgrajeni - Sklopljeni
,2500 ,17180 ,05433 ,1271 ,3729 4,602 9 ,001
Rezultati primerjave plastični/elastični
• Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike.
• Zgornja predvidevanja potrdi tudi parni T test
Mean Std. Deviation Std. Error Mean
Plastični 51,9068 13,46925 1,51541
Elastični 48,0932 13,46925 1,51541
Paired Differences T df Sig. (2-tailed)
Mean
Std. Deviation
Std. Error Mean
95% Confidence Interval of the
Difference
Lower Upper
Plastični - Elastični
3,814 26,93850 3,0302 -2,220 9,848 1,258 78 ,212
Rezultati primerjave ročno/povprečje
• Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike.
• Zgornja predvidevanja potrdi tudi parni T test
Mean Std. Deviation Std. Error Mean
Ročni 47,6592 18,13740 2,04062
Povprečje 52,3408 18,13740 2,04062
Paired Differences t df Sig. (2-tailed)
Mean
Std. Deviation
Std. Error Mean
95% Confidence Interval of the
Difference
Lower Upper
Ročni – Povprečje
-4,682 36,27480 4,0812 -12,81 3,443 -1,147 78 ,255
Zaključek
• Podan je bil nov pogled na klasične aktivne modele ter pripadajoči algoritem aktivne točke.
• Algoritem nam omogoča enotno obravnavo kateregakoli aktivnega modela, ne glede na njegovo prostorsko dimenzijo.
• Z algoritmom zlahka zgradimo sklopljene aktivne modele.• Algoritem nam omogoča boljše določanje elastičnih
lastnosti aktivnih modelov.
• Na primerih sintetičnih in realnih slik smo pokazli, da sklopljeni aktivni modeli vračajo bistveno oziroma statistično pomembno boljše rezultate.
• Z nekoliko boljšo določitvijo začetnega položaja bi lahko še izboljšali rezultate segmentacije vratnih vretenc.
top related