univerza v ljubljani fakulteta za elektrotehniko analiza slik s sklopljenimi aktivnimi modeli

Univerza v Ljubljani

Fakulteta za elektrotehniko

Analiza slik s sklopljenimi aktivnimi modeli

mag. Aleš Klemenčič, univ. dipl. ing. el.

Uvod

• Predstavitev aktivnih modelov

• Koncept aktivne točke• Algoritem aktivne točke• Sklopljeni aktivni modeli

• Primer sintetične slike: olimpijski krogi• Primer realne slike: rentegenske slike vratnih vretenc

Aktivni modeli

• Aktivni modeli združujejo geometrijo modela s fizikalnimi lastnostmi elastičnih materijalov.

• Aktivni modeli se preoblikujejo pod vplivom lastnih, notranjih sil ter vplivom zunanjih sil, ki izhajajo iz okolice (slike).

• Aktivni modeli so namenjeni segmentaciji slik. Uporabni so zlasti za segmentacijo bio-medicinskih (2D, 3D) slik in za sledenje objektom v zaporedju slik.

Aktivni modeli

Aktivne površineAktivna telesaAktivne krivulje

Aktivna krivulja

• v(r)=(x(r),y(r),z(r)); • r [0,1]

• x(r) [0,xmax]

• y(r) [0,ymax]

• z(r) [0,zmax]

• Krivulji pripada energijski funkcional:

• Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:

1

0

)( drrErEE extint vvv

2

2

22)()(

2

1

r

rr

r

rrrE rrint

vvv

0)(

)()(

)(4

4

2

2

rPr

rr

r

rr v

vv rPr

rr

r

rr v

vv

4

4

2

2 )()(

)()(

Diskretna oblika Eulerjeve enačbe krivulje

• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne krivulje:

• Preurejena enačba, primerna za matrični zapis aktivnega modela

.0

222

21

1

2121

1121221

2

11

1

i

iiii

iiii

iiii

iii

iii

P

hhhh

hhh

v

vvvvvvvvv

vvvv

.0)(22

4

22

241

141

421

41

441

21

2

1441

2241

iii

iiii

iiiiii

iiii

ii

Phhhh

hhhhh

hhhh

vvv

v

vv

0)( vAv P

Aktivna površina

• v(r,s)=(x(r,s),y(r,s),z(r,s)); • r [0,1], s [0,1]

• x(r,s) [0,xmax]

• y(r,s) [0,ymax]

• z(r,s) [0,zmax]

• Površini pripada energijski funkcional:


1

0

1

0

,,)( dsdrsrEsrEE extint vvv

2

2

2222

2

2

22

),(,

),(,2

),(,

),(,

),(,

2

1)),((

s

srsr

sr

srsr

r

srsr

s

srsr

r

srsr

srE

srsr

sr

int

vvv

vv

v

.0,

),(),(

),(),(2

),(),(

),(),(

),(),(

4

4

22

4

4

4

2

2

2

2

srP

s

srsr

sr

srsr

r

srsr

s

srsr

r

srsr

v

vvvvv

Diskretna oblika Eulerjeve enačbe površine

• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne površine:

.0

2

222

21

222

21

11

1111

1111

4

2222

2121

1121221

2

11

1

iiaiiaiiaiiai

iaiiaiiaiiaii

biaiiai

aiiaii

iaibiai

iiii

iiii

iiii

iaiai

aiii

iii

iii

Ph

hhhh

hhhh

hhhhhh

vvvvvvvvv

vvvvvvvv

vvvvvvvvv

vvvvvvvvv

vvvvvvvv

0)( vAv P

Aktivno telo• v(r,s,t)=(x(r,s,t),y(r,s,t),z(r,s,t));

• r [0,1], s [0,1], t [0,1]

• x(r,s,t) [0,xmax]

• y(r,s,t) [0,ymax]

• z(r,s,t) [0,zmax]

• Telesu pripada energijski funkcional


1

0

1

0

1

0

,,,,)( dtdsdrtsrEtsrEE extint vvv

222222

2

2

22

2

22

2

2

222

),,(,,2

),,(,,2

),,(,,2

),,(,,

),,(,,

),,(,,

),,(,,

),,(,,

),,(,,

2

1

)),,((

ts

tsrtsr

tr

tsrtsr

sr

tsrtsr

t

tsrtsr

s

tsrtsr

r

tsrtsr

t

tsrtsr

s

tsrtsr

r

tsrtsr

tsrE

strtrs

tsr

tsr

int

vvv

vvv

vvv

v

.0,,),,(

),,(2),,(

),,(2),,(

),,(2

),,(),,(

),,(),,(

),,(),,(

),,(),,(

),,(),,(

),,(),,(

22

4

22

4

22

4

4

4

4

4

4

4

2

2

2

2

2

2

tsrPts

tsrtsr

tr

tsrtsr

sr

tsrtsr

t

tsrtsr

s

tsrtsr

r

tsrtsr

t

tsrtsr

s

tsrtsr

r

tsrtsr

vvvv

vvvvvv

Diskretna oblika Eulerjeve enačbe telesa

• Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivnega telesa:

.0

2

2

2

222

21

222

21

222

21

1

11

4

1111

1111

4

1111

1111

4

2222

2222

2121

1121221

2

11

1

i

iaicicaiiaicicai

iaicicaiiaicicaii

iciiciiciici

iciiciiciicii

iaiiaiiaiiai

iaiiaiiaiiaii

diciici

ciicii

icidici

biaiiai

aiiaii

iaibiai

iiii

iiii

iiii

icici

ciii

iaiai

aiii

iii

iii

P

h

h

h

hhhh

hhhh

hhhh

hhh

hhhhhh

v

vvvvvvvv

vvvvvvvv

vvvvvvvv

vvvvvvvv

vvvvvvvv

vvvvvvvv

vvvvvvvvv

vvvvvvvvv

vvvvvvvvv

vvvv

vvvvvvvv

0)( vAv P

Zunanja energija

• Izvor zunanje energije je slika:• 2D, 3D• statične slike, časovno zaporedje 2D ali 3D slik, realni čas• barvna slika, teksture

• Zunanja energija izhaja iz slike in je neodvisna od aktivnega modela.

• Izvorno sliko preoblikujemo tako, da so na njej čimbolj poudarjene iskane strukture. Najpogosteje iščemo robove objektov na gradientnih slikah.

Variacijski pristop

• Iščemo rešitev Eulerjeve diferencialne enačbe

• Direktna metoda

• Aktivni modeli z vgrajenimi modeli oblike

• Elastični model (vm=v0): oblika modela je nespremenljiva

• Plastični model (vm=vt ): oblika modela se spreminja

0)( vAv P

)( 11 tttt P vvvAv

)( 111

ttt P vvIAv

)( 111

tmtt P vAvvIAv

Koncept aktivne točke

• Pri klasičnem pristopu se najprej diskretizira zvezni model, nato se na osnovi enačb zapiše matrika elastičnosti A.

• Urejenost množice točk se odraža v pasovni urejenosti matrike A.

• Pri metodi končnih diferenc so točka in njene povzave na sosednje točke osnovni sestavni del vsakega aktivnega modela.

• Pri konceptu aktivne točke, na vsako točko modela gledamo kot na samostojen in neodvisen delček celotnega sistema.

• Informacijo vsake aktivne točke posebej uporabimo za gradnjo matrike elastičnosti A.

• Ne zanima nas kakšna je geometrijska struktura modela kot celote. Vse vrste modelov obravnavamo na enoten način.

Dekompozicija matirke elastičnosti A

• Matrika elastičnosti vsebuje koeficiente diskretizirane Eulerjeve diferencialne enačbe.

• Dekompozicija matrike elastičnosti A =0: A = A

=0: A = A

>0, > 0: A = A + A

• Posebni primeri matrike elastičnosti A =1, =0, h=1: A = D

=0, =1, h=1: A = D

=1, =1, h=1: A = D + D

.0222

21

1

2121

1121221

2

11

1

iiii

iiii

iiii

iii

iii

hhhh

hhh

vvvvvvvvv

vvvv

0)( vAv P

011 iiii vvvv

02222 211112 iiiiiiiii vvvvvvvvv

-komponenta notranjih sil• Diskretizirana Eulerjeva diferencialna enačba aktivne

krivulje:

=1, =0, h=1: A = D

=

• Geometrijska predstavitev

0

vi

vi-1 vi+1

vi -vi+1vi -vi-1

f,i=(vi -vi-1)+(vi -vi+1)

0

vi

vi-1 vi+1

vi -vi+1vi -vi-1

f,i=(vi -vi-1)+(vi -vi+1)

.0222

21

1

2121

1121221

2

11

1

iiii

iiii

iiii

iii

iii

hhhh

hhh

vvvvvvvvv

vvvv

iiiii vvvvvf 11 11 iiiii vvvvvf

-komponenta notranjih sil• Diskretizirana Eulerjeva diferencialna enačba aktivne

krivulje:

=0, =1, h=1: A = D

=

.0222

21

1

2121

1121221

2

11

1

iiii

iiii

iiii

iii

iii

hhhh

hhh

vvvvvvvvv

vvvv

.02222 211112 iiiiiiiii vvvvvvvvv

11 iiiii vvvvvf 11 2 iiii vvvvf

0)()(2)( 1 iii vfvfvf

Algoritem aktivne točke

• Notranje sile, ki izvirajo iz četrtega odvoda Eulerjeve diferencialne enačbe in so zapisane v matriki D lahko izračunamo direktno iz matrike D po enačbi

• Algoritem aktivne točke:• Matriko D izračunamo iz topologije aktivnega modela

• Matriko D izračunamo neposredno iz matrike D

• Matriko elastičnosti izračunamo po enačbi

j

iji )( ,,, DDD

DSAS

;300

020

0011

2

h

DSAS

;300

020

0011

4

h

AAA

Izračun matrike D

• Kadar imamo opravka s klasičnim aktivnim modelom z enakomerno razporejenimi točkami, lahko uporabimo skrajšani algoritem aktivne točke.

2100112100012100012110012

1D

2010102011102100112011002

2D

Sklopljeni aktivni modeli

• Sklopljene aktivne modele dobimo, kadar med seboj povežemo klasične aktivne modele (krivulje, površine, telesa).

• Matriko elastičnosti A sklopljenega aktivnega modela izračunamo z algoritmom aktivne točke.

201010000000110000102100000001120000001100200000000002100100000121000000001210000000110000010012

31

13

D


• Pri klasičnih aktivnih modelih vsaki točki pripišemo eno vrednost parametra elastičnosti in eno vrednost parametra elastičnosti .

• S temi vrednostmi vplivamo na moč povezave med točkami. Ker uporabljamo diferenco nazaj, oslabimo ali ojačamo zgolj povezave do točk z nižjim indeksom.


• V vsaki točki aktivnega modela potrebujemo toliko vrednosti parametrov elastičnosti in , kolikor je povezav na sosednje točke.

Algoritem aktivne točke

• Če želimo imeti možnost nastavljanja moči posameznih povezav, izračunamo matriki A in A na sledeč način:

]00011000[

]00001100[

5,4

3,4

d

d

0,...,0,1,1,0,...,00,...,0,1,1,0,...,02,

,

2,

,,

ji

ji

ji

jii hh

A

j

ijji

ji h

)( ,,4,

,

DDA

0,...,0,1,1,0,...,00,...,0,1,1,0,...,0, iD


• Nastavljanje moči povezav nam omogoča regulacijo vpliva posameznih povezav.

• Možne so tudi asimetrične povezave, ko so vrednosti parametrov elastičnosti na obeh koncih iste povezave različne.

Sintetična slika

• Za primer sintetične slike smo izbrali olimpijsko zastavo.

• Barvni krogi se pretvorijo v kroge različnih nivojev sivin.• Krogi različnih nivojev sivin se med seboj prekrivajo.• Olimpijski krogi kot celota so dokaj zapleten model.

Začetni položaji modelov

• Začetni položaj smo določili tako, da smo znani in željeni končni položaj aktivnih modelov uniformno premaknili navzdol.

p=15 p=20

p=25 p=30

Vrste aktivnih modelov

• V preizkusih smo uporabili sledeče vrste aktivnih modelov:• 10 neodvisnih klasičnih aktivnih krivulj• 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike• 5 sklopljenih aktivnih modelov z vgrajenimi modeli

oblike• 1 sklopljen aktivni model z vgrajenim modelom oblike

Rezultati 10 neodvisnih aktivnih krivulj

=0.5; =0.5; p=15; =1; =1; p=15;

=1; =10; p=15; =10; =10; p=15;

Rezultati 10 neodvisnih aktivnih krivuljz vgrajeno obliko modela

=1; =0; p=15; =1; =10; p=15;

=10; =10; p=15; =100; =100; p=15;

Rezultati 5 sklopljenih aktivnih modelov z vgrajeno obliko modela

=1; =10; p=15; =100; =100; p=20;

=10; =10; p=25; =100; =100; p=30;

Rezultati 1 sklopljenega aktivnega modela z vgrajeno obliko modela

=1; =10; p=15; =100; =100; p=25;

=10; =10; p=30;

Segmentacija rentgenskih slik vratnih vretnec

• Na razpolago smo imeli 19 poravnanih rentgenskih slik vratnih vretenc.

• Na vsaki sliki so štiri vretenca (C3 do C6) označena s 7 ročno določenimi točkami.

Razdelitev slik v dve skupini

• Slike smo razdelili na dve skupini • Skupina 10 slik namenjenih segmentaciji• Skupina 9 slik za izračun modela povprečne vrednosti –

začetni položaj, ki je neodvisen od slike

Sklopljeni model vretenc

• Sklopljeni model vretenc smo zgradili s povezovanjem 5 točk sosednjih vretenc.

Klasične aktivne krivulje

• Začetni položaj aktivnih krivulj je neustrezen, zato so se klasične aktivne krivulje zelo slabo prilegale iskanim robovom.• Kopičenje točk v izrazitih delih robov• Prileganje ‘napačnim’ robovom

Klasične aktivne krivulje z omejenim gibanjem točk

• Kopičenje točk lahko preprečimo tako, da točkam dovolimo premikanje le pravokotno na aktivno krivuljo.

• Rezultati kljub temu niso bistveno boljši.

Baloni

• Rezultate še izboljšamo, če uporabimo sile napihovanja oziroma aktivne modele imenovane baloni. S preizkusi lahko določimo pravo mero sil napihovanja.

Aktivne krivulje z vgrajenim modelom oblike

• Zaradi slabo izraženih robov, smo uporabili model oblike, ki vzdržuje obliko aktivnega modela.

• Rezultati so bistveno boljši.

Sklopljeni model

• Na koncu smo uporabili še sklopljene aktivne modele z vgrajenimi modeli oblike. Oblika vretenca se ohranja, povezave pa povzročijo še dodatne deformacije.

Vrste modelov pri segmentaciji

• Vsako sliko smo segmentirali s sledečimi aktivnimi modeli• Baloni• Aktivnimi modeli z vgrajeno obliko modela

• plastični model oblike (vm=vt): • elastični model oblike (vm=v0):

• Sklopljeni aktivni modeli z vgrajeno obliko modela• plastični model oblike (vm=vt): • elastični model oblike (vm=v0):

• Vse zgoraj omenjene aktivne modele smo zagnali iz dveh različnih začetnih položajev • ročno določenega začetnega položaja• neodvisnega povprečnega začetnega položaja

• Ker ne obstaja merilo, s katerim bi lahko izmerili uspešnost metode, smo morali izvesti anketo, s katero smo želeli potrditi uspešnost sklopljenih aktivnih modelov.

Metoda rangiranja

• Sklopljeni aktivni modeli so boljši od ročno določenega položaja.

• Sklopljeni aktivni modeli so najboljši od vseh testiranih aktivnih modelov.

• Primerjava in rangiranje istoležnih krivulj: ročni položaj, baloni, vgrajeni modeli, sklopljeni modeli

A J B DI 3 1 4 2II 1 3 1 4III 2 4 2 2IV 4 2 2 1

Metoda primerjanja

• Želeli smo ugotoviti še vpliv začetnega položaja na rezultat • ročno določen položaj, ki pripada vsaki posamezni sliki• položaj, izračunan kot povprečje položajev preostalih 9 slik

• Vpliv vrste vgrajenega modela na rezultat• elastični model oblike • plastični model oblike

B/C D/E F/G H/I

I B E = I

II B D F =

III C E = I

IV = E = H

Metodologija raziskave

• V raziskavi je sodelovalo 8 oseb• 2 osebi, ki se ne ukvarjata ne z obdelavo slik, ne z medicino• 4 osebe, ki se ukvarjajo z obdelavo slik• 1 oseba, ki se ukvarja z medicino (splošni zdravnik)• 1 oseba, zdravnik specialist, kirurg, ki izvaja operacije

hrbtenice

• Vsaka oseba je pregledala 10 kompletov slik in pri tem izvedla• 160 razporeditev 4-ih krivulj po metodi rangiranja• 320 primerjav dveh krivulj

• Skupno je bilo torej izvedenih• 1280 razporeditev• 2560 primerjav

Rezultati rangiranja

• Spodnji rezultati zajemajo vseh 8 oseb. Razporeditev uspešnosti metod je bila pričakovana.

• Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.

Paired Differences t df Sig. (2-tailed)

Mean

Std. Deviation

Std. Error Mean

95% Confidence Interval of the

Difference

Lower Upper

Vgrajeni – Sklopljeni

,3149 ,33551 ,03799 ,2393 ,3905 8,289 77 ,000

Mean Std. Deviation Std. Error Mean

Ročno 2,9503 ,41143 ,04659

Baloni 3,6226 ,43001 ,04869

Vgrajeni 1,7917 ,32054 ,03629

Sklopljeni 1,4768 ,29021 ,03286

Rezultati rangiranja - strokovnjak

• Spodnji rezultati zajemajo le ocene strokovnjaka. Tudi tukaj je razporeditev metod pričakovana, vendar so ocene nižje.

• Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.


Ročno 2,8000 ,18587 ,05878

Baloni 3,6563 ,37180 ,11757

Vgrajeni 2,0313 ,31903 ,10089

Sklopljeni 1,7813 ,23981 ,07583


Mean

Std. Deviation

Std. Error Mean


Difference

Lower Upper

Vgrajeni - Sklopljeni

,2500 ,17180 ,05433 ,1271 ,3729 4,602 9 ,001

Rezultati primerjave plastični/elastični

• Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike.

• Zgornja predvidevanja potrdi tudi parni T test


Plastični 51,9068 13,46925 1,51541

Elastični 48,0932 13,46925 1,51541

Paired Differences T df Sig. (2-tailed)

Mean

Std. Deviation

Std. Error Mean


Difference

Lower Upper

Plastični - Elastični

3,814 26,93850 3,0302 -2,220 9,848 1,258 78 ,212

Rezultati primerjave ročno/povprečje

• Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike.

• Zgornja predvidevanja potrdi tudi parni T test


Ročni 47,6592 18,13740 2,04062

Povprečje 52,3408 18,13740 2,04062


Mean

Std. Deviation

Std. Error Mean


Difference

Lower Upper

Ročni – Povprečje

-4,682 36,27480 4,0812 -12,81 3,443 -1,147 78 ,255

Zaključek

• Podan je bil nov pogled na klasične aktivne modele ter pripadajoči algoritem aktivne točke.

• Algoritem nam omogoča enotno obravnavo kateregakoli aktivnega modela, ne glede na njegovo prostorsko dimenzijo.

• Z algoritmom zlahka zgradimo sklopljene aktivne modele.• Algoritem nam omogoča boljše določanje elastičnih

lastnosti aktivnih modelov.

• Na primerih sintetičnih in realnih slik smo pokazli, da sklopljeni aktivni modeli vračajo bistveno oziroma statistično pomembno boljše rezultate.

• Z nekoliko boljšo določitvijo začetnega položaja bi lahko še izboljšali rezultate segmentacije vratnih vretenc.

univerza v ljubljani fakulteta za elektrotehniko analiza slik s sklopljenimi aktivnimi modeli

Documents