képregisztrációs eljárásokhome.mit.bme.hu/~hadhazi/oktatas/okd19/reg.pdfregisztráció célja...
TRANSCRIPT
-
Képregisztrációs eljárások
Orvosi képdiagnosztika
2019 ősz
-
• Két kép egymáshoz igazítása, illesztése
– Példák:
• Időbeli követés
• Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI, ...)
fúzió
• Műtét (menet közbeni felvétel előzetes felvétellel való
összevetése)
• Kép alapú egyéb beavatkozás (besugárzás beállítás... )
• Mozgás hatásának kompenzációja
• A regisztrációs eljárások elemei:
– Transzformáció, interpoláció, hasonlósági metrika, optimalizálási
algoritmus
Regisztráció célja
-
Időbeli követés példa
Korábbi felvétel Későbbi, ellenőrző felvétel
-
Korábbi felvétel Egyszerű kivonás
Időbeli követés példa
-
Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás
Időbeli követés példa
-
Korábbi felvétel merev regisztráció Későbbi felv. rugalmas regisztrációval
elastic B-spline registration
Időbeli követés példa
-
Korábbi felv. merev regisztrációval Különbségkép
Időbeli követés példa
-
• Fúzióra:
– MRI-CT, PET-CT
– CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor,
gyulladás
Regisztráció célja
-
Regisztráció célja
• Feltételezve, hogy a megfeleltetés ismert
keressük azt az f () és g() függvényt, hogy a két kép a lehetőlegjobban illeszkedjen (valamilyen kritérium értelmében)
• I2(x,y)=g (I1(f (x,y))
• f () – 2D képbeli transzformáció
• g() –1D intenzitás transzformáció
-
• Dimenzió:
• 2D-2D, 2D-3D, 3D-3D
• A regisztráció bázisa
– Jellemzőpontok, objektumok alapján / intenzitás alapon
• Torzítást modellező geometriai transzformáció
– Globális / lokális transzformáció
– Pl. hasonlósági, affin, perspektív, szakaszosan lineáris, RBF alapú, stb.
• Az interaktivitás mértéke
– teljesen automatikus, emberi közreműködés
• Modalitás
– azonos
– különböző (multimodalitás) - fúzió
Regisztráció csoportosítása
-
Síkbeli geometriai transzformációk
• Hasonlósági transzformációk:
– Eltolás, elforgatás, izotróp skálázást modelleznek
– 2 megfeleltetett pontpár alapján már számítható
• Affin transzfromáció:
– Már nyírást is képes modellezni
– Koordináták felett lineáris – 3 pontpár kell minimum
• Projektív transzformáció:
– Ha projektív torzulás is már jelen lehet
– Homogén koordináták felett lineáris – 4 pontpár kell minimum
• Görbült transzformáció:
– Lokális / elasztikus modellekkel lehet leírni
-
Hasonlósági transzformáció (Merev transzf.)
• Forgatás (R)
• Eltolás (t)
• Skálázás (s)
2
2
2
x
y
p1
1
1
x
y
p
2 1s p t Rp
cos( ) sin( )
sin( ) cos( )
Rs1
2
t
t
t
Lehetséges nem izotróp skálázással is, úgy viszont már nem hasonlósági transzf.R determinánsa mindig 1.R unitér: T R R I
-
Affin transzformáció
• Forgatás
• Eltolás
• Skálázás
• Nyírás
• R elemeire (aij) nincs semmi megkötés azon kívül, hogy nem szinguláris
1
1
2221
1211
23
13
2
2
y
x
aa
aa
a
a
y
x
A párhuzamosok párhuzamosak maradnak, síkok/egyenesek síkok/egyenesek maradnak
2 1 p t Rp
-
Affin transzformáció
• Kiindulás: vegyünk egy euklideszi síkot.
• A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le.
• Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése.
– a) párhuzamos egyeneseket párhuzamos egyenesekbe képez
– b) parallelogrammát parallelogrammába képez
• A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.
• Adekvát, ha a kamera és a fényképezett objektum távolsága nagy a kamera által látott területhez viszonyítva.
-
Projektív transzformáció
• Megtartja az egyeneseket és a síkokat• (x1,y1) eredeti koordináták
• (x2,y2) transzformált koordináták
• aij együtthatók a kép és a síkok egyenleteiből számíthatók
• homogén lineáris transzformáció aij –kből képzett mátrixa nem szinguláris
• Kell, ha már projektív torzulás is lehet
11 1 12 1 13
2
31 1 32 1 33
a x a y ax
a x a y a
21 1 22 1 23
2
31 1 32 1 33
a x a y ay
a x a y a
1
2
1
T
Rp tp
v p11 12
21 22
a a
a a
R13
23
a
a
t31
32
a
a
v 33a
-
Nemlineáris, globális transzformációk
Globális polinomiális transzformáció
Lehet többváltozós polinom is:
Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában
( ) ( )( ) ( )x yT P x P y
, ,
1 2
1 , 1 1 , 1 1
, ,
I J I J
i j i j
i j i j
i j i j
x y x y
p c c
, 2I J
-
Nemlineáris, lokális transzformációk
szakaszonkénti polinomokkal
• Motiváció :
– Globális polinomnak túl nagy fokszám kellett volna
– Ha kevés különböző szakasz van, akkor gyorsan számolható
• Szakaszhatárok elsimítása:
– Köbös / spline-al történő interpolációval (szakaszok határás összemossuk a két területen belüli leképzést)
0 1 2 30
0.2
0.4
0.6
0.8
1
0 0.5 1 1.5 20
0.2
0.4
0.6
0.8
1
0 1 2 30
0.2
0.4
0.6
0.8
1
0 1 2 3 40
0.2
0.4
0.6
0.8
1
-
• Általában alacsony fokszámú polinom + RBF-ek összege:
• Radiális bázisfüggvényes tagok:
– Lokális torzulásokat modellezik
– véges tartójú, radiális függvény
– Tartójuk szabályozza, hogy mennyire globálisak / lokálisak
– N , - k megválsztása nem triviális (heurisztikus módszerek pl. OLS)
– Leggyakrabban a Thin-plate spline-t alkalmazzák:
Nemlineáris, lokális transzformációk
Radiális bázisfüggvényekkel)
1
,N
i
f g
0 1 i ix a A x C x x
,g
ix
22 2, lng i i ix x x x x x
-
Regisztrációs módszerek
• Jellemző (tipikusan referenciapont) alapú
• Terület alapú (intenzitás / Fourier)
-
Jellemző alapú regisztráció
• Jellemzők:
– Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb.
– Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny)
– Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek
– Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,
– ...
-
Pont leképezés alapú regisztráció
• Referenciapontok meghatározása :
– anatómiai jelentéssel rendelkező pontok
– egyéb markerpontok: jól megkülönböztethető, azonosítható pontok
– Fontos, hogy diszkriminatívak, pontosan lokalizálhatóak és torzítás invariánsak legyenek
• Konkrét probléma dönti el, hogy mi lehet ilyen
• Pl. sarokpontok
– Akár kézzel is megadhatóak
• Torzulást leíró geometriai transzformáció:
– Típusának megkeresése
– Paraméterek értékének „belövése”
-
Kontrollpontok párosításának minősítése:
– Négyzetes hibával:
• Túlilleszkedés veszélye
• súlyokon keresztül történik a lokalizációs hiba figyelembe vétele
(ideális értékük: )
– Torzít, ha olyan pontokra is megnézzük, melyek alapján
kerestük a transzformáció paramétereit:• Ezekre 0 hiba elérhető, teljesen csapnivaló eredmény mellett
• Érdemes külön validációs kontrollpontokat kijelölni, és ezeket csak
a minősítéshez felhasználni.
– Lehetséges stabilitásvizsgálatot is csinálni:• Hasonlít a kereszt kiértékelésre (lsd. Neurális hálózatok)
Pont leképezés alapú regisztráció
-
Kontrollpont alapú reg. algoritmusok
1. Pont alapú merev regisztráció (egybevágósági transzf):
Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint)
súlyok ahol
1. Súlyozott centroidok:
2. Középpont eltolás
3. Súlyozott kovarianciamátrix számítás
4.
5.
6.
22
1
1( , )
N
i i i
i
C wN
R t Rx t y 21
i
i
wFLE
2iFLE
2 2
1 1
1/
N N
i i i
i i
w wN
x x
lokalizációs hiba
2 2
1 1
1/
N N
i i i
i i
w wN
y y
; i i i i x x x y y y
2
1
N
T
i i i
i
w
H x y
1 2 1 2 ( , ) 0
(1,det( ))
T T T
T
diag
diag
H UΛV U U V V I Λ
R V VU U
t y Rx
-
Kp. alapú reg. algoritmusok– Ortog.
Procrustes eljárás (1)
•
•
•
•
• Tehát
•
• Vegyük a SVD felbontást
• Tehát ortonormált mátrixok, pedig diagonális,
minden eleme nem negatív
2arg min . . T
F s t
S
R SA B S S I
2 TF Tr SA B SA B SA B SA B SA B
2T T T T TTr Tr SA B SA B A S SA B B B SA
2 , , 2 ,T T T TTr A S SA B B B SA A A B B B SA
arg max , . . T s t S
R B SA S S I
, , T T T T T TTr Tr Tr B SA SA B A S B BA S S BAT TBA UΛV
, ,U V S Λ
-
Kp. alapú reg. algoritmusok– Ortog.
Procrustes eljárás (2)
• Tehát maximalizáljuk -t
– De ortonormált, míg diagonális
– Tehát
– Használjuk ki azt, hogy ortonormált, és
• Ott van a maximum, ahol
• Mivel ortonormáltak, ezért
• Tehát levezettük, hogy
– Másik megközelítésnél súlyozzuk a mintákat
– És az 5. pontban kikényszerítjük, hogy +1 legyen , azaz
forgatást kapjunk, egyébként analóg a két módszer
–
T T T TTr TrS UΛV V S UΛT T
V S U Λ
, ,T T T T
i i i ii
Tr V S UΛ V S UT T
V S U
T T V S U I
R N NΛ
,V U T TS VU TS UV
TR UV
det R
, ,..., , ,..., 1 2 M 1 2 MA x x x B y y y
-
Kp. alapú reg. algoritmusok
2. Hasonlósági transzformáció
22
2
1
22
2
1
N
i i
i
N
i i
i
w
s
w
s
Rx
y
t y Rx
22
1
( , , )
N
i i i
i
C s w s
R t Rx t y
Keressük R, t és s értékeit, melyek mellett minimális:
Legyen s=1Határozzuk meg R-et az előző alg. 1.-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt
-
3. Nemizotróp skálázás
Kp. alapú reg. algoritmusok
Keressük R, t és S értékeit, melyek mellett minimális:
Határozzuk meg az és középértékeket és az eltolt értékeket:Legyen n=1
Válasszunk kezdeti skálázási mátrixot S(0)
iteráció:- Legyen - Hajtsuk végre az 1. algoritmus 3.-5. lépéseit R meghatározására- n=n+1
- Határozzuk meg S(n)-t- Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment
x y x y
( ) ( )n n
i ix S x
22
1
1( , , )
N
i i i
i
C wN
R t S RSx t y
-
• Korreláció
• A két kép 2D normalizált kereszt korrelációs függvénye
Hasonlóságot mér különböző eltolások esetén
A normalizálás a lokális
intenzitás hatásának
kiküszöbölésére kell
Intenzitás alapú regisztráció
-
Intenzitás alapú regisztráció - Korreláció tétel
• A két kép korrelációjának Fourier transzformáltja az
egyik kép Fourier transzformáltjának a szorzata a másik
Fourier transzformáltjának komplex konjugáltjával.
• Egydimenziós esetre a korreláció tétel
exp 2
exp 2 exp 2
z x t y t dt x t Y j t d dt
z Y x t j t dt j d
Z Y X
-
Fourier transzformáción alapuló módszerek
• Fázis-korreláció
• Kereszt teljesítmény spektrum
• Teljesítmény cepstrum
A Fourier transzformáción alapuló módszerekhatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk)
Ez is intenzitás alapú eljárás – lokális intenzitásváltozásokat képtelen követni.
-
Fázis korreláció alapú regisztráció eltolás
transzformáció identifikálására
• Egymáshoz képest eltolt képek transzformáció-jának identifikációja
– Eltolás modellezhető egy megfelelő helyen lévő dirac-deltával történő konvolúcióval.
–
– Tehát
– Vizsgáljuk meg a két jel kereszt teljesítmény spektrumát:
– Innen az eltolás már könnyen kiszámítható
• Lokális intenzitásváltozásokat nem képes figyelembe venni
0 0exp 2F x x j x
0 0exp 2F y x x x Y j x
0exp 2j x Y Y Y Y
1 10 0exp 2F j x F Y Y Y Y x x
-
Fázis korreláció alapú regisztráció elforgatás
transzformáció identifikálására
• Egy kép fokkal középpontja körüli elforgatása a kép spektrumát is ilyen mértékben forgatja el:
– Egyszerűen belátható a Fourier vetítősík tétel alkalmazásával
• Ampl. spektrum eltolás invariáns:
– Tehát ha az ampl. spektrum elfordulását meg tudnánk határozni, akkor kész lenne a regisztráció
– Az elforgatás az ampl. spektrum polár koordinátás felírása esetén megegyezik a vízszintes tengellyel bezárt szög szerinti cirkuláris eltolással
– Tehát visszavezettük a problémát az eltolás meghatározására
-
Fourier vetítősík tétel
-
Példa – Fourier regisztráció
100 200 300 400 500 600 700
100
200
300
400
500
600
700100 200 300 400 500 600 700
100
200
300
400
500
600
700
-
Példa – Fourier regisztráció
A két kép ampl. spektruma polárkoordinátás
ábrázolásban
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
50 100 150 200 250 300 350
100
200
300
400
500
600
700
800
900 -1
0
1
2
3
4
theta theta
frekvencia
frekvencia
-
Fourier regisztráció példa
-
Regisztráció bázisának megválasztás
• Általában k.p. alapú eljárások preferáltak:
– Könnyebben számolhatóak
– Nagyobb szabadságfok (görbült transzformációk is)
– Viszont ezek típusának megválasztása kritikus
• Terület (intenzitás / spketrum alapú eljárások):
– Főleg fúziónál elterjedtek
– Általánosan csak hasonlósági trafóra számolhatók
könnyen
– Akkor alkalmazzák, ha nincsenek a problémához
illeszkedő kontrollpontok (pl. textúra, stb.)
-
Hasonlóság mértékek
• Intenzitás alapú eljárásokhoz
• Kép különbségképzés: SSD sum of squares of intensity differences
• Korrelációs együttható
• Együttes sűrűségfüggvény (kiváltképp fúziónál fontos)
ahol Hist(j,k) a két kép együttes hisztogramja
1 2
2
2
( , ) ( , )( , )
( , )
x y
x y
I x y I x u y vC u v
I x u y v
2
1 2
1
1( ) ( )
N
i
SSD I i I iN
,
( , )( , )
( , )j k
Hist j kPDF j k
Hist j k
-
Együttes hisztogram
• MR-MR
• MR-CT
• MR-PET
illeszkedő kis elmozdulás nagyobb elmozdulás
-
Együttes hisztogram - fúziós regisztráció
-
Együttes hisztogram - fúziós regisztrációs
tökéletesen illeszkedő 2mm elmozdulás 5mm elmozdulás
képek az egyik képnél
Megfigyelés: a két kép tökéletes illesztésénél az együttes hisztogram a legélesebb
-
PET - CT
-
Intenzitás alapú eljárásokhozKereszt entrópia
Az együttes entrópia (minimalizálás)
Kölcsönös információ (maximalizálás)
MI(I1, I2’) = H(I1)+H(I2’)-H(I1,I2’)
Kullback-Leibler divergencia:
JS divergencia:
Hasonlóság mértékek
t( ) log ( )s
H s p s
,
( , ) log ( , )j k
H PDF j k PDF j k
1 2
,
( , ') logij
ij
i ji j
pMI I I p
p p
1,
1 2 1,
2,
( , ') logi
i
ii
pKL I I p
p
1 2 1 2
1 2 1 2
' '1JS( , ') , ',
2 2 2
I I I II I KL I KL I
-
Hasonlósági metrikák
• Normalizált keresztkorrelációs függvény
– Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a
korrelációtérben nagy csúcsot találni
• Fázis korreláció
– Frekvenciafüggő zajra nem érzékeny
• Az intenzitáskülönbségek abszolút értékeinek összege
– Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést
lehet találni
• Kontúr/felszín különbségek
– Strukturális regisztráció esetén jó
• Előjelváltások száma a pontonkénti intenzitáskülönbségeknél
– Nem hasonló képeknél működik jól