Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás
Orvosi képdiagnosztika • Diagnosztika = egy rendszer állapotának meghatározása a
rendszerről rendelkezésre álló mérések, megfigyelések és a priori információk alapján
• Állapotok száma: véges, sok esetben 2: hibás (beteg), normális működésű (egészséges). 𝐱Ny{0,1}; 𝐱Ny[0,1]
• Diagnosztika = döntés meghozatala
• Diagnosztikai rendszer = Input-output leképezés y=f(x)
• Orvosi diagnosztika
– Input: tünetek, vizsgálatok, leletek, képek, háttértudás
– Output: diagnózis. 2 (vagy több) osztályú osztályozási feladat
• Orvosi diagnosztika = tapasztalati tudomány – Sok minősített eset: {xi,di}i=1,P y=f(x)
– Megtanulja a döntéshozó a kapcsolatot
• Számítógépes diagnosztikai rendszer – Próbálja szimulálni az orvosi döntéshozást
– Más megközelítést (is) alkalmaz, mint az orvosok (az orvosi háttértudás felhasználása nehéz)
• Egy diagnosztikai rendszer fő elemei – Megfigyelési tér definiálása
– Döntési szabály konstruálása
– Döntés meghozatala
Orvosi képdiagnosztika
Döntési folyamat leképezései
tér
Megfigyelt rendszer (beteg)
Döntési tér Megfigyelési tér
1{ ,... ..., }i c
P(ωi)
p(xωi)
y{1,2,...c}
( | )iP x
Megfigyelés, mérés Mérési eredmények értelmezése, Jellemző kiválasztás (feature selection), dimenzió növelés, fontossági sorrend megállapítása, dimenzió csökkentés Döntés: döntési szabály, jellemzők alapján (valójában osztályozás)
Orvosi képdiagnosztikasztika
Tünetek, leletek = jellemzők
Diagnózis osztályozás
Lehet dönteni? igen
További vizsgálatok
nem
Döntési tér módosítása
(kép)diagnosztika
Iteratív folyamat
• Statisztikai alapon döntünk
• Milyen ismeretünk lehet: – osztályvalószínűségek, megfigyelések
• Kétosztályos osztályozás
– ω = ω1 egészséges ω = ω2 beteg naív döntés: a priori valószínűségek alapján
– ω1 ha P(ω1) > P(ω2); egyébként ω2.
– Mindig az lesz a döntés, hogy a paciens egészséges
Orvosi képdiagnosztika
1 2( ) ( )P P
ω2
ω1
• Döntési szabály mérések alapján: – A mérési adatok feltételes sűrűségfüggvénye (likelihood függvény)
alapján
– A megfigyelési tér: a mérési eredmények tere
– Döntési szabály: a megfigyelési tér dekomponálása, szeparálása
– Egydimenziós triviális esetben küszöbértékhez hasonlítunk
– Az egyes osztályok a priori valószínűségeit nem vettük figyelembe
Orvosi képdiagnosztika
1( | )p x
2( | )p x
p(xω1)
p(xω2)
1 2( ) ( )p x p x
ω2
ω1
Döntési küszöb
R1 R2
• Milyen alapon döntünk – Egy paraméter alapján (egydimenziós a döntési tér): küszöbbel
való összevetés, több küszöb – Likelihood
– Az a priori valószínűségeket nem veszi figyelembe
Statisztikai döntés
1( | )p x 2( | )p x
• Bayes döntés (a posteriori valószínűségek alapján)
• Bayes szabály
Statisztikai döntés
1 1 1 111
1,2
( ) ( ) ( ) ( )( , )( )
( ) ( ) ( ) ( )i i
i
p x P p x Pp xP x
p x p x p x P
1
1 1 2 2
2
( ) ( ) ( ) ( )
( ) ( )
p x P p x P
p x p x
=
1
1 2
2
( ) ( )P x P x
=
P(ω1, x)
P(ω2, x) 2 2( ) ( )p x P
A döntés minősítése • A döntés hibája, a hibás döntések valószínűségei
Ha =
• Döntés minősítése a hibás döntések valószínűség
• Költségfüggvény, veszteségfüggvény (loss function),
• Bayes kockázat (risk) a költség várható értéke
Statisztikai döntés
Optimális döntés: az átlagos döntési hiba minimumát biztosító döntés
R1 R2
1=PF (false alarm) a téves riasztás valószínűsége
elsőfajú hiba
2=PM (missed detection) a tévesztés valószínűsége
másodfajú hiba
Statisztikai döntés
A döntéshez költség is rendelhető: Cij annak a költsége, ha i a döntés de j a valódi osztály Ezzel a Bayes átlagos költség:
A Bayes költség minimumát biztosító döntés Mivel
és
Statisztikai döntés
Bayes döntés
Redukálható
hiba
Statisztikai döntés A Bayes költség felírható
Felhasználva ...
A döntési tartomány minimalizálja az átlagos költséget
1 1
2 2
11 1 1 12 2 2
2 2
21 1 1 22 2 2
( ) ( )
( ) ( )
R R
R R
C P p x dx C P p x dx
C P p x dx C P p x dx a b
R
1 1
21 1 22 2 12 22 2 2 21 11 1 1 ( ) ( ) ( ) ( )R R
C P C P C C P p x dx C C P p x dx R
1
1 12 22 2 2 21 11 1 1arg min ( ) ( ) ( ) ( )R
R C C P p x C C P p x dx
• Likelihood arány teszt
Statisztikai döntés
1
2
( )( )
( )
Px
P
=
ω1
ω2
Naiv döntés = 1
Likelihood függvény alapján = 1 1
2
( )( )
( )
p xx
p x
ω1
ω2
=
1 2
2 1
( ) ( )( )
( ) ( )
p x Px
p x P
ω1
ω2
= Bayes döntésnél = 𝑃(𝜔2
𝑃(𝜔1
1 12 22 2
2 21 11 1
( ) ( ) ( )( )
( ) ( ) ( )
p x C C Px
p x C C P
ω1
ω2
= A Bayes költség minimumát biztosító döntésnél
12 22 2
21 11 1
( ) ( )
( ) ( )
C C P
C C P
Statisztikai döntés A Bayes hiba az a priori valószínűségek függvénye: a döntési küszöb (felület) módosul
Statisztikai döntés • További döntési szabályok
– Minimax döntés
– A Bayes hiba az a priori valószínűségek függvénye.
Statisztikai döntés • További döntési szabályok
– Neyman-Pearson döntés
– Az a priori valószínűségek meghatározása lehet nehéz
– A cél a hibavalószínűségek minél kisebb értéken tartása
– Az egyik hibavalószínűség (PF) rögzítése mellett (PF=) a másik (PM)minimumát biztosító döntést keressük: Lagrange multiplikátoros feltételes szélsőérték-kereső probléma
– Itt is megadható a likelihood arány teszt
( )NP M FC P P
1
2 1(1 ) ( ) ( )NP
R
C p x p x dx
1
2
( )( )
( )
p xx
p x
ω1
ω2
=
• Neyman-Pearson döntés triviális esetben nemtriviális esetben
Statisztikai döntés
• A döntés eredménye
A döntés minősítése
Valóság döntés
egészséges beteg
egészséges Valódi negatív (TN) (Helyes döntés)
Téves negatív (FP) (Missed detection PM,
másodfajú hiba, 2)
beteg Téves pozitív (FP) (False alarm PF,
elsőfajú hiba, 1)
Valódi pozitív (TP) (Helyes döntés)
Érzékenység (sensitivity) = 𝑇𝑃
𝑇𝑃+𝐹𝑁
Fajlagosság (specificity) = 𝑇𝑁
𝑇𝑁+𝐹𝑃
R1 R2
• Értékelés
– ROC görbe, (érzékenység 1-specificitás; 1-PM PF)
– FROC (mivel túl sok a téves pozitív)
– AUC
Minősítés
Többdimenziós megfigyelési tér
Tetszőleges Gauss sűrűségfüggvények mellett: általános kvadratikus elválasztó (hiper)felület
Osztályozás • Döntési szabály: az eredő kockázat minimumát biztosító választ kell adni. A
kockázat általában nem meghatározható. A megfigyelések terét kell két tartományra bontani. – Több paraméter alapján (többdimenziós döntési tér) – A tér szeparálása: lineáris, nemlineáris, összefüggő tartományok, nem
összefüggő tartományok • Felhasználható információ
------------------------------------------------------------------------------- – megfigyelések {xi,di} i=1,...,L – a priori valószínűségek: – a megfigyelések feltételes sűrűségfüggvényei: Bayes döntés – Költségértékek: Cij
------------------------------------------------------------------------------- – megfigyelések {xi,di} i=1,...,L – megfigyelések feltételes sűrűségfüggvényei ------------------------------------------------------------------------------- – megfigyelések megfigyelések {xi,di} i=1,...,L LS döntés -------------------------------------------------------------------------------
( )iP ( )ip x }
( )ip x }
Egyre kevesebb
a felhaszn
ált ismeret
maximum likelihood döntés
Osztályozás, szeparáló felület
lineáris kvadratikus
?
Több paraméter alapján (többdimenziós döntési tér)
Általános nemlineáris
• Lineáris osztályozók – Megfelelő feltételek mellett Bayes, ML , LS
– LDA
– Perceptron
– Logisztikus regresszió (megfelelő feltételek mellett)
– SVM (kernel gépek, lineáris kernellel)
– Döntési fák ...
• Nemlineáris osztályozók – Megfelelő feltételek mellett Bayes
– Nemlineáris transzformáció + lineáris osztályozó • Nemparametrikus módszerek (NN, kNN)
• KDA
• Bázisfüggvényes megoldások
• Kernel gépek (nemlineáris kernellel)
– Neurális hálók
Osztályozók
Osztályozás
Perceptron Logisztikus regresszió LS megoldás ML megoldás Gauss eloszlások mellett Bayes megoldás regularizált LS megoldás Gauss eloszlások mellett
Lineáris osztályozás
• LDA többdimenziós tér (x) egydimenziós tér (y=wTx)
• Kitüntetett vetítési irány (w) keresése
m1
m2
m1
m2
LDA: Fisher linear discriminant
Optimalizálási feladat: azt a vetítési irányt keressük, mely irányra vetítve az adatok a legjobban megkülönböztethetők
Sw
( )T
TJ
-1
W Bw S S ww
w w
2 1 iránya ( )BS w m m2 1 2 1( )( )T BS w m m m m w
1 W BS S w w
Rayleigh hányados
2
1 2 2 1 2 1( ) ( )( )T T Tm m Bw m m m m w w S w
• Perceptron
Lineáris osztályozás
s(k) = wTx(k) y(k) = sgn(s(k)) (k)= d(k)-y(k)
1 1 k k d k y k k k k k w w x w x
• Konvergens, ha: • Az adatok lineárisan szeparálhatók • Véges számú adat van • Az adatok felülről korlátosak • >0
Lineáris osztályozás LS megoldás y=wTx vagy y=wTx+w0
Iteratív megoldás analitikus megoldás: pszeudoinverz
1 2 1k k d k y k k k k k w w x w x
1( )T Tw X X X d
Lineáris osztályozás
• Logisztikus regresszió posterior alapján dönt
1 11
2 21 1 2 2
1 1
( | ) ( ) 1 1( | ) ( )
( | ) ( )( | ) ( ) ( | ) ( ) 11
( | ) ( )
a
p x PP x a
p x Pp x P p x P e
p x P
1 1
2 2
( | ) ( )ln
( | ) ( )
p x Pa
p x P
1
2
( )ln
( )
P
P
1( )P x
( )kP x
Folytonos bemenet mellett, Gauss eloszlású mérési adatoknál
• Maximum likelihood megoldás
Lineáris osztályozás
(1 )
1( | , ) (1 )i i
Ld d
i i i ii
p d y y
x w
( 1| , ) sgm( ) ( )T T
i ip d x w w x w x
( 0 | , ) 1 sgm( ) 1 ( )T T
i ip d x w w x w x
(1 ) (1 )( , ) ( ( )) (1 ( ) (1 )i i i id d d dT T
i i i i i ip d y y x w w x w x Egy mintára
Az összes (L) mintára
11
( ) ln (1 ) ln(1 )
LL
i i i i
ii
L d y d y
w Likelihood függvény Iteratív megoldás
Lineáris osztályozás
optimális
hipersík
2x
1x
r
x
px
,
0 ha 1
0 ha 1
T
i i
T
i i
b a d
b a d
w x
w x
( ) 1 1, 2, , T
i id b i Pw x
1
1, , ( ) 1
2
P
T T
i i i
i
L b d bw α w w w x
1
, ,0
P
i i i
i
L bd
w αw x
w
1
, ,0 0
P
i i
i
L bd
b
w α0i
1 1 1
1( )
2
P P P
T
i i j i j i j
i i j
Q d d α x x
1
0
P
i i
i
d 0i 1,....,i P
1
sP
i i i
i
dw x1
( ) sign
PT
i i i
i
y d bx x x
p r
wx x
w
1r
w
Kernel gép (SVM)
Nemlineáris osztályozás
Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó LS megoldás Kernel gép
T
i i
i
y w x w φ x
Nemlineáris transzformá
ció
Lineáris osztályozó
N M>N
x (x) y 1( )T Tw Φ Φ Φ d
( ( ) ) 1 1, 2, ,T
i id b i P w φ x
1 1 1
1( ) ( ) ( )
2
P P PT
i i j i j i j
i i j
Q d d
α φ x φ x1
( )i
P
i i
i
d
w x
( , ) ( ) ( )Τ
i iK x x x x 1
( ) sign ( , )
i
P
i i
i
y d K bx x x
Nemlineáris osztályozás Paramétereiben is nemlineáris osztályozó LS megoldás
1 2 sgm 2k k k k s k k k k k k w w x w x
+
+
+
x( )k
x0 = 1
x k1( )
x kN( )
w k0( )
w k1( )
w kN( )
-
+ ( )k d k( )
sgm( )Ty w x
(2) (1) y f W f W x
Nemlineáris osztályozás
x
x
sgm
sgm
sgm
sgm
sgm
d
d
PE (1) 2
PE (1) 3
PE (2) 1
PE (2) 2
PE (1 ) 1
s
s
1 (1)
(1) 2
s
s
s
(1)
(2)
(2 )
3
1
2
y
y
y
y
y
(1) 1
2
2
1
(1)
(1) 3
2
1
2
x = (1)
1
0
2
N
x (1) x = y (1)
(2) 0
x =
W W (1) (2)
1
y = y (2) (2)
x (1)
(1)
(1)
1 1
( ) ( 1) (1)... ( ) L Ly f W f W f W x
Paramétermeghatározás: minimumkeresés (LS probléma), BP vagy annak valamelyik variánsa
Nemlineáris osztályozó • Nemparametrikus nemlineáris osztályozó
– NN nearest neighbour, k-NN
• Posterior becslése
• Nemmetrikus módszerek – Döntési fák
– CART
– Szabály alapú módszerek
– ...
n cimkézett minta x körül egy V térfogat (tartomány) k mintából ki darab i cimkéjű
m-edik osztályba sorolunk, ha
Jellemzők kiválasztása • A jellemzők meghatározása, kiválasztása: az egyik legnehezebb
feladat • ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett
szűrők, stb.) • ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők
(kerület, terület, ezek aránya, ...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia, ...) , gradiens jellemzők: Gauss deriváltak DoG, LoG,...
• Globális-lokális jellemzők dilemmája
• A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? • Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka • Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális
vizsgálat) • Occam borotvája • Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) • Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1
norma • Relevant vector machine (Bayes módszer a változók szelektálására) • ...
Jellemző kiválasztás • PCA
1 2, , ..., T
NT φ φ φy TxTi j ijφ φ 1 , vagyis T T T T I T T
1
N
i i
i
y
x φ
1
ˆM
i i
i
y M N
x
2
222
1 1 1
ˆN M N
i i i i i
i i i M
E E y y E y
x x φ φ
Ti iy φ x
2
1 1 1
N N NT T T T Ti i i i i i
i M i M i M
E E
xxφ x x φ φ xx φ φ R φ
2
1 1
ˆ 1 1N N
T T Ti i i i i i i i
i M i M
xxφ φ φ C φ φ φ
1
ˆ2 2
N
i i ii i M
xxC φ φ 0φ
i i ixxC φ φ
2
1 1 1
N N NT Ti i i i i i
i M i M i M
xxφ R φ φ φ
2
T
T T
E yf
w Rww
w w w wRayleigh hányados
Jellemző kiválasztás • KPCA : , ( )N F Φ x X Φ xR
1
1 P T
j j
jP
C Φ x Φ x V CV 1
P
i i
i
V Φ x
T Tk k Φ x V Φ x CV
1 1 1
1P P PT T T
i k i i k j j i
i i jP
Φ x Φ x Φ x Φ x Φ x Φ x
, Tij i j i jK K x x Φ x Φ x 2P Kα K α P α Kα
1
k kT V V
, 1
, 1
1P
k k Ti ji j
i j
Pk k k kT
iji ji j
k kTk
K
Φ x Φ x
α Kα
α α
1 1
,P P
k kk T Ti ii i
i i
K
V Φ x Φ x Φ x x x
Sajátvektorok normalizálása A jellemzőtérbeli vektorok vetítése
• KPCA Jellemző kiválasztás
1 1
21 1 , 1
1 1
1 1 11 1 1 1
P P
ij i p j k
p k
P P P
ij ip pj ik kj ip pk kj
p k p k
P P P P ij
KP P
K K K KP P P
Φ x Φ x Φ x Φ x
K 1 K K1 1 K1
Nulla várható érték biztosítása
1
1 P
i i k
kP
Φ x Φ x Φ x
Tij i jK Φ x Φ x K α α
1
Pi ii
V Φ x
1 0Pk k Φ x
Jellemző kiválasztás • PLS • A kritérium szekvenciálisan maximáljuk a kimenet és a bemeneti
változók lineáris kombinációját X, d
• w a bemeneti változók xi és a kimenet d kapcsolatát (súlyait) adja meg)
• Ortogonalitási feltétellel
2
1
arg max cov ( , )T
k
w w
w Xw d
k kt Xw
0 minden 1T T T
k j k j j k t t w X Xw
Orvosi CAD rendszerek információ-feldolgozási folyamata
Mellkas röntgenkép (PA) diagnosztika
Orvosi CAD rendszerek információ-feldolgozási folyamata
Mellkas tomoszintézis
Orvosi CAD rendszerek információ- feldolgozási folyamata
Mammográfia
Main types of suspicious areas
spikulált folt
Jóindulatú elváltozás
mikrokalcifikáció architekturális torzítás
malignant
cases
20.05.2004 IMTC 2004, Como, Italy
A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular
Kép szegmentálás
Éldetektálás és textura alapú osztályozás
Matching
based on
segment
position
+
texture
parameters
Egy lehetséges út a mikrokalcifikációk detektálásra Image
reading
Texture analysis
Suspicious
segment?
yes no
Focusing
on suspicious
subsegment
yes no
Edge detection
yes
no
Image egment
selection
Reinforcement
Curvilinear
detection
Verification
yes
no
Removing of curvilinear
objects
True positive result
Fals positive
result
Kulcscsont és bordák árnyékának eltüntetése
Kulcscsont és bordák árnyékának eltüntetése
Kerekárnyék keresés
Kerekárnyék keresés
Kerekárnyék keresés
Kerekárnyék keresés
Kerekárnyék keresés
Kerekárnyék keresés
Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)
example of the results of the steps of vessel feature extraction.