capitolo 15 la classificazione supervisionata classificazione a. dermanis, l.biagi

CAPITOLO 15CAPITOLO 15

La Classificazione supervisionataLa Classificazione supervisionata

CLASSIFICAZIONECLASSIFICAZIONE

A. Dermanis, L.Biagi

xSi

Ci = (x – mi)(x – mi)T 1ni

mi = xxSi

1ni

Metodi di classificazione supervisionata:

ParallelepipediDistanza euclideaDistanza di MahalanobisMassima verosimiglianzaBayesiano

Metodi di classificazione supervisionata:

ParallelepipediDistanza euclideaDistanza di MahalanobisMassima verosimiglianzaBayesiano

I pixel noti in ciascuna classe ω1, ω2, ..., ωK,

formano gli “insieme campione” S1, S2, ..., SK

con n1, n2, ..., nK pixel ciascuno.

I pixel noti in ciascuna classe ω1, ω2, ..., ωK,

formano gli “insieme campione” S1, S2, ..., SK

con n1, n2, ..., nK pixel ciascuno.

Stime per ciascun insieme campione Si, (i = 1, 2, …, K ) :

Vettori delle medie: Matrici di covarianza:

La Classificazione supervisionataLa Classificazione supervisionata

A. Dermanis, L.Biagi

|| x – mi || = min || x – mk || x ik

dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2

(a) Semplice(a) Semplice

Assegna ciascun pixel alla classecon centro più vicino.

Confini fra le classi: iperpianiperpendicolari nel punto medio al segmento congiungente i centri delle classi.

La Classificazione con la distanza EuclideaLa Classificazione con la distanza Euclidea

A. Dermanis, L.Biagi

|| x – mi || > T, i x 0

|| x – mi || = min || x – mk ||k x i

|| x – mi || T

(b) Con livello di soglia T(b) Con livello di soglia T

Assegna ciascun pixel alla classecon centro più vicinosedistanza < livello di soglia

Lascia non classificati i pixel (class ω0)la cui distanza da ogni centro è maggiore della soglia.

dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2

La Classificazione con la distanza EuclideaLa Classificazione con la distanza Euclidea

A. Dermanis, L.Biagi

Si introduce il ruolo della statistica nella classificazione!

La Classificazione con distanza EuclideaLa Classificazione con distanza Euclidea

Giusto Sbagliato

dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2

A. Dermanis, L.Biagi

ij = (Ci)jj j = 1, 2, …, B

Deviazione standard per ogni banda

La classificazione con il metodo dei parallelepipediLa classificazione con il metodo dei parallelepipedi

x Pj x ix Pj x i

x Pi x 0x Pi x 0ii

Classificazione:Classificazione:

x = [x1 … xj … xB]T Pj

mij – k i

j xj mij + k i

j

j = 1, 2, …, B

Parallelepipedi Pi

A. Dermanis, L.Biagi

dM(x,mi) > T, i x0

dM(x,mi) < dM(x,mk), ki

dM(x,mi) T, xi

C = (x – mi) (x – mi)T = ni Ci 1

N i xSi

1

Ni

dM(x, x) = (x – x)T C–1 (x – x) Distanza di Mahalanobis:

Classificazione (semplice):

Classificazione con soglia:

La classificazione con la distanza di MahalanobisLa classificazione con la distanza di Mahalanobis

(Matrice di covarianza)

dM(x,mi) < dM(x,mk), ki xi

A. Dermanis, L.Biagi

di(x) > dk(x) k i xi

di(x) = 2 ln[li(x)] + B ln(2) = – ln | Ci | – (x – mi)T Ci–1 (x – mi)

li(x) > lk(x) k i xi

12

li(x) = exp [ – (x – mi)T Ci–1 (x – mi) ](2)B/2 | Ci |1/2

1

Funzione di distribuzione di probabilità o funzione di verosimiglianza per la classe ωi:

Classificazione:

Equivalente all’uso della funzione di decisione:

La classificazione con il metodo di massima verosimiglianzaLa classificazione con il metodo di massima verosimiglianza

A. Dermanis, L.Biagi

N : numero totale di pixel (i.e. per ogni banda)

B : numbero di bande,

ω1, ω2, …, ωK : le K classi presenti nell’immagine

Ni : numero di pixel nella classe ωi (i = 1,2, …, K)

nx : numero di pixel con valore x

nxi : numero di pixel con valore x in classe ωi

La classificazione mediante approccio BayesianoLa classificazione mediante approccio Bayesiano

A. Dermanis, L.Biagi

Nn x

x NNi

i ii Nn x

x i

i

n n x x

La classificazione mediante approccio BayesianoLa classificazione mediante approccio Bayesiano

N : numero totale di pixel (i.e. per ogni banda)

B : numbero di bande,

ω1, ω2, …, ωK : le K classi presenti nell’immagine

Ni : numero di pixel nella classe ωi (i = 1,2, …, K)

nx : numero di pixel con valore x

nxi : numero di pixel con valore x in classe ωi

A. Dermanis, L.Biagi

Nn x

x NNi

i ii Nn x

x i

i

n n x x

xi

xi

xx

nn N

nnN

Identità di base:

La classificazione mediante approccio BayesianoLa classificazione mediante approccio Bayesiano

N : numero totale di pixel (i.e. per ogni banda)

B : numbero di bande,

ω1, ω2, …, ωK : le K classi presenti nell’immagine

Ni : numero di pixel nella classe ωi (i = 1,2, …, K)

nx : numero di pixel con valore x

nxi : numero di pixel con valore x in classe ωi

A. Dermanis, L.Biagi

Nn x

x NNi

i ii Nn x

x i

i

n n x x

xi

xi

xx

nn N

nnN

xi i

i

x

n N

N Nn

N

La classificazione mediante approccio BayesianoLa classificazione mediante approccio Bayesiano

N : numero totale di pixel (i.e. per ogni banda)

B : numbero di bande,

ω1, ω2, …, ωK : le K classi presenti nell’immagine

Ni : numero di pixel nella classe ωi (i = 1,2, …, K)

nx : numero di pixel con valore x

nxi : numero di pixel con valore x in classe ωi

Identità di base:

A. Dermanis, L.Biagi

Nn x

x NNi

i ii Nn x

x i

i

n n x x

xi

xi

xx

nn N

nnN

xi i

i

x

n N

N Nn

N

xi i

ixi

xx

n N

N Nn

nnN

La classificazione mediante approccio BayesianoLa classificazione mediante approccio Bayesiano

N : numero totale di pixel (i.e. per ogni banda)

B : numbero di bande,

ω1, ω2, …, ωK : le K classi presenti nell’immagine

Ni : numero di pixel nella classe ωi (i = 1,2, …, K)

nx : numero di pixel con valore x

nxi : numero di pixel con valore x in classe ωi

Identità di base:

A. Dermanis, L.Biagi

p(i) =Ni

N

p(x) =nx

N

p(x | i) =nxi

Ni

p(x, i) =nxi

N

p(i | x) =nxi

nx

probabilità che un pixel appartenga alla classe ωi

probabilità che un pixel abbia il valore x

probabilità che un pixel della classe ωi abbia valore x (condizionata)

probabilità che un pixel con valore x appartenga alla classe ωi (condizionata)

probabilità che un pixel abbia il valore x eappartenga alla classe ωi (congiunta)

A. Dermanis, L.Biagi

p(i) =Ni

N

p(x) =nx

N

p(x | i) =nxi

Ni

p(x, i) =nxi

N

p(i | x) =nxi

nx

probabilità che un pixel appartenga alla classe ωi

probabilità che un pixel abbia il valore x

probabilità che un pixel della classe ωi abbia valore x (condizionata)

probabilità che un pixel con valore x appartenga alla classe ωi (condizionata)

probabilità che un pixel abbia il valore x eappartenga alla classe ωi (congiunta)

xi i

ixi

xx

n N

N Nn

nnN

A. Dermanis, L.Biagi

p(i) =Ni

N

p(x) =nx

N

p(x | i) =nxi

Ni

p(x, i) =nxi

N

p(i | x) =nxi

nx

probabilità che un pixel appartenga alla classe ωi

probabilità che un pixel abbia il valore x

probabilità che un pixel della classe ωi abbia valore x (condizionata)

probabilità che un pixel con valore x appartenga alla classe ωi (condizionata)

probabilità che un pixel abbia il valore x eappartenga alla classe ωi (congiunta)

xi i

ixi

xx

n N

N Nn

nnN

( | ) ( )( | )

( )i i

ip ω pω

pωp

=x

xx

Þ

formula di Bayes

A. Dermanis, L.Biagi

p(x|i) p(i)p(i|x) = p(x)

Pr(B | A) =Pr(A | B) Pr(B)

Pr(A)

Pr(A | B) =Pr(AB)

Pr(B)

Pr(A | B) Pr(B) = Pr(AB) = Pr(B | A) Pr(A)

p(x |i) p(i) > p(x |k) p(k) k i xi

p(i |x) > p(k |x) k i xi

p(x) = non necessaria (fattore comune)

Teorema di Bayes:

evento A = occorrenza del valore xevento B = occorrenza della classe ωi

Classificazione:

Classificazione:

A. Dermanis, L.Biagi

(x – mi)T Ci–1 (x – mi) + ln[ | Ci | + ln[p(i)] = min

p(x | i) p(i) = max

ln[p(x | i) p(i)] = ln[p(x | i) + ln[p(i) = max

p(x | i) = li(x) = exp{– – (x – mi)T Ci–1 (x – mi) }

(2)B/2 | Ci |1/2

1 12

Anzichè:

Equivalente

Classificazione:

per distribuzioneGaussiana:

o, finalmente:

p(x|i) p(i) = max [p(x|k) p(k) xi k

– – (x – mi)T Ci–1 (x – mi) – – ln[ | Ci | + ln[p(i)] = max1

212

A. Dermanis, L.Biagi

p(1) = p(2) = … = p(K)

C1 = C2 = … = CK = C

p(1) = p(2) = … = p(K)

C1 = C2 = … = CK = I

p(1) = p(2) = … = p(K)

(x – mi)T (x – mi) = min

(x – mi)T Ci–1 (x – mi) = min

(x – mi)T Ci–1 (x – mi) + ln[ | Ci | = min

(x – mi)T Ci–1 (x – mi) + ln[ | Ci | + ln[p(i)] = min

La Classificazione Bayesiana per una distribuzione Gaussiana:

CASI SPECIALI:

Massima Verosimiglianza!

Distanza di Mahalanobis!

Distanza Euclidea!

A. Dermanis, L.Biagi