a priori elképzelésünk b) van modellünk · osztályozás diszkriminancia analízis diszkrim.doc...

KEMOMETRIA VII-1/43 /2013 ősz Osztályozás Diszkriminancia analízis

Diszkrim.doc

A struktúra felismerés két módja: a) Nincs a priori elképzelésünk b) Van modellünk A modell lehet elméleti vagy kísérleti A kísérleti modellt illeszteni kell.


Diszkrim.doc

Az illesztést (aktualizálás, paraméterbecslés, kalibrálás) ismert értékű objektumokkal végzik. (tanító halmaz, training set, referencia) Nincs training set = clusteranalízis, Kell training set = osztályozás


Diszkrim.doc

A kovariancia mátrixról Ha

==

nmnjn

imiji

mj

ij

xxx

xxx

xxx

x

LL

M

LL

M

LL

1

1

1111

)(nmX

az adatmátrix, akkor


Diszkrim.doc

a centrált adatmátrix Gram mátrixa, (n - 1) szabadsági fokkal osztva a kovariancia mátrix.

nmmnmmXXC c

T

cn 1

1

−=

(A G Gram mátrix pozitiv szemidefinit, (det(G) ≥ 0), szimmetrikus és négyzetes)


Diszkrim.doc

C átlós elemei a varianciák, átlón kívüli

szimmetrikus elemei a kovarianciák

=

)var(0)cov(

0)var()cov(

)cov()cov()var(

2

1

mxxx

xxx

xxxxx

C

m1

21

m121

L

M

L

L


Diszkrim.doc

Mint ismeretes var(X) = E((X-E(X))2), becsült értéke : s2

és cov(XjXk) = E((Xj-E(Xj)( Xk-E(Xk)) becsült értéke: rjk.sj.sk

rjk: korrelációs együttható.


Diszkrim.doc

Ha a tulajdonságok nem kovariálnak, var(xj) = sj

2

jelöléssel: :

=

2

2

2

2

1

00

00

00

ms

s

s

L

M

L

L

C


Diszkrim.doc

és ha minden tulajdonság varianciája egyezik:

EC .22

2

2

2

100

010

001

00

00

00

ss

s

s

s

=

=

=

L

M

L

L

L

M

L

L

Ez a homoszkedasztikus eset


Diszkrim.doc

A diszkriminancia analízis modelljei Az m-változós normális eloszlás sűrüség-

függvénye

( )

( ) ( )

−−−=

−

2exp

det2

1)(

1 cxCcx

Cx

T

mP

π

Itt: x egy m-méretű valószínűségi vektor, amelynek várható érték vektora c, és kovariancia mátrixa C.


Diszkrim.doc

Képezhető a P(g│x) feltételes valószínűség:

Az x vektorú objektum ahhoz a cg súlypontú és Cg kovariancia mátrixú clusterhez tartozik majd, amelynél a P(g|x) feltételes valószínűség legnagyobb. Itt pg a Bayes elv alkalmazása miatt bevezetett a priori, ”prior” valószínűség.


Diszkrim.doc

Célszerű a p(g│x) függvény logaritmusát tekinteni. A szélsőérték szempontjából közömbös

m

π2

1 tag elhagyása után

( )( )( ) ( ) ( ) )ln(detln2

ln2),(

gg

1

g

T

g CcxCcx

xx

+−−+−=

=−=−

gp

gPgD

Ez az érték legyen a helyes g megtalálásakor

maximális.


Diszkrim.doc

A diszkriminancia elemzések fajtái Diszkriminancia elemzések clusterek (teljes)

kovariancia mátrixában különböznek.

Különleges eset a legközelebbi súlypont osztályozás, amelyben a tulajdonságok egyezó szórását és korrelálatlanságát is feltételezik.


Diszkrim.doc

Diszkriminancia módszerek

Jellemző Elnevezés Közismert név Jel Cg =σ2 E

minden g-re Legközelebbi

súlypont osztályozás

Nearest Mean Classifier

NMC

Cg egyezik minden g-re

Lineáris diszkriminancia

analízis

Linear Discriminant

Analysis

LDA

Cg

különböző minden g-re

Kvadratikus diszkriminancia

analízis

Quadratic Discriminant

Analysis

QDA


Diszkrim.doc

A legközelebbi súlypont módszer (NMC) diszkriminancia analízis azon esete, amelyben a célfüggvényt olyan rendszerre írjuk fel, amelyben minden clusterben minden tulajdonság szórása megegyezik és a tulajdonságok nem korrelálnak.


Diszkrim.doc

A célfüggvényben ekkor a Cg kovariancia mátrix

helyére az s2.E mátrixot kell helyettesíteni:

( )( ) ( ) ( ) ( ) )ln(1

ln2ln2),( sms

pgPgD g +−−+−=−= g

T

g cxcxxx

Látszik, hogy a D(g,x) célfüggvénynek, osztályonként közös sg = s érték esetén ott van minimuma, ahol x legközelebb van cg súlyponthoz, azaz euklideszi távolságuk legkisebb. (N.B.: m ln (s) konstans)


Diszkrim.doc

Még nyilvánvalóbb ez a tény, ha a pg prior

valószínűség minden osztályban egyezik, amikor a célfüggvény

( ) ( )g

T

g cxcxx −−=),(gD

Két cluster között az osztályhatár a két súlypontot összekötő egyenes felezőpontjában az egyenesre merőleges g-dimenziós hipersík


Diszkrim.doc

A K-Nearest Neighbors (KNN) clusteranalizis és

a Nearest Mean Classifier (NMC) osztályozás ugyanúgy dönt az obejktumok clusterbe sorolásáról.

A különbség abban áll, hogy az osztályozásnál az osztálysúlypontokat az algoritmus a tanítóhalmaz (training set) elemeiből számítja, és azok az osztályozás során nem mozdulnak el.


Diszkrim.doc

PÉLDA NMC osztályozásra.


Diszkrim.doc

D:\SCAN-I\SCANWIN\DATA\OUR-DATA\IRIS.MTW File>Open Worksheet>d:\...\scan\iris.mtw File>Classify>NMC


Diszkrim.doc

Input Predictors: (training set): a négy metrikus méret Select Category: (training set): species Select Options: Class Priors Loss Functions Proportional Unit Equal Spec. by... Spec. by...


Diszkrim.doc

Graphs: mind a négy √ √ √ √

Storage: most nem kell OK OK OK Output

Nearest Mean Classifier (NMC)

Category Variable: species


Diszkrim.doc

Class Prior N.obj Loss matrix

1 0.333 50 0.0 1.0 1.0

2 0.333 50 1.0 0.0 1.0

3 0.333 50 1.0 1.0 0.0

Prior: Bayes féle a priori valószínüség N.obj: Cluster létszám Loss matrix: Veszteségmátrix


Diszkrim.doc

Veszteségmátrix g x g méretű négyzetes mátrix. (k,l) eleme az a nemnegatív szám, amellyel szorozni kell a k → l félreosztályozások számát. Az átlós elemek 0-k. Ha nincs veszteség, a szóbanforgó mátrixelemek 1-ek. A veszteségmátrixot kiegészitő részként az adatmátrixba kell bevinni


Diszkrim.doc

No-model Error Rate: 0.6667

No-model Risk: 0.6667

No-model Error Rate: nmax/nössz Elrettentő referencia érték No-model Risk: mint No-model Error Rate, veszteséggel súlyozva.


Diszkrim.doc

Félreosztályozási mátrix

Misclassification Matrix

True Total Assigned classes

Class 1 2 3

1 50 50 0 0

1.000 0.000 0.000

2 50 0 46 4

0.000 0.920 0.080

3 50 0 7 43

0.000 0.140 0.860


Diszkrim.doc

321

3

2

1

assigned class

true

cl

ass

NMC Class Assignments

321

3

2

1

assigned classtr

ue

clas

s

NMC Xvalidated Class Assignments


Diszkrim.doc

Hibás osztályozások 2. fajból 51, 52, 77, 78 a 3. fajhoz került.

3. fajból 107 114 120 122 127 128 139 a 2. fajhoz került.

Error Rate: 0.0733 Error Rate: 11 / 150 = 0.0733 Risk: 0.0733 Risk: 0.0733


Diszkrim.doc

Cross-validated Misclassification

Matrix

True Total Assigned classes

Class 1 2 3

1 50 50 0 0

1.000 0.000 0.000

2 50 0 45 5

0.000 0.900 0.100

3 50 0 7 43

0.000 0.140 0.860

Cross-validated Error Rate: 0.0800

Cross-validated Risk: 0.0800


Diszkrim.doc

1

2

3

class 1

class 2

class 3

NMC ClassificationObject - Class Distances

Class


Diszkrim.doc

1

2

3

class 1

class 2

class 3

NMC ClassificationObject - Class Probabilities

Class

Skála: 0 - 1 Origó: bal alsó sarok.


Diszkrim.doc

Keresztellenőrzés LOO Cross Validation LOO: Leave One Out Gondolatmenet

1. Hagyj ki egy objektumot az adatmátrixból 2. Végezz a tobbivel osztályozást 3. Számítsd ki, hová kerüljön a kihagyott

objektum, és helyezd el ott Ha a kihagyott objektum nem volt kiugró, nagyjából oda kerül, ahova egyébként került volna. Ha kiugró volt, a keresztellenőrzés átlagosabbal helyettesíti.


Diszkrim.doc

4. Tedd vissza a kihagyott objektumot az adatok

közé, és emeld ki a következőt 5. Ha ez a következő nem volt az utolsó, folytasd

az eljárást a 2. ponttól 6. Ha minden objektum sorrakerült, a kereszt-

ellenőrzés befejeződött és az eredmények (error rate, misclassification etc.) kiszámíthatók.


Diszkrim.doc

Diszkriminancia módszerek

Jellemző Elnevezés Közismert név Jel Cg =σ2 E

minden g-re Legközelebbi

súlypont osztályozás

Nearest Mean Classifier

NMC

Cg egyezik minden g-re

Lineáris diszkriminancia

analízis

Linear Discriminant

Analysis

LDA

Cg

különböző minden g-re

Kvadratikus diszkriminancia

analízis

Quadratic Discriminant

Analysis

QDA


Diszkrim.doc

Emlékeztetés: Háromféle korrelációs mátrixról beszélnek: 1. Teljes, kovarianciákat is tartalmazó 2. Átlós, csak varianciákat tartalmazó 3. s2E alakú, egyetlen varianciát tartalmazó


Diszkrim.doc

Valamennyi kovariancia mátrix meghatároz egy

ellipszoidot. Az

km

jmm

m

T

j =−

11

xCx 1

kvadratikus alak ugyanis egy m-méretű. súlypontközepű ellipszoid egyenlete.


Diszkrim.doc

Ez a kovariancia ellipszoid Általános esetben a koordináta tengelyekhez

képest elfordult n-dimenziós szivar, amelynek szélső értékei a szórások.

Átlós esetben a koordináta tengelyekkel párhuzamos tengelyű ellipszoid, amelynek féltengelyei hossza arányos a szórásokkal

Homoszkedasztikus esetben szórással arányos sugarú hipergömb


Diszkrim.doc

QDA esetén a g osztályok tetszőleges

kovariancia ellipszoidjai különbözhetnek. A training set-ből ki kell számítani g súlypontot, g x m varianciát és g x m(m-1)/2 kovarianciát. Az osztályokat elválasztó határok másodfokú felületek.

LDA esetén a g osztályok tetszőleges kovariancia ellipszoidjai nem különböznek. A training set-ből ki kell számítani g súlypontot, m varianciát és m(m-1)/2 kovarianciát. Az osztályokat elválasztó határok hipersíkok.


Diszkrim.doc

NMC esetben minden osztály kovariancia

ellipszoidja azonos sugarú m-méretű hipergömb. A training set-ből ki kell számítani g súlypontot, és egy varianciát. Az osztályokat elválasztó határok hipersikok.


Diszkrim.doc

RDA = Regularized Discriminant Analysís Hangolt, beállított diszkriminancia elemzés

Állítsuk be Cg kovariancia mátrixot E, C és Cg közé valahova, oly célból, hogy a beállított mátrix-szal való osztályozás keresztellenőrzött kockázata minimális legyen.


Diszkrim.doc

Használjunk a beállításhoz két paramétert: λ-t és γ-t

( ) ( ) CCC gg λλλ +−= 1

( ) ( ) ECCC ggg */))(()(1, mtrace λγλγγλ +−=


Diszkrim.doc

Itt

( )( ) ( )( )

( ))((var

)()( ,1,

λ

λλλλ

g

mgg

ave

cavem

cc

m

trace

x

Cg

g

=

==++

=L

a beállított kovariancia mátrix átlós elemeinek (a varianciáknak) átlaga. Ez a skalár E-vel szorozva az átlagvariancia mátrix.


Diszkrim.doc

A paraméterek változtatásával a határesetek is

előállíthatók. γ = 0, λ = 0

( ) gg CC =λ ( ) CgCg =γλ, (QDA) γ = 0, λ = 1

( ) CCg =λ ( ) CCg =γλ, (LDA) γ = 1, λ = 1

( ) CCg =λ ( ) ECCg *)/)((, mtrace=γλ (NMC)


Diszkrim.doc

A beállító paraméterek rendszeres próbálgatással határozhatók meg.

a priori elképzelésünk b) van modellünk · osztályozás diszkriminancia analízis diszkrim.doc...

Documents