klasifikasi linear discriminant analysis...contoh lda lda mampu menghindari masking . studi kasus :...

Pengenalan Pola

PTIIK - 2014

Klasifikasi – Linear Discriminant Analysis

Course Contents

Analisis Diskriminan 1

Linear Classification 2

Linear Discriminant Analysis (LDA) 3

Studi Kasus dan Latihan 4

Analisis Diskriminan

Salah satu teknik statistik yang dapat

digunakan pada hubungan dependensi

dari suatu variabel

Suatu teknik analisis multivariate yang

digunakan untuk mengklasifikasi suatu

objek ke dalam dua kelompok atau lebih

berdasarkan variabel independennya

Analisis Diskriminan

Pengelompokkan pada analisis diskriminan

bersifat mutually exclusive dan exhaustive

mutually exclusive yaitu jika suatu objek

telah masuk pada salah satu kelompok maka

tidak dapat menjadi anggota dari kelompok

yang lain

exhaustive yaitu menyeluruh berdasarkan

sejumlah variabel penjelas berupa data

kuantitatif / continue

Linear Classification

Suatu bentuk klasifikasi yang bertujuan untuk menemukan batas-batas keputusan (decision boundaries) di dalam ruang fitur (input) secara linier

R1 R2

R3 R4

X1

X2

Batas-batas keputusan linier pada ruang input 2D

Linear Classification

Terdapat sebuah fungsi diskriminan k(x)

untuk setiap class k

Aturan klasifikasi :

Ingat bahwa fungsi loss 0-1 menyebabkan

aturan klasifikasi menjadi :

Jadi, dapat digunakan sebagai

pengganti dari k(x)

)}(maxarg:{ xkxR jj

k

)}|(maxarg:{ xXjGPkxRj

k

)|( XkGP

Linear Discriminant Analysis

Esensi : meminimalkan error pada Bayes

Classifier

Jika diasumsikan kepadatan class kondisional

berdistribusi Gaussian Multivariate dan

memiliki kovarians yang sama untuk setiap

class, maka :

dimana:

K

l

ll

kk

xf

xfxXkG

1

)(

)()|Pr(

))()(2

1exp(

||)2(

1)( 1

2/12/ k

T

kpk xxxf

Σ

Σ

Fungsi Diskriminan :

Aturan klasifikasi :

Ekuivalen dengan :

Linear Discriminant Analysis

)(maxarg)(ˆ xxG kk

)|Pr(maxarg)(ˆ xXkGxGk

)ln(2

1 11

i

T

ii

T

kii pCxCf

Contoh LDA

LDA mampu menghindari masking

Studi Kasus :

Pabrik "ABC" menghasilkan Chip Ring dengan

kualitas yang sangat mahal dan tinggi. Kualitas

tersebut diukur dalam ukuran kelengkungan dan

diameter. Hasil kontrol kualitas oleh para ahli

diberikan dalam tabel di bawah ini.

Curvature Diameter Quality Control Result

2.95 6.63 Passed

2.53 7.79 Passed

3.57 5.65 Passed

3.57 5.45 Passed

3.16 4.46 Not passed

2.58 6.22 Not passed

2.16 3.52 Not passed

Sebagai seorang konsultan pabrik, Anda

mendapatkan tugas untuk mengatur kriteria

pengendalian kualitas secara otomatis.

Kemudian, manajer pabrik juga ingin menguji

kriteria pada jenis baru dari chip ring yang

bahkan para ahli berpendapat berbeda antara

satu sama lain.

chip ring baru tersebut memiliki kelengkungan

2.81 dan diameter 5,46.

Solusi

Ketika kita merencanakan fitur, kita dapat

melihat bahwa data tersebut secara linear

terpisah. Kita bisa menarik garis untuk

memisahkan dua kelompok.

Masalahnya adalah untuk menemukan garis dan

memutarnya sedemikian rupa untuk

memaksimalkan jarak antara kelompok dan

untuk meminimalkan jarak dalam kelompok.

X = fitur (atau variabel independent) dari semua

data.

Setiap baris merepresentasikan satu objek

Setiap kolom merepresentasikan satu fitur

Y = class (atau variabel dependent) dari semua

data.

Setiap baris merepresentasikan satu objek dan hanya

memiliki satu kolom

x= y=

2.95

2.35

3.57

3.16

2.58

2.16

3.27

6.63

7.79

5.65

5.47

4.46

6.22

3.52

1

1

1

1

2

2

2

Xk = data dari baris ke-k, x3 = [3.57 5.65]

g = jumlah class pada y, g=2

Xi = fitur untuk class ke i .

Dilakukan pemisahan x kedalam class berdasarkan

jumlah class pada y.

X1= X2 =

47.5

65.5

79.7

63.6

16.3

57.3

53.2

95.2

52.3

22.6

46.4

27.3

16.2

58.2

Hitung μi = mean features dari group i dan μ =

mean global

Hitung (Mean Corrected) : (xi minus mean

global)

x i0

Hitung matrik Kovarian group I

C1 = C2 =

c i (x i

0)T x i0

ni

349.1192.0

192.0166.0

142.2

286.0

286.0

259.0

Mengumpulkan matriks kovarians per kelompok

ke dalam satu nilai. Hal ini dihitung untuk setiap

entri dalam matriks menggunakan formula :

Dalam kasus ini:

4/7*0.166 + 3/7*0.259 = 0.206

4/7*(-0.192) + 3/7*(-0.286) = -0.233 dan

4/7*1.349 + 3/7*2.142 = 1.689

C(r,s) 1

nnic i(r,s)

i1

g

Matriks kovarians

C =

Matriks inversnya

C-1 =

689.1

233.0

233.0

206.0

701.0

791.0

791.0

745.5

P = prior probability vector

P = =

Fungsi Diskriminan :

Tentukan class dari object k ke dalam class i

yang memiliki nilai fi maksimum

0.571

0.429

4 /7

3/7

)ln(2

1 11

i

T

ii

T

kii pCxCf

Hasil

Tugas

Tambahkan metode LDA pada aplikasi pengenalan pola

dari data UCI yang kalian kerjakan sebelumnya

Munculkan keluaran sesuai dengan tahapan-tahapan

penyelesaian:

Sheet4 / Form4 Covarians, Prior, Fungsi Diskriminan,

dan Hasil Klasifikasi

afif.supianto@ub.ac.id

081 331 834 734 / 088 160 127 40