![Page 1: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/1.jpg)
Klasifikasi dan Pengenalan Pola
1
![Page 2: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/2.jpg)
Pada pertemuan yang lalu, kekuatan ciri untuk membedakan kelas
diukur secara individual, yaitu menggunakan FDR. Kekuatan
kombinasi beberapa ciri dalam membedakan kelas dapat diukur
menggunakan:
Divergensi
Jarak Bhattacharyya (Bhattacharyya distance)
Scatter Matrices
Features Vector Separability Measures
2
![Page 3: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/3.jpg)
Divergensi Misalkan terdapat 2 kelas yang terdistribusi normal dalam ruang
dimensi ℓ, maka divergensi antara keduanya didefinisikan sbb:
dengan Si adalah matriks kovarians; mi adalah rerata masing-masing
kelas, I adalah matriks identitas ℓ x ℓ, dan i = 1,2.
Dan transformasi divergensi didefinisikan sebagai:
3
![Page 4: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/4.jpg)
Semakin besar nilai transformasi divergensi maka semakin baik hasil
akhir klasifikasi.
Aturan jangkauan nilai transformasi divergensi berikut dapat
digunakan untuk menilai kekuatan kombinasi ciri dalam membedakan
kelas:
0.0 to 1.0 (very poor separability) sangat buruk
kemungkinan data sebenarnya termasuk pada kelas yang sama
1.0 to 1.9 (poor separability) buruk
buat kombinasi ciri yang baru
teliti kembali data apa benar-benar dari 2 kelas yang berbeda
1.9 to 2.0 (good separability) baik
4
![Page 5: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/5.jpg)
Example Misalkan 2 kelas dan asumsikan bahwa ciri-cirinya saling independen
dan terdistribusi normal. Kelas 1 dimodelkan sebagai distribusi
Gaussian dengan rerata m1 = [3, 3]T dan matriks kovarians-nya S1 =
0,2I. Sedangkan kelas 2 dimodelkan sebagai distribusi Gaussian
dengan rerata m2 = [2.3, 2.3]T dan matriks kovarians-nya S2 = 1,9I.
Hitunglah divergensi antara kedua kelas tersebut, hitung pula
transformasi divergensi-nya, dan ambillah kesimpulan dari hasil
tersebut.
5
![Page 6: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/6.jpg)
Penyelesaian:
Buat dataset dengan script berikut.
Carilah divergensinya menggunakan fungsi divergensi.m dengan
mengimplementasikan rumus divergensi pada halaman 3 untuk
menghitung divergensi.
6
![Page 7: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/7.jpg)
Buat fungsi divergensi sbb:
7
![Page 8: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/8.jpg)
Panggil fungsi untuk menghitung nilai divergensi dari data kelas1.txt
dan kelas2.txt.
8
![Page 9: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/9.jpg)
Hasil eksekusi:
Dan transformasi divergensinya adalah:
Kesimpulan:
Nilai transformasi divergensi-nya berada pada range 1 s.d 1,9 yang
berarti keterpisahan antara kedua kelas buruk.
9
D = 5.7233
2*(1-exp(-D/8)) = 1.0220
![Page 10: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/10.jpg)
Bhattacharyya distance Misalkan kedua kelas terdistribusi Gaussian, maka jarak Bhattacharyya
bersesuaian dengan error classifier Bayesian.
Jika:
dengan,
dimana |.| merupakan notasi determinan, maka jarak Bhattacharyya
10
![Page 11: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/11.jpg)
didefinisikan sbb:
Aturan jangkauan nilai jarak Bhattacharyya berikut dapat digunakan
untuk menilai kekuatan kombinasi ciri dalam membedakan kelas:
0.0 to 1.0 (very poor separability) sangat buruk
kemungkinan data sebenarnya termasuk pada kelas yang sama
1.0 to 1.9 (poor separability) buruk
buat kombinasi ciri yang baru
teliti kembali data apa benar-benar dari 2 kelas yang berbeda
1.9 to 2.0 (good separability) baik
11
)exp(12 2,1BBD
![Page 12: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/12.jpg)
Example Misalkan 2 kelas dan asumsikan bahwa ciri-cirinya saling independen
dan terdistribusi normal. Kelas 1 dimodelkan sebagai distribusi
Gaussian dengan rerata m1 = [3, 3]T dan matriks kovarians-nya S1 =
0,2I. Sedangkan kelas 2 dimodelkan sebagai distribusi Gaussian
dengan rerata m2 = [2.3, 2.3]T dan matriks kovarians-nya S2 = 1,9I.
Hitunglah jarak Bhattacharyya antara kedua kelas tersebut, dan
ambillah kesimpulan dari hasil tersebut.
12
![Page 13: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/13.jpg)
Buat fungsi untuk menhitung jarak Bhatacharyya sbb:
13
![Page 14: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/14.jpg)
Panggil fungsi untuk menghitung jarak Bhatacharyya:
Hasil eksekusi:
Hitunglah DB-nya dengan :
2(1-exp(-0.3516)) = 0.5929
14
B1,2 = D = 0.3516
![Page 15: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/15.jpg)
Scatter Matrices Scatter matrices memberi gambaran bagamana vektor ciri tersebar
dalam ruang ciri (feature space).
Tiga ukuran keterpisahan kelas berdasar scatter matrices adalah sbb:
15
![Page 16: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/16.jpg)
dengan Sm adalah mixture scatter matrix, Sw adalah within-class scatter
matrix, dan Sb adalah between-class scatter matrix.
dengan Pi adalah priori probabiliti untuk kelas i = 1,2,…,c dan Si adalah
matriks kovarians untuk kelas i.
dengan m0 adalah rerata global (dari semua data dalam semua kelas
yang ada)
16
![Page 17: Klasifikasi dan Pengenalan Polaebook.repo.mercubuana-yogya.ac.id/FTI/materi_doc_20162/KPP - TM14... · Klasifikasi dan Pengenalan Pola 1 . Pada pertemuan yang lalu, kekuatan ciri](https://reader033.vdocuments.pub/reader033/viewer/2022052614/6076deb87358fc30132c1be6/html5/thumbnails/17.jpg)
Semakin besar nilai J1, J2, dan J3, maka hal tersebut berarti bahwa data-
data mempunyai varians dalam-kelas yang kecil dan jarak antar-kelas
yang besar. Dengan kata lain bahwa Semakin besar nilai J1, J2, dan J3,
maka kelas yang satu dengan kelas yang lain mempunyai keterpisahan
yang semakin baik.
17