catatan kecil em-algorithm
DESCRIPTION
Catatan kecil machine learning untuk expectation maximization algorithmTRANSCRIPT
Catatan Expectation Maximization Algorithm
oleh : Hendri Karisma (23512060)
Program Studi Magister Informatika
Sekolah Teknik Elektro dan Informatika
Institut Teknologi Bandung
2013
2
Machine Learning
Pada dasarnya pembelajaran mesin dibagi menjadi beberapa tiga jenis, yaitu
supervised, unsupervised, dan reinforcement learning. Dari masing-masing jenis
pembelajaran mesin ini memiliki berbagai metode yang memiliki spesifikasi berbeda dan
dapat menyelesaikan masalah dengan kondisi yang berbeda satu sama lainnya, sehingga
berbagai kasus belum tentu dapat diselesaikan dengan algoritma yang sama, ataupun
dengan jenis pembelajaran mesin yang sama. Masing-masing jenis machine learning
memiliki karakteristik yang berbeda. Supervised Learning memiliki karakteristik masalah
yang diselesaikan biasanya berupa klasifikasi, dataset yang dimiliki oleh kasus yang
berbentuk klasifikasi biasanya selain memiliki atribut untuk setiap instances-nya namun
juga sudah memiliki kelas yang jelas, sehingga task selanjutnya dari hipotesis atau model
yang ditemukan adalah melakukan klasifikasi terhadap instance yang baru dan belum
memiliki label (belum diklasifikasi). Unsupervised Learning biasanya memiliki kata kunci
clustering atau melakukan peng-klusteran terhadap sekelompok data atau sekelompok
instances yang tidak memiliki label, sehingga memiliki informasi bahwa terdapat
sekumpulan data yang membentuk cluster, namun kita belum tahu apa pengetahuan atau
hipotesis yang membuat instances tersebut saling berkumpul (membuat kelompok)
menjadi satu cluster atau lebih. Sedang reinforcement learning biasanya berupa
permasalah yang membutuhkan aktifitas eksplorasi, sehingga cukup sesusai jika
digunakan untuk membangun suatu intelijen pada suatau game (terutama puzzle).
Dalam artikel ini akan sedikit dijelaskan mengenai Expectation Maximization
Algorithm dengan. Maximization Algorithm dengan menggunakan model probabilitas
pada distribusi gaussian.
Expectation Maximization Algortihm
Expectation maximization algorithm merupakan algoritma unsupservised
learningyang memiliki kemampuan untuk melakukan pencarian knowledge dari
sekumpulan data yang tidak memiliki label atau target class tertentu, dengan cara melihat
3
nilai setiap instances yang didistribusikan kedalam Gaussian distribution, lebih tepatnya
adalah mixture Gaussian, lalu dilakukan iterasi menaik untuk mencari nilai likehood
tertenggi untuk setiap instance (melihat kedekatan instances terhadap setiap kluster).
Expectation Maximization Algorithm (EM Algorithm) merupakan
sendirimerupakan adalah suatu algoritma yang memanfaatkan mixture dari Gaussian
mixture. Pada dasarnya E-M Algorithm terdiri dari dua langkah yaitu, expectation dan
maximization. Melakukan perhitungan expektasi terhadap suatu nilai probabilitas
likelihood, lalu langkah kedua memperbaiki nilai probabilitas terebut dengan merubah
parameter pada mixture Gaussian sehingga mencapai maximum likelihood.
Terdapat beberapa hal yang perlu ditekankan dalam algoritma EM Algorithm yaitu:
1. Maximum Likelihood Estimation (MLE)
2. Mixtures of Gaussians
3. Estimation-Maximization (EM)
Maximum likelihood sendiri pada dasarnya merupkan teori probabilitas pada suatu
instances (misalkan π₯π β π)terhadapsuatu target classπ§π {j=1,2β¦n}. Dataset X
didistribusikan kedalam Gaussian Distribution seperti pada gambar 3.
Gambar 1sample distribusi normal
4
Persamaan yang digunakan untuk Gaussian distribution adalah :
π π₯; π,π2 =1
2π .ππ β
π₯βπ 2
2π2 β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦..(1)
Dengan π adalah mean dan π merupakan variance atau standar deviasi.
π =1
π π₯πππ=1 β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦(2)
π2 =1
π (π₯π β π)2ππ=1 β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦...(3)
Dan setiap data π₯π akan dilakukan komputasi untuk setiap probabilitas terhadap
kluster π§π .
π(π₯) = π(π₯π ; ππ ,ππ2) =
1
2ππππ
(π₯πβπ π )2
2ππ2
ππβ1
ππβ1 β¦β¦β¦β¦β¦β¦β¦β¦(4)
Guna meningkat fitness dari distribusi cluster yang dibangun maka dilakukan
matriks covariance dan juga vector mean untuk meningkatkan akurasi dari Gaussian
distribution (Multivariate) yang dibuat.
π = π₯π¦ =
00 (πππππ’ππ‘); Ξ£ =
π₯ π¦π₯ π¦ = (ππππ‘πβ)
0.5 00 0.5
β¦β¦β¦β¦β¦β¦β¦β¦β¦(5)
Sehingga persamaan nilai π₯π menjadi:
π(π₯; π, Ξ£) =1
2π π2 |Ξ£|
12
π β1
2 π₯βπ πΞ£β1(π₯βπ) β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦β¦(6)
Dan visualisasi dalam bentuk tiga dimensinya adalah seperti pada contoh berikut :
5
Gambar 2 Contoh kondisi grafik dengan mean dan varian tertentu (multivariate)
Namun pada EM Algorithm menggunakan mixture Gaussian atau dengan kata lain
lebih dari satu Gaussian yang digunakan atau mencari mixture dari distribusi yang
didapatkan. EM Algorithm memiliki tugas untuk menemukan setiap Gaussian yang
terdapat pada distribusi mixture Gaussian dan mengembangkan setiap Gaussian yang
ditemukan pada kondisi optimum (sehingga model lebih fit) itulah yang disebut dengan
maximization, dan merupakan proses clustering.
Sehingga berikut adalah algoritma secara penuh E-M Algorithm.
6
Repeat{
Expectation Step
ππ(π)
= π(π(π) = π|π(π);π,π,πΊ) =
1
2π π2 |Ξ£j |
12
π β
12 π₯(π)βπ π
πΞ£β1(π₯(π)βπ π )
.π
π€π(π)
ππ=1
ππ=1
Maximization
ππ =1
π π€π
(π)
π
π=1
ππ = π€π
(π)π₯(π)π
π=1
π€π(π)π
π=1
Ξ£π = π€π
(π) π₯(π) β ππ π₯
(π) β ππ ππ
π=1
π€π(π)π
π=1
}
Contoh visualisasi expectation maximization ketika Gaussian didapatkan dan
proses EM-Algorithm telah dieksekusi.
Gambar 3 Contoh distribusi norma mixture gaussian (multivariate)
7
Gambar 4 Contoh visualisasi hasil akhir E-M Algorithm
Referensi
1. Arthur, Samuel. (1959): Some Studies in Machine Learning Using the Game of Checkers,
IBM Journal of Research and Development Vol:44, 06 April 2010.
http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5389202
2. Mitchell, Tom M. (1997) : Machine Learning,McGraw-Hill Science, Portland.
3. Andrew Ng, Lecture Notes: Machine Learning, Standford