Download - MLP Feed-Forward Back Propagation Net work
![Page 1: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/1.jpg)
Nurochman
MLP Feed-Forward Back Propagation Network
![Page 2: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/2.jpg)
Arsitektur MLP
x1
xn
![Page 3: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/3.jpg)
Algoritma BackPropagation1. Inisialisasi bobot-bobot dan atau bias
tentukan laju pembelajaran (α)
tentukan nilai ambang/ nilai toleransi (𝛉)atau tentukan epoch maksimal2. While kondisi berhenti tdk terpenuhi do
langkah 3 – 103. Untuk setiap pasangan pola pelatihan,
lakukan langkah 4 – 9Tahap umpan maju
4. Setiap unit input Xi dari i=1 sampai n mengirim sinyal ke lapisan tersembunyi
![Page 4: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/4.jpg)
5. Menghitung sinyal output pada lapisan tersembunyi
6. Menghitung sinyal output pada lapisan output
Tahap propagasi balik7. Menghitung error pada lapisan output,
menghitung besar koreksi bobot dan bias antara lapisan tersembunyi dan output, lalu update bobot dan bias
![Page 5: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/5.jpg)
8.Menghitung error pada lapisan tersembunyi, menghitung besar koreksi bobot dan bias antara lapisan input dan tersembunyi, lalu update bobot dan bias
jkjkjk WlamaWbaruW )()(
ijijij VlamaVbaruV )()(
![Page 6: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/6.jpg)
Tahap update bobot dan bias9.Update bobot dari lapisan tersembunyi ke
lapisan output
Update bobot dari lapisan input ke lapisan tersembunyi
10.Tes kondisi berhenti (error sudah <= 𝛉) atau epoch tercapai)
jkjkjk WlamaWbaruW )()(
ijijij VlamaVbaruV )()(
![Page 7: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/7.jpg)
Algoritma Aplikasi1. Loading bobot dan bias hasil pelatihan2. Menghitung sinyal output pada lapisan
tersembunyi
3. Menghitung sinyal output pada lapisan output
4. Output dari lapisan output itulah yang menjadi output JST
![Page 8: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/8.jpg)
Persyaratan Minimasi Error
2)(2
1kk ytE
![Page 9: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/9.jpg)
Fungsi Sigmoid Biner
)exp(1
1)(1 xxf
))(1)(()( 11'
1 xfxfxf
![Page 10: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/10.jpg)
Fungsi Sigmoid Bipolar
1)(2)( 12 xfxf
))(1))((1(2
1)( 22
'2 xfxfxf
![Page 11: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/11.jpg)
Fungsi Tangen Hiperbolik
)2exp(1
)2exp(1)tanh(
)exp()exp(
)exp()exp()tanh(
x
xx
xx
xxx
))tanh(1))(tanh(1()(tanh ' xxx
![Page 12: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/12.jpg)
Inisialisasi Bobot dan BiasInisialisai Acak (interval antara -lamda dan
lamda), misal (-0,4 dan 0,4)
Inisialisasi Nguyen-Widrow
![Page 13: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/13.jpg)
Inisialisasi Nguyen-WidrowPembelajaran lebih cepatInisialisasi bobot antara lapisan
tersembunyi dan output tetap menggunakan acak
Faktor skala Nguyen-Widrow
n = jumlah unit inputp = jumlah unit tersembunyiß = faktor skala
)(
np1
)(7.0
![Page 14: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/14.jpg)
Prosedur Inisialisasi Nguyen-WidrowInisialisasi bobot antara unit input dan unit
tersembunyi dengan cara:- menentukan bobot antara unit input dan unit tersembunyi Vij (lama) = bil acak antara (-ß dan ß)- Menghitung ||Vij||- Menginisialisasi Vij:
Menentukan bias antara unit input dan unit tersembunyi dengan bilangan acak antara (-ß dan ß)
ij
ijij
V
lamaVV
)(
![Page 15: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/15.jpg)
Update bobot dg momentumMomentum memaksa proses perubahan
bobotTidak terperangkap dalam minimum lokal
(local minima)
Miu adalah parameter momentum dalam range 0 sampai 1
)()1( tWZtW jkjkjk
)()1( tVXtV ijijij
![Page 16: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/16.jpg)
Tugas
Implementasikan algoritma BP untuk mengenali pola huruf di atas.
Satu huruf berukuran 3x5 dengan target masing-masing untuk B (1,1), D (1,-1), F(-1,1) dan H (-1,-1)
Gunakan representasi bipolar dan fungsi sigmoid bipolar
![Page 17: MLP Feed-Forward Back Propagation Net work](https://reader035.vdocuments.pub/reader035/viewer/2022062301/568157a3550346895dc53592/html5/thumbnails/17.jpg)
Any Questions?