Download - Architecture Net, Simple Neural Net · Algoritma Perceptron Inisialisasi bobot dan bias (w=b=0) dan 0
3
Perceptron
Perceptron lebih powerful dari Hebb
Pembelajaran perceptron mampu menemukan konvergensi terhadap bobot yang benar
Fungsi aktivasi :
Update bobot
= learning rate
4
Arsitektur Perceptron
Output : vektor biner
Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
5
Algoritma Perceptron
Inisialisasi bobot dan bias (w=b=0) dan 0 < <= 1 (=1)
Ulangi sampai sesuai kondisi kriteria berhenti Untuk setiap pasangan s:t, lakukan
Set aktivasi input xi = si
Hitung
Update bobot dan bias jika terjadi kesalahan
Evaluasi kriteria berhenti Jika bobot tidak berubah maka berhenti, jika tidak maka
lanjutkan
ADALINE (Adaptive Linear Neuron)
Biasanya menggunakan bipolar dan bias
Random bobot awal dengan bilangan kecil
Dilatih menggunakan aturan delta/LMS dengan meminimalkan MSE antara fungsi aktivasi dan target
Fungsi aktivasi : identitas / linier
Update bobot
= learning rate
10
11
Arsitektur ADALINE
Output : vektor biner
Goal : klasifikasi setiap input ke dalam kelas +1 atau -1
12
Algoritma Training ADALINE
Inisialisasi bobot Biasanya digunakan nilai random yang kecil
Inisialisasi learning rate () Biasanya digunakan nilai yang relatif kecil, yaitu 0.1
Jika nilai terlalu besar, proses learning tidak mencapai konvergen
Jika nilai terlalu kecil, proses learning akan berjalan sangat lambat
Secara praktis, nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0, dimana n adalah jumlah input unit
Ulangi sampai sesuai kondisi kriteria berhenti Untuk setiap pasangan s:t, lakukan
Set aktivasi input xi = si
Hitung
Update bobot dan bias
Evaluasi kriteria berhenti Jika bobot tidak berubah maka berhenti, jika tidak maka
lanjutkan
13
Algoritma Testing ADALINE
Inisialisasi bobot Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi
14
Fungsi AND (biner input & bipolar target)
ADALINE didesain untuk menemukan bobot yang bertujuan meminimalkan total error
net input to output target
MADALINE (Many Adaptive Linear Neuron)
Konsep ADALINE yang menggunakan jaringan multilayer
Arsitektur MADALINE tergantung pada kombinasi ADALINE yang digunakan MADALINE dengan 1 hidden layer (terdiri dari 2
hidden unit ADALINE) dan 1 output unit ADALINE
Fungsi aktivasi untuk hidden dan output layer:
15
17
Algoritma Training MADALINE MRI (Widrow dan Hoff)
Inisialisasi bobot
v1 =1
2, 𝑣2 =
1
2, 𝑏3 =
1
2
Bobot yang lain menggunakan bilangan random yang kecil
nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung masukan jaringan ke setiap hidden unit
Tentukan output dari setiap hidden unit
zin1 = 𝑏1 + 𝑥1𝑤11 + 𝑥2𝑤21
zin2 = 𝑏2 + 𝑥1𝑤12 + 𝑥2𝑤21
𝑧1 = 𝑓(𝑧𝑖𝑛𝑖)
𝑧2 = 𝑓(𝑧𝑖𝑛𝑖)
18
Untuk setiap bipolar input pada vektor x Tentukan keluaran dari jaringan
Hitung error dan update bobot, jika t=y maka bobot tidak di-update
Jika t=1, update bobot pada Zj
Jika t=-1, update bobot pada semua unit Zk yang punya input positif
yin
= b3 + z1 v1 + z2 v2
y = f yin
bJ(new) = bJ(old) + ∝ (1 – zinJ)
wiJ new = wiJ old + ∝ 1 – zinJ xi
bk(new) = bk(old) + ∝ (−1 – zink)
wik(new) = wik(old) + ∝ −1 – zink xi
Algoritma Training MADALINE MRI (Widrow dan Hoff)
19
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter)
Inisialisasi bobot
v1 =1
2, 𝑣2 =
1
2, 𝑏3 =
1
2
Bobot yang lain menggunakan bilangan random yang kecil
nilai learning rate ditentukan antara 0.1 ≤ n ≤ 1.0
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung masukan jaringan ke setiap hidden unit
Tentukan output dari setiap hidden unit
zin1 = 𝑏1 + 𝑥1𝑤11 + 𝑥2𝑤21
zin2 = 𝑏2 + 𝑥1𝑤12 + 𝑥2𝑤21
𝑧1 = 𝑓(𝑧𝑖𝑛𝑖)
𝑧2 = 𝑓(𝑧𝑖𝑛𝑖)
20
Untuk setiap bipolar input pada vektor x
Tentukan keluaran dari jaringan
Hitung error dan update bobot, jika t≠y maka laukan update bobot untuk setiap hidden unit dengan input mendekati 0 Ubah keluaran unit (dari +1 menjadi –1, atau sebaliknya)
Hitung kembali respon dari jaringan. Jika kesalahan berkurang: Sesuaikan bobot pada unit ini (gunakan nilai keluaran yang baru sebagai target dan lakukan aturan Delta)
yin
= b3 + z1 v1 + z2 v2
y = f yin
Algoritma Training MADALINE MRII (Widrow, Winter dan Baxter
bJ(new) = bJ(old) + ∝ (1 – zinJ)
wiJ new = wiJ old + ∝ 1 – zinJ xi
bk(new) = bk(old) + ∝ (−1 – zink)
wik(new) = wik(old) + ∝ −1 – zink xi
21
Algoritma Testing MADALINE
Inisialisasi bobot Dapatkan bobot dari proses learning
Untuk setiap bipolar input pada vektor x Set aktivasi dari input unit ke x
Hitung nilai jaringan dari input ke output
Terapkan fungsi aktivasi