artificial neural network …...2014/12/01 · artificial neural network • a network of...
TRANSCRIPT
Teny Handhayani
ARTIFICIAL NEURAL NETWORK(JARINGAN SYARAF TIRUAN)
LATAR BELAKANG
• Jaringan syaraf pada sistem Biologi
DARI NEURON BIOLOGI KE NEURON BUATAN
Dendrite Cell Body Axon
DARI NEURON BIOLOGI KE NEURON BUATAN
ARTIFICIAL NEURAL NETWORK
• A network of artificial neurons
Characteristics
Nonlinear I/O mapping
Adaptivity
Generalization ability
Fault-tolerance (graceful degradation)
Biological analogy
<Multilayer Perceptron Network>
TIPE-TIPE ARTIFICIAL NEURAL NETWORKS
• Single Layer Perceptron
• Multilayer Perceptrons (MLPs)
• Radial-Basis Function Networks (RBFs)
• Hopfield Network
• Boltzmann Machine
• Self-Organization Map (SOM)
• Modular Networks (Committee Machines)
ARSITEKTUR JARINGAN
<Multilayer Perceptron Network> <Hopfield Network>
FITUR DARI ARTIFICIAL NEURAL NETWORKS
• Records (examples) need to be represented as a (possibly large) set of tuples of
<attribute, value>
• Nilai output direpresentasikan sebagai nilai diskrit, real, atau vektor
• Memiliki toleransi terhadap noise data input
• Time factor
• Membutuhkan waktu yang lama untuk pelatihan
• Sekali melalui pelatihan, ANN mampu memrpoduksi output dengan cepat
• Sulit untuk menginterpretasikan proses prediksi ANN
CONTOH APLIKASI
• NETtalk [Sejnowski]
• Inputs: English text
• Output: Spoken phonemes
• Phoneme recognition [Waibel]
• Inputs: wave form features
• Outputs: b, c, d,…
• Robot control [Pomerleau]
• Inputs: perceived features
• Outputs: steering control
APLIKASI:AUTONOMOUS LAND VEHICLE (ALV)
• NN learns to steer an autonomous vehicle.
• 960 input units, 4 hidden units, 30 output units
• Driving at speeds up to 70 miles per hour
Weight valuesfor one of the hidden units
Image of aforward -mountedcamera
ALVINN System
APLIKASI:ERROR CORRECTION BY A HOPFIELD NETWORK
original target data
corrupted input data
Corrected data after 10 iterations
Corrected data after 20 iterations
Fullycorrected data after 35 iterations
PERCEPTRON AND
GRADIENT DESCENT ALGORITHM
ARSITEKTUR DARI SEBUAH PERSEPTRON
• Input: a vector of real values
• Output: 1 or -1 (binary)
• Activation function: threshold function
NOTE: Perceptron is also called as a TLU (Threshold Logic Unit)
HYPOTHESIS SPACE OF PERCEPTRONS
• Free parameters: weights (and thresholds)
• Learning: choosing values for the weights
• Hypotheses space of perceptron learning
• n: dimension of the input vector
• Linear function
}|{ )1( nwwH
nn xwxwwf 110)(x
PERCEPTRON AND DECISION HYPERPLANE
• Perceptron merepresentasikan sebuah ‘hyperplane’ pada n-dimensional space dari instance (misalnya titik)
• Output perceptron 1 untuk instance yang terletak pada satusisi hyperplane dan output -1 untuk instance yang terletak di sisi lainnya
• Equation for the decision hyperplane: wx = 0.
• Data positif dan negatif tidak dapat dipisahkan dengansembarang hyperplane
• Sebuah perceptron tidak dapat melatih permasalahan padadata linearly nonseparable
LINEARLY SEPARABLE V.S. LINEARLY NONSEPARABLE
(a) Decision surface for a linearly separable set of examples (correctly classified by a straight line)
(b) A set of training examples that is not linearly separable.
REPRESENTATIONAL POWER OF PERCEPTRONS
• Perceptron tunggal dapat digunakan untuk merepresentasikan banyak fungsiboolean
• AND function: w0 = -0.8, w1 = w2 = 0.5
• OR function: w0 = -0.3, w1 = w2 = 0.5
• Perceptron dapat merepresentasikan semua fungsi boolean primitif : AND, OR, NAND dan NOR
• Catatan: Beberapa fungsi tidak dapat direpresentasikan dengan perceptron tunggal contohnya XOR
• Setiap fungsi boolean dapat direpresentasikan dengan beberapa jaringanperceptron hanya dengan dua level kedalaman
• One way merepresentasikan fungsi boolean pada bentuk DNF (OR of ANDs)
PERCEPTRON TRAINING RULE
• Note: output value o is +1 or -1 (not a real)
• Perceptron rule: a learning rule for a threshold unit.
• Conditions for convergence
• Training examples are linearly separable.
• Learning rate is sufficiently small.
CONTOH
• Jika diketahui xi = 0.8, = 0.1, t = 1 dan o = -1
maka
wi = (t - o) xi
= 0.1 * ( 1 – (-1)) * 0.8
= 0.1 * 2 * 0.8 = 0.16
LEAST MEAN SQUARE (LMS) ERROR
• Note: output value o is a real value (not binary)
• Delta rule: learning rule for an unthresholded perceptron (i.e. linear unit).
• Delta rule is a gradient-descent rule.
• Also known as the Widrow-Hoff rule
GRADIENT DESCENT METHOD
DELTA RULE FOR ERROR MINIMIZATION
i
iiiiw
Ewwww
,
Dd
idddi xotw )(
GRADIENT DESCENT ALGORITHM FOR PERCEPTRON LEARNING
PROPERTIES OF GRADIENT DESCENT
• Because the error surface contains only a single global minimum, the gradient descent algorithm will converge to a weight vector with minimum error, regardless of whether the training examples are linearly separable.
• Condition: a sufficiently small learning rate
• If the learning rate is too large, the gradient descent search may overstep the minimum in the error surface.
• A solution: gradually reduce the learning rate value.
CONDITIONS FOR GRADIENT DESCENT
• Gradient descent adalah strategi umum yang penting untukmencari hipotesis space yang besar atau infinite
• Kondisi untuk gradient descent search
• Hypothesis space terdiri atas parameter hipotesis yang kontinue, contohnya bobot pada unit linear
• Error dapat dibedakan w.r.t parameter hipotesis
DIFFICULTIES WITH GRADIENT DESCENT
• Konvergensi ke local minimum bersifat lambat
• Jika terdapat banyak local minima pada error surfae, makatidak ada jaminan bahwa prosedur akan menemukan global minimum
PERCEPTRON RULE V.S. DELTA RULE
• Perceptron rule
• Thresholded output
• Konvergen setelah melalui sejumlah iterasi terbatas terhadap hipotesis yang dapat mengklasifikasi data latih dengan benar,data latih linear separable.
• Hanya dapat digunakan pada data linearly separable
• Delta rule
• Unthresholded output
• .Konvergen hanya secara asymtitic menuju error minimum, mungkinmembutuhkan waktu yang tak terbatas, tetapi tidak terpaku pada data linearly separable
• Dapat digunakan untuk data linearly nonseparable
MULTILAYER PERCEPTRON
MULTILAYER NETWORK AND ITS DECISION BOUNDARIES
Wilayah keputusan dari jaringan multilayer feedforward
Jaringan dilatih untuk mengenali 1 dari 10 suara vokal yang terjadi pada konteks“h_d”
Input jaringan terdiri atas dua parameter F1 dan F2, diperoleh dari analisisspektral suara.
Sepuluh jaringan output berhubungan dengan 10 kemungkinan suara vokal
DIFFERENTIABLE THRESHOLD UNIT
• Sigmoid function: nonlinear, differentiable
BACKPROPAGATION (BP) ALGORITHM
• BP mempelajari bobot untuk jaringan multilayer, diberikan sebuah jaringandengan sekumpulan unit tetap dan interkoneksi
• BP memperkerjakan gradien descent untuk mencoba meminimalkan error kuadrat antara jaringan output dan nilai target
• Dua tahapan pembelajaran:
• Forwad stage: menghitung output yang diberikan oleh pola x.
• Backward stage: mengupdate bobot dengan menghitung delta
FUNGSI ERROR UNTUK BP
Dd outputsk
kdkd otwE 2)(2
1)(
• E defined as a sum of the squared errors over all the output units k for all the training examples d.
• Error surface can have multiple local minima
• Guarantee toward some local minimum
• No guarantee to the global minimum
BACKPROPAGATION ALGORITHM FOR MLP
Program 1
Program 2PROBLEM DESCRIPTION: Create and view custom neural networks
Program 3Classification of linearly separable data with a perceptron
TUGAS
• Ketikkan kode program berikut kemudian cari keluaran program, misalnya:
1. Data input
2. Neural Network Training
3. Feed-forward Neural Network
4. Output
5. Dsb
Tugas 1Classification of a 4-class problem with a perceptron
%PROBLEM DESCRIPTION: Perceptron network with 2-inputs and 2-outputs is trained %to classify input vectors into 4 categories
Tugas 2ADALINE time series prediction
Tugas 3 :Solving XOR problem with a multilayer perceptron
Tugas 4Classification of a 4-class problem with a multilayer perceptron