168 481 artificial neural networks วงจรข่ายนิวรอลเทียม
DESCRIPTION
168 481 Artificial Neural Networks วงจรข่ายนิวรอลเทียม. ภาคการศึกษาต้น ปีการศึกษา 2546 อาจารย์ นวภัค เอื้ออนันต์ ภาควิชาวิศวกรรมคอมพิวเตอร์ มหาวิทยาลัยขอนแก่น. Course Syllabus. Date and Time : TT 10.30-12.00 EN 4510 Assessments: Attendance5% Homework 35% Midterm30% - PowerPoint PPT PresentationTRANSCRIPT
ISAN-DSP GROUP
168 481 Artificial Neural Networksวงจรข่�ายนิวรอลเที�ยม
ภาคการศึ�กษาต้�นิ ปี�การศึ�กษา 2546
อาจารย� นิวภ�ค เอ��ออนิ�นิต้�ภาควชาวศึวกรรมคอมพิวเต้อร�
มหาวทียาล�ยข่อนิแก�นิ
ISAN-DSP GROUP
Course Syllabus
Date and Time : TT 10.30-12.00 EN 4510Assessments:
Attendance 5%Homework 35%Midterm 30%Final Project 30%
Grading:85-100% A, 75-85% B+, 70-75% B, 65-70% C+, 60-65% C,
55-60% D+, 50-55% D, 0-50% F
References:1. James A. Freeman and David M. Skapura, “Neural Networks, Algorithms, Applications, and Programming Techniques”, Addison-Wesley, 19912. John Hertz, Anders Krough, and Richard G. Palmer, “Introduction to theTheory of Neural Computation”, Addison-Wesley, 1993.3. Bart Kosko, “Neural Networks and Fuzzy Systems, A Dynamic SystemsApproach to Machine Intelligence”, Prentice Hall, 1992.
ISAN-DSP GROUP
Course Outline
1. Introduction to Neural Computation- Biological neural networks and artificial neural networks- Neural network learning
2. Single Layer Perceptron Networks
3. Multilayer Perceptron Networks
4. Associative Networks
5. Self-Organizing Networks
6. Other Networks
7. Applications of Artificial Neural Networks
ISAN-DSP GROUP
Chapter 1
Introduction to Neural Computation
ISAN-DSP GROUP
คำ��ถ�ม !
ที$าไมคอมพิวเต้อร�ในิปี'จจ(บั�นิที�*ม�ความสามารถในิการค$านิวณส.งมากย�งไม�สามารถเที�ยบัก�บัความสามารถข่องสมองมนิ(ษย�ในิงานิง�ายๆ(ส$าหร�บัมนิ(ษย�) บัางอย�าง เช�นิ การจ$าใบัหนิ�า การฟั'งและการต้�ความหมาย การแปีลภาษา
คำว�มส�ม�รถของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�เซลล�ปีระสาทีส�งส�ญญาณ
ได้�ในิอ�ต้ราส.งส(ด้ปีระมาณ 1000 คร��ง/วนิาที�
ความเร5วข่องคอมพิวเต้อร�ในิปี'จจ(บั�นิข่��นิไปีถ�ง 1700 MHz
ความเร5ว
การค$านิวณเลข่คณต้ สมองคนิ
ซ(ปีเปีอร�คอมพิวเต้อร�ปี'จจ(บั�นิ C> 1000 MFLOP
การจด้จ$าและแยกแยะร.ปีภาพิ, เส�ยง สมองคนิ คอมพิวเต้อร�
ISAN-DSP GROUP
คำว�มมหั�ศจรรย์�ของสมองมนุ�ษย์�
- สมองมนิ(ษย�ม�ปีระสทีธิภาพิและม�*นิคงมาก ที(กว�นิม�เซลล�ปีระสาทีในิสมองต้าย โด้ยที�*ไม�ส�งผลกระทีบัต้�อปีระสทีธิภาพิข่องสมองโด้ยรวม - ระบับัสมองข่องมนิ(ษย�ย�ด้หย(�นิมาก สามารถปีร�บัต้�วเข่�าก�บัส*งแวด้ล�อมใหม� โด้ยการเร�ยนิร. � (ผด้ก�บัคอมพิวเต้อร�ที�*จะต้�องโปีรแกรมใหม�)- สมองมนิ(ษย�สามารถจ�ด้การก�บัข่�อม.ลที�*ม�ความไม�แนิ�นิอนิ, ม�ส�ญญาณรบักวนิ, และไม�สม$*าเสมอ ได้�ด้�- สมองสามารถปีระมวลผลข่�อม.ลข่นิาด้มหาศึาล เช�นิร.ปีภาพิ ในิล�กษณะการ ปีระมวลผลแบับัข่นิานิได้�ด้�- สมองม�ข่นิาด้เล5กและใช�พิล�งงานินิ�อย- โครงสร�างข่องสมองมนิ(ษย�ได้�วว�ฒนิาการมาเปี:นิเวลาหลายล�านิปี� และได้�ร�บัพิส.จนิ�จากธิรรมชาต้ต้ราบัจนิกระที�*งที(กว�นินิ��
ISAN-DSP GROUP
โคำรงสร��งของสมองมนุ�ษย์�และระบบประส�ท
Cell body (soma)
Dendrite
Nucleus
ภาพิเซลล�ปีระสาที (Neuron)Axon
Myelin sheath
Synapse
ISAN-DSP GROUP
- เซลล�ปีระสาทีปีระกอบัด้�วย ต้�วเซลล� (Soma) เส�นิปีระสาทีหล�ก (Axon) และระบับั ก*งก�านิสาข่าข่อง Dendrites
- ที�*ปีลายข่อง Axon ม�อว�ยวะเร�ยกว�า Synapse ต้�อก�บั drendrites ข่องเซลล�ปีระสาที เซลล�อ�*นิ ที��ง Axon และ Dendrites ใช�นิ$าส�ญญาณทีางไฟัฟั;าระหว�างเซลล�ปีระสาที - Axon ม�ความยาวมากกว�า Dendrites (Axon อาจยาวได้�ถ�ง 1 เมต้ร) Axon ย�งม�ฉนิวนิเร�ยกว�า Myelin sheath ส$าหร�บัที$าให�นิ$าส�ญญาณได้�ด้�ข่��นิและก�นิส�ญญาณ รบักวนิจากเซลล�ใกล�เค�ยง
ก�รท��ง�นุของเซลล�ประส�ท
Dendrites
Soma
Synapse
Axon
Myelin sheath
ISAN-DSP GROUP
Na
K Cl
Na
Cl K
Organic ion
- โด้ยปีกต้ต้อนิที�* Neuron ย�งไม�ที$างานิ ข่องเหลวภายในิเซลล�จะม�ความเข่�มข่�นิข่อง K+
และ Organic ion มาก ส�วนิข่องเหลวภายนิอกเซลล�จะม� Na+ และ Cl- มาก - เม�*ออย.�ในิภาวะสมด้(ลย�ความแต้กต้�างระหว�างความเข่�มข่�นิ ion ภายในิและภายนิอกเซลล� ที$าให�เกด้ความต้�างศึ�กย�ไฟัฟั;าปีระมาณ -70 ถ�ง –100 mV เร�ยกว�า Resting potential
-70 mV
+
ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)
ISAN-DSP GROUP
- ส�ญญาณทีางไฟัฟั;าจากเซลล�ปีระสาทีอ�*นิๆจะถ.กส�งผ�านิ Axon และ Dendrites ไปีย�ง Soma
- ถ�าส�ญญาณไฟัฟั;ารวมที�*ส�งเข่�ามาที�* Soma มากพิอ จะเกด้การเปีล�*ยนิแปีลงความเข่�มข่�นิข่อง ion ข่��นิภายในิเซลล� โด้ย Na+ จะไหลเข่�าไปีในิเซลล�มากข่��นิ ที$าให�ความต้�างศึ�กย�ไฟัฟั;า Resting potential ลด้ลง ส�ญญาณไฟัฟั;าที�เปีล�*ยนิแปีลงนิ��เร�ยกว�า Action potential
Na
K Cl
Cl K
Organic ion
Na
เซลล�ส�งส�ญญาณออกไปี
30 mV
+
Na
K Cl
Na
Cl K
Organic ion
++
++
ก�อนิจะที$างานิ เซลล�ก$าล�งถ.กกระต้(�นิ
-70 mV
+
ส�ญญาณภายนิอก
ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)
ISAN-DSP GROUP
- Action potential จะถ.กส�งไปีย�งเซลล�ใกล�เค�ยงที�*ต้�อก�บัเซลล�นิ��อย.�
- หล�งจากส�งส�ญญาณออกไปี เซลล�จะไม�สามารถที$างานิได้�อย.�พิ�กหนิ�*ง ต้�องรอให� ion ภายในิเซลล�ปีร�บัเข่�าส.�สภาพิสมด้(ลย�ก�อนิ ซ�*งจะใช�เวลาปีระมาณ 1 mSec
สร(ปี
เซลล�สมองแต้�ละเซลล�ม�ฟั'งก�ช�นิการที$างานิอย�างง�าย โด้ยเซลล�จะร�บัส�ญญาณไฟัฟั;าจากเซลล�อ�*นิหลายๆเซลล� เพิ�*อนิ$ามากระต้(�นิให�เซลล�ส�ญญาณไฟัฟั;าส�งให�เซลล�อ�*นิๆต้�อไปี
ก�รท��ง�นุของเซลล�ประส�ท (ต$อ)
ISAN-DSP GROUP
โคำรงสร��งของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�
-สมองปีระกอบัด้�วย Neuron จ$านิวนิปีระมาณ 100,000 ล�านิเซลล�
- เซลล� Neuron แต้�ละเซลล�ม�การที$างานิที�*ไม�ซ�บัซ�อนิ โด้ยส�ญญาณที�*ส�งออกมาจาก แต้�ละเซลล�จะเปี:นิล.กคล�*นิส�ญญาณทีางไฟัฟั;า
- ปีกต้ Neuron แต้�ละเซลล�จะเช�*อมต้�อก�บั Neuron เซลล�อ�*นิปีระมาณ 10,000 เซลล� บัางเซลล�อาจม�จ(ด้ต้�อมากกว�า 200,000 จ(ด้
- สมองไม�ม�ความจ$าส�วนิกลาง แต้�สมองจะเร�ยนิร. �และจด้จ$าความจ$าระยะยาวโด้ยการ ปีร�บัโครงสร�างข่องสมองเปี:นิหล�ก (การจ�ด้ร.ปีก*งก�านิสาข่าข่องเซลล�ปีระสาที)
- สมองจะเร�ยนิร. �ได้�ต้�องม�การฝึ>กหลายๆคร��งจนิเกด้ความช$านิาญ
สมอง
ISAN-DSP GROUP
Example of neuronsExample of neurons
The cultured retinal explants taken from chick embryos
From http://www.ams.sunysb.edu/research/pinezich/neuron_reconstruction/
ISAN-DSP GROUP
Example of neurons (continued)Example of neurons (continued)
From http://faculty.washington.edu/chudler/cellpyr.html(Image courtesy of Dr. James Crandall, Eunice Kennedy Shriver Center)
Neurons located in the cerebral cortex of the hamster.
ISAN-DSP GROUP
Scientific skill
ก�รท��ง�นุของสมอง
ISAN-DSP GROUP
คอมพิวเต้อร�
โคำรงสร��งของสมองมนุ�ษย์� vs คำอมพิ�วเตอร�
- หนิ�วยปีระมวลผลข่องคอมพิวเต้อร� (CPU) ม�ความซ�บัซ�อนิมาก ม�ความสามารถมาก ในิเคร�*องคอมพิวเต้อร�แต้�ละเคร�*อง ม�จ$านิวนิ CPU ไม�มาก และการเช�*อมต้�อระหว�าง CPU ไม�ได้�ซ�บัซ�อนิ- คอมพิวเต้อร�ม�หนิ�วยความจ$าส�วนิกลาง ใช�เก5บัโปีรแกรมและข่�อม.ล- คอมพิวเต้อร�ถ.กโปีรแกรมในิล�กษณะเปี:นิช(ด้ค$าส�*งให�ปีฏิบั�ต้ต้ามเปี:นิล$าด้�บัที�*แนิ�นิอนิ
อะไรคำ&อว�ช�วงจรข$�ย์นุ�วรอลเท(ย์มศึาสต้ร�ว�าด้�วยการค$านิวณโด้ยอาศึ�ยวงจรข่�ายที�*เล�ยนิแบับัการที$างานิข่องระบับั
การที$างานิข่องสมองข่องมนิ(ษย�
ISAN-DSP GROUP
วงจรข$�ย์นุ�วรอลเท(ย์ม Artificial Neural Networks
เล�ยนิแบับัการที$างานิข่องสมองมนิ(ษย� โด้ยใช�หนิ�วยปีระมวลผลง�ายๆ จ$านิวนิมาก ต้�อก�นิเปี:นิโครงสร�างข่��นิมา
ISAN-DSP GROUP
ต�วอย์$�งโคำรงสร��งของวงจรข$�ย์นุ�วรอลเท(ย์ม
Input nodesHidden nodes
Output nodes
Connections
jj
ji
mmiiiii
xwf
xwxwxwxwfy
)(
)( 33
22
11
Output ข่องแต้�ละโหนิด้
Wij = นิ$�าหนิ�ก (weight) ข่องแต้�ละแข่นิ (connection)Xi = input จากโหนิด้อ�*นิๆ
ISAN-DSP GROUP
วงจรข$�ย์นุ�วรอลเท(ย์ม ก�บ คำอมพิ�วเตอร�ท�)วไป
- วงจรข่�ายนิวรอลเนิ�นิที�*โครงสร�างเปี:นิหล�ก ใช�หนิ�วยปีระมวลผลง�ายๆจ$านิวนิมากมาต้�อก�นิ ข่ณะที�*คอมพิวเต้อร�ที�*งไปีใช�หนิ�วยปีระมวลผลความสามารถส.ง แต้�ม�จ$านิวนิไม�มาก- การโปีรแกรมข่องคอมพิวเต้อร�โด้ยที�*วไปี ใช�ช(ด้ค$าส�*งเปี:นิล$าด้�บัข่��นิต้อนิ แต้�วงจรข่�าย นิวรอลจะเร�ยนิร. �โด้ยการฝึ>กฝึนิจาก ช(ด้ข่�อม.ลส$าหร�บัฝึ>กห�ด้ (Training set)
- วงจรข่�ายนิวรอลจด้จ$าได้�โด้ยการปีร�บัค�า weight ข่อง connections ที�*ที$าให� วงจรม�ข่�อผด้พิลาด้จากการฝึ>กห�ด้ (training error) ต้$*าที�*ส(ด้ - การปีร�บั weight จะค�อยๆปีร�บัที�ละนิ�อยในิการฝึ>กแต้�ละคร��ง เม�*อฝึ>กบั�อยๆ ค�า ความผด้พิลาด้ก5จะลด้ลงเร�*อยๆ- ปี'จจ(บั�นิโปีรแกรมวงจรข่�ายนิวรอลม�กจะใช�การจ$าลองบันิคอมพิวเต้อร�แทีนิส�วนิที�*เปี:นิวงจรเคร�อข่�ายอ�นิสล�บัซ�บัซ�อนิ โด้ยใช�ซอฟัต้�แวร�เปี:นิหล�ก ส�วนิฮาร�ด้แวร�ที�*เล�ยนิแบับัวงจรข่�ายนิวรอลโด้ยต้รงม�นิ�อยมาก เนิ�*องจากความยากล$าบัากในิการสร�าง
ISAN-DSP GROUP
วงจรข$�ย์นุ�วรอลเท(ย์มก�บก�รใช�ง�นุ
วงจรข่�ายนิวรอลเปี:นิเคร�*องม�อเอนิกปีระสงค�ที�*เหมาะจะใช�ก�บังานิ:1. งานิการจด้จ$าร.ปีแบับัที�*ม�ความไม�แนิ�นิอนิ เช�นิ ลายม�อ ลายเซนิต้� ต้�วอ�กษร ร.ปีหนิ�า2. งานิการปีระมาณค�าฟั'งก�ช�นิหร�อการปีระมาณความส�มพิ�นิธิ� (ม� inputs และ outputs แต้�ไม�ทีราบัว�า inputs ก�บั outputs ม�ความส�มพิ�นิธิ�ก�นิอย�างไร)
3. งานิที�*ส*งแวด้ล�อมเปีล�*ยนิแปีลงอย.�เสมอ (วงจรข่�ายนิวรอลสามารถปีร�บัต้�วเองได้�)4. งานิจ�ด้หมวด้หม.�และแยกแยะส*งข่อง5. งานิที$านิาย เช�นิพิยากรณ�อากาศึ พิยากรณ�ห(�นิ
ISAN-DSP GROUP
Neural Network Taxonomy
Gradient Descent
Recurrent Backpropagation
RABAMBrownian annealingBoltzmann learningABAM, ART-2, BAM
Adaptive ResonanceART-1, ART-2
Vector Quantization
Self-organizing mapsCompetitive learningCounter-propagation
Least mean squareBackpropagationReinforcement learning
Feedforward Feedback
Sup
ervi
sed
Uns
uper
vise
d
Decoding
En
cod
ing
ISAN-DSP GROUP
ก�รเร(ย์นุร+� Learning
1. Supervised Learning การเร�ยนิแบับัม�การสอนิเปี:นิการเร�ยนิแบับัที�*ม�การต้รวจค$าต้อบัเพิ�*อให�วงจรข่�ายปีร�บัต้�ว ช(ด้ข่�อม.ลที�*ใช�สอนิวงจร
ข่�ายจะม�ค$าต้อบัไว�คอยต้รวจด้.ว�าวงจรข่�ายให�ค$าต้อบัที�*ถ.กหร�อไม� ถ�าต้อบัไม�ถ.ก วงจรข่�ายก5จะปีร�บัต้�วเองเพิ�*อให�ได้�ค$าต้อบัที�*ด้�ข่��นิ (เปีร�ยบัเที�ยบัก�บัคนิ เหม�อนิก�บัการสอนินิ�กเร�ยนิโด้ยม�คร.ผ(�สอนิคอยแนิะนิ$า)
2. Unsupervised Learning การเร�ยนิแบับัไม�ม�การสอนิเปี:นิการเร�ยนิแบับัไม�ม�ผ.�แนิะนิ$า ไม�ม�การต้รวจค$าต้อบัว�าถ.กหร�อผด้ วงจรข่�ายจะจ�ด้
เร�ยงโครงสร�างด้�วยต้�วเองต้ามล�กษณะข่องข่�อม.ล ผลล�พิธิ�ที�*ได้� วงจรข่�ายจะสามารถจ�ด้หมวด้หม.� ข่องข่�อม.ลได้� (เปีร�ยบัเที�ยบัก�บัคนิ เช�นิการที�*เราสามารถแยกแยะพิ�นิธิ(�พิ�ช พิ�นิธิ(�ส�ต้ว�ต้ามล�กษณะร.ปีร�างข่องม�นิได้�เองโด้ยไม�ม�ใครสอนิ)
ISAN-DSP GROUP
Network Architecture
Feedforward network ข่�อม.ลที�*ปีระมวลผลในิวงจรข่�ายจะถ.กส�งไปีในิทีศึทีางเด้�ยวจาก Input nodes
ส�งต้�อมาเร�*อยๆจนิถ�ง output nodes โด้ยไม�ม�การย�อนิกล�บัข่องข่�อม.ล หร�อแม�แต้� Nodes
ในิ layer เด้�ยวก�นิก5ไม�ม�การเช�*อมต้�อก�นิ
Input nodes Output nodes
Direction of data flow
ISAN-DSP GROUP
Network Architecture (cont.)
Feedback network ข่�อม.ลที�*ปีระมวลผลในิวงจรข่�าย จะม�การปี;อนิกล�บัเข่�าไปีย�งวงจรข่�ายหลายๆคร��ง
จนิกระที�*งได้�ค$าต้อบัออกมา (บัางที�เร�ยกว�า Recurrent network)
Input nodes Output nodes