נושאים מתקדמים בנוירו - חישוביים הרצאת מבוא
DESCRIPTION
מנחה הקורס ד " ר לרי מנביץ '. נושאים מתקדמים בנוירו - חישוביים הרצאת מבוא. נושאים. מה זה נוירון ? 3 דורות של מודל הנוירון נוירון ביולוגי סימולציה לנוירון IPSP / EPSP LSM סקירת מאמרים. Man versus Machine (hardware). Man versus Machine (information processing). - PowerPoint PPT PresentationTRANSCRIPT
1
מתקדמים נושאיםחישוביים-בנוירו
מבוא הרצאת
הקורס מנחה'ד מנביץ" לרי ר
2
נושאים? נוירון זה מה
3 הנוירון מודל של דורות ביולוגי נוירון לנוירון סימולציהIPSP/EPSPLSM
מאמרים סקירת
3
Man versus Machine (hardware)
Numbers Human brain Von Neumann computer
# elements 1010 - 1012 neurons 107 - 108 transistors
# connections / element 104 - 103 10
switching frequency 103 Hz 109 Hz
energy / operation 10-16 Joule 10-6 Joule
power consumption 10 Watt 100 - 500 Watt
reliability of elements low reasonable
reliability of system high reasonable
4
Man versus Machine (information processing)
Features Human Brain Von Neumann computer
Data representation analog digital
Memory localization distributed localized
Control distributed localized
Processing parallel sequential
Skill acquisition learning programming
No memory management, No hardware/software/data distinction
5
Biologically Inspired Electro-chemical signals Threshold output firing
Axon
Terminal Branches of Axon
Dendrites
6
The Perceptron Binary classifier functions
Threshold activation function
Axon
Terminal Branches of Axon
Dendrites
S
x1
x2w1
w2
wnxn
x3 w3
Yj : output from unit jWij : weight on connection from j to iXi : weighted sum of input to unit i
xi = ∑j wij yj
yi = f(xi – qi)Threshold
Type 1. Perceptron feedforward
Structure: 1 input layer 1 output layer
Supervised learning Hebb learning rule
Able : AND or OR. Unable: XOR
x0 f
i1 w01
y0i2
b=1
w02
w0b
Learning in a Simple Neuron
Perceptron Learning Algorithm:1. Initialize weights2. Present a pattern and target output3. Compute output :4. Update weights :Repeat starting at 2 until acceptable
level of error
][ 2
0i
iixwfy
iii wtwtw )()1(
9
Computing other functions: the OR function
Assume a binary threshold activation function. What should you set w01, w02 and w0b to be so that you
can get the right answers for y0?
i1 i2 y0
0 0 00 1 11 0 11 1 1
x0 f
i1 w01
y0i2
b=1
w02
w0b
10
Many answers would work
y = f (w01i1 + w02i2 + w0bb)
recall the threshold function
the separation happens when w01i1 + w02i2 + w0bb = 0
move things around and you geti2 = - (w01/w02)i1 - (w0bb/w02)
i2
i1
n
N
nn xwuy
1
11
The XOR FunctionX1/X2 X2 = 0 X2 = 1
X1= 0 0 1
X1 = 1 1 0
i2
i1
12
Type 2. Multi-Layer-Perceptron feed forward
1 input layer, 1 or more hidden layers, 1 output layer
supervised learning delta learning rule,
backpropagation (mostly used)
Able : every logical operation
14
The Perceptron
Type 3. Backpropagation Net feedforward
1 input layer, 1 or more hidden layers, 1 output layer
supervised backpropagation sigmoid
Used :complex logical operations, pattern classification, speech analysis
The Back-propagation Algorithm
On-Line algorithm:1. Initialize weights2. Present a pattern and target
output3. Compute output :4. Update weights :Repeat starting at 2 until acceptable
level of error
o f w oj iji
n
i
[ ]0
w t w t wij ij ij( ) ( ) 1
17
Pattern Separation and NN architecture
18
נוירונים רשתות של סימולציותIדור
McCulloch-Pitts threshold
בוליאניות משוואות לחשב מסוגלIIדור
feed-forward, recurrent neural networks and backward propagation
גם ונקראים פולינומיאלית משוואות לחשב מסוגלותuniversal approximation כל לחקות שמסוגלים מכיוון
. אנלוגית משוואה הדור הביולוגי לנוירון -2בהשוואה " " ב דבר ל rateמסוגל
coding אוfrequency coding ( המרחק היריות תדירות שזה) לירייה ירייה בין
19
נוירונים רשתות של סימולציותIIIדור
. הביולוגי לנוירון הסימולציות בקירוב נוספת עליה לרבב מסוגלים יריות multiplexingהנוירונים תדרים
- " ב" לדבר ב – pulse codingו rate codingבמקום " זמן " באותו מילים כמה להעביר ובכך
" יחידה" לכל עצמי שעון
20
21
22
23
24
25
26
27
28
29
30
Hodgkin-Huxley Model100
mV
0
)()()()( 43 tIEugEungEuhmgdtduC llKKNaNa
)()(0
uumm
dtdm
m
)(
)(0
uunn
dtdn
n
)(
)(0
uuhh
dtdh
h
stimulus
NaI KI leakI
inside
outside
Ka
Na
Ion channels Ion pump
C glgK gNa
I
K = אשלגןNa = נתרן
31
Hodgkin-Huxley Model
)()()()( 43 tIEugEungEuhmgdtduC llKKNaNa
)()(0
uumm
dtdm
m
)(
)(0
uunn
dtdn
n
)(
)(0
uuhh
dtdh
h
stimulus
NaI KI leakI
inside
outside
Ka
Na
Ion channels Ion pump
u u
h0(u)
m0(u) )(uh
)(um
pulse inputI(t)
32
דוגמאות Integrate & Fire Neural Network.htm actionpotential.swf
33
כללי נוירולוגי מבנה, מערכות סוגי שני יש בגופנו
) אנדרנלין ) ממריץ) חולין\ ) אציטין מאיט מרגיע
: סינפציות סוגי שני לפחות יש : התא לגוף מתחברת לרוב מעקבות : העצים בסופי מתחברות לרוב מעוררת
הוא הסינפצות בין . 20מרווח ננומטר הזמן הלמידה- מימד את ליראות ניתן
- , שני הזמן במימד שימוש היא אסוציאטיביתקשורים כלל בדרך הן זמנית בו שקורים מאורעות
. . וזמן גירוי טעם פאבלוב ניסוי לדוגמא לשני אחד
34
35
36
37
38
39
40
נובע תאים בין הקשר בחיזוק השני השלב , לטווח מתמשך חדשות סינפסות מיצירת
. גנים שפעול ומצריך ארוך
41
42
43
טיפוסי / קלט פלט
44
45
Generation of multiple Action Potentials
Rate is dependent on depolarization Firing frequency 1 per second is 1 Hz Maximum is about 1000Hz Absolute refractory period Relative refractory period I(ion)=g(ion)(Vm-Eion)
46
אינסטינקטיבית תגובה
47
Mapping from biological neuron
Nervous System Computational Abstraction
Neuron Node
Dendrites Input link and propagation
Cell Body Combination function, threshold, activation function
Axon Output link
Spike rate Output
Synaptic strength Connection strength/weight
48
EPSPexcitatory postsynaptic potential IPSPInhibitory postsynaptic potential
:Hebb חוקיתחזק זמנית בו הפועלים תאים בין הקשר
49
50
Liquid State Machine (LSM)
51
Liquid State Machine (LSM)• Maass’ LSM is a spiking recurrent neural
network which satisfies two properties– Separation property (liquid)– Approximation property (readout)
• LSM features– Only attractor is rest– Temporal integration– Memoryless linear readout map– Universal computational power: can
approximate any time invariant filter with fading memory
– It also does not require any a-priori decision regarding the ``neural code'' by which information is represented within the circuit.
52
Maass’ Definition of the Separation Property
The current state x(t) of the microcircuit at time t has to hold all information about preceding inputs.
Approximation PropertyReadout can approximate any continuous function f that maps current liquid states x(t) to outputs v(t).
53
2 motors, 1 minute footage of each case, 3400 framesReadouts could utilize wave interference patterns
54
Zero One
55
מאמרים סקירת Spiking neural networks, an introduction.pdf
דור של ומבנה נוירונים רשתות על וסיכום במודלים 3הקדמה is the integrate-and-fire model good enough – a
review.pdf מודל בין מודל I&Fהשוואה מודל HHלבין של הרחבה למודל I&Fכולל
שניהם את שמשלב LSM (Liquid State Machine)
Liquid State Machines,a review.pdf Liquid State Machine Built of Hodgkin–Huxley Neurons.pdf The Echo State approach to analysing and training recurrent neural
networks.pdf LSM Turing Maching
On the Computational Power of Circuits of Spiking neurons.pdf The Echo State approach to analysing and training recurrent
neural networks.pdf
56
מאמרים סקירת The Tempotron
לנוירון לימוד LIFמודל עם פולסים סדרות למיין המסוגל Spike Timing Dependent Plasticity Finds the Start of
Repeating Patterns in Continuous Spike Trains2.PDF מודלLIF " , י ע רק לימוד ללא בפולסים חזרות של רצף לזהות המסוגל
הקלטים משקלי שינוי Hubb’s Rule
Hebbian learning and spiking neurons.pdfCompetitive Hebbian learning through spike-timing dependent
synaptic plasticity.pdfSpike-Timing-Dependent Hebbian Plasticity as Temporal
Difference Learning.pdf Pitch Perception Models.pdf
" התדרים של קימוט י ע שמיעה ולהבין לחקות המנסה מודל