霍普菲尔德( hopfield ) 神经网络
Post on 19-Jan-2016
255 Views
Preview:
DESCRIPTION
TRANSCRIPT
网络结构形式
Hopfield 网络是单层对称全反馈网络,根据激活函数选取的不同,可分为离散型和连续性两种
( DHNN,CHNN )。DHNN :作用函数为 hadlim ,主要用于联想记忆。CHNN :作用函数为 S 型函数,主要用于优化计算。 反馈网络的结构如图 2.8.1 所示。
非线性系统状态演变的形式
在 Hopfield 网络中,由于反馈的存在,其加权 输入和 ui, i=1~n 为网络状态,网络的输出为 y1~yn , 则 u,y 的变化过程为一个非线性动力学系统。可用非线性差(微)分方程来描述。一般有如下的几种状态演变形式:
( 1 )渐进稳定 ( 2 )极限环 ( 3 )混沌现象 ( 4 )状态轨迹发散
Hopfield 网络的稳定性可用能量函数进行分析。 目前,人工神经网络常利用渐进稳定点来解决某些问题。例如,如果把系统的稳定点视为一个记忆的话,那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把系统的稳定点视为一个能量函数的极小点,把能量函数视为一个优化问题的目标函数,那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。这样的优点在于它的解并不需要真的去计算,而只要构成这种反馈网络,适当的设计其连接值和输入就可达到目的。
网络结构及 I/O 关系 图 2.8.2 是一个有三个节点的 DHNN 结构。 对于以符号函数为激活函数的网络,网络的方程可写为:
图 2.8.2
ni
tutx
txwtu
ii
n
jijiji
,,2,1 )1(sgn)1(
)1(1
两种工作方式 DHNN 主要有以下两种工作方式: ( 1 )串行工作方式 在某一时刻只有一个神
经元按照上式改变状态,而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。
( 2 )并行工作方式 在某一时刻有 N 个神经元
按照上式改变状态,而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当 N=n 时,称为全并行方式。
网络的稳定性分析 DHNN 的能量函数定义为:
有界E
w
xxxwE
XWXX
xxxwE
n
ii
n
i
n
jij
n
iii
n
i
n
jjiij
TT
n
iii
n
i
n
jjiij
11 1
11 1
11 1
2
1
2
12
1
2
1
关于 DHNN 的稳定性有如下的定理: 当网络工作在串行方式下时,若 W 为
对称阵,且其对角元素非负,则其能量函数单调下降,网络总能收敛到一个稳定点。
kk
kkk
n
jjkjk
n
iiikk
kk
kk
kk
k
kkkk
x
xwtxwxtxwxE
tutxtutx
tutxx
xtxtxxtE
2
1
1sgn,1 21sgn,1 2
sgn 0
1 1 1tEE
2
11
证明
一个局部极小点。所以它总能收敛到它的的,。另外能量函数是有界有故对任意的神经元
,。又因为的运行规则,根据
故有因为根据定理条件有
0
001 2
11
2
1
,
2
2
1
Ek
wtuxDHNN
kwtux
kwtxwxE
ww
kkkk
kkkk
kk
n
jkjkjk
jiij
全并行方式下也有同样的结论。
DHNN 网络设计 用 DHNN 实现联想记忆需要考虑两个重要的问题:① 怎样按记忆确定网络的 W 和;②网络给定之后如
何分析它的记忆容量。下面将分别讨论。1 、权值设计的方法2 、记忆容量分析3 、权值修正的其它方法 在 MATLAB 中,用函数 newhop.m 来设计一个
Hopfield 网络: net = newhop(T)
权值设计的方法 权值设计的方法有外积法、伪逆法、正交设
计法等。下面仅介绍外积法,它是一种比较简单,在一定条件下行之有效的方法。
niw
xxw
IXXW
nnIRXmKX
ii
m
k
kj
kiij
m
k
TKK
nK
~1 0
,,~1,
1
1
单位阵,则为给定输入
例 设计 DHNN ,并考察其联想性能。
说明所设计的网络没有准确的记忆所有期望的模式。
3233
222
!11
3
1
sgn Y
sgn Y
sgn Y
031301110
111111
111
TTWX
TWX
TWX
IXXW
TX
K
TKK
验证:
解:
权值移动
在网络的学习过程中,网络对权值的记忆实际上是逐个实现的。即对权值 W ,有程序 :
当网络准确的 X1 时,为了记忆 X2, 需要在记忆样本 X1
的权值上加上对样本 X2 的记忆项 X2 X2T-I ,将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。
end
IXXWWqkfor
W
TKK
,1
0
从动力学的角度来看, k值较小时,网络 Hebb 学习规则,可以使输入学习样本成为其吸引子。随着 k值的增加,不但难以使后来的样本成为网络的吸引子,而且有可能使已记忆住的吸引子的吸引域变小,使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘,这种现象称为“疲劳”。
交叉干扰 网络在学习多个样本后,在回忆阶段即验证该
记忆样本时,所产生的干扰,称为交叉干扰。 对外积型设计而言,如果输入样本是彼此正交
的, n 个神经元的网络其记忆容量的上界为 n 。但是在大多数情况下,学习样本不可能是正交的,因而网络的记忆容量要比 n 小得多,一般为 (0.13~0.15)n , n 为神经元数。
学习规则 学习规则基本公式是:
即通过计算该神经元节点的实际激活值 A(t) ,与期望状态 T(t) 进行比较,若不满足要求,将两者的误差的一部分作为调整量,若满足要求,则相应的权值保持不变。
tPtAtTtwtwPWijij
1
伪逆法
来。
求出权矩阵满秩,其逆存在,则可线性无关的,则如果样本之间是为伪逆,有其中
由此可得
来映射,则有输入输出之间用权值设输入样本
WPP
PPPPP
PNW
NYXWNW
XXXX
T
TT
N
,
sgn,
1
21
正交化权值设计
这一方法的基本思想和出发点是为了满足下面四个要求:
1 )保证系统在异步工作时的稳定性,即它的权值是对称的;
2 )保证所有要求记忆的稳定平衡点都能收敛到自己;
3 )使伪稳定点的数目尽可能的少; 4 )使稳定点的吸引域尽可能的大。MATLAB 函数[w,b]=solvehop(T);
连续性的 Hopfield 网络 CHNN 是在 DHNN 的基础上提出的,它的原理和 DHNN相似。由于 CHNN 是以模拟量作为网络
的输入输出量,各神经元采用并行方式工作,所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比 DHNN更接近于生物神经网络。我们将从以下几点来讨论 CHNN 。1 、网络模型2 、 CHNN 方程的解及稳定性分析3 、关于 Hopfield 能量函数的几点说明4 、关于 CHNN 的几点结论
CHNN 的网络模型 图 2.8.3 是 Hopfield 动态神经元模型。 对于神经元,放大器的 I/O 关系可用如下的方程
来描述:
图 2.8.4 是 CHNN 的结构图。
xxe
x
uv
IuvRR
u
dt
duc
x
ii
i
n
jij
iji
iii
tanh 1
1
1
10
或
对上述方程变形得:
i
ii
iijij
n
j iijiii
i
n
jjij
i
ii
cI
cRw
cRcR
vwu
dt
du
,1
,111
10
1
的一种特殊情况。视为可以此可见,模型有相同的形式。由上式与
则有如果令
为向量
矩阵形式:
CHNNDHNNDHNN
Wvuu
Rvdiagww
wwW
Wvuu
nn
nnn
n
,0
, , ,
121
1
111
1
CHNN 方程的解及稳定性分析 对于 CHNN 来说,关心的同样是稳定性问题。
在所有影响电路系统稳定的所有参数种,一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出,当放大器的放大倍数足够大时,网络由连续性转化成离散型,状态与输出之间的关系表现了激活函数的形状,而正是激活函数代表了一个网络的特点,所以,下面着重分析不同激活函数关系对系统的稳定性的影响。
1 、激活函数为线性函数时2 、激活函数为非线性函数时
当激活函数为线性函数时,即
不同的系统解的情况。的不同情况,可以得到,,,解出的特征值为单位对角阵。通过对其中
此系统的特征方程为:
。其中
:此时系统的状态方程为
r
ii
I
IA
WBR
A
BAUU
uv
21
0
1
对于非线性系统进行稳定性分析,方法之一就是在系统的平衡点附近对系统进行线性化处理。也可以基于网络的能量函数。下面介绍 Hopfield 能量函数法。
:
1
2
1
:
10
1
11 1
的稳定性有如下的定理关于能量项。入状态和输出值关系的上式第三项表示一种输
能量函数定义为
CHNN
dvvR
IvvvwEn
i
v
ii
n
iii
n
i
n
jjiij
i
dt
dvvc
dt
duc
R
uIvw
R
uIvwvw
v
E
dt
dv
v
E
dt
dE
nidt
dE
dt
dv
dt
dE
ww
cv
iiii
ii
i
ii
n
jjij
i
ii
n
jjji
n
jjij
i
n
i
i
i
i
jiij
ii
1
1
11
1
1
2
1
2
1
,,2,100,0
,
,0
证明:
,时,当且仅当
,有则随着网络状态的变化,且为单调连续递增的函数定理:若
idt
dE
dt
dvdt
dEvc
dt
dvvc
dt
dE
i
iii
n
i
iiii
0 0
0 ,0
1
1
21
时仅当
单调递增,
此定理表明,随着时间的演化,网络的状态总是朝能量减少的方向运动。网络的平衡点就是 E 的极小点。
关于 Hopfield 能量函数的几点说明
当对反馈网络应用能量函数后,从任一初始状态开始,因为在每次迭代后都能满足 E≤0 ,所以网络的能量将会越来越小,最后趋于稳定点 E=0 。
Hopfield 能量函数的物理意义是:在那些渐进稳定点的吸引域内,离吸引点越远的状态,所具有的能量越大,由于能量函数的单调下降特性,保证状态的运动方向能从远离吸引点处,不断地趋于吸引点,直到达到稳定点。
几点说明: 1 )能量函数为反馈网络的重要概念。
根据能量函数可以方便的判断系统的稳定性;
2 )能量函数与李雅普诺夫函数的区别在于:李氏被限定在大于零的范围内,且要求在零点值为零;
3 ) Hopfield 选择的能量函数,只是保证系统稳定和渐进稳定的充分条件,而不是必要条件,其能量函数也不是唯一的。
关于 CHNN 的几点结论 1 )具有良好的收敛性; 2 )具有有限个平衡点; 3 )如果平衡点是稳定的,那么它也一定是渐进
稳定的; 4 )渐进稳定平衡点为其能量函数的局部极小点; 5 )能将任意一组希望存储的正交化矢量综合为
网络的渐进平衡点; 6 )网络的存储信息表现为神经元之间互连的分布式动态存储;
7 )网络以大规模、非线性、连续时间并行方式处理信息,其计算时间就是网络趋于平衡点的时间。
Hopfield 网络在组合优化中的应用
组合优化问题,就是在给定约束条件下,求出使目标函数极小(或极大)的变量组合问题。
将 Hopfield 网络应用于求解组合优化问题,就是把目标函数转化为网络的能量函数,把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时,问题的最优解也随之求出。
旅行商问题,简称 TSP ( Traveling Salesman Problem )。问题的提法是:设有 N 个城市, , 记为:
, 用 dij表示 ci 和 cj 之间的距离, dij>0,(i,j=1,2,…n) 。
有一旅行商从某一城市出发,访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。
Nccc ,,, 21
NcccC ,,, 21
N=5 TSP Probelm N=5 ,并用字母 A 、 B 、 C 、 D 、 E 、分别代表这 5 个城市。当任选一条路径如 B->D->E->A->C, ,则其总路径长度可表示为
第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数,神经元的输出限制在二值 0 和 1 上,则映照问题可以用一个换位矩阵( Permutation Matrix )来进行,换位矩阵可如下图所示。
CBACEADEBD dddddS
约束条件和最优条件 矩阵的每个元素对应于神经网络中的每个神经元,
则这个问题可用 N2=52=25 个神经元组成的 Hop-field 网络来求解。
问题的约束条件和最优条件如下: ( 1) 一个城市只能被访问一次 =>换位矩阵每行
只有一个“ 1” 。 ( 2 )一次只能访问一个城市 =>换拉矩阵每列只
有一个“ 1” 。 ( 3 )总共有 N 个城市 =>换位矩阵元素之和为
N 。 (4 )求巡回路径最短 => 网络能量函数的最小值
对应于 TSP 的最短路径。
网络能量函数的构成 1 ) 第 x 行 的 所 有 元 素 xi 按 顺 序 两 两 相 乘 之 和 xi
N
x
N
ijxi
1
1 1应 为
0 。
2 ) N 个 行 的 所 有 元 素 按 顺 序 两 两 相 乘 之 和 xj
N
x
N
i
N
ijxi
1
1
1 1也 应 为
0 。
3 ) 将 第 2 ) 项 前 乘 系 数 A / 2 , 则 可 作 为 网 络 能 量 函 数 的 第 一 项
xi
N
x
n
i
N
ij xiA
1
1
1 12
同 理 , 对 应 于 第 ( 2 ) 个 约 束 条 件 , 可 得 能 量 函 数 的 第 二 项
yi
N
i
N
x
N
xyxi
B
1
1
1 12
式 中 , B / 2 为 系 数 。
续 1应于第(3 “)个约束条件,换位矩阵中所有为 1” 元素之和应等于 N
01 1
NN
x
N
ixi
由此可得网络能量函数的第三项
21 12
N
x
N
ixi N
C
式中,取平方值是为了使这项符合能量的表达形式,同时也体现了对不符合约束条件时的一种惩罚;C/2为系数。
续 2
第 ( 4 ) 项 为 优 化 目 标 , 即 优 化 要 求 其 表 达 式 为
1,1, iydiyd xixyxixy 和
由 前 三 个 约 束 条 件 可 知 , 这 两 项 至 少 有 一 项 为 0 , 顺 序 访问 x 、 y 两 城 市 所 有 可 能 途 径 ( 长 度 ) 可 表 示 为
),,(
)1,1,(
11
1
iyiyxixy
N
ixixyyxixy
d
iydid
续 3
N 个 城 市 两 两 之 间 所 有 可 能 的 访 问 路 径 的 长 度可 表 示 为
),,( 111 1 1
iyiyxi
N
x
N
y
N
ixyd
当 这 项 最 小 时 , 则 它 就 表 示 访 问 N 个 城 市 的 最 短 距离 。 由 此 得 到 网 络 能 量 函 数 的 第 四 项
N
x
N
y
N
iyiyxixy id
D1 1 1
1 )1,,(2
式 中 , D / 2 为 系 数 。
能量函数表达式网络能量函数的最后表达式
2
1 1
1
1
1 1 1
1
1 1
)(2
22
N
x
N
ixi
N
x
N
i
N
ij
N
i
N
x
N
xyyixixjxi
NC
BAE
),,(2 11
1 1 1
iyiy
N
x
N
y
N
ixy xid
D
E达到极小时,由网络状ij构成的换位矩阵表达了最佳旅行路径。
网络加权及阀值
第 三 步
确 定 网 络 神 经 元 之 间 的 连 接 权 及 神 经 元 输 出 的阀 值 。 设 网 络
),( ix 神 经 元 与 jy , 神 经 元 之 间 的 连 接 权 为
yixi , , 神 经 元 ),( ix 输 出 的 阀 值 为 xiI , 则 有
),,(
)1()1(,
11
ijijxy
xyijijxyyjxi
Dd
CBA
CNI xi
)(0
)(1
ji
jiij
求解 TSP 网络的迭代方程 第 四 步 : 求 解 T S P 网 络 的 迭 代 方 程
)(1 1
111
N
x
N
yxy
N
xyy
yi
N
jj
xi
xi
xiixi
NC
BAR
u
dt
duc
N
yyiyxy idD
11 )1,,(
)]tanh(1[21
)(0u
uu xi
xixixi
迭代步骤计算步骤 (1) 初始化:给定一个 0u 值(例如 02.00 u )。这保证收敛于正确解,按下式取网络各神经元的初始状态:
uxixi uu 00 (2-379)
式中, )1(121
000 Nuu n ,其中 N为网络神经元个数;
uxi 为(-1,+1)区间的随机值。
(2) 按式(2-378)求出各神经元的输出
)
)(tanh(1
21
)(0
00 u
tutu xi
xi (2-380)
top related