7 第七章学习与进化模型ann

✦《复杂系统建模与仿真》《复杂系统建模与仿真》

第八章学习与进化模型

本章内容建议自学参考 : 人工神经网络


本章要求

✦ 掌握 ANN 的基本原理和思想✦ 能够在 Swarm 和 Repast 中应用 ANN✦ 掌遗传算法的基本原理和思想✦ 能够在 Swarm 和 Repast 中应用 GA


大纲

✦ 学习主体

✦ ANN✦ 遗传算法

✦ 群体智能

✦ 粒子群优化算法


学习 Agent

一个学习 Agent 可以被认为既包含决定采取什么动作的执行元件，又包含修改执行元件使其能制定更好决策的学习元件。

一个学习元件的设计受到下列三个主要因素的影响：

将要学习的是执行元件的哪个组成部分；

对学习这些组成部分而言，可得到什么反馈；

组成部分是如何表示的。


学习中可用的反馈类型学习中可用的反馈类型通常是决定智能体所面临的学习

问题本质的最重要因素。一般分为三种类型：

有监督的

从它的输入和输出的实例中学习一个函数。对于完全可观察的环境，智能体总能够观察到它的行动所带来的影响，因此可以采用有监督学习的方法来学习预测它们，对于部分可观察的环境，会困难一些。

无监督的

在未提供明确的输出值的情况下，学习输入的模式。

强化学习

从强化事物中进行学习，而不是根据教师所说的应该做什么进行学习。

✦学习系统设计的影响因素：如何表示学习到的知识；先验知识的可用性。


归纳学习（ 1 ）— — 确定性的有监督的学习

✦纯归纳推理：给定 f 的实例集合，返回近似于 f 的函数 h✦函数 h 被称为假设，一个好的假设应该是一般化的，也就是说能够正确地预测未见过的实例。

✦例子（见板书）：使一个单变量函数能拟合某些数据点

✦假设空间 H ：选择最高次数为 k 的多项式集合

✦一致假设 : 和所有的实例数据一致。

✦如何在多个一致假设之间进行选择？？？

✦奥卡姆剃刀（ Ockham’s razor ）原则 : 优先选择与数据一致的最简单的假设。

✦在假设的复杂度和数据拟合度之间进行折中是不可避免的

✦找到一个简单的一致假设的可能性或不可能性很强地依赖于对假设空间的选择。


归纳学习（ 2 ）— — 确定性的有监督的学习

✦找到一个简单的一致假设的可能性或不可能性很强地依赖于

对假设空间的选择。（假设空间的重要性）

✦如果假设空间包含真实的函数，那么学习的问题就是可实现

的，否则就是不可实现的。

✦不幸的是，这是的函数是未知的，我们不能总是说出一个给

定的学习问题是否可实现，一种避开这个障碍的方法是使用先

验知识得到一个假设空间，我们可以确定一个真实的函数一定

在该假设空间中，另外一种做法是采用最大可能的假设空间。


学习决策树✦决策树归纳是最简单的但是最成功的学习算法形式之一。✦作为执行元件的决策树

一棵决策树将用属性集合描述的事物或情景作为输入，并“ ”返回一个决策。输入的属性或输出值可以是离散的，也

可以是连续的，学习一个离散值函数称为分类，学习一个连续函数称为回归。

实例说明：决定是否要等座位的决策树✦从实例中归纳决策树


强化学习所谓强化学习是指从环境状态到动作映射的学习，

以使动作从环境中获得的累积奖赏值最大。该方法不

同于监督学习技术那样通过正例、反例来告知采取何

种行动，而是通过试错（ trial-and-error）来发现

最优行为策略。

从 20 世纪 80年代末开始，随着对强化学习的数

学基础研究取得突破性进展后，对强化学习的研究和

应用日益开展起来，成为目前机器学习领域的研究重

点之一。


强化学习的框架结构Age nt由状态感知器 I、学习器 L和动作选择器 P 三模块组成。

✦ 状态感知器 I把环境状态 s 映射成 Age nt内部感知 i；✦ 动作选择器 P 根据当前策略选择动作 a作用于环境W；✦ 学习器 L根据环境状态的奖赏值 r以及内部感知 i，更新

Age nt的策略知识。W在动作 a的作用下将导致环境状态变迁到 s ’。　　强化学习技术的基本原理是：如果 Age nt

的某个动作导致环境正的奖赏（强化信号），那么 Age nt以后产生这个动作的趋势便会加强，反之 Age nt产生这个动作的趋势渐弱。


Q-学习

✦ Q- 学习是由Watkins 提出的一种模型无关的强化学习算法，又称为离策略 TD 学习（ off-policy TD ）。

✦由于在一定条件 Q- 学习只需采用贪婪策略即可保证收敛，因此 Q- 学习是目前最有效的模型无关强化学习算法。


Q- 学习算法流程

✦对每个初始化为 0),(^

asQas,✦观察当前状态s✦一直重复做：

✦(1) 选择一个动作并执行它

✦(2)接收到立即回报

✦(3) 观察新状态

✦(4) 按照下式更新表项：

✦

ar

's

'ss ←

)','(max),(^

'

^

asQrasQa

γ+←

✦(5)


Q-学习（例子）悬崖步行是由 Sutton 提出的一个 Agent 仿真试验环境，

如图所示。智能体的任务是从起始点 S移动到目标点G 。 S、 G 之间的阴影方格为悬崖，智能体移动到这个区域就有坠崖的危险，因此如果进入这个区域，就给它一个大的惩罚r＝－ 1000 ；如果到达 G ，就给它一个大的奖赏 r＝ 100 ，其它情况给它一个回报 r＝ -0.1 。通过学习，智能体可以找到一条既安全又不浪费移动步数的路径，通过对奖赏值的调整，智能体可以找到最安全或者最短的路径。


大纲

✦ 学习主体


✦ 群体智能



人工智能的联结主义流派

又称仿生学派，认为人工智能源于仿生学，人思维的基本单元是神经元，而非符号处理过程，主张用大脑工作模式取代符号操作的电脑工作模式；

智能的本质是联结机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统；

“结构－功能”的研究方法：认为功能、结构和智能行为是密切相关的；

✦1943年， McCulloch 和 Pitts从神经元入手研究神经网络模型——MP 模型。此为人工神经网络研究之始。


✦人工神经网络（ Artificial Neural Network ， ANN ）从四个方面刻画人脑的基本特征：

✦（ 1 ）物理结构物理结构✦模仿生物神经元的功能，构造人工神经元的联结网络

✦Cell body ✦Axon

✦Nucleus

✦Synapse✦突触

✦Dendrite✦树突


✦（ 2 ）计算模拟计算模拟✦人脑神经元既有局部的计算和存储功能，又通过联结构成统一的系统，人脑的计算建立在该系统的大规模并行模拟处理基础之上。

✦ANN 以具有局部计算能力的神经元为基础，同样实现信息的大规模并行处理。

✦（ 3 ）存储与操作存储与操作✦大脑对信息的记忆是通过改变突触的强度来实现并分布存储。

✦ANN 模拟信息的大规模分布存储。

✦（（ 44 ）训练）训练✦后天的训练使得人脑具有很强的自组织和自适应性。

✦ANN 根据人工神经元网络的结构特性，使用不同的训练过程，自动从“实践”（即训练样本）中获取相关知识，并存储在系统中。


ANN 是基于联结主义流派的人工智能

联结主义学派与高速发展的计算机技术相结合，发展为计算智能学派，是人工智能在 1980年代后的深化和发展；

计算智能：借助现代计算机技术模拟人的智能控制、生命演化过程和人的智能行为，从而进行信息获取、处理、应用的理论和方法；

计算智能是以数学模型、计算模型为基础，以分布、并行、仿生计算为特征，包含数据、算法和实现的信息系统；

计算智能强调模型的建立和构成，强调系统的自组织、自学习和自适应；

计算智能的 3 个主要分支：

✦ 人工神经网络人工神经网络（模拟智能产生与作用赖以存在的结构）

✦ 遗传算法遗传算法（模拟生命生成过程与智能进化过程）

✦ 模糊逻辑模糊逻辑（模拟智能的表现行为）


人工神经网络概述

✦人工神经网络是受生物神经网络的启发构造而成。

✦James （《心理学》， 1890年）：大脑皮层每一点的活力产生于其它点势能释放的综合效能，即其它点的兴奋次数、强度和所接受的能量。

✦大脑含约 1011 个神经元，它们通过 1015 个联结构成一个网络。每个神经元具有独立的接受、处理和传递电化学信号的能力，这种传递由神经通道来完成。


神经元的结构神经元的结构

✦树突从细胞体伸向其它神经元，神经元之间的接受信号的联结点为突触。通过突触输入的信号起着兴奋 /抑制作用。当细胞体接受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲动，并由轴突输出。

✦Cell body ✦Axon

✦Nucleus

✦Synapse✦突触

✦Dendrite✦树突


神经元系统的基本特征✦ 神经元及其联结

✦ 神经元之间的联结强度决定信号传递的强弱

✦ 神经元之间的联结强度可以随训练而改变

✦ 信号分为兴奋型和抑制型

✦ 一个神经元接受的信号的累计效果决定该神经元的状态

✦ 每个神经元有一个阈值


人工神经网络的几种形式

无反馈前向网

✦多输入、多输出的多层无环图，同一层间无联结

✦神经元分层排列，组成输入层、中间层（隐层）、输出层


有反馈前向网

✦从输出层到输入层存在反馈的前向网。


层内有联结的前向网

✦在无反馈前向网中同一层内存在神经元间的联结回路

✦《复杂系统建模与仿真》《复杂系统建模与仿真》✦人工神经网络方法简介人工神经网络方法简介

有向网✦任意两个神经元间都可能存在有向联结。

✦网络处在动态中，直至达到某一平衡态、周期态或者混沌状态


✦感知器（感知器（ PerceptronPerceptron ））

✦————人工神经网络的基本构件人工神经网络的基本构件


✦感知器（ Perceptron ）是最早被设计并实现的人工神经网络。

✦W. McCulloch 和 W. Pitts 总结生物神经元的基本生理特征，提出一种简单的数学模型与构造方法，建立了阈值加权和模型，简称 M-P 模型 (“A Logical Calculus Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, 1943(5): 115~133 ）。

✦人工神经元模型是 M-P 模型的基础。

感知器的数学模型

✦Warren McCulloch

✦（ 1898－1969 ）

✦Walter Pitts

✦(1923－1969)


生物神经元的基本特征

神经元及其联结

神经元之间的联结强度决定信号传递的强弱

神经元之间的联结强度可以随训练而改变

信号分为兴奋型和抑制型

一个神经元接受的信号的累计效果决定该神经元的状态

每个神经元有一个阈值

✦突触

✦树突✦轴突轴突

✦突触

✦树突✦内核

✦轴突


✦模拟神经元的首要目标：输入信号的加权和

✦人工神经元可以接受一组来自系统中其它神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。每个权就相当于突触的联结强度。

✦w1

✦Σwi xi✦w2

✦wn

✦x1

✦x2

✦xn

XWxwXu ii ⋅== ∑)(

✦人工神经元数学模型人工神经元数学模型

✦——多输入、单输出的加权和结构


✦设 X = (x1, x2, …, xn) 表示 n 个输入， W = (w1, w2, …, wn)表示它们对应的联结权重。

✦故神经元所获得的输入信号累计效果为：

( ) ( )xwxwxun

iii ,

1

==∑=

✦w1

✦Σwi xi✦w2

✦wn

✦x1

✦x2

✦xn

XWxwXu ii ⋅== ∑)(

✦称 u(x) 为整合函数


✦感知器的激活函数感知器的激活函数

神经元获得网络输入信号后，信号累计效果整合函数 u(x)大于某阈值大时，神经元处于激发状态；反之，神经元处于抑制状态

构造激活函数激，用于表示这一转换过程。要求，是 [-1, 1] 之间的单调递增函数

激活函数激通常为 3 种类型，由此决定了神经元的输出特征


✦（ 1 ）激活函数）为符号函数：

<−≥+

==0,1

0,1)sgn()(

u

uuuϕ

✦1

✦-1

✦u

✦ϕ


✦（ 2 ）激活函数）为分段线性函数：

≤−

<<−

≥

=

2

1,1

2

1

2

1,

2

1,1

)(

u

uu

u

uϕ

✦1

✦-1

✦u

✦ϕ


✦（ 3 ）激活函数）为 Sigmoid 函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。

11

2)( −

+= − ue

u αϕ

u

u

e

eu −

−

+−=

1

1)(ϕ

✦ϕ✦1

✦-1

✦u


✦2. M-P2. M-P 模型模型

✦将人工神经元的基本模型与激活函数将结合，即McCulloch –Pitts 模型。

✦w1

✦θ ✦u=Σwixi✦w2

✦wn

✦x1

✦x2

✦xn

y=ϕ (u(x)-θ )

( )( )

−=−= ∑

=

θϕθϕn

iii xwxuy

1


✦ANN 可以学会它表达的任何东西。（ Rosenblatt ， 1962年）

✦ANN 的表达能力有限，其学习能力也受到限制。

✦ANN 的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出适当的输出。

✦有监督的学习（ Supervised learning ）

✦无监督的学习（ Unsupervised learning ）

感知器的学习算法感知器的学习算法


✦感知器的学习是有监督的学习。学习的问题归结为求权重系数 W = (w1, w2, …, wn) 和阈值和的问题。

✦基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。

✦w1

✦θ ✦u=Σwixi✦w2

✦wn

✦x1

✦x2

✦xn

✦y=ϕ (u(x)-θ )


✦设 X = (x1, x2, …, xn) 表示 n 个输入， W = (w1, w2, …, wn)表示它们对应的联结权重。假设取符号函数为激活函数表，

✦此为经典的 M-P 模型：

<−≥+

==0,1

0,1)sgn()(

u

uuuϕ

✦w1

✦ϕ✦u=Σwixi✦w2

✦wn

✦x1

✦x2

✦xn

✦+1 or -1

<−≥+

===0,1

0,1)),sgn(())(sgn(

u

uxwxuy


训练集的样本（输入向量、输出值）为：

{ }txxxX ~,...,~,~~ 21=

{ }tyyyY ~,...,~,~~ 21=

t 为样本数目。其中，

{ } tkxxxx kn

kkk ,...,2,1~,...,~,~~21 ==

tky k ,...,2,11~ =±=


✦感知器的基本理论感知器的基本理论

✦““线性不可分”问题的困境及其解决线性不可分”问题的困境及其解决

✦Marvin Minsky✦MIT Media Lab and MIT AI Lab

Toshiba Professor of Media Arts and SciencesProfessor of E.E. and C.S., M.I.T

[email protected]

✦1969年， Minsky 和Papert 在“ Perceptron” 一书中从理论上证明单层感知器无法解决许多简单的问题，包括“异或(XOR)” 问题。使得 ANN理论的发展在 1970～ 80

年代处于低潮。


✦““异或异或 (Exclusive-(Exclusive-OR)”OR)”运算运算

=

=others

yxifyxf

,1

,0),(

f (x, y)y

0 1

x0 0 1

1 1 0

✦是一个双输入、单输出问题。对应的单层感知器为：

✦x

✦y

✦a

✦b

✦z

✦ax+by=θ✦x

✦y

✦无论如何选择参数 a ， b ，，，都无法满足划分。这种由单层感知器不能表达的问题称为线性不可分问题。


✦考虑 n 个自变量的二值函数，当 n≥4时，线性不可分的函数个数远远超过线性可分函数的个数。

自变量个数函数的个数线性可分函数的个数

1 4 42 16 143 256 1044 65,536 1,8825 4.3×109 94,5726 1.8×1019 5,028,134

✦（ R. O. Windner, 1960 ）

✦表明单层感知器不能表达的问题的数量远远超过它可以表达的问题的数量。


✦解决途径——多层网络解决途径——多层网络

✦一个单层网络可以将空间划分成两部分，用多个单层网络组合在一起，并用其中的一个去综合其它单层网络的结果，构成一个二层网络，即可用来在空间划分出一个封闭或开放的凸域（子空间）。

✦x1

✦z0

✦xn

✦z1

✦zn


✦非线性感知器非线性感知器

✦取权重函数为非线性函数的单级传感器系统。其学习过程涉及到求解非线性方程组的方法。

✦高阶感知器高阶感知器

✦可线性化的非线性传感器系统。


✦单层前向网、多层前向网单层前向网、多层前向网

与与 BPBP 学习算法简介学习算法简介


✦一、一、单层前向网络单层前向网络

✦单层前向网模型单层前向网模型

✦ 设有 c ≥ 1 个感知器，其中第 k 个感知器的输出为 yk ；对于输入信号 x = (x1, x2, …, xn) ，每个感知器有 d个输入 uj(x) ， j=1, 2, …, d 。

✦1

✦k

✦c

✦x1

✦xn

✦x2

✦u1(x)

✦u2(x)

✦ud(x)

✦x3

✦wk1

✦wk2

✦wk3

✦yk

✦输入层 ✦输出层


✦一个单层前向网可表示为：

( ) ( ) ( ){ } ckxuwxuwxy kkk

d

jjkjk ,...,2,1)(,

1

=−=

−= ∑=

θϕθϕ

✦< ：激活函数；

✦wk=(wk1, wk2, …, wkd) ：第 k 个感知器的权重系数；

✦θk ：第 k 个感知器的阈值；

✦u=(u1, u2, …, ud) ：基函数

✦x∈Rn ， u(x)∈Rn

✦若记 wk0 = θk ， u0=－ 1 ，则上式变换为：

( ) ( ) ckxuwxyd

jjkjk ,...,2,1

0

=

= ∑=

ϕ


✦ 记 yk(wk; x) 为第 k 个感知器当权重系数为 wk∈Rd ，输

入为 x ∈Rn时的输出。

✦ 设训练集为 A = { (xα, t α) |α=1, 2, …, N } ，其中表示训练集数据编号， xα∈Rn 为输入， tα∈Rc 为输出， tk

α 为

第 k 个感知器的期望输出。

✦ 基于训练集 A 的误差函数定义为：

( )[ ]∑∑= =

−=N c

kkkk txwywE

1 1

2;

2

1)(

α

αα

✦单层前向网的学习目标函数单层前向网的学习目标函数


✦学习的目标就是求 wk ， k=1,2,…,c ，使

得误差函数 E(w) 取最小值：

)(min wEA

✦这就是目标函数目标函数

✦单层前向网的学习原理本质上仍是感知器的学习原理。


✦线性单层前向网的解线性单层前向网的解

✦关于基函数 u(x), 对学习集的每一个数据，记：

( )( )ααα

αααα

d

d

uuu

xuxuxuu

,...,,

)(),...,(),(

21

21

=

=

✦其中其 =1, 2, …, N 。由此，定义学习集 A 的扩展集B ：

{ }NtuB ,...,2,1),( == ααα


✦不妨假设激活函数不为恒等函数，此时网络为线性单层前向网。由此写出误差函数：

∑∑∑

∑∑∑

= = =

= = =

−−=

−=

N c

kkk

d

jjkj

N c

kk

d

jjkj

tuw

tuwwE

1 1

2

1

1 1

2

0

2

1

2

1)(

α

αα

α

αα

θ

✦优化的目标函数为：

)(min wEB


✦根据最小二乘法求解目标函数。

✦由多元函数取极值的必要条件，有：

djckw

wE

kj

,...,1,0;,...,10)( ===

∂∂

α

α

ααj

N d

ikiki

kj

utuww

wE ⋅

−=

∂∂ ∑∑

= =1 0

)(

01 0

=⋅

−∑∑

= =

α

α

ααj

N d

ikiki utuw

∑∑ ∑== =

=

N

jk

d

i

N

jiki utuuw10 1 α

αα

α

αα


写成矩阵形式

( ) UTUUW TT ⋅=⋅⋅

=

cdcc

d

d

www

www

www

W

...

......

...

10

22120

11110

=

Nd

NN

d

d

uuu

uuu

uuu

U

...

......

...

10

221

20

111

10

=

Nc

NN

c

c

ttt

ttt

ttt

T

...

......

...

21

222

21

112

11

✦WW: : cc××((dd++1)1)✦UU: : NN××((dd++1)1)✦T: T: NN××cc


解的形式为：

( ) 1−⋅⋅⋅= UUUTW TT


层前向网络、层前向网络、 BPBP 学习算法学习算法

双层前向网

✦多层前向网的结构特点：

✦1、允许网络具有数层相连的处理单元；

✦2、联结是从前一层的每一个节点到下一层所有节点，不存在其它联结；

✦3、同一层内的节点之间不存在联结；

✦4、不含任何反馈，故输出可以用输入和权重来表示。

✦L层神经网络：具有 L层可调节权重参数


✦1

✦2

✦M

✦2

✦1✦x1

✦xN ✦N

✦x2

✦y1✦1

✦2

✦c

✦y2

✦yc✦W(1) ✦W(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)

✦双层前向网模型：具有两层可调节参数且同层无联结的不含反馈的人工神经网络。

✦X层——输入层

✦Y层——输出层

✦Z层——隐层✦两层可调节权重参数： W(1)、W(2)


✦设输入层的输入为 (x1, x2, …, xn)∈Rn 。

✦首先考察隐层，设隐层神经元的激活函数为首。第 j 个隐层神经元的整合函数为 aj、输出值为 zj ：

( ) Mjaz

xwxwa

jj

N

iiji

N

ijijij

,...,2,10

)1(

1

)1()1(

==

=−= ∑∑==

ϕ

θ

)1(jiw

✦第 1层（隐层）权重矩阵中第i 个输入联结到第 j 个隐神经元的权重

)1(jθ ✦第 j 个隐神经元

的阈值

✦1

✦2

✦M

✦2

✦1✦x1

✦xN ✦N

✦x2

✦y1✦1

✦2

✦c

✦y2

✦yc✦W(1) ✦W(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)


✦同样考察输出层，设输出层神经元的激活函数为同。第 k个输出神经元以 z=(z1, z2, …, zM)∈RM 为输入，其整合函数

为 bk、输出值为 yk ：

( ) ckby

zwzwb

kk

M

jjkj

M

jkjkjk

,...,2,1

0

)2(

1

)2()2(

==

=−= ∑∑==

ψ

θ

)2(kjw

✦第 2层（输出层）权重矩阵中第 j 个隐神经元联结到第 k个输出神经元的权重✦第 k 个输出神经元的阈值

)2(kθ

✦1

✦2

✦M

✦2

✦1✦x1

✦xN ✦N

✦x2

✦y1✦1

✦2

✦c

✦y2

✦yc✦W(1) ✦W(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)


✦联合得到双层前向网的输出表达式：

✦1

✦2

✦M

✦2

✦1✦x1

✦xN ✦N

✦x2

✦y1✦1

✦2

✦c

✦y2

✦yc✦W(1) ✦W(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)

ckxww

xwwy

M

j

N

iijikj

M

jk

N

ijijikjk

,...,2,1,0 0

)1()2(

1

)2(

1

)1()1()2(

=

⋅⋅=

−

−⋅⋅=

∑ ∑

∑ ∑

= =

= =

ψϕ

θθψϕ

✦记为： ( )xWWTy ;,,, )2()1()2()1( θθ=


✦学习的目标函数学习的目标函数

✦为简化计，考虑两类的分类问题。

✦设 A、 B 是分类空间 Rd 中两个不相交的集合。考虑离散型双层前向网 T(W(1),W(2),θ (1),θ (2); x) ，取其激活函数，、、为符号函数 sgn (u) 。

∈−∈+

=Bx

AxxWWT

,1

,1);,,,( )2()1()2()1( θθ

✦该双层前向网的学习目标是，对 (A, B) 求 (W(1),W(2),θ (1),θ (2))使得：

✦求解上述方程。


✦误差的后向传播误差的后向传播

✦多层前向网的学习原理：基于适当定义的误差函数，在网络中调整权重矩阵和阈值等参数，使得误差函数极小化。

✦与单层前向网和感知器相比较，多层前向网由于隐层的存在，无法判别隐层神经元对输入误差的直接影响（无法知道隐层神经元的理想输出值）。因此，对参数权重矩阵和阈值的调整遇到困难。

✦1

✦2

✦M

✦2

✦1✦δx1

✦N

✦δy1✦1

✦2

✦c

✦δy2

✦δyc

✦δW(1) ✦δW(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)

✦δx2

✦δxN


✦解决方案——计算两个传播方向：

✦“前向传播 (Forward propagation)” ：输入 {xi} 进入网络，按照信息在网络中前进移动的方向，逐次计算 aj ， zj直至输出 {yk} 的过程；（输入向输出方向的前向传播）

✦“后向传播 (Back propagation)” ：利用输出层的误差来估计输出层的直接前导层的误差，再依次估计更前一层的误差，获得所有各层的误差估计。（输出误差向输入方向的后向传播）（ Rumelhart, Hinton & Williams, 1986 ）

✦1

✦2

✦M

✦2

✦1✦δx1

✦N

✦δy1✦1

✦2

✦c

✦δy2

✦δyc

✦δW(1) ✦δW(2)

✦输入层✦(X)

✦隐层✦(Z)

✦输出层✦(Y)

✦δx2

✦δxN


✦设学习集有 T 个样本，记为 {xα, tα} ，， =1, 2, …, T ，其中：

( )( ) c

c

NN

Rtttt

Rxxxx

∈=

∈=αααα

αααα

,...,,

,...,,

21

21✦输入

✦理想输出

( ) cc Ryyyy ∈= αααα ,...,, 21

✦计算实际输出，记为：

✦实际输出


显然有：

2,11

)()(=

∂∂=

∂∂ ∑

=

lw

E

w

E T

lij

lij α

α

因此只需讨论某一个样本点的误差传播，以下略去上标因

故误差函数为：

( )

( )∑∑

∑∑

= =

==

−=

==

T c

kkk

T

c

T

ty

yyyEEE

1 1

2

121

1

2

1

,...,,

α

αα

α

αααα

α

α


( ) Mjaz

xwxwa

jj

N

iiji

N

ijijij

,...,2,10

)1(

1

)1()1(

==

=−= ∑∑==

ϕ

θ

( ) ckby

zwzwb

kk

M

jjkj

M

jkjkjk

,...,2,1

0

)2(

1

)2()2(

==

=−= ∑∑==

ψ

θ

✦已知下列记号：

✦又定义第 k 个输出神经元和第 j 个隐层神经元的误差率误差率为：

Mja

E

ckb

E

jj

kk

,...,2,1,

,...,2,1,

)1(

)2(

=∂∂=

=∂∂=

δ

δ ✦输出层误差率

✦隐层误差率


✦由微分链式法则，计算可得：

( )∑

∑

=

=

′=

∂∂

⋅∂∂⋅

∂∂⋅

∂∂=

∂∂=

c

kkkjj

j

jc

k j

k

k

k

kjj

wa

a

z

z

b

b

y

y

E

a

E

1

)2()2(

1

)1(

δϕ

δ

✦输出层误差率

✦隐层误差率

( )k

kk

k

kkk y

Eb

b

y

y

E

b

E

∂∂⋅′=

∂∂⋅

∂∂=

∂∂= ψδ )2(


✦因此得到：

ijji

j

jji

jkkj

k

kkj

xw

a

a

E

w

E

zw

b

b

E

w

E

⋅=∂∂

⋅∂∂=

∂∂

⋅=∂∂⋅

∂∂=

∂∂

)1()1()1(

)2()2()2(

δ

δ

)2(αδk

)1(αδj

)1(

)2(

ji

kj

w

E

w

E

∂∂

∂∂

α

α

)2(

)1(

ij

ij

w

E

w

E

∂∂

∂∂


✦梯度法求解梯度法求解 wwijij((ll))

✦取步长因子为固定步长取，得到学习规则：

∑

∑

=

=

⋅−=∆

⋅−=∆

T

ijji

T

jkkj

xw

zw

1

)1()1(

1

)2()2(

α

α

α

α

δη

δη

✦其中其 k(2)、、 k

(1)均与均有关， k=1,2,…,c ； j=0, 1,…,M ； i=0, 1, …, N 。


大纲

✦ 学习主体


✦ 群体智能



遗传算法✦ 遗传算法的基本理论是借鉴自然界生物从简单到复杂、低级到高级的优胜劣汰、适者生存的进化机制，其本质是一种求

解优化问题的高效并行全局搜索方法。✦ 遗传算法的主要计算过程是：从随机产生的一个初始种群开始，通过一些算子（选择、交叉、变异）的作用，产生下一代种群，再以新产生的种群为出发点，重复上述过程，直到满足结束准则为止。

✦ 遗传算法（ G A）把问题的解表示成“染色体”，在算法中也即是以二进制编码的串。并且，在执行遗传算法之前，给出一群“染色体”，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交叉，变异过程产生更适应环境的新一代“染色体”群。这样，一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就是问题的最优解。


遗传算法流程

✦ （ 3）依据适应度选择再生个体，适应度高的个体被选中的概率高，适应度低的个体可能被淘汰；

✦ （ 4）按照一定的交叉概率和交叉方法，生成新的个体；✦ （ 5 ）按照一定的变异概率和变异方法，生成新的个体；✦ （ 6）由交叉和变异产生新一代的种群，返回第 2 步。

✦（ 1 ）随机产生初始种群，个体数目一定，每个个体表示为染色体的基因编码；✦（ 2 ）计算个体的适应度，并判断是否符合优化准则，若符合，输出最佳个体及其代表的最优解，并结束计算；否则转向第 3步；


交叉算子和变异算子•单点交叉：交叉掩码以连续的 n 个 1开始，后面跟随必要个数的 0直至结束。

•两点交叉：交叉掩码以 n0 个 0开始，后面

跟随 n1 个 1 ，再跟随必要数量的 0结束。

•均匀交叉：产生一个随机的位串，每一位的选区都是随机的并且独立于其他位。

✦点变异：某一点取反


基本遗传算法

基本遗传算法（ Simple Genetic

Algorithms ，简称 SGA ，又称简单遗传算法

或标准遗传算法），是由 Goldberg 总结出的

一种最基本的遗传算法，其遗传进化操作过程

简单，容易理解，是其它一些遗传算法的雏形

和基础。


基本遗传算法的组成

（ 1 ）编码（产生初始种群）

（ 2 ）适应度函数

（ 3 ）遗传算子（选择、交叉、变异）

（ 4 ）运行参数


编码

GA 是通过某种编码机制把对象

抽象为由特定符号按一定顺序排成的

串。正如研究生物遗传是从染色体着

手，而染色体则是由基因排成的串。

SGA 使用二进制串进行编码。


函数优化示例

✦求下列一元函数的最大值：

✦

✦x [-1,2] ∈x [-1,2] ∈ ，求解结果精确到，求解结果精确到 66位小数。位小数。

0.2)10sin()( +⋅⋅= xxxf π


SGA 对于本例的编码 ✦ 由于区间长度为 3 ，求解结果精确到 6位小数，因此可将自变量定义区间划分为 3×106等份。又因为 221 < 3×106 < 222 ，所以本例的二进制编码长度至少需要 22位，本例的编码过程实质上是将区间 [-1 ， 2] 内对应的实数值转化为一个二进制串（ b21b20…b0 ）。


几个术语

✦ 基因型：1000101110110101000111

表现型：表现型： 0.637197 0.637197

✦编码✦解码

✦个体（染色体）

✦基因


初始种群

✦ SGA 采用随机方法生成若干个个体的集合，该集合称为初始种群。初始种群中个体的数量称为种群规模。


适应度函数 ✦ 遗传算法对一个个体（解）的好坏用适应度函数值来评价，适应度函数值越大，解的质量越好。适应度函数是遗传算法进化过程的驱动力，也是进行自然选择的唯一标准，它的设计应结合求解问题本身的要求而定。


选择算子

✦ 遗传算法使用选择运算来实现对群

体中的个体进行优胜劣汰操作：适应度高的个体

被遗传到下一代群体中的概率大；适应度低的个

体，被遗传到下一代群体中的概率小。选择操作

的任务就是按某种方法从父代群体中选取一些个

体，遗传到下一代群体。 SGA 中选择算子采用轮

盘赌选择方法。


轮盘赌选择方法

✦ 轮盘赌选择又称比例选择算子，它的基本思想是：各个个体被选中的概率与其适应度函数值大小成正比。设群体大小为 n ，个体 i 的适应度为 Fi ，则个体 i 被选中遗传到下一代群体的概率为：

∑=

=n

iiii FFP

1

/


轮盘赌选择方法的实现步骤✦ （ 1 ）计算群体中所有个体的适应度函数值（需

要解码）；

✦ （ 2 ）利用比例选择算子的公式，计算每个个体

被选中遗传到下一代群体的概率；

✦ （ 3 ）采用模拟赌盘操作（即生成 0 到 1 之间的

随机数与每个个体遗传到下一代群体的概率进行

匹配）来确定各个个体是否遗传到下一代群体中

。


交叉算子 ✦ 所谓交叉运算，是指对两个相互配对的染色体依据交叉概率 Pc 按某种方式相互交

换其部分基因，从而形成两个新的个体。交叉运算是遗传算法区别于其他进化算法的重要特征，它在遗传算法中起关键作用，是产生新个体的主要方法。 SGA 中交叉算子采用单点交叉算子。


单点交叉运算 ✦交叉前：

✦ 00000|01110000000010000✦ 11100|00000111111000101✦交叉后：

✦ 00000|00000111111000101✦ 11100|01110000000010000

✦交叉点


变异算子

✦ 所谓变异运算，是指依据变异概

率 Pm 将个体编码串中的某些基因值用其它基

因值来替换，从而形成一个新的个体。遗传算

法中的变异运算是产生新个体的辅助方法，它

决定了遗传算法的局部搜索能力，同时保持种

群的多样性。交叉运算和变异运算的相互配合

，共同完成对搜索空间的全局搜索和局部搜索。

SGA 中变异算子采用基本位变异算子。


基本位变异算子

✦ 基本位变异算子是指对个体编

码串随机指定的某一位或某几位基因作变异

运算。对于基本遗传算法中用二进制编码符

号串所表示的个体，若需要进行变异操作的

某一基因座上的原有基因值为 0 ，则变异操

作将其变为 1 ；反之，若原有基因值为 1 ，

则变异操作将其变为 0 。


基本位变异算子的执行过程

✦ 变异前：

✦ 000001110000000010000✦ 变异后：

✦ 000001110001000010000

✦变异点


运行参数

✦ （ 1 ） M ：种群规模

✦ （ 2 ） T ：遗传运算的终止进化代数

✦ （ 3 ） Pc ：交叉概率

✦ （ 4 ） Pm ：变异概率


SGA 的框图

✦产生初始群体

✦是否满足停止准则

✦是✦输出结果并结束

✦计算个体适应度值

✦比例选择运算

✦单点交叉运算

✦基本位变异运算

✦否

✦产生新一代群体

✦执行 M/2次


大纲

✦ 学习主体


✦ 群体智能



Swarm Intelligence

Swarm Intelligence (SI) 的概念最早由Beni、 Hackwood 和在分子自动机系统中提出。分子自动机中的主体在一维或二维网格空间中与相邻个体相互作用，从而实现自组织。 1999年， Bonabeau、 Dorigo 和Theraulaz 在他们的著作《 Swarm Intelligence: From Natural to Artificial Systems中对群智能进行了详细的论述和分析，给出了群智能的一种不严格定义：任何一种由昆虫群体或其它动物社会行为机制而激发设计出的算法或分布式解决问题的策略均属于群智能。


Swarm Intelligence(续 ) Swarm 可被描述为一些相互作用相邻个体的集合体，蜂群、蚁群、鸟群都是 Swarm 的典型例子。鱼聚集成群可以有效地逃避捕食者，因为任何一只鱼发现异常都可带动整个鱼群逃避。蚂蚁成群则有利于寻找食物，因为任一只蚂蚁发现食物都可带领蚁群来共同搬运和进食。一只蜜蜂或蚂蚁的行为能力非常有限，它几乎不可能独立存在于自然世界中，而多个蜜蜂或蚂蚁形成的 Swarm 则具有非常强的生存能力，且这种能力不是通过多个个体之间能力简单叠加所获得的。社会性动物群体所拥有的这种特性能帮助个体很好地适应环境，个体所能获得的信息远比它通过自身感觉器官所取得的多，其根本原因在于个体之间存在着信息交互能力。


Swarm Intelligence(续 ) 信息的交互过程不仅仅在群体内传播了信息，而且群内个体还能处理信息，并根据所获得的信息（包括环境信息和附近其它个体的信息）改变自身的一些行为模式和规范，这样就使得群体涌现出一些单个个体所不具备的能力和特性，尤其是对环境的适应能力。这种对环境变化所具有适应的能力可以被认为是一种智能（关于适应性与智能之间的关系存在着一些争议， Fogel 认为智能就是具备适应的能力），也就是说动物个体通过聚集成群而涌现出了智能。因此， Bonabeau 将 SI 的定义进一步推广为：无智能或简单智能的主体通过任何形式的聚集协同而表现出智能行为的特性。这里我们关心的不是个体之间的竞争，而是它们之间的协同。


Swarm Intelligence(续 )

James Kennedy 和 Russell C.Eberhart 在2001年出版了《 Swarm Intelligence 》，是群智能发展的一个重要历程碑，因为此时已有一些群智能理论和方法得到了应用。他们不反对 Bonabeau关于 SI 定义，赞同其定义的基本精神，但反对定义中使用“主体”一词。其理由是“主体”所带有自治性和特殊性是许多Swarm 的个体所不具备和拥有的，这将大大限制 Swarm 的定义范围。他们认为暂时无法给出合适的定义，赞同由Mark Millonas （ 1994 ）提出的构建一个 SI 系统所应满足的五条基本原则：


Swarm Intelligence(续 )[1] Proximity Principle: 群内个体具有能执行简单

的时间或空间上的评估和计算的能力。[2] Quality Principle: 群内个体能对环境（包括群

内其它个体）的关键性因素的变化做出响应。 [3] Principle of Diverse Response: 群内不同个体

对环境中的某一变化所表现出的响应行为具有多样性。

[4] Stability Principle: 不是每次环境的变化都会导致整个群体的行为模式的改变。

[5] Adaptability Principle: 环境所发生的变化中，若出现群体值得付出代价的改变机遇，群体必须能够改变其行为模式。


Swarm Intelligence(续 ) 《 Swarm Intelligence 》最重要的观点是： Mind is social ，也就是认为人的智能是源于社会性的相互作用，文化和认知是人类社会性不可分割的重要部分，这一观点成为了群智能发展的基石。群智能已成为有别于传统人工智能中连接主义和符号主义的一种新的关于智能的描述方法。

群智能的思路，为在没有集中控制且不提供全局模型的前提下寻找复杂的分布式问题求解方案提供了基础。在计算智能领域已取得成功的两种基于 SI 的优化算法是蚁群算法和粒子群算法。



目前，已有的基于 SI 的优化算法都是源于对动物社会通过协作解决问题行为的模拟，它主要强调对社会系统中个体之间相互协同作用的模拟。这一点与 EC 不同， EC 是对生物演化中适者生存的模拟。与 EC 一样的是， SI 的目的并不是为了忠实地模拟自然现象，而是利用他们的某些特点去解决实际问题。另一个与 EC 的相同点是 , 基于 SI 的优化算法也是概率搜索算法。



目前，已有的群智能理论和应用研究证明群智能方法是一种能够有效解决大多数优化问题的新方法，更重要是 , 群智能潜在的并行性和分布式特点为处理大量的以数据库形式存在的数据提供了技术保证。无论是从理论研究还是应用研究的角度分析 , 群智能理论及应用研究都是具有重要学术意义和现实价值的。



由于 SI 的理论依据是源于对生物群落社会性的模拟，因此其相关数学分析还比较薄弱，这就导致了现有研究还存在一些问题。首先，群智能算法的数学理论基础相对薄弱，缺乏具备普遍意义的理论性分析，算法中涉及的各种参数设置一直没有确切的理论依据，通常都是按照经验型方法确定，对具体问题和应用环境的依赖性比较大。其次，同其它的自适应问题处理方法一样，群智能也不具备绝对的可信性，当处理突发事件时 , 系统的反应可能是不可测的 , 这在一定程度上增加了其应用风险。另外 , 群智能与其它各种先进技术 ( 如 : 神经网络、模糊逻辑、禁忌搜索和支持向量机等 ) 的融合还不足。


蚁群算法

蚁群算法（ Ant Colony Optimization, ACO ）由Colorni ， Dorigo 和 Maniezzo 在 1991年提出，它是通过模拟自然界蚂蚁社会的寻找食物的方式而得出的一种仿生优化算法。自然界种蚁群寻找食物时会派出一些蚂蚁分头在四周游荡，如果一只蚂蚁找到食物，它就返回巢中通知同伴并沿途留下“信息素”（ pheromone ）作为蚁群前往食物所在地的标记。信息素会逐渐挥发，如果两只蚂蚁同时找到同一食物，又采取不同路线回到巢中，那么比较绕弯的一条路上信息素的气味会比较淡，蚁群将倾向于沿另一条更近的路线前往食物所在地。


蚁群算法 (续 ) ACO 算法设计虚拟的“蚂蚁”，让它们摸索不同路线，并留下会随时间逐渐消失的虚拟“信息素”。根据“信息素较浓的路线更近”的原则，即可选择出最佳路线。

目前， ACO 算法已被广泛应用于组合优化问题中，在图着色问题、车间流问题、车辆调度问题、机器人路径规划问题、路由算法设计等领域均取得了良好的效果。也有研究者尝试将ACO 算法应用于连续问题的优化中。由于 ACO算法具有广泛实用价值，成为了群智能领域第一个取得成功的实例，曾一度成为群智能的代名词，相应理论研究及改进算法近年来层出不穷。


蚁群算法 (续 )


大纲

✦ 学习主体


✦ 群体智能



粒子群算法 (particle swarm optimization ， PSO)由 Kennedy 和 Eberhart在 1995年提出，该算法模拟鸟集群飞行觅食的行为，鸟之间通过集体的协作使群体达到最优目的，是一种基于 Swarm Intelligence 的优化方法。同遗传算法类似，也是一种基于群体叠代的，但并没有遗传算法用的交叉以及变异，而是粒子在解空间追随最优的粒子进行搜索。 PSO 的优势在于简单容易实现同时又有深刻的智能背景，既适合科学研究，又特别适合工程应用，并且没有许多参数需要调整。

PSO 算法简介


PSO产生背景之一：复杂适应系统

CAS理论的最基本的思想可以概述如下：

我们把系统中的成员称为具有适应性的主体 (Adaptive Agent) ，简称为主体。所谓具有适应性，就是指它能够与环境以及其它主体进行交流，在这种交流的过程中“学习”或“积累经验”，并且根据学到的经验改变自身的结构和行为方式。整个系统的演变或进化，包括新层次的产生，分化和多样性的出现，新的、聚合而成的、更大的主体的出现等等，都是在这个基础上出现的。


复杂适应系统（ CAS ）续

CAS的四个基本特点：

✦ 首先，主体 (Adaptive Agent) 是主动的、活的实体；

✦ 其次，个体与环境 ( 包括个体之间 ) 的相互影响，相互作用，是系统演变和进化的主要动力；

✦ 再次，这种方法不象许多其他的方法那样，把宏观和微观截然分开，而是把它们有机地联系起来；

✦ 最后，这种建模方法还引进了随机因素的作用，使它具有更强的描述和表达能力。


PSO产生背景之二 : 人工生命

人工生命“是来研究具有某些生命基本特征的人工系统。人工生命包括两方面的内容：

① 研究如何利用计算技术研究生物现象；

② 研究如何利用生物技术研究计算问题 (Nature Computation) 。

我们现在关注的是第二部分的内容。现在已经有很多源于生物现象的计算技巧，例如 , 人工神经网络是简化的大脑模型 . 遗传算法是模拟基因进化过程的。现在我们讨论另一种生物系统：社会系统，更确切地说，是由简单个体组成的群落与环境以及个体之间的互动行为，也可称做 " 群智能 " 。


基本 PSO 算法

粒子群优化算法源于 1987年 Reynolds 对鸟群社会系统 boids 的仿真研究， boids 是一个 CAS 。在 boids 中，一群鸟在空中飞行，每个鸟遵守以下三条规则：

1 ）避免与相邻的鸟发生碰撞冲突；

2 ）尽量与自己周围的鸟在速度上保持协调和一致；

3 ）尽量试图向自己所认为的群体中靠近。

仅通过使用这三条规则， boids 系统就出现非常逼真的群体聚集行为，鸟成群地在空中飞行，当遇到障碍时它们会分开绕行而过，随后又会重新形成群体。


基本 PSO 算法（续）

Reynolds仅仅将其作为 CAS 的一个实例作仿真研究，而并未将它用于优化计算中。

Kennedy 和 Eberhart 在中加入了一个特定点，定义为食物，鸟根据周围鸟的觅食行为来寻找食物。他们的初衷是希望通过这种模型来模拟鸟群寻找食源的现象，然而实验结果却揭示这个仿真模型中蕴涵着很强的优化能力，尤其是在多维空间寻优中。


基本 PSO 算法 (续 ) PSO 中，每个优化问题的解都是搜索空间中的一只鸟。称之为“粒子 (Particle)” 。所有的粒子都有一个由被优化的函数决定的适应值，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索 .

PSO 初始化为一群随机粒子。然后通过叠代找到最优解。在每一次叠代中，粒子通过跟踪两个 "极值 " 来更新自己。第一个就是粒子本身所找到的最优解。这个解叫做个体极值 pBest. 另一个极值是整个种群目前找到的最优解。这个极值是全局极值gBest 。另外 , 也可以不用整个种群而只是用其中一部分的邻居。


基本 PSO 算法 (续 ) PSO 算法数学表示如下：

设搜索空间为 D维，总粒子数为 n 。第 i个粒子位置表示为向量 Xi=( xi1, xi2,…, xiD ) ；

第 i 个粒子 “飞行”历史中的过去最优位置

（即该位置对应解最优）为 Pi=( pi1,pi2,

…,piD ) ，其中第 g 个粒子的过去最优位置

Pg 为所有 Pi ( i=1, …,n) 中的最优；第 i 个粒

子的位置变化率（速度）为向量 Vi=(vi1, vi2,

…, viD) 。每个粒子的位置按如下公式进行变

化（“飞行”）：


基本 PSO 算法 (续 )

1

2

( 1) ( )

( ) [ ( ) ( )]

( ) [ ( ) ( )]

id id

id id

gd id

v t w v t

c rand p t x t

c rand p t x t

+ = ×+ × × −+ × × −

( 1) ( ) ( 1)

1 1id id idx t x t v t

i n d D

+ = + +≤ ≤ ≤ ≤

✦（1）

✦（2）

✦其中， C1,C2为正常数，称为加速因子； rand( )为 [0， 1]之间的随机数； w称惯性因子， w较大适于对解空间进行大范围探查 (exploration)， w较小适于进行小范围开挖(exploitation)。第 d（ 1≤d≤D）维的位置变化范围为 [-XMAXd , XMAXd]，速度变化范围为 [-VMAXd , VMAXd]，迭

代中若位置和速度超过边界范围则取边界值。


基本 PSO 算法 (续 )

粒子群初始位置和速度随机产生，然后按

公式 (1)(2) 进行迭代，直至找到满意的解。

目前，常用的粒子群算法将全体粒子群

(Global) 分成若干个有部分粒子重叠的相邻

子群，每个粒子根据子群 (Local) 内历史最

优 Pl调整位置，即公式 (2) 中 Pgd换为

Pld 。


PSO与 EC的异同

首先， PSO 和 EC 所模拟的自然随机系统不一样。 EC 是模拟生物系统进化过程，其最基本单位是基因，它在生物体的每一代之间传播；而 PSO 模拟的是社会系统的变化，其最基本单位是“敏因”（ Meme ），这一词由 Dawkin 在《 The Selfish Gene 》一书中提出，它是指思想文化传播中的基本单位，个体在社会中会根据环境来改变自身的思想， Meme 的传播途径是在个体与个体之间，在实际人类社会中它还可以在人脑与书本之间、人脑与计算机、计算机与计算机之间传播。


PSO与 EC的异同（续）

其次， EC 中强调“适者生存”，不好的个体在竞争中被淘汰； PSO 强调“协同合作”，不好的个体通过学习向好的方向转变，不好的个体被保留还可以增强群体的多样性。 EC 中最好的个体通过产生更多的后代来传播自己的基因，而PSO 中的最佳个体通过吸引其它个体向它靠近来传播自己的敏因。



再次， EC 中的上一代到下一代转移概率只与上一代的状态相关，而与历史无关，它的个体只包含当前信息，其群体的信息变化过程是一个 Markov链过程；而 PSO 中的个体除了有着位置和速度外，还有着过去的历史信息（ pBest、 gBest ），也就是具有记忆能力，上一代到下一代转移概率不仅与上一代的状态相关，而且与过去的历史相关，如果仅从群体的位置及速度信息来看，群体的信息变化过程不是一个 Markov链过程。



最后， EC 的迭代由选择、变异和交叉重组操作组成，而 PSO 的迭代中的操作是“飞行”。在某种程度上看， PSO 的操作中隐含了选择、变异和交叉重组操作， gBest 和 pBest 的更新可以类似一种弱选择；而粒子位置更新则类似于 3个父代： Xi、 gBest 和 pBest 的之间重组，其中还包含了变异的成分。 PSO 中所隐含的变异是有偏好的，而并非通常的完全随机变异，这与最近对实际生物系统变异行为的新研究成果相符。



EC 和 PSO 所分别模拟的两个伟大的自然随机系统： Evolution 和 Mind 之间存在着显著的差异，尽管它们都是基于群体的，都是由其中的随机成分带来创新，但其本质是不同的，因此不能将 PSO简单地归类于 EC 中。


本章—完

7 第七章 学习与进化模型ann

Education

7 第七章学习与进化模型ann