神经电路广义模糊逻辑骨架及其在视皮层...

中国科学 C 辑: 生命科学 2007 年第 37 卷第 1 期: 117~127 http://www.scichina.com

收稿日期: 2006-04-12; 接受日期: 2006-07-22 国家自然科学基金项目(批准号: 60435010, 90604017, 60675010)、“863”项目(批准号: 2006AA01Z128)、“973”项目(批准号: 2003CB317004)和北京市自然科学基金项目(批准号: 4052025)资助 * E-mail: [email protected]

《中国科学》杂志社 SCIENCE IN CHINA PRESS

神经电路广义模糊逻辑骨架及其在视皮层神经系统模拟中的应用

胡宏①* 李速② 齐翔林② 汪云九② 史忠植①

(① 中国科学院计算技术研究所, 北京 100080; ② 中国科学院生物物理研究所视觉信息加工重点实验室, 北京 100101)

摘要大规模神经系统的非线性动力学特性分析是一件十分困难的工作. 本研究试图通过对

神经细胞的动力学方程的研究, 探讨神经细胞的模糊逻辑骨架, 再由细胞的模糊逻辑骨架探讨神

经系统的动力学特性与系统功能. 模糊逻辑与神经系统有密切的联系, 已有大量的文章报道这方

面研究, 但是这类研究主要针对如何把模糊逻辑与神经网络的功能相结合产生具有一定控制或

分类能力的系统. 与这些研究不同, 本研究是想把模糊逻辑作为研究非线性动力学的工具. 本文

提出了模糊逻辑骨架的概念, 这样架构一个具有某种功能的神经系统就变得非常简便. 用这种方

式构建了模拟初级视皮层功能的系统, 这个系统比一些已知的类似系统具有更多的功能.

关键词非线性动力系统模糊逻辑视皮层

模糊逻辑与神经系统有密切的联系 , 有大量的

文章做这方面研究[1~7]. 但是这类研究主要针对如何

把模糊逻辑与神经网络的功能相结合产生具有一定

控制与分类能力的系统 , 只有极少量的研究试图把

模糊逻辑的非线性特性与神经系统的非线性特性相

对等[8,9]. 比如 Li 等人[8]证明了前向神经网络与模糊

逻辑推理系统是等价的 , 实际上在带有回路的神经

系统中, 模糊逻辑的框架依然存在 . 就一般神经系统

分析其模糊逻辑框架结构对了解神经电路的动力学

特性非常重要 , 而了解神经电路的动力学特性又是

理解视皮层等大脑重要区域潜在功能的关键.

然而并非所有的神经细胞的动力学方程都具有

逻辑型构架 . 具有逻辑型构架的神经细胞发放的脉

冲满足以下两个条件: (ⅰ) 脉冲幅度必须有限; (ⅱ)

脉冲有快速上升或下降的边沿. 这样的神经电路动

力学方程可以分为两种, 第一种以文献 [10~13]所描述

的方程(1)为代表, 该种神经细胞的模糊性表现在细

胞的输入和输出电位上 , 细胞内部膜电位与输出电

位之间形成 sigmoid 类函数关系 . 该种细胞从细胞的

膜电位为零到一个稳定值所用时间∆ t 与稳定值的大

小有关, 而稳定值由输入与其他细胞的输出决定 , 该

种细胞的功能是由稳定值大小确定的, 一般不考虑∆t

的作用(图 1).

图 1 对模糊逻辑型神经细胞的输出脉冲

上下边沿时间∆t 不含信息, 常被忽略

文献[10~13]使用 Wilson-Cowan 振荡器 . 该振荡

118 中国科学 C 辑生命科学第 37 卷

器的细胞分布在二维图像平面 i=(ni, mi)上, 把神经细

胞分为兴奋性 ixθ 和抑制性 iyθ 两种类型 , 通过方程

组(1)分析基于方向感知细胞的纹理分割.

', ,

0 ,

( ) ( )

( ) ( ) ( ) ,i x i y i c x i c

y i i j x j ij i

x a x g y J g x I

g y J g x Iθ θ θ θ

θ θ θ θ θ θθ θ

ψ θ ′ ′+∇∇ ≠ ≠

= − − + + −

∇ + +∑ ∑&

(1)

',

,

( ) ( )

( ).i y i x i x i c

i j x jj i

y a y g x g x I

W g xθ θ θ θ

θ θ θθ

′ ′≠

= − − + +

+ ∑&

上式中神经网络是分区域分布的 , 其中 i 是区域的中

心代号 , ? 可以看成在区域内用角度表示的位置 ,

( )xg x 和 ( )yg y 是 sigmoid 类的激励函数 , ψ 是以 i 为

中心的领域中的抑制性连接, ,i jWθ θ ′ 与 ,i jJ θ θ ′ 分别

为兴奋神经细胞之间与兴奋神经细胞与抑制神经细

胞之间的连接权.

第二种神经电路的动力学方程以文献[14~16]所

描述的方程 (见式(2))为代表. 该种网络的模糊逻辑信

息是通过脉冲的相位表达的 , 而非同(1)式那样通过

脉冲幅度 . 式中Ci为膜电容, iλ , , ()E ig 与 , ()I ig 分别

为细胞 i 的渗漏、兴奋和抑止导率. [S ]＝(S1, S2,⋯ , Sn),

为细胞 i 在各个时刻发放的脉冲, Si=∑kδ (t−tik). 当膜

电位达到一定值(由一个阈值确定)时, 细胞向外发放

脉冲同时给自己的膜电位置零. 该种神经细胞的模

糊性表现在细胞发放输出脉冲的时刻上 , 而输出脉

冲的幅度是恒定的不带信息 . 本文我们暂时只考虑

第一种神经电路 . 对(2)类神经网络, 只要把阈值视为

模糊值, 即可把相位信息模糊化, 因此也可以分析其

模糊逻辑骨架.

由于非线性 , (1)式描述的神经系统的分析非常

繁琐, 因此一般说来只能针对一些简单功能的系统 ,

而且常常要求连接权阵为对称 [10]. 实际上这样的分

析已经大大落后于现代科学的进展了 . 人工数字或

模拟集成电路已经具有了非常复杂的功能, 而我们

对神经电路的认识却只停留在十分低的水平 , 所建

的模型也过于简单. 为了解决这一问题, 我们试图通

过模块式分析 , 把复杂的神经电路分解为简单功能

的模块组合 . 然而神经电路的参数大多数都分布在

一个连续的空间内, 当参数变化时神经电路的功能

也常常发生连续变化 , 那么面对功能连续变化的神

经电路 , 应该如何去定义它的功能模块呢? 为此需

要先定义神经电路功能模块的模糊逻辑骨架.

图 1 中对模糊逻辑型神经细胞的输出脉冲 , 上下

边沿时间∆t 不含信息, 因此常被忽略.

,

,

( ( ) ) ( , [ ], )( ( ) )

( , [ ], )( ( ) ) ( ) , 1, , .

i i i i L E i E i E

extl i E i l i

c v v t v g t S v t v

g t S v t v l t i N

λ η

η

= − − − − −

− + =

&L

(2)

神经电路功能模块的模糊逻辑骨架是能够完成

特定重要功能的模糊逻辑电路, 它可以等价的由模

糊逻辑电路仿真 , 当神经网络的参数变化时它就在

一组骨架之间变化.

视皮层是大脑皮层中人们了解功能最多的区域,

许多文献对这一区域的神经系统动力学特性进行了

分析或模拟[10,11,14~18], 所有这些分析都是针对视皮层

功能柱对小线段方向感知的事实进行的 . 功能柱为

脑科学中微观现象和宏观现象的研究之间建立了一

座桥梁[20,21]. Zucker[18]认为神经系统的功能结构与它

所支持的计算功能之间存在密切的联系. Zucker[18]

试图回答这样一个问题: “如何把皮层功能柱的计算

功能抽象出来?”他认为有必要把理论计算机中抽象

出来的层次模型编码到实际皮层中去研究皮层的特

性, 基于这种思想他建立了一个皮层模型 , 该模型能

够发现折叠的物体边沿 . 我们认为理论计算机中抽象

出来的层次模型应该建立在模糊逻辑的框架上 , 基于

这种思想我们建立了一种较为复杂的初级视皮层 V1

区模型, 它具有较强的图像辨识能力.

1 神经电路的广义模糊逻辑骨架

自从 Zadeh 于 1965 提出模糊系统理论以来, 人

们提出了许多具有模糊意义的逻辑体系 , 比如 Zadeh

体系、概率体系、代数体系等等 , 我们需要从广义的

模糊逻辑范畴中寻找与我们所要分析的神经系统最

近似的模糊逻辑体系.

1.1 广义模糊逻辑理论

在文献[22,23]中详细地介绍了广义模糊逻辑理

论, 我们基本上采用该文献中的框架, 但做了一些改

进. 模糊算子的广义“与 ⊗ ”与三角范数中的 T 范数

(T-norm)相同, 而广义“或 ⊕ ”与 S 范数(S-norm)相

同.

定义 : 广义模糊算子 “ 与 ” 是映射2:[0,1] [0,1], , , [0,1]p q r⊗ → ∀ ∈ , 满足:

边界条件 0 0, 1p p p⊗ = ⊗ = ;

第 1 期胡宏等: 神经电路广义模糊逻辑骨架及其在视皮层神经系统模拟中的应用 119

连续性 ⊗ 是连续算子;

单调性 ⊗ 形成的函数对每一变量单调递增;

结合性 ( ) ( )p q r p q r⊗ ⊗ = ⊗ ⊕ ;

交换性 p q q p⊗ = ⊗ .

广义模糊算子“或⊕ ”是⊗ 的对偶算子满足:

1 ((1 ) (1 ))p q p q⊕ = − − ⊗ − . (3)

由于上述定义没有包含概率算子和 Zadel算子等

重要算子, 所以我们把式(3)改为

( ) (( ( ) ) ( ( ) )).p q f p q f p q p f p q q⊕ = + − + − ⊗ + − (3’)

上式中当 x 大于 0 时, ( )f x 是正的单调增函数.

如果上式中 ( ) 1f p q+ = , 则(3’)与(3)一样, 如果

( )f p q p q+ = + , 则 ⊕ 与 ⊗ 分别是加和乘时 , (3’)为

概率算子 , 而 ⊕ 与 ⊗ 分别是 max 和 min 时 , 为 Zadel

算子.

三角范数研究中很早就涉及到模糊非算子 , 称

为 N 范数(N-Norm)[22,23].

N 范数的一般定义:

设 N(x)是 [0,1] [0,1]→ 的一元运算, 关于 N(x)有

以下条件:

边界条件 N1 (0) 1, (1) 0N N= = .

单调性 N2 N (x) 单调递减, iff , [0,1]x y∀ ∈ , 若

x y< , 则 ( ) ( )N x N y> .

连续性 N3 N (x)连续, iff , [0,1]x y∀ ∈ , ( )N x+ =

( ) ( )N x N x−= , x+, x−是 x 的左右邻元.

逆等性 N4 N (x) 有逆等性 , iff , [0,1]x y∀ ∈ ,

1( ) ( )N x N x− = , N-1(x)是 N(x)的逆函数.

N 范数的主要性质:

(ⅰ) 封闭性: ( ) [0,1]N x ∈ ;

(ⅱ) 对合性: 1( ( )) ( ( ))N N x N N x x−= =

(ⅲ) 不动点: 连续的 N 范数中存在不动点 k=

N(x).

(ⅳ) 泛非性: 如果 k 为 N 的不动点 , 则 x≤k 时,

N(x)≥k ; x≥k 时, N(x)≤k .

德·摩根律对建立神经电路的广义模糊逻辑骨架

非常重要 , 如果 ( ) ( )y N p N q= + 且 p q⊗ = N ( f (y)−

( ( ) ( )) ( ( ) )))f y N p f y q− ⊗ − , 那么从式(3’), 我们可

以推知 N 范数满足德·摩根律,

( ) ( ) ( )N p q N p N q⊕ = ⊗ . (4)

广义模糊逻辑包含十分丰富的内容, 比如:

(ⅰ) Zadeh 算子对 Z(∧,∨):

逻辑乘 p∧q=min(p, q),

逻辑加 p∨q=max(p, q).

(ⅱ) 概率算子 ( , )p pp ⊕ ⊗ :

代数乘 pp q pq⊗ = ,

代数加 pp q p q pq⊕ = + − .

(ⅲ) 有界算子对 F( f⊕ , f⊗ ):

有界乘 max(0, 1)fp q p q⊕ = + − ,

有界加 min(1, )fp q p q⊗ = + .

(ⅳ) 陈氏算子对 C( c⊕ , c⊗ ):

陈氏乘 2 1 2 1 1/(2 1)max(0,( 1)n n ncp q p q− − −⊗ = + − ,

陈氏加 2 11 max(0,((1 ) ncp q p −⊕ = − − + 2 1(1 ) nq −−

1/(2 1)1) n−− .

上述算子都满足德·摩根律.

1.2 如何选取最佳模糊逻辑框架

设神经电路的行为用 ( ) ( ( ) , )y t F x t t= 表示 , ( )x tr

为 t时刻的输入, ( )y t 为 t 时刻的输出. 又设骨架的行

为用 ( ) ( ( ), )G Gy t G x t t= 表示 , ( )Gx t 为 t 时刻的输入,

( )Gy t 为 t 时刻的输出 . 骨架 G 对神经电路 F 的误差

定义为

0 1

| ( ( ), ) ( ( ), ) | Gt t t

err G x t t F x t t dt= −∫≤ ≤

. (5)

设 Ω 为一个骨架的集合 . 骨架 G∈ Ω 称为神经电路

F 的最佳骨架, 如果有下式成立:

''

minG GG

err err∈Ω

= .

一般来讲我们只能找到次优的逻辑框架. 我们

基于这种思想为式(1)寻找合适的模糊逻辑框架.

如果把兴奋与抑制神经单元的电位统一用 Ui 代

表 , 并且所有的连接权(包括局部连接权ψ , 全局兴

奋与抑制权 ,i jWθ θ ′ 和 ,i jJ θ θ ′ ) 都用 ijw′ 表示, 则式(1)

就可以转化为式(6).

;

1(exp( ) 1)

i i ij j ik kj k

i i i

U U w V w I

V U T

α β′= − ⋅ + +

= − + +

∑ ∑& (6)

对单细胞神经电路, 方程可以简化为(7)式.


;

1(exp( ) 1).

i i ik kk

i i

U U w I

V U T

α= − ⋅ +

= − + +

∑& (7)

取 1.0α = , 对式 (7) 易知其平衡点为 iU =

ik kk

w I∑ , 此时输出为 1 (exp( ) 1)i i iV U T= − + + .

如果只有两个输入 I1,I2 ( 1 2, [0,1]I I ∈ ), 令 w1=

1.0 与 w2=1.0. 此时 1 2iU I I= + , 且

2

2

2

2

2

1 (exp( ) 1) 1 exp( )

( 1) exp( ( ))

1 1 ( ) !

( 1) exp( ( ))

( ) !

( 1) exp( ( )).

i i i i i

ki i

k

ji i i i

j

ki i

k

ji i i i

j

ki i

k

V U T U T

k U T

U T U T j

k U T

U T U T j

k U T

∞

=∞

=

∞

=∞

=

∞

=

= − + + = − − +

+ − − −

= − + − − − +

+ − − −

= − − − +

+ − − −

∑

∑

∑

∑

∑

(8)

设 C 为一个常数, 且 C>0. 我们分区域分析稳

定点的特性.

当 1 2iU I I C= + ≥ 时 , 1 (exp( ) 1)iC T− + + iV≤

1< . 当 1 2iU I I= + → +∞ 时, 则 1iV → . 此时, 如果

C 足够大, 则 1iV ≈ . 当 1 2iC U I I C− = +≤ ≤ 时, 我

们有 1 (exp( 1) (exp( 1)i i iC T V C T+ + − + +≤ ≤1 , 根据

(8)式 , 如选择合适 Ti 使 2

| ( ) !ji i i

jT U T j

∞

=+ − + −∑

2( 1)k

k

∞

=−∑ exp( ( _ ) ) |i ik U T− 足够小 (定义为 T⊕ ), 则

有 1 2iV I I≈ + . 如果选择 Ti 为 T⊕ , 则有 1 2i fV I I≈ ⊕ =

1 2min(1, )I I+ .

同样 , 如果 1 2iU I I= + → −∞ , 0iV → , C 足够

大并且 1 2 0iU I I C= + − <≤ , 此时 0iV ≈ . 当 C− ≤

1 2iU I I C= + ≤ 时 , 如选择合适 Ti 使

2 2( ) ! ( 1) exp( ( _ )) 1j k

i i i i ij k

T U T j k U T∞ ∞

= =+ − + − − − ≈∑ ∑ (定

义为 T⊗ ), 那么有 1 2 1 2max(0, 1)i fV I I I I≈ ⊗ = + − . 下

面我们用实验求T⊕ , T⊗ .

设(5)式的输入为 1 2( ) ( ( ) , ( ) )x t I t I t=r 当时间从

t0 到 t1, 输入 1 2( , )I I 对整个 [0, 1]2 区域进行扫描. 图

2 中实线是(7)式中 iV 与 1 2fI I⊗ 的误差“errAnd”, 虚线

是(7)式中 iV 与 1 2fI I⊕ 的误差“errOr”. 在图 2 中, 域

值 Ti 的扫描区域是 [0, 4.1], 步长为 0.01, a=1.0,

w1=1.0, w2=1.0. 对 f⊗ 最好的 Ti 为 2.54, 而对 f⊕

最好的 Ti 为 0. 在此条件下 “errOr” 与 “errAnd” 小于

0.01. 如果神经系统中每个细胞都有自己的“a”, 当 a =

0.171000, Ti =1.569999, 最小的 errOr =0.052038, 当

a = 0.131000, Ti =6.890063, 最小的 errAnd =0.027365.

我们的实验表明上述合适的 iT 是存在的 , 所以

有界模糊算子与(7)式所示神经细胞最接近.

从上面分析可知, 如果 1 2, I I 的输入是二值脉冲,

取适当的大于零权值 , 当神经细胞的域值增加时, (7)

式的细胞模糊逻辑框架将从“或”变到“与”如下:

1 2

1 2

1 2,

1 ,

.... ( )

( .... ) ....k

l j

l j

n i ji j

i i i ni i l j

i i n

I I I I I

I I I I I I≠

≠ ≠

∨ ∨ ⇒ ∨ ∧

⇒ ∧ ∧ ∧ ⇒ ∧ ∧≤ ≤

图 2 取不同的域值用神经细胞模拟有界模糊算子横坐标值为阈值除 0.02, 纵坐标为骨架 G 对神经电路 F 的误差. 实线

是(7)式中 iV 与 1 2fI I⊗ 的误差“errAnd”, 虚线是(7)式中 iV 与 1 2fI I⊗

的误差“errOr”

1.3 基本的神经细胞电路

有两大类型的神经电路:

(1) 组合神经电路: 如果在 t 时刻神经电路的输

出仅仅与 t 时刻的输入 I(t)有关 , 这样的神经电路称

为组合神经电路.

(2) 时序神经电路: 如果在 t 时刻的神经电路的

输出不仅仅与 t 时刻的输入 I(t)有关, 还与神经电路


自身的状态S(t )有关 , 并且在 t时刻后, 神经电路由状

态 S(t )进入 S (t+1), 这样的神经电路称为时序神经电

路.

最基本的模糊逻辑功能部件有 4 种: ⊗ 为“与门”,

⊕ 为“或门, N 范数视为“非门”, 以及延时器. 的

输出 ( ( )) ( )y x t x t t= + ∆r r r(图 3).

图 3 若干最基本的模糊逻辑功能部件

从 (7) 式易知神经细胞 iu 的平衡点为 iu =

/ik kk

w I α∑ , 假设此时其输出为 iv , 并且定义 i Hv λ>

时为高输出 , i Lv λ< 为低输出, 对输入也同样定义高

低输入.

对由(7)式描述的神经电路 , 上述 4 种模糊逻辑

功能部件对应的神经电路如下:

与门: 令 a=1, 如果 wik> e >0, 我们选合适的 Ti

与 e使 iV 为高当且仅当 I1 与 I2 同时为高.

或门: 令 a =1, 如果 wik> e >0, 我们选合适的 Ti

与 e使 iV 为高当且仅当 I1 与 I2 中至少有一个为高.

非门: 令 wi1< −e <0 和 wi2=1, 使 I2 恒为“1”, 选

合适的 Ti 与 e 使 iV 为高时 I1 必定为低, iV 为低时, I1

必定为高.

延时器: 此时阈值 Ti 可选为零. 参数 a 决定了

输入到输出的延时, 所以当权只有一个 wik, k≠i 不为

零, 且大于零时, 神经细胞 ui 的输出 vi 仅仅是输入 Ii

的延时, 神经细胞 ui 为一个延时器.

易知组合电路是由上述最基本的模糊逻辑功能

部件组成的层次性电路 , 而时序电路是上述模糊逻

辑功能部件组成的带反馈的非层次型电路. 对组合

型电路触发寄存器与振荡器是两种基本的部件 . 最

简单的振荡器可以由一个与门加一个非门组成(图

4(a)), 文献[13]中介绍的 Wilson-Cowan Oscillator 就

采用这种形式. 当输入电平达到某一值时 , 振荡开始.

振荡是神经系统的基本功能. 文献[26]所示的由功能

柱产生的同步振荡就是由细胞振荡形成的. 而触发

器的功能是动态地储存信息 , 图 4(b)所示是一种简单

的触发器.

上述功能部件与普通数字电路的功能部件完全

一致的 . 利用神经电路的模糊特性还能产生大量普

通数字电路没有的功能. 比如图 5 中的模糊路由器,

不同的输出对应不同输入电平, 当输入电平依次递

增时 , 在输出 O1, O2, … , Ok 上依次产生若干个脉冲.

图 4 基本的模糊逻辑时序模块 (a) 振荡器; (b) 触发器

图 5 把模似与数字功能相结合是模糊逻辑神经细胞特有

的功能模糊路由器随输入电平的升高 O1, O2, O3 依次发脉冲

2 用广义模糊逻辑功能骨架构建视觉信息处理的视皮层模型

2.1 大脑视皮层功能简介

视皮层的高级功能目前还不清楚 , 已经清楚的

是一些初级的辨识原理和信息传播大致路径.

人眼从视网膜接受信息通过 LGN 细胞把信息投

向脑干(用于运动控制)和视皮层 V1 区.

V1 区功能柱结构起着重要的作用. 初级的辨识

过程主要发生在 V1 区的超柱上, 超柱是 V1 区上划

分出的约 1 mm2 左右的网格 , 同一个超柱分析同一区

域的信息, 相邻的超柱分析相邻区域的信息. 超柱感

受立体、颜色(位于超柱中心)和线条方向.

超柱的中心斑感受颜色, 双眼细胞感受立体 , 简

单和复杂细胞感受物体边沿.


视皮层的 V2, V3 与 V4 区分为两路 , 一路用于物

体的辨识(what), 另一路识别物体的方位(where).

本文描述一个以超柱为核心的视皮层初级功能

模型 , 由于我们的目的是要展示用模糊逻辑骨架的

方法建立神经系统的动力模型, 所以对超柱的功能

做了进一步的简化, 只模拟超柱的形状辨识功能 , 而

忽视颜色与立体的辨识功能.

不失一般性 , 在一个具有功能柱结构的神经系

统中 , 信息传播可以划分为以下 3 种形式: (ⅰ) 功能

柱层次性结构中信息前向传播; (ⅱ) 柱内的细胞间

连接; (ⅲ) 不同功能柱的细胞间信息反馈.

从解剖学可知 V1 区的神经细胞分为 6 层, 所以

超柱也由 5~6层的细胞组成 . 我们已经知道超柱对形

状的辨识是从线条的方向辨识开始的 , 假设在我们

的模型里超柱已经能够辨识简单的形状 . 超柱包含 q

个微柱, 每一个微柱对应了一种形状的识别, 超柱内

的微柱有相同的感受野(图 6). 如果微柱感受野不相

互重叠, 且其尺寸为 k×k , 那么对尺度为 kn×km 的

图像 , 需要 m×n 个超柱 . 在 m×n 个超柱平面上, 感

受同样形状的微柱的输出形成q 幅 m×n 的图像(称为

微柱图).

我们在每个超柱里设立了 8 个微柱 , 对应 8 个小

图模板(图 7). 图 7 中有两组对偶的小图模板 wm 与

bm, wm 以白色为背景 , bm 以黑色为背景, 白色处象

素值为“1”, 黑色处为“−1”. 我们只要用方程(7)描述

的若干神经细胞即可实现某种特定图案的识别.

比如图 6中“∩”形的图案, 可以由模糊逻辑式(9)

描述 , 而(9)式中有 9 个输入的“与”关系可以有一个神

经元 mc (图 6)实现 . 在(9)式中每一个象素 Pij 有两种

状态 mij 与 ijm . 假设与 Pij 对应的归一化后的象素值

为 gij. 假设模板 P 要求与 mij 对应处有尽可能高的灰

度值 , 而与 ijm 对应处象素的灰度值越低越好 , 这样

神经元 mc 在与 mij 对应处的输入设置为 Iij=gij, 而与

ijm 对应处的输入为 Iij=−(1.0−gij), 此时需要另一个神

经元实现一个非门 mc’ (图 6).

11 12 13 21 23

31 33 22 32

P .

m m m m mm m m m

= ∧ ∧ ∧ ∧∧ ∧ ∧ ∧

(9)

实现方式如下: mc’有两个输入 , 一个以+1 的权与一

个高输出 1 相联 , 另一个以−1 的权与 gij 相联, mc’的

输出以−1 的权连到 mc 的输入. mc’的阈值取为 0.

假设前面所述信息在微柱内的前向传播实现局

部感受野内的形状识别 , 同一超柱内的微柱之间的

连接实现了局部感受野内的属于何种形状的竞争 .

为此我们在微柱 mc 细胞的输出后又加了一层竞争网

(图 8). 我们假设竞争网需要完成(10)式所确定的竞

争功能.

1

0,

( ) 1 ( ) ( ( ) ( )).q

l l l hh h l

y t y t c y t y tβ−

= ≠

= ⋅ + ⋅ −∑& （－） (10)

我们设计一个全连接网完成该功能, 该网有 q 个

神经元, 该网是全连接的 . 第 l 神经元 lc 的输出连到

自身的权为 ( 1)w q c β+ = − + , 连接到其他神经元的

权为 w c− = − , 其中 0 1/c q< ≤ . q 个神经元还分别接

受 q 个从前一层网来的输入 iI , 权为β > 0. 在我们的

图 6 超柱包含 q 个微柱每一个微柱对应了一种形状的识别, 超柱内的微柱有相同的感受野, 模型里每个微柱观察 3×3 象素的小图, 图像尺寸为 90×90, 共用 30×30 个超柱


图 7

每个超柱里设立了 8 个微柱, 对应 8 个小图模板, 上下为黑白相反的模板对

图 8 竞争网

同一超柱内的微柱之间的连接实现了局部感受野内的属于何种形状的

竞争

图 9

q 幅微柱图的象素分别输到 q 个 tci 神经元, 用于图像分类的 tci 神经元

实验里 c = 0.43, β = 0.05, 神经元的域值 Ti = 0.

如前所述每个超柱包含 q 个微柱, 在超柱平面上

这些微柱的输出经过上述竞争层后 , 感受同样形状

的微柱的输出形成q 幅 m n× 微柱图. 这 q 幅微柱图的

象素分别输到 q 个 tci 神经元 , 见图 9. 每个 tci 细胞

有 m×n 输入分别连接一幅微柱图的 m × n 个象素,

连接权小于 1.0/m×n, 并选择适当的域值 Ti, 使每个

tci 细胞输出的稳定点为有界模糊算子逻辑或“ f⊕ ”

的结果0

min(1, )i ii m n

V I< ×

≈ ∑≤

. 这 q 个 tci神经元的输出

texHis=(t0, t1, ⋯, tq), 可以用于纹理或图象的识别.

2.2 实验结果

在实验中, 90 90× 大小的彩色图像经过式 g =

1.0 ( )/256.0r g bw r w g w b− ⋅ + ⋅ + ⋅ 转化为灰度图像 ,

作为神经网络的输入.

神经网络是以迭代方式运行的. 我们用 rptR 表

示普通神经元的迭代次数, 用 rptOc 表示竞争神经元

的迭代次数.

这 8 幅微柱图的象素分别输到 8 个 tci 神经元的

权用 wMcqpi 表示. Tmcj 是微柱中主神经元的阈值, Tthcj

是神经元 tci 的阈值 . 实验中所示的微柱图如果没有

特别说明都是关于图 7 中第三白色背景 wm 模板的.

实验所用的式(6)中α =0.056, β =1.00.

实验 1 式(7)中阈值 Ti从 0 增加使细胞的逻辑骨

架从“或”变到“与”, 使相反性质的模式差异加大.

图 7 所示的 8 个模板的前两个模板 m0 为一条横

线, m1 为一条竖线 . 在神经系统中 m0 与 m1 分别由两

种微柱识别. 当 m0 , m1 分别靠近一条水平直线 L 时 ,

会出现 3 种情况: P1 模板正好在直线上 , 与直线以最

大面积接触; P2 模板与直线有接触 , 但位置有偏移;

P3 模板与直线不接触 (图 10(a)) . m0 , m1 两种微柱的

输出与阈值 Ti 的关系分别见图 10(b)与(c). P3 处 m0 ,

m1 与 L 无接触, 所以微柱的输出近似 0. 在 P1 位置,

由于 m0 , m1 与 L充分接触, 所以微柱的输出情况也类

似, 但在 P2 位置 m0, m1 两种微柱输出有较大差异. m0

的 P1 与 P2 位置的输出线几乎重叠, 但 m1 不一样. Ti

的扫描范围为[0.0 , 2.9]. 由于 m0 与 m1 性质相反, 最

佳阈值 iT 由下式确定 0 1max( ( ) ( )) 1.2iT

T fr m fr m= − = ,

式中 fr 为微柱的输出.

实验 2 对偶模板产生对偶的物体边沿.

图 11 中, 对偶模板中白色背景 wm 与黑色背景

bm 的模板对物体边沿的刻划正好相反 , 前者找到的

是边沿的双边, 后者找到的是边沿的中心线. rptR=8,

rptOc=10, wMcqpi=0.000055, Tmcj=1.2, Tthcj=0. 实验 3 超柱内微柱间的竞争加强了物体边沿.

图 12 中上面 4 幅微柱图是没有竞争的微柱图.

实验参数 rptR=10, rptOc =10, wMcqpi=0.000055, Tmcj=


图 10 阈值 Ti从 0 增加使细胞的逻辑骨架从“或”变到“与”, 造成相反性质的模式差异加大

(a) P1 位置 m0, m1 正好与 L 相遇; P2, m0, m1 与 L 相邻, P3, m0, m1 远离 L; (b) m0 微柱输出, 反映 m0 与 L 匹配率,

(c) m1 微柱输出, 反映 m1 与 L 匹配率

图 11 黑白背景的模板有相反的功能, 前者找到的是边沿的中心线, 后者找到的是边沿的双边 (a) 输入原图; (b) 第三层网上, 关于模板 bm0 的微柱图; (c) 第三层网上, 关于模板 wm0 的微柱图

图 12 竞争能加强物体的边沿的辨识

(a) 输入原图; (b) 上图: 4 幅没有经过竞争的微柱图; 下图: 经过竞争的微柱图边沿明显增强

1.2, Tthcj=0. 实验 4 上述神经系统可用于方向辨识 .Tci 神经

元的输出 texHis对直线方向十分敏感 . 图 13 是直线 L

从 0o ~ 90o 间隔 10°的 texHis. rptR=15, rptOc = 10,

wMcqpi=0.00022, Tmcj=1.2, Tthcj=0.

实验 5 图像的尺寸越小要获得相同的输出, 神

网需要迭代更久的时间.

由于有宽度的线条在离散象素的图像伸缩中变

形严重, 在实验中, 我们用两幅线条宽度只有 1 个象

素的相似图. 图 14 中(b)比(a)缩小了 66% , (c)是关于


图 13

每一曲线代表一个 texHis 向量. texHis 对线条方向十分敏感

图 14 图像的尺寸与迭代时间成反比

图 15 6组用于分类实验的简单形状图像

(a)与(b)系统的输出 texHis, 可以看出两者的 texHis 相

似 , 但迭代时间小图为 rptRs=15, 大图为 rptRL=10,

rptRL/rptRs=0.66, 正好与尺寸的缩小比例一致. 实验

中, wMcqpi=0.000055, Tmcj=1.2, Tthcj=0.


图 16 关于图 15 中 6 组图像的 8 个 tci 神经细胞输出 texHis

一条曲线代表一个 texHis 向量

实验 6 texHis 向量具有一定的形状分类能力.

图 15 中有 6 组相似图像, 它们的 texHis 输出见图 16.

从图可知相似的图像有相似的 texHis. 实验参数

rptR = 8, rptOc = 10, wMcqpi = 0.00121, Tmcj = 1.2, Tthcj = 0.

3 总结

像视皮层那样复杂的神经系统 , 如果直接用动

力学非线性方程式系数矩阵分析的方法去把握神经

系统的功能特征是非常困难的, 但如果用提取单个

神经细胞的模糊逻辑骨架的方法 , 把复杂的动力学

问题转化为在功能上十分明确的模糊逻辑功能模块

组合 . 当神经系统的参数发生变化时, 系统就在不同

的逻辑骨架间转化, 这种分析方法能大大简化神经

系统的非线性分析的复杂度 . 另外 , 要实现某种功能,

从模糊逻辑骨架分析入手也是非常方便的.

但这样的分析方法目前仍有几个问题需要解决.

(ⅰ) 当神经系统的参数发生变化时 , 系统就在不同

的逻辑骨架间转化的界限如何确定问题; (ⅱ) 神经

细胞的模糊特性调控神经系统的机制; (ⅲ) 文中对

简单的一阶方程的神经系统做了一些分析, 对更复

杂的如 Rose-Hindmarsh方程(11)如何分析？是否可以

用若干简单细胞模拟一个 RH 细胞? 这些都是我们今

后要探索的方向.

( )

3 2

2

0

.

syn stimx y ax bx z I I

y c dx y

z r s x x z

= + − − + += − − = − −

&&&

(11)

参考文献

1 Canuto A M P, Fairhurst M. An investigation of fuzzy combiners

applied to a hybrid multi-neural system. Proceedings of the VII

Brazilian Symposium on Neural Networks (SBRN’02), 2002,

IEEE: 156—161

2 Yager R. Families of owa operators. Fuzzy Sets and Systems, 1993,

59(22): 125—148

3 Cho S B, Kim J H. Multiple network fusion using fuzzy logic.

IEEE Trans on Neural Networks, 1995, 6(2): 497—501

4 Otman M, Ahtiwash A. Neural-fuzzy logic approach for modeling

and control of nonlinear systems. Proceedings of the 2002 IEEE

International Symposium on the Intelligent Control Vancouver,

Canada, October 27-30, 2002: 270—274

5 Park B J, Pedrycz W. Fuzzy polynomial neural networks: hybrid

architectures of fuzzy modeling. IEEE Trans on Fuzzy Systems,

2002, 10(5): 607—621

6 Kim S S. A neuro-fuzzy approach to integration and control of in-

dustrial processes: Part I. J Fuzzy Logic Intell Syst, 1998, 8(6):

58—69

7 Oh S K, Kim D W, Park B J. Advanced polynomial neural net-

works architecture with new adaptive nodes . Transactions on Con-

trol, Automation and Systems Engineering, 2001, 3(1): 43—50

8 Li H X, Chen C L P. The Equivalence between fuzzy logic systems

and feedforward neural networks. IEEE Trans on Neural Networks,

2000, 11(2): 356—365

9 Farag W A, Quintana V H, Lambert G. A genet ic-based neuro-

fuzzy approach for modeling and control of dynamical systems,

IEEE Trans Neural Networks, 1998, 9: 756—767

10 Li Z P. A neural model of contour integration in the primary visual

cortex, Neural Computation, 1998, 10: 903—940

11 Li Z, Dayan P. Visual segmentation by contextual influences via

intra-cortical interactions in the primary visual cortex. Computa-

tion in Neural Systems, 1999, 10(2): 187—212

12 Sun H J, Liu L, Guo A K. A neurocomputational model of figure

ground discrimination and target tracking, IEEE Trans on Neural

Networks, 1999, 10(4): 860—885

13 Wilson M A, Cowan J D. Exitatory and inhibitory interactions in

the localized populations of model neurous. J Biophy, 1972, 12: 2—

24


14 Wielaard J, Sajda P . Simulated optical imaging of orientation

preference. Proceedings of the 1st international IEEE EMBS Con-

ference on Neural Engineering. Italy. 2003, 499—502

15 Maass W. Networks of spiking neurons: the third generation of

neural network models. Neural Networks, 1997, 10(9): 1659—

1671(13)

16 Wichaard J, Mclaughlin D, Sharply R. How simple cells are made

in a nonlinear network model of the visual cortex. J Nueralscience,

2001, 21: 5203—5211

17 Eckhorn R. Neural mechanism of scene segmentation :recordings

from the visual cortex suggest basic circuits for linking fi eld mo-

dels. IEEE Trans on Neural Networks, 1999, 10: 464—479

18 Zucker S W. Which Computation Runs in Visual Sort i cal Columns.

Problems in System Neuroscience. In: Van Hemmen J L V, Se-

jnowski T J, eds. Oxford: University Press, 2004

19 Erik Frans´en, Lansnery A. A model of cortical associative mem-

ory based on a horizontal network of connected columns. Network:

Computation in Neural System 9. PII: S0954-898X(98)85200-7:

235—264

20 Freeman W J. Mesoscopic neurodynamics: From neuron to brain. J

Physiol, 2000, 94: 303—322

21 Freeman W J, Rogers L J, Holmes M D, et al , Spatial spectral

analysis of human electro corticograms including the alpha and

gamma bands. J Nueralscience Meth, 2000, 95: 111—121

22 陈永义. Fussy 算子探讨(I), 模糊数学, 1982, 49

23 何华灿. 泛逻辑学原理. 北京: 科学出版社, 2001

24 Estveva F. On the Form of Negations in Posets, Int.Sym.on Multi-

ple-valued logic, 1981

25 Jenei S. New family of t riangular norms via contrappositive sym-

metrization of residuated implications. Fuzzy Sets and System,

2000, 110: 157—174

26 李速, 齐翔林, 胡宏. 功能柱结构神经网络模型中的同步振

荡现象. 中国科学, C 辑, 2004, 34(4): 385—394

神经电路广义模糊逻辑骨架及其在视皮层...

Documents