人工智能：7.2    人工神经网络

7.2.1        
感知器

感知器是在 1958 年由
F.Rosenblatt 提出的，它是一个简单的单层神经网络模型，由线性阈值单元(TLU) 组成，如图 7.11 所示。

p1

输入   p2

p_R

w1,2

输出

?

w1,R

－1

图 7.11    线性阈值单元 TLU

其中 ，p ₁ ，p₂ ，⋯ ，p _R 为二值或实值输入信号；y  为二值输出信号；w _1,1 ，w_1,2 ，⋯，

w_1,R 为连接权值； ? 为阈值； 该 TLU 的数学描述如下 ：

u = w1,1 p1 + w1,2 p 2 +・ + w1, R p R + 0 = å w1,i pi +
0 = W
^TP +0

i=1

y=f (u)=sgn(u)=

1      当 u
≥ 0

0      当 u < 0

可见 ，TLU 在输入样本空间上建立一个超平面，将两类模式分开，即当 W ^T P 超过阈值时 ，则 TLU 输出 1(A 类模式) ；当 W ^T P 低于阈值时 ，则输出 0(B 类模式) 。这里，变量 u 可以是连续变化的，最后的输出为二值变量 0 或
1 ，实现输入样本集的分类，即

y = 1

y = －1

® A 类

® B类

图 7.12 表明了在二维平面情况下的分类，此时的超平面方程为一条直线，即

・194 ・

p = – w1,1 p1 –

w1,2

0

w1, 2

第 7 章   神经网络

单层感知器能够完成简单的模式识别或分类，对于一个线性可分的函数，感知器可以通过调整权系数值来达到识别目的。

图
7.12
模式 A、B 的分类

考虑第 k 个神经元， a _k 到 p_i 的连接权为 w _k,i ，对样本 p_i 的实际输出值为 a _k，相应的理想输出值为 d _k ，则权和偏置的更新算式为

Dwk ,i = ri(d k – ak ) pi

wk, i (t + 1) = wk ,i (t )
+ Dwk ,i (t)

0k (t +1) = 0k (t ) + D0 k (t)

(1)      如果 a_k = d_k ，则 Dwk ,i (t) = 0 ， D0k (t) = 0 ，原来的 w _{k, i} 和 0k 保持不变；

(2) 如果 a_k= 0 ，d_k=1 ，则 Dw_k,i (t) = p_i， D0k (t) = 1；

(3) 如果 a_k= 1 ，d_k=0 ，则 Dw_k,i (t) = －p_i， D0k (t) = －1 。

为方便起见，将阈值 0 并入到 W
中去，令 w _{k,R +1}= 0
，P 也相应地增加一个分量 p_R+1=1 ，于是， 得到一个广义的权值向量 ： W
=[ w_k,1 ，w _k,2 ， … w
_k,R ， 0 ]^T。

感知器学习算法 的具体
步骤如下 。

(1)     初始化。赋给 w 较小的非零随机值，确定比例因子（学习速度）?=0.1 ～1 。

(2)      选择一个样本模式 p_i 送入 TLU ，并给出理想输出值 d_k 。

(3)      求出实际的输出值 ：

R
+1

a k  = f (W ^TP)
= sgn(      wk ,i pi )

i=1

(4)      计算调节权系数值 ：

・195 ・

人工智能技术与方法

Dwk,i = ri(dk – ak ) p k,i

w_k,i (t +1) = w_k,i
(t) +
Dw_k

(5)      转入步骤(2) 选择下一个样本，直到 W 稳定不变为止。

从感 知 器的学习算法可知，学习的过程就 在于网络中权系数
的 修改，使网络对于所输入的模式样本 能够 正确 地 分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输 入 模式样本的共同特征。换句话讲，权系数存

储了输 入 模式 ，由于权系数是分散存在的 ，因而     p1

神经网络自然 就具有了 分布存储的
特性 。 下面，

通过一个简单例子来说明感知器的学习过程。

例 7.1    如图 7.13 所示感知器，其权系数值   p2

W=[w₁w₂]=[1 ，1]^T ，阈值 ?=1 。现在，训练该感

?=1

知 器 以 实 现 对 样
本 p ₁=[p₁,p₂]=(
－ 1 ，
1) 和

p₂=[p₁,p₂]=(1
，0) 的分类。

解 初始权值及阈值已经给出，选择 ? ＝ 1 。首先，扩展变量如下 ：

图 7.13 感知器分类

é-
1  1ù

P
= [ p^T

T 1]^T= ê 1 0ú = [P⁽¹⁾

êë   1   1úû

・  P ⁽²⁾]，

W₀ = [w₁

é1ù

w      0 ]^T= ê1ú

êë1úû

第 1 步  输入样本 P ⁽¹⁾，计算实际输出值

é-1ù

a 
=  f
(W  ^T´ P⁽¹⁾)
=
sgn([1    1   1] ´ ê

êë

1ú) = 1

1úû

d 1 = 1

样本 P ⁽¹⁾对应的调节权系数值 为 DW = (1– 1) P ^{(1) = 0 ，不改变 W}
₀ ，即

é1ù

ê ú

W1  = W0  + DW1  = W0  + 0 
= 1

êë1ûú

第 2 步  输入样本 P ⁽²⁾，计算实际输出值

・196 ・

a = f (W
^T´ P ⁽²⁾) = sgn([1

é1ù

1 1]´ ê0ú)
= 1

第 7 章   神经网络

2                    1                                                                     ê ú

d 2 = 0

样本 P ⁽²⁾对应的调节权系数值为

é- 1ù

êë1úû

DW₂

= (0 –1) P⁽²⁾ = ê        ú

êë– 1úû

é1ù é –1ù

é0ù

W = W + DW

= ê1ú + ê

0ú = ê1ú

2             1                 2

ê ú   ê  ú     ê ú

êë1úû    êë –1úû

êë0úû

第 3 步  重复输入样本 P ⁽¹⁾，计算实际输出值

é- 1ù

a  
=  f
(W  ^T´ P ⁽¹⁾)
=
sgn([0   1   0]´ ê

êë

1ú) = 1

1úû

d 3 = 1

样本 P ⁽¹⁾对应的调节权系数值为 DW = (1– 1) P ^{(1) = 0 ，不改变，即 W} ₃= W ₂ 。

第 4 步  输入样本 P ⁽²⁾，计算实际输出值

a = f (W
^T´ P ⁽²⁾) = sgn([0

é1ù

1 0]´ ê0ú)
= 1

4                    3                                                                        ê ú

d 4  = 0

样本 P ⁽²⁾对应的调节权系数值为

é- 1ù

êë1úû

DW₄  = (0 –1) P⁽²⁾ = ê       ú

êë– 1úû

é0ù é –1ù

é-1ù

W = W + DW

= ê1ú + ê

0ú = ê 1ú

4             3                 4

ê  ú   ê ú     ê     ú

êë0úû    êë –1úû

êë–1úû

第 5 步    重复输入样本 P ⁽¹⁾，计算实际输出值

é-1ù

a 
= f (W 
^T´ P ⁽¹⁾) = sgn([–1  
1   – 1] ´ ê

êë

1ú) = 1

1úû

・197 ・

人工智能技术与方法

d 5 = 1

样本 P ⁽¹⁾对应的调节权系数值为 DW = (1– 1) P ^{(1) = 0 ，不改变，即 W} ₅= W ₄ 。

第 6 步 输入样本 P^{(2) ，计算实际输出值}

a = f (W
^T´ P ⁽²⁾) = sgn([–1 1

é1ù

–1] ´ ê0ú)
= 0

6                    5                                                                                 ê ú

d 6 = 0

êë1úû

样本 P ⁽²⁾对应的 调节权系数值为 DW
= (0 – 0)P ^{(2) = 0 ，不改变，即 W}
₆= W ₄ 。此时， W 达到了稳定状态，感知器学习前后的分类情况如图 7.14 所示。

0

(a)                                                                                                                                                                                                 
(b)

图 7.14 感知器学习前后的状态

(a)      学习前初始状态 (b) 学习后稳定状态

由上可 知 ，单层感知器具有将输入样本 P ₍₁ )
和 P₍₂
) 正确地分为两类区域的简单识别能力 ，F.Rosenblatt 
已证明，如果输入样本空间是线性可划分的，则感知器的学习过程一定会正确收敛。然而，对于线性不可分的情况，单层感知器就无法正确实现划分，学习过程将会发生振荡而达不到一个稳定的状态。

比如，与逻辑(AND) 运算，其输入/ 输出关系如下 ：

将与逻辑真值表中的输入表示为平面上的 4 个点， 如图 7.15 所示。

・198 ・

第 7 章   神经网络

图 7.15   与(AND)逻辑

显然，选取 w_1,1=1/2 ， w_1,2=1/2
，?=0.6 ，可以实现区域划分，即

2                                    1          1

u
= å w1,i  pi +0 =    p1  +   p2 + 0.6

i=1

y = f (u) = sgn(u)
=

而对于异或逻辑(XOR) 运算，其输入/ 输出关系如下：

将异或逻辑真值表中的 输入表示为平面上的 4
个点 ，设输出 1 的样本为
A 类，
输出 0 的样本为 B 类，就无法找到一条直线能够将
A 类和
B 类两类模式分开
。进一步分析，为了满足异或逻辑条件，应有如下关系式成立 ：

w1,1 ´ 0 + w1, 2 ´ 0 + 0 < 0  Þ        0 < 0

w1,1 ´ 0 + w1, 2 ´1 +0 ≥0              Þ

w1,1 ´1 + w1,2  ´ 0 +0 ≥0            Þ

0 ≥–w1,2

0 ≥–w1,1

化简上式，可得

w1,1 ´ 1 + w1,2 ´ 1 + 0 < 0

w1,1    > 0

w1, 2  > 0

Þ       0 < – w – w

1,2

显然，上式不可能同时被满足。

w1,1 + w1,2 < 0

・199 ・

人工智能技术与方法

如果将单层感知器扩展成为一个多层感知器 ，即在输 入/
输出层之间增加一些隐含层，如图 7.16(a)所示，则隐含层有两个神经元，此时隐含层的输出分别为

x1 = sgn(1´ p1 +1´ p 2 – 0.5)

x2 = sgn(–1´ p1 – 1´ p2 +1.5)

输入/ 输出关系为

随后，在输出层上形成更复杂的区域划分
：

y1 = sgn(1´ x1 +1´ x2 –1.5)

得输入/
输出关系 ：

至此，就完成对异或(XOR) 问题的分类，如图 7.16(b) 所示。

可见，多层感知器由于增加了隐含层，克服了单层感知器的许多局限，能够 形成更为复杂的分类区域，从而大大提高了神经网络的分类能力。由于 感知机学习算法是一种单层网络的学习算法 ，它 在多层网络中只能改变最后权系数 ，因此， 感知机学习算法不能用于多层神经网络的学习。

p1

p1

p2

x2

(a)                                                                                                               
(b)

・200 ・

第 7 章   神经网络

图 7.16 扩展后的多层感知器

(a)      多层感知器 (b) 异或
XOR 问题

7.2.2        
自适应线性单元

自适应线性单元(Adaptive Linear Element) 由 Widrow 于 1960 年提出，它是一个连续时间线性网络，其结构如图
7.17 所示。该模型实际上就是一种自适应阈值线性单元，神经元在 k
时刻的输入信号向量为 X _k=[x₁ ,_k ，x ₂ ,_k ， … ，x _n ,_k]^T ，各分量通过一组权系数进行加权
求和，权向量为 W _k =[w₁ ,_k ，w₂ ,_k ，… ，w _n ,_k]^T ，偏置权 w_{0 k}
接入常量输入 x0 = +1，神经元输出分为两个部分，模拟输出
y _k 和二值输出 q _k ，
即模拟输出

y   = X ^TW

k              k       k

q = sgn(y ) =
ì 1

y_k≥ 0

二值输出

k                        k            í

î– 1

yk < 0

x1, k

x2, k

x_n, k

输入模式

w1, k

w2, k

w_n, k

x0 = +1

w0, k                                               模拟输出

y_k

二值输出

Σ                              q_k

误差

Σ

期望输出

图 7.17   阈值型

期望输出用于训练神经元，实际输出和期望输出之差送入最小均方差(LMS) 学习算法机制中，用来调整权向
量，使得这种偏差逐步减小，即实际输出逐步和期望输出达到一致，当实际输出达到期望输出时，神经元训练完毕。

LMS
算法又称为 Widrow-Hoff
算法或 Delta
算法，可以形式化地描述为

・201 ・

人工智能技术与方法

W      = W

+ a        E X

k+1

k                     2  k   k

k

其中， W _k 和 X
_k 为当前的权向量值和输入向量值 ，W _{k +1} 为下一次的权向量值， e _k

为当前误差( 期望输出于实际输出之 差) ，a 为学习速度(Learning Rate)。

这种算法是调整神经元权值，使神经元实际输出与期望输出尽量保持一致， 即使下式的误差最小 ：

E   = d   – X
^TW

k            k             k       k

在 ADALINE 中，神经元通过改变权值来减小该误差 e_k ，即

DE = D(d – X
^TW ) = – X ^TDW

此时，权值的变化为

k                   k              k       k                     k            k

DW = W

– W = a          E X

k              k +1

k                      2  k   k

k

所以            DE

= – X ^T DW

= – X ^T a         E X

= – X ^T X

   a  E

= –aE

k                  k            k

k                 2    k    
k k

k        k                2    k               k
k

可见，误差 e_k 的减小是与学习速度 a 相关的，即 a 决定了收敛的稳定性和速度。 稳定性要求 a ＝ 0 ～ 2 ，但是 a
过大可能会修正过度，一般选择在 0.1 ～1 的范围。 图 7.18 所示的为
LMS 算法的几何解释， W _{k +1} 等于 W _k 与D
W _k的向量和，向

量D W _k 与向量 X _k 平行，而误差 的改变量D e _k 为 X_k^T D W _k ，由于 LMS
算法选定D W _k 与 X _k 平行，所以当D W _k 为极小时就修正了误差。下面以一个例子来说明 LMS 算法的工作过程。

例 7.2    两输入 ADALINE 神经元如图 7.19 所示 ，初始权系数值取 w ₁=1 w₂=1 ，

阈值权值 w ₀=1 。现在，已知输入样本为 P =(2.7 ，1.5) ，理想输出为 d =1.2 ，采用

LMS
算法来训练该网络。

解  ADALINE 输出为

y = w0 + w1x1 + w2x2 = 1+ 2.7 + 1.5 = 5.2

大于 d=1.2 。

扩展输入向量为                       X=[1     p]^T

扩展权向量为                        W=[w₀w₁ w₂]^T

于是，误差为 e
＝ 1.2
－ 5.2
＝－ 4.0
，选择 a
＝ 0.6
，则

・202 ・

z

x_k

w_k+1

w_k

x

x1

Dw_k

y        x2

第 7 章   神经网络

y

q

图 7.18   LMS 算法                  图 7.19 训练 ADLINE

2

Dw₀ = (a / X
)E x = (0.6
/10.54) ´ (–4.0) ´1 = –0.2277

Dw₁

= (a / X
² )E x

= (0.6 /10.54) ´ (–4.0) ´ 2.7 = –0.61479

Dw = (a / X
² )E x = (0.6 /10.54) ´ (–4.0) ´1.5 = –0.34155

修正以后的权值为

此时，新的输出为

w0 = 1 – 0.2277 = 0.7723

w1  = 1 – 0.61479 =
0.38521

w2  = 1 – 0.34155 =
0.63845

y = 0.7723+
0.38521´ 2.7 +
0.65845´1.5 = 0.7723+
1.040067+
0.987675 = 2.8

新的输出误差降为 e
＝ 1.2 － 2.8 ＝－ 1.4 。重复以上过程，直到输出达到理想输出为止。

ADALINE
的学习收敛过程如图 7.20
所示，训练完毕后，权值及阈值 w₁=0.0687， w₂=0.3348，w₀=0.5565，将样本 P =(2.7，1.5) 输入到神经元后，得到输出为
y =1.2031 ， 已经接近理想输出值。