人工智能：7.1 概 述

7.1.1    基本概念

神经系统的基本构造是神经元( 神经细胞) ，它是处理人体内各部分之间信息相互传递的基本单元。神经生物学家研究的结果表明，人的大脑一般有 10¹¹ ~ 10¹²个神经元 ， 每个神经元平均与其他几千个神经元连接，并通过这种连接方式可以收发不同数量的能 量( 信息) ，人的认知过程反映在这些大量的神经元整体活动之中。

在 人 的大脑中， 神经元的结构形式并非是完全相同的 ； 但是，无论结构形式如何，神经元都是由一些基本成 分所 组成 的 。神经元的生物学解剖可以用图 7.1
所示的结构表示 ， 从图中可以看出 ： 单个 神经元细胞是 由一个细胞体(Core)、 一个 连 接 其 他 神 经 元 的 轴 突 (Axon) 和 一 些 向 外 伸 出 的 其 他 较 短 分 支 的 树 突

(Dendrites) 所组成。

细胞体是由很多分子形成的综合体， 是神经元的主要组成部分。整个细胞的最外层称为细胞膜
， 内部 则 含有一个细胞核、核糖体、原生质网状结构等 ， 它吸收和生成维持神经元生命所必须的物质 ，是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程
。细胞体的基本功能是 将接受到的所有信号进行处理

・178 ・

( 如： 对输入信号 按照 重视程度加权求和)
，然后 由轴突输出 。

第 7 章   神经网络

树突是由细胞体向外伸出的较短的分支，
围 绕细胞体形成灌木丛状， 树突的

功能是接受来自其 他 神经元的兴奋( 信号) ， 为神经元细胞的信息输入端。 神经元的树突与另外的神经元的神经末梢相连的部分称为突触(Synapse) 。突触是其他神经元的轴突与该神经元的树突的接口。

树突

轴突末梢

细胞体

突触

轴突

图 7.1 大脑神经细胞结构

轴突是由细胞体向外伸出的最长的一条分支，超过 1
m 。轴突 末端的神经末梢将本神经元的输出信号( 兴奋)
同时传送给多个别的神经元 ，是 神经元 细胞的信息输出端。

突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构
，如图

7.1   
所示。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢 ， 突触间隙是突触前成分与后成分之间的距离空间，突触后成分可以是细胞体 、树突或轴突。突触的存在说明
： 两个神经元的细胞质并不直接连通， 二 者彼此联系是通过突触这种结构 相互作用的， 是神经元之间的 一种 连接。

・179 ・

人工智能技术与方法

图 7.2 突触与连接

人脑的活动基础是由大量的神经元细胞组成的神经系统，这些神经细胞以特定的方式相互交织在一起构成一个非常复杂的网络，当外部的信息进入该网络系统中， 将引发一连串的各种化学反应，信号沿着神经元传递，神经元的状态也发生了不同的改变。 一个神经元 具有两种状态 ： 兴奋 状态 和抑制状态，这是 由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在 － 50 ～－ 100 m V 之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约 60 ～ 100 m V 的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的
， 细胞的兴奋电脉冲宽度一般大约为 1 ms 。

对神经 细胞 的研究结果表明
：神经元的电脉冲几乎可以不衰减地沿着轴突传

送到其 他 神经元 上 去 。由神经元传出的电脉冲信号，首先到达轴突末梢，使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。树突上的受体能够接受神经递质从而去改变膜向离子的通透性
， 使膜外内离子浓度差产生变化 ， 进而使电位产生变化。于是 ，信息就从一个神经元传送到 了 另一个神经元中。

当神经元接受来自其 他 神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。当膜电位变化超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递 。神经元这种膜电位高达一定阈值(threshold) 后 才产生脉冲传送 的特性称
阈值 特性。神经元的信息传递除了有 阈值 特性之外，还有两个特点。一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体； 另一个是延时性传递 ，即 信息通过突触传递时 通常会产生
0.5 ～ 1
ms 的延时。

・180 ・

第 7 章   神经网络

在神经网络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触
， 神经元可以对不同来源的输入信息进行综合。 与此同时， 对于来自同一个突触的信息，神经元可以对于不同时间传 入 的信息进行综合 ， 故神经元对信息有 空间综合与
时间综合 的 特性 。神经元对能量的接受并不是立即作出响应的，而 是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其他的神经。

由上所述，对神经元的基本行为与特性可以作一个初步的归纳
：

(1)      信号是以脉冲的形式在神经元之间进行传递的 ；

(2)      神经元通过树突来接受其他神经元的信号 ，并沿着轴突传递到神经末梢
；

(3)      当输入的累计激励达到或超过一定的阈值之后，该神经元将处于兴奋状态，此时信号将被传递到其他的神经元
；

(4)      当输入的累计激励低于阈值时，该神经元将处于抑止状态，此时信号将

不会被传递 ；

(5)     
神经元之间的连接是在不断的调 整的过程中，即神经网络的结构连接是动态改变的。

人工神经网络是 以 计算机网络系统 来 模拟生物神经网络的智能计算系统，网络上的每个
节 点相当于一个神经元 ，它是对具有以上行为特性的神经元的一种模拟，每个神经元就是一个简单的处理单元，这些大量的神经元之间相互作用、共同完成信息的并行处理工作。

7.1.2    人工神经元

神经元是神经网络的基本单元，它 是一个多输入单输出的 非 线性信息处理单元，根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型 ， 如图

7.2  所示 ，它主要包括如下基本要素。

(1)     
一组权系数{ w_ki} 表示神经元之间的连接强度，权系数值为正表示激活，
为负表示抑制
。

(2)      求和单元用于求取输入信息的加权和 。

(3)     
非线性激励函数 f(.)
起非线性映射作用
，并将 神经元 的输出幅度限制在一定的范围之内。

・181 ・

人工智能技术与方法

图 7.3 中，x ₁ ，x ₂ ， ⋯ ，x _n 是神经元的输入， 代表 前级 n 个神经元的轴突的 输出 信息 ，? _k 是神经元 k
的 阈值 ，w _k1 ，w _k2 ，⋯ ，w _kn 分别是神经元 k 对 x ₁ ，x ₂ ， ⋯ ， x_n 的权系数， 亦 即突触 信号 的传递 强度 ，y _k 是神经元 k 的输出 ，f (.) 是激励 函数 或传递函数 ，它 反映了神经元的非线性信息处理的特性。

uk

yk

0 k

图 7.3   神经元的数学模型

由 神经元模型，可以得到神经元的数学模型表达式

uk  = wk1x1  + wk 2 x2  + ・+ wkn xn  – 0k   = åwki xi  – 0k

i=0

y_k= f (u_k)

其中， 激发函数 f (.) 有多种形式， 常用的有如下 3 种类型。

阈值型激励函数如图 
7.4(a)所示，这是一种最简单的激励函数型，它只具有两种输出
：0
和 1 ，分别表示神经元的激活与抑制状态，
这种 激励 函数的神经元为 离散输出模型 ，其数学表达式为

y =f (u ) =     1

u_k>0

k              k                   0     u_k≤0

f

0                              uk  －1           0

1          u_k

0                          u_k

    
         (a)                                            (b)                                  (c)

图 7.4   典型激励函数

(a)      阈值型  (b) 分段线性型 (c) Sigmoid 型

分段线性型激励函数如图 7.4(b) 所示，它表示在一定的范围内，输入/ 输出为

・182 ・

第 7 章   神经网络

一线性变化关系。当输入达到某一量值时，神经元则进入饱和限幅状态，限制输出的幅度。其数学表达式为

0

y_k=f (u_k)=       (1+u_k)/2 1

u_k≤-1

–1<0       u_k≤1

uk≥-1

Sigmoid
型激励函数如图 7.4(c) 所示，这种函数具有连续、平滑及饱和的非线

性特性，一般采用指数或双曲正切等
S 状的曲线来表示，如

y_k= f (u_k) =

或

1

1+ exp(–auk )

y_k= f (u_k

) = 1–
exp(–au_k)
1+ exp(–auk )

7.1.3        
神经网络结构与学习

1.     神经网络的学习结构

神经网络的拓朴结构也是以生物学解剖中神经细胞互 联 的方式为依据的，它是一个高度非线性动力学系统，大量的形式相同的神经元连结在
― 起就组成了神经网络
。 虽然每个神经元的结构和功能都不复 杂， 但由于各神经元之间的并行 、互 联 功能， 神经网络的动态行为 却 十分复杂 。目前，已经建立了数十种神经网络模型，从网络的结构上看，主要有前向网络和反馈网络两种。

前向神经网络中各神经元是按层次排列，组成输入层、中间层(
亦称隐含层， 可有多层)
和输出层。每一层的神经元只接受前一层的神经元输出，  神经元从一层连接至下一层 形成 单向流通连接
，外部信号从输入层经隐含层依次传递到输出层，网络中间没有信号反馈的连接回路，如图    7.5(a)所示。图中，实线指明实际信号
的 流通 线路 。前 向神经 网络的例子有多层感知器(MLP)
、学习向 量量化(LVQ)
网络等。

反馈神经网络中各神经元不仅接受前一层的神经元输出信号  ，而且还接受其

他神经元(
本层或后续层的神经元)
输出， 多个神经元互 联 以组织一个互 联 神经网络， 网络中存在信号的反馈回路，如图 7.5(b) 所示。 有些神经元的输出被反馈至同层或前层神经元
，信号能够正向 流通也可以 反向流通 ，如 Hopfield
网络 、Elmman

・183 ・

人工智能技术与方法

网络 、Jordan 网络
等均属于这一类网络。

(a)                                                                                                                            
(b)

图 7.5 神经网络的类型

(a)      前 向(
多层) 网络 (b) 反馈 网络

此外，还可以按照其他的方式来划分神经网络的类型，比如从信息的类型来 看，神经网络可分为连续型网络和离散型网络，从对信息的处理方式来看，可分
为确定性网络和随机性网络 ，从学习方式来看 ，可分为有教师学习和无教师学习，
等等，图 7.6 给出了一些神经网络的结构类型。

神经网络的工作过程主要由两个阶段组成，一个阶段是网络的工作期，此时神经网络中连接权固定不变，而各计算单元的状态
发生变化，以达到网络的某种稳定状态。这一阶段的工作速度较快，各个计算单元的状态反映的是一种短期的记忆(Short Term Memory) 。另一阶段是网络的学习期，此时各计算单元的状态不变，而网络的连接权值可以通过学习来修改，这一学习过程往往比较缓慢，当网络的学习过程完成后，其各计算单元之间的连接权值就是一种长期的记忆(Long Term Memory) 。

2.     神经网络的学习

神经网络的一个重要特征是其自适应学习能力，神经网络通过
对外部环境提供的模式样本进行学习 和 训练，并 能够将这些信息 模式 存储在网络之中， 这类网络通常称为 感知器 。另外，神经网络 对外部环境有适应能力 ，能够
自动提取外部环境 的 变化特征， 并存储于网络内部，这类网络则 称为认知器。神经网络通 过学习与训练，可以存储和记忆外部信息的内在特征，或者说这些信息之间的复杂非线性关系
， 这一 特点 使神经网络在解决一类预测、分类、评估匹配、识别等问题

・184 ・

方面具有独特的优势。

第 7 章   神经网络

神经网络 的 学习 一般
分为有教师 学习 和无教师学习两种 ，如图 7.6
所示。

图 7.6 典型神经网络的结构模型

所谓 有 教师 学习 是 指 在神经网络学习中 ，由外部提供
期望学习的 模式样本信号 。对于给定 的 输入 样本， 神经网络 根据期望 输出样本 和网络实际输出 样本之间的偏差 来调整神经元间连接的强度或权 值，以期降低这种偏差
。因此，有 教师 学习需要 提供 期望 输出样本信 号(
或目标) ，比如
BP 网络 、Hopfield 网络 等，它们都需要
有 教师信号才能进行学习。

无 教师 学习则是指 在神经网络学习中 ，没有 提供 期望学习的
模式样本信号 。在 网络的学习 训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地 调适 连接权，以便按 某种 特征把输入模式分组聚集 ，实现对输入样本信号结构特征的抽取和分类，如
Kohonen 算法 、自适应谐振理论（
ART ）等 均为 无教师信号学习。

此外，还存在 有一类 学习算法，即强化学习算法 ，它可以被看
作是 有 教师 学习的特例。该算法不需要教师提供期望的 目标输出 样本，但是， 强化学习算法需要 采用 某一个评判依据，以此衡量网络学习的正确与否。这种评判依据可以是定量的，也可以是定性的，比如在遗传算
法(GAs) 中，选取一种适应度函数来衡量

・185 ・

人工智能技术与方法

学习的优良程度 。因此 ，如何选择学习的评判依据是强化学习中的一个主要问题。如果评判
依据直接采用期望的目标输出样本这种定量标准，则强化学习就将退化为有教师学习一类了。

神经网络 的 学习算法的优劣 将会极大地 影响 到 整个系统的性能
，好的学习算法会使 网络 不断积累知识， 并能够根据不同的问题自动调整 神经元 权值，使其具有良好的适应 能力和学习能力。许多神经网络的学习训练方法被开发出来并获得实际应用，但这些学习的基本思想都可以看作是
Hebbian 学习规则的变形。

Hebbian 学习规则的基本思想是 ：如果某一个单元 u _k从另一个单元 u_j接收输入，那么当这两个神经元都处于兴奋( 激活) 状态时，从 u_j到
u _k的连接权值
w_kj将得到加强。可以用数学方法描述如下
：

Dwkj = g (ak (t ),tk (t )) ×h(o j (t), wkj )

这里 ，a _k 和 t _k 是神经元 u _k 的实际输入值和理想输入值 ，o _j 是神经元 u_j 的输出值 。Hebbian 规则表明了连接权的修正量是由 u _k 的实际值 a _k 和理想值 t _k 的函数 g ， 以及 u_k 的输出值 o _k 和连接权值 w _kj
的函数 h 的乘积来确定。

一种简化的 Hebbian 规则形式是没有理想输入值 t _k，函数 g 和 h 只与第一参

数成正比 ：

Dwkj  = riak o j

其中， ? 是表示学习速率的比例常数。如果将函数
g 和 h 分别定义如下 ：

g (ak (t),t k (t )) = ri(t k – ak )

h (o j (t ), wkj ) = o j

于是可得到 Hebbian
学习规则的另外一种变形 ：

Dwkj = ri(t k (t ) – ak (t )) ×o j = rio o j

上式中， d
＝ t _k－ a
_k，神经元的权值修正量与神经元的实际值和理想值之差

(Delta)成正比，称为 Delta
学习规则(
或 Widrow-Hoff
学习规则)
。

在竞争学习环境中， Grossber 采用了一种学习策略： 网络的输出单元之间相互竞争，如果有一个神经元较强，则它将获得优胜，而其他输出神经元将受到抑制。将
Hebbian 学习规则中的函数
g 和 h 分别定义如下：

g (ak (t),tk (t )) = riak

h(o j (t ), wkj ) = o j  – wj

・186 ・

于是，可得到竞争学习规则 ：

第 7 章   神经网络

Dw_kj

= ìria_k (o _j –
w_j )

î

当神经元当神经元

k 竞争获胜

k 竞争失败

3.     几个典型的神经网络型模型及学习算法

神经网络的结构模型与学习算法是神经网络理论的两个重要的组成部分，下面了解几个典型的神经网络型模型及学习算法。

(1)      感知器(Perceptron) 。

由 F.Rosenblatt 于 1958 年提出的最古老的神经 网络之一
， 这是一个单层的、有教师学习的前向神经网络模型，具有阈值型激励函数，二值输 入/ 输出信 号(0 或 1)
。它可进行基本的逻辑运 算(
如 AND 、OR) ，但不能完成复杂的逻辑运算( 如XOR) ，用于模式识别等分类问题，
现 在 已很少使用。

N –1

感知器的输出为

y = f (å wi xi –
0 )  

i=0

其中 ，y
= ＋1
代表 A
类样本 ；y = － 1
代表 B
类样本。可以完成样本集的简单分类。

(2)      多层 感知器(MLP) 。

由 M. Minsky 和 S. Papert 于 1969 年提出，它是将感知器进行扩展而得到的一种前向神经网络， 具有输入层、隐含层和输出层， 如图 7.7 所示。由于引入隐含层，
MLP 可以完成各种逻辑运算，包括
XOR 运算，从而较大地提高了神经网络的性能。它采用有教师学习的 Delta 
学习规则方式，使用二值输入/ 输出信号(0 或 1) ，阈值型激励函数，具有有限的函数划分或逼近的能力。

(3)   BP 前向网络。

最初由 P.Werbos 于 1974 年开发的一种反向传播迭代梯度算法( 即 BP 算法)，用于求解前馈网络的实际输出与期望输出间的最小均方差值。在
1986 年，以 E.Rumelhart 和 R.J.Williams 等为首的研究小组独立地提出了
BP 的 完整学习算法
，用于前向神经网络的学习与训练。该网络具有和 MLP 
相同的结构，由输入层、隐含层和输出层组成， 相邻层之间的各神经元实现连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而每层的 各神经元之间无连接
。BP 网络采用有教师方式进行学习，神经元单元为
S  型激励函数，连续的输入/ 输出信号，具有逼近任意非线性函数的能力，
是目前应用最广的网络之一 ，其网络结构模型如图 7.8
所示。

・187 ・

人工智能技术与方法

BP   网络的学习过程是这样的，首先，由教师对每一种输入模式设定一个期望输出值，即给出学习样本对，然后将实际输入样本的学习记 忆模式送往 BP 网络输入层，并经由隐含层到达输出层，此过程 称为“ 模式顺传播” 。实际得到的输出与期望输出之差即是误差， 按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值 ，此过程称为“ 误差逆传播” (Back Propagation)。随着“ 模式顺传播”

图 7.7   多层感知器模型                  图 7.8 多层前向网络模型

和“
误差逆传 播” 过程的交替反复进
行 ， 网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升，最后达到网络学习的预期目标。

BP 网是一种反向传递并能修正误差的多层
前向 网络 ，BP 算法具有明确的数

学意义和分明的运算步骤，以样本对误差最小来指导网络的学习方向，是一种具 有很强的学习和识别能力的神经网络模型。但是 ，BP 网络本身也存在有局限性， 如学习 收敛速度太慢、学习记忆具有不稳定性 、容易陷于局部极小等。

(4)   Hopfield 网。

Hopfield 网由 J.J.Hopfield 于 1982 年 提出， 它 利用非线性动力学系统理
论中的能量函数方法研究反馈人工神经网络的稳定性，并利用此方法建立求解优化计算问题的系统方程式。

Hopfield 网络 是一类不具有学习能力的单层自联想网络
，只有一个神经元层， 各个神经元之间均相互双向连接，没有输入神经元和输出神经元之分，如图  7.9 所示。这种连接使得网络中的每一个神经元都将自己的输出通过连接权传送给所
有其他神经元，同时又都接收所有其他神经元传递过来的信息，它是 一个反馈型的网络 ，在没有外部输入的情况下，能够达到某种稳定的状态。

・188 ・

第 7 章   神经网络

图 7.9 Hopfield 网络模型

当网络达到稳定状态，也就是它的能量函数达到最小时。这里的能量函数不是物理意义上的能量函数 ，它 表征网络状态的变化趋势，并可以依据 Hopfield 工作运行规则不断进行状态变化，最终能够达到的某个 最 小值的目标函数。网络收敛 意味着 能量函数达到 最 小值 ，如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么 Hopfield 
神经网络就能够用于解决优化组合问题 。由于 Hopfield 神经网络的能量函数是朝着梯度减小的方向变化， 因此， 一旦能量函数陷入到局部极小值，它将不能 自动跳出局部极小点，到达全局最小点，因而无法求得网络最优解。

(5)      竞争型(Kohonen) 神经网络 。

它是由 T.Kohonen 于 1982 年根据 人的视网膜及大脑皮层对 刺 激的反应而 提出 的 一种神经网络模型。在 生物视网膜中有许多特定的细胞， 它们 对特定的图形 ( 输入模式) 比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度
却 被抑制。对于 单 输入模式，通过竞争在输出层中只激活一个相应的输出神经元
； 对于 多输入模式，在输出层中将激活许多个神经元 ； 从而形成一个反映输入数据的“ 特征图 形” 。

竞争型神 经网络是一种以无教师方式进行网络训练的网络，它通过自身训练能够自动对输入模式进行分类。竞争型神经网络及其学习规则与其他类型的神经网络和学习规则相比，有其自己的鲜明特点。在网络结构上，它既不像阶层型神经网络那样在各层神经元之间只有单向连接，也不像全连接型网络那样在网络结构上没有明显的层次界限。它一般是由输入层( 模拟视网膜神经元) 和竞争层( 模拟大脑皮层神经元，也叫输出层) 构成的两层网络。两层之间的各神经元实现双向全连接，而且网络中没有隐含层，如图
7.10 所示 。

・189 ・

人工智能技术与方法

X0                        X1                              XN－ 1

图 7.10 Kohonen 网络模型

有时竞争层各神经元之间还存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进行修正，使之朝着更有利于它竞争的方向调整。神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞争得以实现的，实际上也就是网络回忆联想的过程。

除了竞争的方法外，还有通过抑制手段获取胜利的方 法，即网络竞争层各神经元抑制所有其他神经元对输入模式的响应机会，从而使自己成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻近的神经元，而不抑制远离自己的神经元。这种方法常常用于图像边缘处理，解决图像边缘的缺陷问题。竞争型神经网络也存在着缺点和不足，因为它仅以输出层中的单个神经元代表某一类模式。所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢失。

7.1.4        
神经网络的发展

人工神经网络研究 可追溯到 20
世纪 40 年代，但是，它的发展却经历了一条曲折的道路
，其整个发展过程大体可以分为 3 个阶段。

1. 早期阶段
(1942 ― 1965)

早在 1943 年，心理学家 W.S.McCulloch 和数学家
W.Pitts 在总结了生物神经

・190 ・

第 7 章   神经网络

元的一些基本特性基础之上，提出了一种形式神经元的数学描述和结构模
型( 称之为 M-P 模 型) ，从此开创了神经科学理论研究的新时代。这种 模型 构造了一个表示大脑基本组分的神经元模型，对逻辑操作系统表现出通用性。虽然单个的形式神经元功能较弱
，但由其组成的网络却具有巨大的计算能力 。1949 
年 ，D.O.Hebb提出神经元之间突触联系强度可变的假设，并由此得到
Hebb  学习规则，为神经网络的学习算法奠定了基础，该学习规则至今仍在各种神经网络模型中起着重要的作用。1959 年，由 F.Rosenblatt 领导的研究小组开发出来 感知器(Perceptron) 模型 ， 这是一个完整的人工神经网络，试图模拟生物的感知与学习能力。到 20 
世纪 60 年代初期， B.Widrow 等提出 了自适应线性单元 Adaline 模型，用于信号的自适应滤波与模型识别，取得了一定的成绩
。由于感知器的概念简单， 容易付诸工程实践，人们 对它寄托 了 很大 的 希望。

2. 低沉阶段
(1969 ― 1982)

1969 年，M. Minsky 和 S.Papert 在对
F.Rosenblatt 的感知器做了深入的研究之后，发表了很有影响的《感知器(Perceptrons) 》一书，指出感知器的处理能力有限，连 XOR  这样的问题也不能解决，虽然多层感知器能够提高感知器的处理能力，但他对寻找神经网络中权的计算方法持怀疑的态度，建议开辟人工智能的其他途径。由于  M.Minsky 
悲观的结论以及当时基于功能模拟的人工智能正取得显著成效的影响，人们降低了对神经网络的研究热情，从而使神经网络的研究进入萧条时期。但是，仍然有不少的学者继续对神经网络进行研 究，取得了一些积极成果，如：P.Webos 的 BP 学习理 论(1974 年) 、S.A.Grossberg 的自适应谐振理论ART(1976
年) 、S.I.Amari 的关于联想与概念映射的神经元理论(1977 年) 、K.Fukushima
提出神经认知机(1975 年) 、J.A.Anderson
提出的 BSB 模型(1977 年) 、T.Kohonen 提出自组织映射(1980 年) 等，为神经网络的发展奠定了理论基础。

3. 复兴期阶段(1982 ― )

到了 20 世纪 80 年代，终于迎来了神经网络的兴盛时期，美国生物物理学家

J.Hopfield
分别于 1982 年和
1984 年发表了两篇文章，提出了
Hopfield 模型。该模型具有联想记忆的能力，通过引入能量函数，从理论上阐明了神经网络与动力学的关系，建立了神经网络的稳定性判据，并指出信息存储在神经网络的连接权上。1986 年， D.E.Rumelhart 研究小组在多层神经网络的研究基础上，系统地提

・191 ・

人工智能技术与方法

出了反向传播学习算法( 即
BP 算 法) ，解决了多层神经网络的学习问题。同时， 他们还证明了多层神经网络具有很强的解算能力，可以完成许多学习任务、解决许多的实际问题。这些成果的取得，使神经网络的研究获得突破性发展， 再次引起人们的关注和激发神经网络的研究热情 ，1987 年在美国召开了第一届神经网络

国际会议，并随之成立了国际神经网络学会 ，1988 年，神经网络期刊创刊(Neural
Networks) ，1990
年， IEEE
Trans. on Mneural Networks 问世， 目前 ， 神经网络 的研究 获得广泛的开展和应用，取得了十分丰硕的成果， 使神经网络的研究步入了新时代， 掀起了神经网络的第二次研究热潮。

7.1.5        
神经网络的特点

神经网络模型是对自然生物神经系统的一种模拟，它由大量的简单计算单元  ( 神经元) 组成，每个神经 元仅仅处理简单的输入信号加权和，但它们相互之间构成一个互联系统，能够完成处理复杂的实际问题，它与传统的计算机处理方式上存在着很大的区别，神经网络具有如下的一些特点。

1.     大规模并行处理与容错能力

在大规模的神经网络系统中，信息的处理是在大量的计算单元上并行而有层次地展开的，系统不是执行一连串的指令，而是所有计算单元一起谐调运行、共同解决某一问题，因而，神经网络的这种
并行 分布式 处理方法，使得快速进行大量运算成为可能 。另一方面，由于系统的信息处理是基于整个计算群体的，各计算单元都承担着相似的任务，并相互谐调与 合作，局部的计算单元损坏不会影响到整个系统的性能，因而系统具有很强的冗余和容错能力。

2.     信息的分布式存储与处理

与传统的计算机信息处理方式不同， 在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系，它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连接只表示一部分信息，而不是一个完整的具体概念，只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。神经网络的信息处理也是分布式进行的，不是将任务进行划分之后再分配到各个子计算单元，而是由大量的计算单元共同来完成的。神经网络对
信息的存储与处理反映

・192 ・

第 7 章   神经网络

到整个神经网络之中，即信息的存储体现在神经元之间的连接上，而信息的处理分布于所有计算单元，信息的存储与处理是合而为一的，二者不是截然分开的。

3.     学习和自适用能力

神经网络 可以 通过 调节内部结构来学习新的数据模式，表现出神经网络对环境的一种自适应能力，这种自适应特性体现在神经网络中各个神经元之间的连接 关系上，比如，神经元的连接加强，则反映它们之间的信息处理通路增强；反之， 则表明神经元之间的信息处理通路阻断，实际上就是网络结构上发生了改变。可 见，神经网络在学习过程中不断修改和调整神经元之间的连接，
进行 大量的 定量和定性 的相关 操作 ，以 实现对外部数据 信息模式的自适应。一个经过适当训练的神经网络具有较强的 归纳全部数据的能力 ，可 解决输入信息间的互补和冗余问题，实现信息集成
与融合， 能 处理 那些由数学模型或描述规则难以处理的 许多复杂的 问题。

4.     具有联想与记忆能力

神经网络经过学习与训练后，神经元之间的连接记录了训练样本的信息模式，即所谓的长期记忆，而在对新的模式样本的计算过程中，神经元的状态则反映了一种短期的记忆能力。由于神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的记忆存储与
信息处理的能力，即使输入的信息不完全、不准确或模糊不清，神经网络仍然能够将记忆中相同或相近的模式联想出来，形成外部数据的完整表述。如图形图像的存储与记忆等，就可以
用神经网络 来 实现这种 信息模式的记忆与 联想。

正是因为人工神经网络的结构特征和信息分布式存储与处理具有独特的特 点，因此它优于许多其他的判断识别系统，如专家系统等。对于一个多层的神经网络 ，它能够逼近 任意复杂的非线性关系 ，从而在解决许多复杂的实际问题中， 能够发挥很好的信息 处理与 解算的 能力。目前，神经网络在广泛的领域里得到迅速的开发和应用，如 模式识别、信号 处理、图像处理、系统辨识、优化组合、机器人、智能控制等领域 ， 均 取得了令人鼓舞的显著成效， 并随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。迄今为止，在人工神经网络研究领域中，有代表性的网络模型已达数十种，而学习算法的类型更难

・193 ・

人工智能技术与方法