如图 9.1 中的简化表示所示，人脑中大约1000亿个神经元中的每一个都具有以下结构和功能。除了细胞体外，神经元还有一个轴突，它可以通过树突与其他神经元建立局部连接。然而，轴突可以通过身体以神经纤维的形式长到一米长。
神经元的细胞体可以存储小电荷，类似于电容器或电池。该存储由来自其他神经元的输入电脉冲加载。电脉冲越多，电压越高。如果电压超过某个阈值，神经元将会发射。这意味着它会卸载它的商店，因为它会在轴突和突触上发出尖峰。电流在突触上分裂并到达许多其他神经元，其中发生相同的过程。
现在出现了神经网络结构的问题。大脑中大约10 11个神经元中的每个神经元连接到大约1000到10000个其他神经元，总共产生超过10 14个连接。如果我们进一步认为这个极其薄的连接数量是由柔软的三维组织组成的，并且对人类大脑的实验并不容易实现，那么很明显为什么我们没有详细的电路图大脑
想必
我们永远无法完全理解我们大脑的电路图，完全基于其巨大的尺寸。
从今天的角度来看，即使尝试制作完整的大脑电路图也不再值得，因为大脑的结构是自适应的。它会随时改变自己，并根据个人的活动和环境影响进行调整。这里的核心作用是突触，它们创造了神经元之间的联系。在两个神经元之间的连接点处，就好像两根电缆相遇。然而，两条引线并不是完全导电的连接，而是存在一个小间隙，电子不能直接跳过。这个空隙充满了化学物质，即所谓的神经递质。这些可以通过施加的电压电离，然后在间隙上传输电荷。这种差距的导电性取决于许多参数，例如，神经递质的浓度和化学组成。有启发的是，大脑的功能对这种突触联系的变化非常敏感，例如通过酒精或其他药物的影响。
学习如何在这样的神经网络中工作？这里令人惊讶的是，它不是实际的活跃单位，即神经元，它们是自适应的，而是它们之间的联系，即突触。具体而言，这可以改变其导电性。我们知道，无论它必须携带多少电流，突触都会变得更强大。此处更强意味着突触具有更高的电导率。使用的突触通常获得越来越高的重量。对于不经常使用或根本不活动的突触，电导率继续降低。这甚至可能导致他们死亡。
大脑中的所有神经元异步并行地工作，但与计算机相比，速度非常低。神经冲动的时间大约为1毫秒，与离子在突触间隙上传输的时间完全相同。然后，神经元的时钟频率低于1千赫兹，因此比现代计算机的时钟频率低10 6倍。然而，这种缺点在许多复杂的认知任务（例如图像识别）中通过神经细胞网络中的高度并行处理得到了补偿。
与外界的联系是通过传感器神经元来实现的，例如在眼睛的视网膜上，或通过具有非常长的轴突的神经细胞，这些神经细胞从大脑到达肌肉，因此可以执行诸如移动的动作。一条腿。
但是，目前尚不清楚所讨论的原则如何使智能行为成为可能。就像许多神经科学研究人员一样，我们将尝试使用简单数学模型的模拟来解释如何使认知任务（例如模式识别）成为可能。
1.
数学模型
首先，我们用离散时间刻度替换连续时间轴。神经元
我在一个时间步骤中执行以下计算。活动的“加载”
图9.2形式神经元的结构，它将激活函数 f应用于所有输入的加权和
通过加权输出值的总和简单地完成电势
公式上所有传入连接的 x 1，…，xn
ñ
wijxj。
j = 1
该加权和由大多数神经模型计算。然后是激活功能
f 应用于它和结果
xi = f
ñ
j = 1
w ij x j
=
=
作为突触权重的输出传递给相邻的神经元。在图9.2中，示出了这种模拟神经元。对于激活功能，存在许多可能性。最简单的是身份：f（x）x。因此，神经元仅计算输入值的加权和并将其传递给它。然而，这经常导致神经动力学的收敛问题，因为函数f（x）x是无界的并且函数值可以随时间增长超过所有限制。
相反，非常受限制的是阈值函数（Heaviside步骤函数）
= Θ
H（x） 0如果x <Θ，
1其他。
然后整个神经元计算其输出为
0如果
ñ
x i = 1其他。j = 1
wijxj <Θ ，
该公式与第173页的（8.1）相同，换句话说，与具有阈值Θ的感知器相同（第225 页的图9.3）。这里的输入神经元1 ，…，n仅具有变量的函数，这些变量在其外部设定值x 1 ，…，xn未经改变的情况下传递。
阶梯函数对二元神经元非常敏感，因为神经元的激活无论如何都只能取值为零或一。相比之下，持续
图9.3 具有阶梯函数的神经元就像具有阈值的感知器一样工作
图9.4参数 T的各种值的S形函数。我们可以看到极限
T → 0步进功能结果
激活在0和1之间的神经元，阶梯函数产生不连续性。但是，这可以通过sigmoid函数来平滑，例如
1
Ť
f（x） = 1 + e – x – Θ
使用图9.4中的图表。在阈值Θ附近的临界区域附近，该函数表现得接近线性并且具有渐近极限。可以通过参数T改变平滑。
建模学习是神经网络理论的核心。如前所述，学习的一种可能性包括根据它必须传递多少电脉冲来加强突触。这个原则被假定为
D. Hebb于1949年被称为Hebb规则：
如果在神经元j和神经元i之间存在连接wij并且从神经元j向神经元i发送重复信号，这导致两个神经元同时活动，则加权wij。重量变化wij的可能公式是
wij = ηxixj
用常数η（学习率）决定个别学习步骤的大小。
此规则有许多修改，然后导致不同类型的网络或学习算法。在以下部分中，我们将熟悉其中的一些内容。
