通过感知器，delta规则和反向传播，我们一方面引入了最重要的一类神经网络及其与分数和朴素贝叶斯的关系，而且还引入了最小二乘法。接下来，我们看到了受生物模型启发的迷人Hopfield网络，然而由于其复杂的动态特性，这些网络在实践中难以管理。在实践中更重要的是各种联想记忆模型。
在所有神经模型中，信息分布在许多权重上。因此，在大脑中死亡的一些神经元对大脑的功能没有明显的影响。通过其分布式数据存储，该网络可以抵御小型中断。这也与识别多个示例中显示的错误的模式的能力有关。
然而，知识的分布式表示具有缺点，即知识工程师难以定位信息。在完全训练的神经网络中分析和理解许多权重实际上是不可能的。相反，对于学习的决策树，很容易理解学到的知识，甚至将其表示为逻辑公式。谓词逻辑，它允许关系形式化，特别富有表现力和优雅。例如，谓词祖母（凯伦，克莱德）很容易理解。这种关系也可以通过神经网络学习，但是甚至不可能在网络中定位“祖母神经元”。因此，在将神经网络与符号处理系统连接时仍存在问题。
1.
练习255
在众多有趣的神经模型中，很多都不能在这里治疗。例如，Kohonen引入的自组织映射是从神经元传感器层到第二层神经元的生物学动机映射，具有这种映射是自适应的特性并保持相似性。
在增量学习期间出现了这里介绍的网络问题。例如，如果使用新模式进一步训练完全训练的反向传播网络，则很快（例如可能全部）旧模式被快速遗忘。为了解决这个问题，Carpenter和Grossberg开发了自适应干涉理论（ART），从而产生了一整套神经模型。
作为补充文献，我们推荐教科书[Bis05，RMS92，Roj96，Zel94]。那些有兴趣阅读这个令人兴奋的领域最重要的原创作品的人可以参考两个收集的卷[AR88，APR90]。
