仅具有一层权重的前馈神经网络是线性的。线性导致简单的网络和快速学习，保证收敛。此外，对于线性模型，过度拟合的危险性很小。然而，对于许多应用，线性模型不够强大，例如因为相关类不是线性可分的。在这里，诸如反向传播的多层网络开始使用，其结果是可能发生局部最小值，收敛问题和过度拟合。
一种有前途的方法，它汇集了线性和非线性模型的优点，遵循支持向量机（SVM）的理论，我们将使用两类问题粗略地概述。4
在两个线性可分类的情况下，很容易找到分割超平面，例如利用感知器学习规则。但是，通常存在无限多个这样的平面，如第 253 页的图 9.25中的二维示例。我们正在寻找一个与两个班级的最小距离最大的飞机。该平面通常由边界区域中的几个点唯一定义。这些点，即所谓的支持向量，都与分割具有相同的距离
4 支持向量机不是神经网络。然而，由于它们的历史发展和与线性网络的数学关系，这里将对它们进行讨论。
图9.25两个具有最大分界线的类。带圆圈的点是支持向量
线。为了找到支持向量，有一种有效的优化算法。有趣的是，最佳划分超平面由几个参数确定，即由支持向量确定。因此，过度拟合的危险很小。
支持向量机在两步过程中将此算法应用于非线性可分离问题：在第一步中，对数据应用非线性变换，其特性是变换后的数据可线性分离。在第二步中，然后在变换空间中确定支持向量。
第一步非常有趣，但不是很简单。实际上，只要数据不包含矛盾，就可以通过变换向量空间使类可线性分离。5这样的分离可以通过引入新到达例如（N + 1 ）个维度和定义
= n +
1
X 1，如果X ∈ 类 1，
0如果X ∈ 类 0。
但是，这个公式没有多大帮助，因为它不适用于要分类的未知类的新点。因此，我们需要一种与当前数据尽可能独立的一般转换。可以证明，即使对于原始向量空间中的任意形状的类划分边界，也存在这样的一般变换。在变换的空间中，数据然后是线性可分的。然而，新矢量空间的维数随着原始矢量空间的维数呈指数增长。然而，大量的新尺寸不是那么成问题，因为当使用支撑向量时，如上所述，分割平面仅由几个参数确定。
向量空间的中心非线性变换称为内核，因为支持向量机也称为内核方法。为分类任务开发的原始SVM理论已得到扩展，现在也可用于回归问题。
这里使用的数学非常有趣，但对于最初的介绍来说太广泛了。为了深入研究这个有前途的机器学习年轻分支，我们将读者推荐给[SS02，Alp04]和[Bur98]。
5 如果数据点属于两个类，则数据点是矛盾的。
