像随机森林一样，梯度增强也是由“弱”决策树构成的。显着的区别在于，在梯度增强中，树木被一个接一个地训练。每个后续树主要使用先前树木错误识别的数据进行训练。这使得梯度增强可以更少地关注易于预测的情况，而更多地关注困难情况。
集合只是预测变量的集合，它是所有预测的平均值，用于给出最终预测。我们使用集合的原因是，许多不同的预测器试图预测相同的目标变量将比单独的任何单个预测器执行更好的工作。集成技术进一步分为Bagging和Boosting。
・
Boosting是一种集合技术，其中预测变量不是独立制作的，而是顺序制作的。
・
Bagging是一种简单的集成技术，我们在其中构建许多独立的预测器/模型/学习器，并使用一些模型平均技术将它们组合在一起。
渐变增强是增强算法的一个例子。训练速度很快，表现也很好。但是，训练数据集中的微小变化可能会在模型中产生根本性的变化，因此可能无法产生最可解释的结果。