HomeArchivesCategoriesLabelMomentsPhotosLinkAbout

梯度提升决策树（GBDT，Gradient Boosting Decision Tree）

学习
22
0
0
2023-10-20

GBDT算法

梯度提升决策树（GBDT，Gradient Boosting Decision Tree）是一种集成学习算法，它通过构建多个决策树来进行预测，并将这些决策树的结果累加起来形成最终的预测输出。GBDT在处理回归和分类问题上表现出色，尤其在数据集较大、特征较多的情况下。

GBDT的核心思想是梯度提升，它通过迭代地训练决策树，每一棵树都尝试去拟合前一棵树的残差（即预测值与真实值之间的误差）。这个过程可以类比为一个逐步优化的过程，每一棵树都在尝试修正前一棵树的错误。

在GBDT中，每一棵树都是一个弱学习器，它们被串行地训练，每一棵新树的训练都依赖于前一棵树的结果。这种串行的训练方式与Bagging方法（如随机森林）不同，后者的树是并行训练的，基学习器之间没有强依赖。

GBDT的算法流程大致如下：

  1. 初始化模型，通常是一个常数值，这个值是所有训练样本的初始预测值。

  2. 对于每一轮迭代：

    • 计算当前模型的残差，即真实值与预测值之间的差异。

    • 使用这些残差作为目标值，训练一棵新的决策树。

    • 将新训练的树的预测结果与当前模型的预测结果相加，更新模型的预测值。

    • 重复上述过程，直到达到预定的迭代次数或模型性能不再显著提升。

GBDT的关键参数包括：

  • n_estimators：决策树的数量。

  • learning_rate：每棵树对最终结果的贡献度。

  • max_depth：每棵树的最大深度，控制模型的复杂度。

  • min_samples_split：分裂一个节点所需的最小样本数。

  • min_samples_leaf：叶节点的最小样本数。

GBDT面临的挑战包括计算成本较高、过拟合风险以及模型解释性较差。为了解决这些问题，出现了一些优化的变种，如LightGBM和XGBoost，它们通过优化算法结构和并行计算提高了训练速度。

问题？

怎么使用残差作为目标值？

在GBDT算法中，使用残差作为目标值来训练新的决策树是其核心步骤之一。这里的“残差”指的是真实值与模型当前预测值之间的差异。具体来说，这个过程包括以下几个步骤：

  1. 计算残差：在每一轮迭代中，对于每一个训练样本，我们首先计算其残差。对于回归任务，残差是样本的真实值减去模型的当前预测值。对于分类任务，残差可以是真实标签与模型预测概率之间的差异，通常通过某种损失函数（如对数损失）来计算。

    对于第 tt 轮迭代，对于样本 ii，残差 rtirti​ 可以表示为： rti=yi−y^i(t−1)rti​=yi​−y^​i(t−1)​ 其中，yiyi​ 是样本 ii 的真实值，y^i(t−1)y^​i(t−1)​ 是模型在第 t−1t−1 轮迭代后的预测值。

  2. 训练决策树：将计算得到的残差作为新的目标值，训练一棵新的决策树。这棵树试图预测这些残差，以便在下一轮迭代中修正模型的预测。

  3. 更新模型预测值：新的决策树训练完成后，我们将其预测结果乘以一个学习率（通常小于1的正数，如0.1），然后加到当前模型的预测值上，以更新模型的预测。这样做可以确保每一棵树对最终预测的贡献不会过大，从而避免过拟合。

    第 tt 轮迭代后的模型预测值更新为： y^i(t)=y^i(t−1)+ηht(xi)y^​i(t)​=y^​i(t−1)​+ηht​(xi​) 其中，ηη 是学习率，ht(xi)ht​(xi​) 是第 tt 轮决策树对样本 ii 的预测值。

  4. 迭代：重复上述过程，直到达到预定的迭代次数或模型性能不再显著提升。

通过这种方式，GBDT逐步减少模型的预测误差，每一棵树都在尝试修正前一轮迭代中模型的不足。这种方法使得GBDT能够以一种增量的方式逐步提升模型的性能。

更通俗的例子来解释GBDT中如何使用残差作为目标值来训练新的决策树。

想象你是一位老师，你的学生参加了一场考试，你手上有他们的考试成绩（真实值）和他们自己预估的分数（模型的当前预测值）。现在，你想要帮助学生们提高预估分数的准确性。

  1. 计算每个学生预估分数的误差：首先，你会计算每个学生的预估分数和实际分数之间的差异，这个差异就是我们说的“残差”。如果一个学生预估自己能得85分，但实际上得了90分，那么残差就是+5分。

  2. 用残差来指导学习：接下来，你会用这些残差来指导学生学习。例如，你会特别注意那些预估分数低于实际分数的学生，帮助他们找出预估过低的原因，可能是某个知识点掌握不牢固。

  3. 更新预估分数：在下一次预估时，你会让学生根据你的指导调整他们的预估分数。如果一个学生上次预估分数偏低了5分，你可能会建议他下次预估时给自己多加几分，但不要加太多，比如只加3分（这里的3分就相当于学习率，用来控制调整的幅度）。

  4. 重复这个过程：你会不断地重复这个过程，每次都是根据上一次的残差来调整预估分数，直到学生们的预估分数越来越接近实际分数。

这样，每一棵新的决策树都在尝试修正前一轮迭代中的误差，最终通过多棵树的共同努力，提高模型的整体预测准确性。

#机器学习 14