我刚看完了GBDT的算法,请问这种不断学习残差的方式不会导致过拟合么?

请邹老师评价一下GBDT在过拟合方面的表现,假如比较鲁棒,那么鲁棒的优点是什么?@邹博

胡杨京

赞同来自:

  • 目标函数里有惩罚项,惩罚项代表着数的复杂度。
  • 貌似有个值控制,当生成的树过于复杂时就停止算法迭代

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自:

这是《机器学习·升级版IV》中“提升”章节涉及的问题。 其实,GBDT(包括XGBoost)、Adaboost等提升算法,虽然理论上声称具有防止过拟合的可能,但据我粗浅的使用发现,它们仍然会很容易过拟合的,仍然需要在树的深度、迭代次数等参数上进行选择才行。 当然,使用树的叶子节点个数等作为复杂度来累加到损失函数中,属于机器学习正常的正则化手段,总是可以降低过拟合的风险的。

要回复问题请先登录注册