梯度随机下降

老师,梯度随机下降整个计算过程没有考虑正则化,即使前半段取得最小值,正则项数值很大就不能保证J最小啊

三人行必有我师

赞同来自:

可以考虑吧, 正则项是在 y' 中的一项   梯度下降是Loss对参数做偏导。     

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自:

这是《机器学习(升级版)》中“回归”章节的内容。 说的没错,如果“前半段取得最小值,正则项数值很大就不能保证J最小”,所以这样的解就不可能是最优解——因为正则项把这样的过拟合倾向的解排除掉了。这恰恰是体现了正则化的作用。

要回复问题请先登录注册