梯度下降是怎么保证往最小值方向下降的?怎么理解负梯度方向的?如何一个凸函数,从左边下降和从右边下降有区别吗?

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: Agnes terrylim Ivana

以f(x)=x^2为例,它的梯度为:g(x)=2x, 如果在x>0的初值位置开始下降,则下一次的值是x1=x0-2*alpha*x0,它比x0更接近原点; 如果在x<0的初值位置开始下降,则下一次的值是x1=x0-2*alpha*x0,由于x0是负数,它依然比x0更接近原点。

wgb - 机器学习与数据挖掘从业者

赞同来自: Agnes

首先你要明白梯度的定义,一个多元函数在某一点处的梯度表示的是在该点处函数值上升最快的方向。因此,某一点处的梯度实际上包含两个层次的含义:第一,当自变量x沿着该方向变化的时候,函数值f(x)是增大的;第二,梯度方向是在x处这一点处所有上升方向中,上升速率最快(坡度)的方向。   那么相反,沿着梯度相反的方向移动的话,函数值将会减小,这也保证了自变量会不断朝着最小值方向移动。   从左边下降和从右边下降只是对于一元函数的情形,对于多元函数就很难说左右了。从哪个方向下降取决于你初始点的选取。并且如果函数是凸函数的话,从哪个方向下降没有太大关系,最终都将收敛到最小值点。  

youZheng

赞同来自:

  深度学习传统神经网络课件讲的是Loss=wx+b-y,优化w,b使Loss最小  难道Loss没有非负要求吗? Loss=max{wx+b-y},优化w,b使Loss最小

youZheng

赞同来自:

聚类指标AMI 聚类指标AMI的公式中P(X=x),项N-ai-bj-x应做分子而不是分母,核实一下

要回复问题请先登录注册