最小二乘法导数相关的疑问

我想问关于最小二乘的导数的疑问;
最小二乘的公式为:
误差平方和公式.png

该公式求导后为:
导数公式.png

 
1.  我的第一个问题:为什么是 (估计值-真实值)的平方和,不是(真实值-估计值)的平方和??
    此时,在梯度下降中,使用的公式为:
梯度下降公式.png

 
    那么,我的疑问来了,如果最小二乘函数为如下,显然不会影响最终的结果误差结果:
     
误差平方和公式_负.png

    但是,此时对该公式求导,梯度下降公式应该为:
梯度下降公式_负.png

    当然,该公式在应用时显然是不对的。那么,为什么该公式不对?之前那个公式就是对的。 
    (是否跟函数的凹凸性相关,好像之前学过两点直线的任意点大于真实值??)
 
2. 我的第二个问题:最小二乘法求导后,在梯度下降计算步长的回溯法和二次插值法中,
                  应该使用向量还是数值??
   我的理解:梯度下降的回溯法中,因为是对各个维度求导,那么每个维度都有一个导数,
             那么最终的导数是各个维度的导数。
   但是,“第6章回归”给的回溯线性搜索计算步长的实例代码是向量,并且我也用向量拟合出了合适的结果。               
Amrijo代码.png

         “第7章梯度下降和拟牛顿”给的回溯法和二次插值法的实例代码,梯度确是一个数值。    
             
Amrijo二次插值法代码.png

   那么,我到底应该用向量还是数值??
         
   并且,回溯法我使用的导是一个向量,而二次插值法中继续使用向量无法计算出结果。
        二次插值法的公式为:
Amrijo二次插值法公式.png

                      因为now,next都是数值,而d(导数)为向量,没法计算出结果?
   老师,我该怎么办??
    
   
 

忘却的旋律

赞同来自: gongfc fish mkk_xx

你的第一个问题,求导有问题   (y-h(x))^2 的导数为   -2(y-h(x))h'(x) 你忘了负号

gongfc

赞同来自:

哦 对!! 好像是啊。谢谢!!  (这个问题纠结了好久,还是要多交流!! )

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自:

1、@忘却的旋律 的回答切中要害。就是掉了个负号,其实无论使用哪个目标函数,它们的导数是完全一样的。 2、计算导数(梯度)一般都是向量——如果目标函数本身是单元的,则向量退化为标量而已。而“线性回溯法”“二次差值法”的研究对象不是梯度,而是学习率。而学习率是一个大于0的标量(数量)。

gongfc

赞同来自:

老师! 我想问的是:            二次插值法中,如果d是个向量, 根据如下的公式无法计算出结果,       那么该公式如何修改下:             谢谢!!

calvinist

赞同来自:

楼主你好,请问你看的是哪一本书呢?

要回复问题请先登录注册