线性方程组的最小二乘问题目标函数为什么是x的转置乘x???这个目标的含义是什么?

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: fish Eric_Jiang

1、在讲线性回归时,我们是这样“直观”的给出目标函数的:如果预测值ti和实际值yi的差距的平方很小,则认为这个预测是好的。因此,就有了sigma((ti-yi)^2)作为目标函数。——当然,后面我们用最大似然估计和高斯分布做了进一步说明,这个暂且不管; 2、而这里的ti,其实是线性模型计算得到的。即:在线性约束下,希望预测值和实际值的差的平方最小; 3、这即意味着:在Ax=b的约束下,希望x1^2+x2^2+...+x1^2+xn^2最小。这个写成向量形式,即x^t*x。(x为列向量,x^t表示x的转置)。

martin0721

赞同来自: lvllvl

我也有同样的问题。还是不明白邹老师讲的第3点。“x^t*x”中的"x",是"ti-yi",还是ti?

要回复问题请先登录注册