回归正则化的参数变化对系数影响,与系数对结果影响的权重是什么关系?

1.回归过程中加入了正则化参数lambda,随着lambda的增大有些系数会缩减甚至缩减为零,可否认为越先缩减为零的系数在回归过程中的权重越小,断定缩减快的变量不重要?
2.如果正则化缩减的系数的快慢可以认定为权重,那么这种确定变量权重的方式和熵权法判断权重大小的方式有什么差别和相同点么?

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: fish 主公在此

1、并不是lambda增大后,有些系数就可以减小甚至变成0的。事实上,只有L0-norm和L1-norm有这样的性质,使用L2-norm无法得到稀疏解。当然,如果使用L0-norm(实践中往往用L1-norm近似L0-norm)得到稀疏解后,可以认为为0的特征相对不那么重要。 2、据我了解,熵权法应该只是考虑xi本身的不确定性(即熵),而没有考虑和y的关系。所以,熵权法只是度量各个特征自身的不确定性,而不是和y的关系。

要回复问题请先登录注册