逻辑回归,特征选择以及特征的相关性影响

逻辑回归如何做特征选择?还有就是如果数据集中某两个特征的相关性很大,用逻辑回归做分类的话,对分类的结果有啥影响

Eric_Jiang - 我是小象的搬运工!!!

赞同来自: nishizhen

两个特征的相关性很大,是多重共线性, 加正则化

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: nishizhen

《机器学习升级版》正好在使用XGBoost为工具,做Kaggle中经典问题Titanic存活率的预测时,提高了若干这种特征选择的“黑科技”,可以作为参考,章节位于第8次课。   如果多重共线性,其实采取“鸵鸟策略”也是可接受的;如果的确很在意,可以使用L1norm;如果仍然不踏实,则使用回归前首先做相关性分析或者PCA,降维后再回归。

要回复问题请先登录注册