电子商务网站的建设的意义,6生肖竞猜网站建设,徐州百度推广公司,中国建筑网查询一、L1和L2正则化是什么#xff1f;
在防止过拟合的方法中有L1正则化和L2正则化#xff0c;L1和L2是正则化项#xff0c;又叫做惩罚项#xff0c;是为了限制模型的参数#xff0c;防止模型过拟合而加在损失函数后面的一项。
在二维的情况下#xff0c;黄色的部分是L2和…一、L1和L2正则化是什么
在防止过拟合的方法中有L1正则化和L2正则化L1和L2是正则化项又叫做惩罚项是为了限制模型的参数防止模型过拟合而加在损失函数后面的一项。
在二维的情况下黄色的部分是L2和L1正则项约束后的解空间绿色的等高线是凸优化问题中目标函数的等高线如下图所示。由图可知L2正则项约束后的解空间是圆形而L1正则项约束的解空间是多边形。显然多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。 图片参考来源《百面机器学习》 看完上面内容进一步追求细节为什么加入正则项就是定义了一个解空间约束? 为什么L1和L2的解空间是不同的?
这些问题其实可以通过KKT条件给出一种解释。
事实上“带正则项”和“带约束条件”是等价的。为了约束w的可能取值空间从而防止过拟合我们为该最优化问题加上一个约束就是w的L2范数的平方不能大于m:
为了求解带约束条件的凸优化问题写出拉格朗日函数 若w*和 λ*分别是原问题和对偶问题的最优解则根据KKT条件它们应满足
此时可以发现上述第一个式子就是w*为带L2正则项的优化问题的最优解的条件而λ*就是L2正则项前面的正则参数。
此时对问题的理解就更加深刻了。L2正则化相当于为参数定义了一个圆形的解空间(因为必须保证L2范数不能大于m)而L1正则化相当于为参数定义了个棱形的解空间。如果原问题目标函数的最优解不是恰好落在解空间内那么约束条件下的最优解一定是在解空间的边界上而L1“棱角分明”的解空间显然更容易与目标函数等高线在角点碰撞从而产生稀疏解。
二、区别
区别一
L1是模型各个参数的绝对值之和。L2是模型各个参数的平方和的开方值。
区别二
L1会趋向于产生少量的特征而其他的特征都是0。因为最优的参数值很大概率出现在坐标轴上这样就会导致某一维的权重为0 产生稀疏权重矩阵L2会选择更多的特征这些特征都会接近于0。最优的参数值很小概率出现在坐标轴上因此每一维的参数都不会是0。当最小化||w||时就会使每一项趋近于0。
三、其他问题 为什么参数越小代表模型越简单 越是复杂的模型越是尝试对所有样本进行拟合包括异常点。这就会造成在较小的区间中产生较大的波动这个较大的波动也会反映在这个区间的导数比较大。只有越大的参数才可能产生较大的导数。因此参数越小模型就越简单。 实现参数的稀疏有什么好处 因为参数的稀疏在一定程度上实现了特征的选择。一般而言大部分特征对模型是没有贡献的。这些没有用的特征虽然可以减少训练集上的误差但是对测试集的样本反而会产生干扰。稀疏参数的引入可以将那些无用的特征的权重置为0。 L1范数和L2范数为什么可以避免过拟合 加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2范数函数第一次相交时得到最优解。
