重庆建设技术发展中心网站,网页设计网站设计欣赏,商标怎么设计才好看,网上商城推广文案1. 引言
在机器学习领域中#xff0c;相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生#xff0c;我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说#xff0c;正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得…1. 引言
在机器学习领域中相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。
在本文中我们将了解什么是正则化正则化的类型。此外我们将讨论偏差、方差、欠拟合和过拟合等相关概念。
闲话少说我们直接开始吧
2. 偏差和方差
Bias和Variance分别从两个方面来描述我们学习到的模型与真实模型之间的差距。
二者的定义如下
Bias是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异。Variance是不同的训练数据集训练出的模型输出值之间的差异。 Bias(偏差降低了模型对单个数据点的敏感性并增加了数据的泛化性模型对孤立数据点的敏感度降低由于所需的功能不那么复杂因此还可以减少训练时间。高偏差表示假定目标函数更可靠。有时这会导致模型拟合不足。
Variance方差是机器学习中由于模型对数据集中微小变化的敏感性而发生的一种错误。由于存在显著变化算法将对训练集中的噪声和异常值进行建模。过拟合是最常用于描述这一点的术语。在新数据集上进行评估时在这种情况下模型无法提供准确的预测因为它本质上学习了每个数据点。
一个相对平衡的模型将具有低偏差和低方差而高偏差和高方差将导致欠拟合和过拟合。
3. 欠拟合
当模型由于没有正确学习训练数据中的模式而无法正确地泛化到新数据时就会发生欠拟合。在训练数据上欠拟合模型表现不佳并做出错误的预测。当存在高偏差和低方差时就会发生欠拟合。
4. 过拟合
当一个模型在训练数据上表现得非常好但在测试数据上表现不佳时它被称为过拟合新数据。在这种情况下机器学习模型因为拟合到训练数据中的噪声这会对模型在测试数据上的表现产生负面影响。低偏差和高方差可能导致过拟合。
5. 正则化概念
术语“正则化”描述了校准机器学习模型的方法以减少调整后的损失函数并避免过拟合或欠拟合。 我们可以使用正则化将机器学习模型正确地拟合到特定的测试集上从而降低测试集中的错误。
6. L1正则化
相比于岭回归L1正则化主要通过在损失函数中增加一项惩罚项来实现惩罚项等于所有系数的绝对值之和。 如下所示 在Lasso回归模型中以类似于岭回归的方式通过增加回归系数的绝对值这一惩罚项来实现。此外L1正则化在提高线性回归模型的精度方面有着良好的表现。同时由于L1正则化对所有参数的惩罚力度都一样可以让一部分权重变为零因此产生稀疏模型能够去除某些特征权重为0则等效于去除。
7. L2正则化
L2正则化也是通过在损失函数中增加一项惩罚项来实现惩罚项等于所有系数的平方和。 如下所示一般而言当数据表现出多重共线性自变量高度相关时它被认为是一种采用的方法。尽管多重共线性中的最小二乘估计值 OLS 是无偏的但它们的巨大方差会导致观测值与实际值相差很大。L2通过在一定程度上降低了回归估计值的误差。它通常使用收缩参数来解决多重共线性问题。L2正则化减少了权重的固定比例使权重平滑。
8. 总结
经过上述分析对本文中相关正则化的知识进行总结如下
L1正则化可以产生稀疏权值矩阵即产生一个稀疏模型可以用于特征选择L2正则化可以防止模型过拟合在一定程度上L1也可以防止过拟合提升模型的泛化能力L1拉格朗日正则假设参数的先验分布是Laplace分布可以保证模型的稀疏性也就是某些参数等于0L2岭回归正则假设参数的先验分布是Gaussian分布可以保证模型的稳定性也就是参数的值不会太大或太小。
在实际使用中如果特征是高维稀疏的则使用L1正则如果特征是低维稠密的则使用L2正则。
