淘宝可做的团购网站,深圳企业网站建设费用明细,网站团队人数,网页制作与设计作业在哪搜题过拟合和欠拟合的表现和解决方法。
其实除了欠拟合和过拟合#xff0c;还有一种是适度拟合#xff0c;适度拟合就是我们模型训练想要达到的状态#xff0c;不过适度拟合这个词平时真的好少见。
过拟合
过拟合的表现
模型在训练集上的表现非常好#xff0c;但是在测试集…
过拟合和欠拟合的表现和解决方法。
其实除了欠拟合和过拟合还有一种是适度拟合适度拟合就是我们模型训练想要达到的状态不过适度拟合这个词平时真的好少见。
过拟合
过拟合的表现
模型在训练集上的表现非常好但是在测试集、验证集以及新数据上的表现很差损失曲线呈现一种高方差低偏差状态。(高方差指的是训练集误差较低而测试集误差比训练集大较多)
过拟合的原因
从两个角度去分析
模型的复杂度模型过于复杂把噪声数据的特征也学习到模型中导致模型泛化性能下降数据集规模大小数据集规模相对模型复杂度来说太小使得模型过度挖掘数据集中的特征把一些不具有代表性的特征也学习到了模型中。例如训练集中有一个叶子图片该叶子的边缘是锯齿状模型学习了该图片后认为叶子都应该有锯齿状边缘因此当新数据中的叶子边缘不是锯齿状时都判断为不是叶子。
过拟合的解决方法 获得更多的训练数据使用更多的训练数据是解决过拟合问题最有效的手段因为更多的样本能够让模型学习到更多更有效的特征减少噪声的影响。 当然直接增加实验数据在很多场景下都是没那么容易的因此可以通过数据扩充技术例如对图像进行平移、旋转和缩放等等。 除了根据原有数据进行扩充外还有一种思路是使用非常火热的**生成式对抗网络 GAN **来合成大量的新训练数据。 还有一种方法是使用迁移学习技术使用已经在更大规模的源域数据集上训练好的模型参数来初始化我们的模型模型往往可以更快地收敛。但是也有一个问题是源域数据集中的场景跟我们目标域数据集的场景差异过大时可能效果会不太好需要多做实验来判断。 降低模型复杂度在深度学习中我们可以减少网络的层数改用参数量更少的模型在机器学习的决策树模型中可以降低树的高度、进行剪枝等。 正则化方法如 L2 将权值大小加入到损失函数中根据奥卡姆剃刀原理拟合效果差不多情况下模型复杂度越低越好。至于为什么正则化可以减轻过拟合这个问题可以看看这个博客挺好懂的.。 添加BN层这个我们专门在BN专题中讨论过了BN层可以一定程度上提高模型泛化性能 使用dropout技术dropout在训练时会随机隐藏一些神经元导致训练过程中不会每次都更新(预测时不会发生dropout)最终的结果是每个神经元的权重w都不会更新的太大起到了类似L2正则化的作用来降低过拟合风险。 Early StoppingEarly stopping便是一种迭代次数截断的方法来防止过拟合的方法即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。 Early stopping方法的具体做法是在每一个Epoch结束时一个Epoch集为对所有的训练数据的一轮遍历计算validation data的accuracy当accuracy不再提高时就停止训练。这种做法很符合直观感受因为accurary都不再提高了在继续训练也是无益的只会提高训练的时间。那么该做法的一个重点便是怎样才认为validation accurary不再提高了呢并不是说validation accuracy一降下来便认为不再提高了因为可能经过这个Epoch后accuracy降低了但是随后的Epoch又让accuracy又上去了所以不能根据一两次的连续降低就判断不再提高。一般的做法是在训练的过程中记录到目前为止最好的validation accuracy当连续10次Epoch或者更多次没达到最佳accuracy时则可以认为accuracy不再提高了。 集成学习方法集成学习是把多个模型集成在一起来降低单一模型的过拟合风险例如Bagging方法。 如DNN可以用Bagging的思路来正则化。首先我们要对原始的m个训练样本进行有放回随机采样构建N组m个样本的数据集然后分别用这N组数据集去训练我们的DNN。即采用我们的前向传播算法和反向传播算法得到N个DNN模型的W,b参数组合最后对N个DNN模型的输出用加权平均法或者投票法决定最终输出。不过用集成学习Bagging的方法有一个问题就是我们的DNN模型本来就比较复杂参数很多。现在又变成了N个DNN模型这样参数又增加了N倍从而导致训练这样的网络要花更加多的时间和空间。因此一般N的个数不能太多比如5-10个就可以了。 交叉检验如S折交叉验证通过交叉检验得到较优的模型参数其实这个跟上面的Bagging方法比较类似只不过S折交叉验证是随机将已给数据切分成S个互不相交的大小相同的自己然后利用S-1个子集的数据训练模型利用余下的子集测试模型将这一过程对可能的S种选择重复进行最后选出S次评测中平均测试误差最小的模型。
欠拟合
欠拟合的表现
模型无论是在训练集还是在测试集上的表现都很差损失曲线呈现一种高偏差低方差状态。高偏差指的是训练集和验证集的误差都较高但相差很少
欠拟合的原因
同样可以从两个角度去分析
模型过于简单简单模型的学习能力比较差提取的特征不好当特征不足或者现有特征与样本标签的相关性不强时模型容易出现欠拟合
欠拟合的解决方法
增加模型复杂度如线性模型增加高次项改为非线性模型、在神经网络模型中增加网络层数或者神经元个数、深度学习中改为使用参数量更多更先进的模型等等。增加新特征可以考虑特征组合等特征工程工作这主要是针对机器学习而言特征工程还真不太了解……如果损失函数中加了正则项可以考虑减小正则项的系数 λ \lambda λ
参考资料
过拟合与欠拟合及方差偏差 (这个博客总结地很好可以看看) 机器学习过拟合和欠拟合方差和偏差 如何判断欠拟合、适度拟合、过拟合
