网站首页大图素材,网站修改建设,公司网站域名怎么续费,百度搜索热度指数ML 系列赛#xff1a;第 9 天 — Under、Over 和 Good Fit 文章目录 一、说明二、了解欠拟合、过拟合和实现正确的平衡三、关于泛化四、欠拟合五、过拟合六、适度拟合七、结论 一、说明
在有监督学习过程中#xff0c;对于指定数据集进行训练#xff0c;训练结果存在欠拟合…ML 系列赛第 9 天 — Under、Over 和 Good Fit 文章目录 一、说明二、了解欠拟合、过拟合和实现正确的平衡三、关于泛化四、欠拟合五、过拟合六、适度拟合七、结论 一、说明
在有监督学习过程中对于指定数据集进行训练训练结果存在欠拟合、过拟合的情况这两个情况都对模型的泛化是不利的本篇对监督学习的训练的泛化问题进行解释。
二、了解欠拟合、过拟合和实现正确的平衡
在监督式学习中数据集由输入和输出组成监督式学习算法学习如何以最佳方式将输入示例映射到输出示例。这个函数是一个数学函数也叫映射函数监督学习算法试图找到最合适的函数换句话说监督学习被称为函数的近似。在监督学习问题中我们假设输入和输出数据之间存在未知函数或关系监督机器学习算法试图近似这个函数。虽然我们假设存在这样的映射函数但我们对此一无所知这就是为什么我们称它为近似值。
将输入映射到输出的 True 函数实际函数是未知的通常称为目标或目标函数学习过程的目标是仅使用可用数据训练数据来近似目标函数。如果我们知道目标函数就不需要近似监督机器学习算法。
在机器学习中从训练数据中学习目标函数被描述为归纳学习。归纳是指从具体示例中学习一般概念是机器学习旨在解决的问题。同时在演绎学习中我们正在寻找从一般规则中学习特定概念。
三、关于泛化
泛化是一种抽象形式其中特定实例的共同特征被表述为一般概念。机器学习中的泛化是指将模型在学习过程中学到的概念转移到学习过程中没有见过的例子中机器学习模型的目标是将从训练过程中学到的知识泛化到模型从未见过的数据中。泛化在许多情况下与知识的传递直接相关要传递的知识通常被称为抽象。
图 1 显示了泛化的一般概念。
图 1.泛化的一般形式 图 1 意味着我们希望算法对单个树不敏感而是学习上图所示的树的抽象概念。
四、欠拟合
欠拟合是指我们的模型非常简单且几乎没有复杂性可以近似一个可以在数据上训练并产生合适结果的函数。换句话说我们关于数据分布的假设是错误的而且过于简单化。例如我们的数据需要 4 次多项式函数但我们选择的模型是 1 次的函数。这种情况也称为高偏置。这意味着我们的数据太难了模型无法正确预测即使是在训练期间已经看到的样本上也是如此。
欠拟合是一个在训练和测试过程中都表现不佳的模型并且它不能很好地泛化到新数据上。可能的解决方案包括
• 选择功能更强大的模型具有更多参数
• 为学习算法选择更好的特征特征工程
• 减少模型限制 例如减少 “正则化” 约束
五、过拟合
过拟合也称为模型对于我们打算训练模型的数据来说过于复杂的情况。换句话说我们关于数据分布的假设是错误的而且非常复杂。例如我们的数据是线性的而我们选择的模型是高阶多项式。这种情况也称为高方差这意味着算法无法做出准确的预测。
当模型不仅在训练数据上表现良好而且在很大程度上学习了训练数据中的细节和噪声对训练数据过度泛化但模型在测试数据模型看不到的数据上的泛化性能非常弱时就会发生过拟合。
换句话说训练数据中的噪声或随机波动被模型选择并作为概念学习问题是这些概念损害了模型的泛化能力。
当模型与数据的复杂度之比非常高时就会发生过拟合在可能的解决方案中可以提到以下内容
• 简化模型并选择参数较少的模型 例如线性模型而不是高阶多项式。
• 减少训练数据中的特征数量
• 限制模型并向模型添加限制例如“正则化”技术
• 收集更多训练数据
• 减少训练数据中的噪声例如消除数据错误和去除异常值
六、适度拟合
理想情况下我们希望在过拟合和欠拟合之间的合适点选择一个模型并且当训练数据和测试数据的误差最小时调用适当的模型。
为了获得正确的观点您可以同时查看模型在训练和测试数据上的加班性能。随着时间的推移随着算法学会减少训练数据上的模型误差测试数据集上的误差也会减少。如果我们长时间训练模型模型在训练数据集上的性能可能会继续下降因为模型过度拟合训练数据训练数据集中不相关的细节和噪声学习同时随着模型的泛化能力下降测试集误差再次开始增加。最佳点是在测试数据集上的误差开始增长之前此时模型在训练数据集和测试数据集上都具有良好的技能。图 2 显示了根据误差图的过拟合、欠拟合和良好拟合的概念其中横轴是指模型的复杂程度纵轴是指误差量。此外黄线表示测试数据中的错误蓝线表示模型在训练过程中的错误。
图 2.根据误差图进行过拟合、欠拟合和正确拟合 图 3 显示了训练后过拟合、欠拟合和正确拟合的概念以及如何预测模型。 图 3.训练后的过拟合、欠拟合和良好拟合以及如何预测模型
七、结论
在第 9 部分中我们讨论了与模式泛化相关的三个重要概念 Underfit、Overfit 和 Good-fit;。在第 10 部分机器学习系列第 10 天 — 偏差方差权衡中我们将定义并讨论偏差-方差权衡它描述了模型的复杂性、预测的准确性以及它对以前未用于训练模型的数据进行预测的能力之间的关系。
