松江做营销网站,杭州市下城区建设厅网站,正能量免费软件,建材做哪些网站Hi#xff0c;大家好#xff0c;我是半亩花海。接着上次的最速下降法#xff08;梯度下降法#xff09;继续更新《白话机器学习的数学》这本书的学习笔记#xff0c;在此分享多项式回归这一回归算法原理。本章的回归算法原理基于《基于广告费预测点击量》项目#xff0c;… Hi大家好我是半亩花海。接着上次的最速下降法梯度下降法继续更新《白话机器学习的数学》这本书的学习笔记在此分享多项式回归这一回归算法原理。本章的回归算法原理基于《基于广告费预测点击量》项目欢迎大家交流学习 目录
一、多项式回归概述
二、案例分析
1. 设置问题
2. 定义模型
3. 多项式回归 一、多项式回归概述
多项式回归是一种基于多项式函数的回归分析方法用于拟合数据中的非线性关系。与简单的线性回归不同多项式回归通过引入多项式项来建模数据的非线性特征从而提高了模型的灵活性和适用性。 二、案例分析
1. 设置问题
还记得前两节我们定义的用于预测的一次函数吗 因为是一次函数所以它的图像是直线。 不过对于一开始我在图中添加的数据点来说直线一定是最好的拟合方式吗曲线拟合的效果会更好吗
2. 定义模型
通过清晰直观地观察下图并经过探索我们会发现其实曲线相对来说会比直线拟合得更好。 如此看来曲线似乎看起来更拟合数据。在此我们可以把 定义为二次函数便能用它来表示这条曲线如下所示 再或者用更大次数的表达式也可以。这样就能表示更复杂的曲线了如下所示 在找出最合适的表达式之前需要不断地去尝试。当然这里有个误区并不是说函数次数越大拟合得就越好难免也会出现过拟合的问题在深度学习中会接触到。
3. 多项式回归
回到我们定义的二次函数中我们增加了 这个参数接下来得需要推导出 更新表达式和上一节《机器学习 | 回归算法原理——最速下降法梯度下降法-CSDN博客》里面的原理一样用目标函数对 进行偏微分便就能求出来。
设 、再将 对 偏微分求出更新表达式。 对 微分即 的部分应该和前一节里的求法是一样的如下式。 所以我们只要求 对 的微分即可如下式。 得出最终的参数更新表达式如下所示 那么即使增加参数比如有 、 等我们依然可以用同样的的方法求出它们的更新表达式。像这样增加函数中多项式的次数然后再使用函数的分析方法偏微分被称为多项式回归。
