东莞专业网站建设平台,东莞营销型网站建设找火速,手机能用的网站,0基础建站教程一、线性回归与逻辑回归简介 线性回归主要功能是拟合数据#xff0c;常用平方误差函数。
逻辑回归主要功能是区分数据#xff0c;找到决策边界#xff0c;常用交叉熵。 二、线性回归与逻辑回归的实现 1.线性回归
利用回归方程对一个或多个特征值和目标值之间的关系进行建模…一、线性回归与逻辑回归简介 线性回归主要功能是拟合数据常用平方误差函数。
逻辑回归主要功能是区分数据找到决策边界常用交叉熵。 二、线性回归与逻辑回归的实现 1.线性回归
利用回归方程对一个或多个特征值和目标值之间的关系进行建模的一种分析方式应用于房价预测等。
y ax b
变量 Y 表示输出变量X 表示输入变量a 和 b 是可调整的系数可以对 a 和 b 进行调整直到与所有点都关联的错误总数达到最低值以此获得回归公式。
可以使用线性回归确定两个连续列之间的关系。 例如您可以使用线性回归根据生产或销售数据计算趋势线。 还可以使用线性回归作为基础来开发更复杂的数据挖掘模型以评估数据列之间的关系。
2.逻辑回归
在线性回归的输出端加上sigmoid激活函数使得输出0.5判为1类别0.5判为0类别应用于分类问题广告点击率、是否为垃圾邮件等。
优点模型简单
缺点sigmoid存在饱和区容易梯度消失或梯度爆炸
3.优化方法都是梯度下降法 迭代式求解的方式逐渐去计算最小值的过程。
梯度是一个向量矢量表示某一函数在该点处的方向导数沿着该方向取得最大值即函数在该点处沿着该方向此梯度的方向变化最快变化率最大为该梯度的模。
梯度是导数的高维形式多维函数的梯度等于一维函数的导数导数是增长的方向所以梯度其实是增长的方向那么梯度的反方向就是增长的反方向下降。
通过不断迭代计算函数的梯度判断该点的某一方向和目标之间的距离最终求得最小的损失函数和相关参数为建立线性模型提供支持。
