个人简约网站模板,东莞php网站开发,建设网站jw100,网站 空间地址是什么线性回归与一元线性回归 V1.1线性回归问题线性方程的最优解一元线性回归一元线性回归的方程一元线性回归距离衡量方法一元线性回归的最优化求解一元线性回归的最小二乘法解法 V1.1
线性回归问题
线性回归问题就是找一条线或超平面#xff0c;并使用线或超平面来描述数据分布… 线性回归与一元线性回归 V1.1线性回归问题线性方程的最优解一元线性回归一元线性回归的方程一元线性回归距离衡量方法一元线性回归的最优化求解一元线性回归的最小二乘法解法 V1.1
线性回归问题
线性回归问题就是找一条线或超平面并使用线或超平面来描述数据分布即特征向量和特征标签的对应关系线或超平面中也包含了特征标签的维度。 线或超平面中既有特征向量的维度 x 1 , . . . , x n x_1,...,x_n x1,...,xn也有特征标签的维度( y y y)。例如特征向量只有一个维度则模型可视化后有两个维度及特征向量 x x x和特征标签 y y y的维度用坐标系表示就是二维坐标系中的一条直线。 输入是一维或多维特征向量输出是线性式对应到使用线和超平面计算结果计算的结果。 线性回归模型使用线性式描述线性式的形式如下 y w 0 w 1 ∗ x 1 w 2 ∗ x 2 . . . w n ∗ x n yw_0w_1*x_1w_2*x_2...w_n*x_n yw0w1∗x1w2∗x2...wn∗xn 模型的使用方法使用数据训练得到模型后输入待预测的特征向量就会根据线性模型计算预测值。因为是用模型计算的因此预测值会落在模型线性方程上。
线性方程的最优解
那么怎样找到线性方程的最优解呢我们需要衡量每1个特征向量的预测值与真实值的距离即距离衡量。 并且需要一种投票机制来衡量根据每个特征向量的距离计算正在研究的线性模型的总体损失以得出模型的优劣程度。
一元线性回归
一元线性回归一元指输入特征向量是一个维度一元线性回归的输出也是一个维度。
一元线性回归的方程
一元线性回归模型使用如下方程描述 y k x b ykxb ykxb
一元线性回归距离衡量方法
衡量一个模型总体的优劣程度要用到损失函数。计算预测值与真实值的差值的平方并将其加和即可得到整体目前所测试的模型的总体损失。 一元线性回归的损失函数使用公式表述为 ∑ i 1 m ( y i − y i ^ ) 2 \sum_{i1}^m(y_i-\hat{y_i})^2 i1∑m(yi−yi^)2 其中 y i y_i yi是特征向量的标签值即真实值。 y i ^ \hat{y_i} yi^是正在研究的模型的对应特征向量的预测值。
一元线性回归的最优化求解
通过最小化损失函数我们可以将一元线性回归问题转化为最优化问题并使用最优化问题的解法求解。 在研究的模型的总体损失值越小越好越小的损失值对应的模型更能准确的反应数据即特征向量的特征其对应更优的参数。 在一元线性回归模型中待求的参数是模型公式中的 k k k 和 b b b 。 arg min k , b ∑ i 1 m ( y i − y i ^ ) 2 \argmin_{k,b}\sum_{i1}^m(y_i-\hat{y_i})^2 k,bargmini1∑m(yi−yi^)2 将 y i ^ k ∗ x i b \hat{y_i}k*{x_i}b yi^k∗xib带入得到 arg min k , b ∑ i 1 m ( y i − k ∗ x i − b ) 2 \argmin_{k,b}\sum_{i1}^m(y_i-k*{x_i}-b)^2 k,bargmini1∑m(yi−k∗xi−b)2
最小化损失是找到最优的两个参数 k k k 和 b b b 使得模型的总体损失最小。
一元线性回归的最小二乘法解法
已经有数学的方法来计算一元线性回归的最优解即最小二乘法此外还有梯度下降的方法来求解。最小二乘法是一种数学方法能够直接给出准确的解而梯度下降的方法是搜索的方法。 最小二乘法公式如下直接套用即可输入训练数据计算训练数据的平均值即可得到最有参数 k k k 和 b b b 。 k ∑ i 1 m ( x i − x ˉ ) ( y i − y ˉ ) ∑ i 1 m ( x i − x ˉ ) 2 k\frac{\sum_{i1}^m(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i1}^{m}(x_i-\bar{x})^2} k∑i1m(xi−xˉ)2∑i1m(xi−xˉ)(yi−yˉ) b y ˉ − k ∗ x ˉ b\bar{y}-k*\bar{x} byˉ−k∗xˉ
