1. 模型概述

        对于收集到的数据$(x_i,y_i)$，建立线性回归模型$$y_i={\theta }^{{}^T}{x}_i+{\epsilon }_i(1)$$
        需要估计的参数为${\theta }^{{}^T}$，我们的目的是让估计的参数${\theta }^{{}^T}$和$x_i$组合后，得到的估计值${\hat{y}}_i$与实际值$y_i$越接近越好，也就是随机误差项${\epsilon }_i$越小越好。

2. 模型求解

        由于假设模型的误差项是服从独立同分布（独立：数据之间互相不影响，同分布：保证模型使用于某一类数据）的高斯分布（标准正态分布）¹，即$ϵ\sim N(0,{\sigma }^2)$，则其概率密度函数为
$$p({ϵ}_i)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{\epsilon }_i^2}{2{\sigma }^2})(2)$$

        对（1）式进行变形，则有${\epsilon }_i=y_i-{\theta }^{{}^T}{x}_i$，将其带入（2）式，得
$$p(y_i|x_i,\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-{\theta }^{{}^T}{x}_i{)}^2}{2{\sigma }^2})$$

        因为我们的目的是让求解得出的参数$\theta$和和$x_i$组合后，得到的估计值${\hat{y}}_i={\theta }^{{}^T}{x}_i$是真实值$y_i$的概率越大越好，也就是让这个概率越大越好。
        由于以上只是单个的样本数据，假设我们有$m$个样本数据，样本之间互相独立，则所有的样本的概率等于单个样本的概率的乘积，我们将所有样本的概率记为似然函数$L(\theta )$，则
$$L(\theta )=\prod _{i=0}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-{\theta }^{{}^T}{x}_i{)}^2}{2{\sigma }^2})$$

由于多个式子相乘难以求解，我们可利用对数将其转化为加法。两边同时取对数，得到对数似然函数$lnL(\theta )$,
$$lnL(\theta )=ln\prod _{i=0}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y_i-{\theta }^{{}^T}{x}_i{)}^2}{2{\sigma }^2})$$
即
$$lnL(\theta )=mln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\frac{1}{2}\sum _{i=1}^m(y_i-{\theta }^{{}^T}{x}_i{)}^2$$

         要对上述式子求最大值，则相当于对$\frac{1}{2}{\sum }_{i=1}^m(y_i-{\theta }^{{}^T}{x}_i{)}^2$求最小值，我们将其记为$J(\theta )$，并取名为目标函数，则目标函数为
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y_i-{\theta }^{{}^T}{x}_i{)}^2$$

        那么，求解这个目标函数所使用的方法就是最小二乘法，最小二乘法的代数法解法就是对${\theta }_i$求偏导数，令偏导数为0，再解方程组，得到${\theta }_i$的估计值。矩阵法比代数法要简洁，下面主要讲解下矩阵法解法。
        由于

$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y_i-{\theta }^{{}^T}{x}_i{)}^2=\frac{1}{2}\sum _{i=1}^m({\theta }^{{}^T}{x}_i-y_i{)}^2=\frac{1}{2}（X\theta -Y{)}^{{}^T}(X\theta -Y)$$
        我们需要对其求偏导，$\frac{\partial J(\theta )}{\partial \theta }=\frac{1}{2}\frac{\partial ({\theta }^{{}^T}{X}^{{}^T}X\theta -{\theta }^{{}^T}{X}^{{}^T}Y-Y^{{}^T}X\theta +Y^{{}^T}Y)}{\partial \theta }=\frac{1}{2}(2X^{{}^T}X\theta -2X^{{}^T}Y)$，令其等于0，得$\hat{\theta }=(X^{{}^T}X{)}^{-1}{X}^{{}^T}Y$

        这里，需要用到矩阵求导的公式².