做网站应该考虑哪些问题,网站开发毕业设计任务书怎么写,社交网站建设平台,永久免费的网页游戏一、定义 基于核方法的线性回归模型和传统线性回归一样#xff0c;可以用未知数据进行预测#xff0c;但不能确定
预测的可信度。在参考书第二章中可知#xff0c;基于贝叶斯方法可以实现对未知数据依概率预测#xff0c;进而可得到预测的可信度。这一方法中#xff0c;通…一、定义 基于核方法的线性回归模型和传统线性回归一样可以用未知数据进行预测但不能确定
预测的可信度。在参考书第二章中可知基于贝叶斯方法可以实现对未知数据依概率预测进而可得到预测的可信度。这一方法中通过对模型参数w引入先验概率p(w),通过学习可得到该参数的后验概率p(w|D),并以此对x进行依概率预测形式化如下 1---(1) 其中 是生成模型可以是任何已知或设定的某种分布形式的模型每个模型由w唯一确定p(w|D)是基于训练数据D得到的对w的后验估计计算如下 1---(2) 上式通过w的先验概率p(w)来实现对每个具体模型赋予先验概率。在核方法中由于不存在一个显式的w,因此通过引入先验的方法无法适用。从而这里引入了高斯过程回归而高斯过程回归就是基于核方法并引入随机性为高斯分布的一种统计回归方法回归的结果就是高斯随机预测函数并且可以得到预测的信度。 二、高斯过程回归的推导 2.1 高斯过程 高斯过程是随机过程的一种。随机过程和随机变量相对是反映一系列变量或一组变量的分布特性即各个组成变量以某种随机规律或分布取值。假设集合有x1、x2.....x个变量如对每个变量进行一次采样这些采样值就构成了一个定义在上的函数f,这一函数显然是随机函数而且f的形式显然就定义了具体的随机过程所以也可以认为随机过程是以随机函数为自变量的概率分布这个”概率分布“由f变量随机生成采样值生成。 任何一个变量集合进行采样所蕴含的有限维函数分布族满足一致性和对称性就能保证为一随机过程且这一有限维函数分布族恰好就是该随机过程的有限维分布函数。这称之为 Kolmogorov定理。 所谓一致性就是是指从中任选一个子集得到的概率分布形式是一致的。更严格地说如果存在两个子集1和且,则由或通过边缘化其他变量导出的应一致即 1---(3) 对称性是指中任选一个子集当对子集的变量交换位置时其分布函数不变。
Kolmogorov定理表明集合确定的随机过程可以由其任意自己的子集的分布形式描述Finite-Dimensional Distribution,f.f.d
2.2 高斯过程回归推导 高斯过程是f.f.d为高斯分布的一种随机过程即任取一个有限点集组成的矩阵[x1,x2,...xn],其目标变量取值组成的向量y[y1,y2,...yn]满足高斯分布(y;(X),K(x) )。设
(X) 0则该高斯过程由协方差矩阵K(x)确定其中K(X)ij k(xi,xj), k(.,.)为任意核函数。 已知一个集合的分布形式则任意一个子集也具有同样的分布这一性质可以用来采样一个高斯过程假设当前已经完成采样的函数点集为X对一个新采样点 ,有 对应的采样值同样符合高斯分布。 即1----(4)
其中 1---(5)
其中K是训练集X的Gram矩阵 k(,), v k()。由高斯分布的性质可知其条件分布也是高斯的即
1--(6) 1---(7) 1---(8) 下面用高斯过程完成回归任务设有训练集{},定义如下回归模型 1---(9)
其中y是一个高斯过程是观测噪音则有 1---10
由于p(t|y)和p(y)都是高斯的有积分p(t)
p(t) N(t;0,C) 1---11
其中C K 1----12
1-----11式实际上就完成了一次高斯回归。
因此 t 也是一个高斯过程基于式类似1---6的推导过程可知对于增量,可得类似的条件高斯回归模型进而得到回归结果 1----13、1----14、1----15 回顾上述推导过程可以发现并没有定义一个类似线性回归的显示预测函数而是通过定义数据间的相关性来描述整体分布属性从而隐式定义了从x--y的随机预测函数y(x),即高斯过程。 和参考书5.1节中基于核方法的正则化线性回归模型相比高斯过程不仅引入了数据间的距离而且通过该距离定义了一个联合概率分布从而引入了预测模型的随机性。 引入这一随机性事实上给出了预测过程的可信度。比较参考书5.9式:
和 1---14可知 基于高斯过程预测的期望值和传统核方法得到的预测值是一致的 和 形式一致。但高斯分布给出了1---15式的估计方差。
因此高斯过程回归可以认为是传统核方法的随机版本。
三、总结 本文是学习《机器学习导论》清华大学出版社中文版王东2021年的摘录总结或笔记。
