站优云seo优化,绍兴网站建设报价,网站建设课程设计报告总结,网站建设调查回访表原文地址#xff1a;https://github.com/lixianmin/cloud/blob/master/writer/R/bayes.md#基础理论
当我们无法基于规则进行判断时#xff0c; 我们使用概率。
1.Probability vs. Statistics 概率学 VS 统计学
在某种程度上#xff0c;概率论和统计学的目的是完全相反(i…原文地址https://github.com/lixianmin/cloud/blob/master/writer/R/bayes.md#基础理论
当我们无法基于规则进行判断时 我们使用概率。
1.Probability vs. Statistics 概率学 VS 统计学
在某种程度上概率论和统计学的目的是完全相反(inverse)的 In probability theory we consider some underlying process which has some randomness or uncertainty modeled by random variables, and we figure out what happens. 在概率论中我们是基于已有的理论模型推断未知事件发生的概率。 In statistics we observe something that has happened, and try to figure out what underlying process would explain those observations.在统计学中我们观察数据并推断什么样的理论模型可以解释我们观察到的数据。
Bayes是用于推理的而推理讲究证据因此如果非要归类的话Bayes会属于统计学范畴而不是概率论。
简单说来贝叶斯学派认为概率是一个人对于一件事的信念强度概率是主观的。但频率主义学派所持的是不同的观念他们认为参数是客观存在的即使是未知的但都是固定值不会改变。我参阅了一些资料尝试以我们以前课堂上所学的概率论来解释一下频率学派认为进行一定数量的重复实验后如果出现某个现象的次数与总次数趋于某个值那么这个比值就会倾向于固定。最简单的例子就是抛硬币了在理想情况下我们知道抛硬币正面朝上的概率会趋向于1/2。非常好理解不是么但贝叶斯提出了一种截然不同的观念他认为概率不应该这么简单地计算而需要加入先验概率的考虑。先验概率也就是说我们先设定一个假设或信念belief。然后我们通过一定的实验来证明/推翻这个假设这就是后验。随后旧的后验会成为一个新的先验如此重复下去。而归根结底就得到了这样一个著名的公式 A | B表示A给定B的概率也就是说如果B发生A发生的可能性有多大。反之亦然。
2.The diachronic interpretation
在很多书中使用字母A、B表示事件使用P(A|B)表示条件概率这相对太抽象。我们使用另外一套字母体系H和E(D)其中H hypothesisE evidence或Ddata。这样Bayes的推理过程可以表述为
通过不断的收集证据E来强化对假设事件H的信心。
这种表述方法称为diachronic interpretation其中diachronic是“随时间变化”的意思。在Bayes理论中就是指每当我们收集到一个新的证据之后都可以加入到原有Bayes系统中用于调整对原有事件的看法可能是增删改 - x因此事件H的概率会不断调整。
Bayes定理公式如下 公式中的每一项都有一个单独的名字 P(H) ⇒ 先验概率(prior probability)又叫基础概率是无任何条件限制下事件H发生的概率 P(H|E) ⇒ 后验概率(posterior probability) P(E|H) ⇒ 条件似然(conditional likelihood) 有时候我自己称之为似然概率 物以类聚人以群分如果我们把H与~H看作两类人比如男人和女人那么这两类人针对同一件事情会有不同的看法和倾向比如男人可能更喜欢踢足球而女人可能更喜欢逛街似然概率描述的就是这两类不同的人针对事件表现出的倾向概率由于P(E|H)与P(E|~H)是针对两类不同的人的概率因此它们之间并不互斥 P(E|H) P(E|~H) ≠ 1 P(E) ⇒ 在所有情况下证据E发生的概率不管事件H发生还是不发生称为整体似然(total likelihood)因为它起到归一化的作用所以又称为归一化常量(normalizing constant)
3.性质分析
在Bayes推理过程中可以不断加入新证据到Bayes系统中当各证据$E_i$相互独立时可以得到如下朴素Bayes分类器速算公式 整个计算过程可以解读为
Posterior odds ratio Prior odds ratio x Likelihood ratio先验比 x 似然比1 x 似然比2 x ...然后normalize当只存在两种分类目标H与~H时由于P(H) P(~H) 1因此先验比往往比较容易计算
假定事件E和事件F独立那么F就不能影响E于是P(E|F)P(E)。把P(E|F)展开就成了P(E∩F)/P(F)P(E)或者P(E∩F)P(E)*P(F)这不就是“两个独立事件同时发生的概率”的计算公式么。 举例 问题1 一机器在良好状态生产合格产品几率是90%在故障状态生产合格产品几率是30%机器良好的概率是75%若一日第一件产品是合格品那么此日机器良好的概率是多少。 分析假定事件A代表机器良好事件B代表某一日生产的是合格品则目标概率是P(A|B)而已知条件包括
先验概率P(A) 0.75我们前面所谓的两类人在本题中指的就是A机器良好和~A机器故障而题目中给出的似然概率就是这两种不同的机器生产产品时的合格率是不同的
因此解题如下
先验比PPR 0.75 : (1-0.75) 3 : 1似然比(Likelihood Ratio)LR 0.9 : 0.3 3两者相乘得后验比率 9 : 1然后标准化normalize得后验概率 9 / (91) 0.9 问题1.1回到原题。若问假设这个机器第一天不是生产了 1 个零件而是生产了 3 个零件而且 3 个都合格零件合格的概率互相独立那机器良好的概率是多少 先验比 x 似然比 (0.75/0.25)*(0.9/0.3)^3 81/1
归一化结果为 81/(181) 81/82 0.987 问题1.2假设机器生产了 10 个零件6 个合格4 个不合格各个零件的生产相互独立机器良好的概率是多少 先验比 x 合格似然比 x 不合格似然比 (0.75/0.25) * (0.9/0.3)^6 * (0.1/0.7)^4 2187/2401
归一化结果为 2187/(24012187) 2187/4588 0.477 问题2某个医院早上收了六个门诊病人如下表 症状 职业 疾病打喷嚏 护士 感冒打喷嚏 农夫 过敏头痛 建筑工人 脑震荡头痛 建筑工人 感冒打喷嚏 教师 感冒头痛 教师 脑震荡
现在又来了第七个病人是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大[朴素贝叶斯分类器的应用]
先验比 ⇒ 无任何限定条件下普通人得感冒的概率为P(感冒) 3/6 0.5因此先验比 PPR 0.5/(1-0.5) 1似然概率1 ⇒ 针对打喷嚏这件事情感冒的人的不感冒的人所表现出概率分别为P(打喷嚏|感冒)2/3P(打喷嚏|不感冒) 1/3因此似然比 LR1 (2/3)/(1/3) 2似然概率2 ⇒ 针对建筑工人这件事情感冒的人与不感冒的人表现出的概率分别为P(建筑工人|感冒)1/3P(建筑工人|不感冒) 1/3因此似然比 LR2 (1/3)/(1/3) 1因此 PPR x LR1 x LR2 1x2x1 2归一化结果得到P(感冒|打喷嚏x建筑工人) 2/3 0.66 4.先验概率谬误
先验概率的大小会严重影响检测结果很多时候会反直觉。先验概率数据不一定在每种情况下都存在但是假如确实有这个数据你却不用那么你将毁于先验概率谬误即忽略事前数据并因此作出错误决策。
下面展示贝叶斯定理在检测吸毒者时的应用。假设一个常规的检测结果的敏感度与可靠度均为99%即吸毒者每次检测呈阳性的概率为99%。而不吸毒者每次检测呈阴性-的概率为99%。从检测结果的概率来看检测结果是比较准确的但是贝叶斯定理卻可以揭示一个潜在的问题。假设某公司对全体雇员进行吸毒检测已知0.5%的雇员吸毒。请问每位检测结果呈阳性的雇员吸毒的概率有多高
令“D”为雇员吸毒事件“N”为雇员不吸毒事件“”为检测呈阳性事件。可知
P(D)代表雇员吸毒的概率不考虑其他情况该值为0.005。因为公司的预先统计表明该公司的雇员中有0.5%的人吸食毒品所以这个值就是D的先验概率。P(N)代表雇员不吸毒的概率显然该值为0.995也就是1-P(D)。P(|D)代表吸毒者阳性检出率这是一个条件概率由于阳性检测准确性是99%因此该值为0.99。P(|N)代表不吸毒者阳性检出率也就是出错检测的概率该值为0.01因为对于不吸毒者其检测为阴性的概率P(-|N)为99%因此其被误检测成阳性的概率为1 - 0.99 0.01。P()代表不考虑其他因素的影响的阳性检出率。该值为0.0149或者1.49%。我们可以通过全概率公式计算得到
检测呈阳性的概率 吸毒者阳性检出率0.5% x 99% 0.495%) 不吸毒者阳性检出率99.5% x 1% 0.995%) 0.0149
即
P() P(,D) P(,N) P(D) x P(|D) P(N) x P(|N) 0.5% x 99% 99.5% x 1% 0.0149
根据上述描述我们可以计算某人检测呈阳性时确实吸毒的条件概率
P(D|) P(D) x P(|D) / P() 0.5% x 99% / 0.0149 0.3322 吸毒检测的准确率高达99%直觉上我们会觉得如果一个人检测呈阳性了他基本上就是已经在吸毒了但贝叶斯定理告诉我们如果某人检测呈阳性其吸毒的概率只有大约33%不吸毒的可能性比较大。假阳性高则检测的结果不可靠这可能会反直觉。 贝叶斯定理计算的是条件概率换句话说在不知道任何条件之前对每个员工我们认为他吸毒的概率是0.5%但在检测之后对于检测结果呈阳性的员工而言他吸毒的概率变成了33%是未检测之前的66倍。其实P(D)与P(D|)都是描述同一件事情只不过P(D|)是在得到某些新证据后计算出的一个更加精确的概率。在针对该员工的新一轮的验证计算中P(D|)将会替代原P(D)的角色参与计算贝叶斯公式可以通过不断的增加新证据叠加应用这也是该公式的牛B之处。
5.总结
