长春网站快速优化排名,公众号自己做电影网站吗,机械类做的最好的网站,网站建设服务谁便宜隐马尔可夫模型
1、概述
隐马尔可夫模型#xff08;Hidden Markov Model#xff0c;HMM#xff09;是统计模型#xff0c;它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析#xff0c;例…隐马尔可夫模型
1、概述
隐马尔可夫模型Hidden Markov ModelHMM是统计模型它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析例如模式识别。
下面用一个简单的例子来阐述 假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子称这个骰子为D66个面每个面123456出现的概率是1/6。第二个骰子是个四面体称这个骰子为D4每个面1234出现的概率是1/4。第三个骰子有八个面称这个骰子为D8每个面12345678出现的概率是1/8。 假设我们开始掷骰子我们先从三个骰子里挑一个挑到每一个骰子的概率都是1/3。然后我们掷骰子得到一个数字12345678中的一个。不停的重复上述过程我们会得到一串数字每个数字都是12345678中的一个。例如我们可能得到这么一串数字掷骰子10次1 6 3 5 2 7 3 5 2 4
这串数字叫做可见状态链。但是在隐马尔可夫模型中我们不仅仅有这么一串可见状态链还有一串隐含状态链。在这个例子里这串隐含状态链就是你用的骰子的序列。比如隐含状态链有可能是D6 D8 D8 D6 D4 D8 D6 D6 D4 D8 一般来说HMM中说到的马尔可夫链其实是指隐含状态链因为隐含状态骰子之间存在转换概率transition probability。在我们这个例子里D6的下一个状态是D4D6D8的概率都是1/3。D4D8的下一个状态是D4D6D8的转换概率也都一样是1/3。这样设定是为了最开始容易说清楚但是我们其实是可以随意设定转换概率的。比如我们可以这样定义D6后面不能接D4D6后面是D6的概率是0.9是D8的概率是0.1。这样就是一个新的HMM。 同样的尽管可见状态之间没有转换概率但是隐含状态和可见状态之间有一个概率叫做输出概率emission probability。就我们的例子来说六面骰D6产生1的输出概率是1/6。产生23456的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如我有一个被赌场动过手脚的六面骰子掷出来是1的概率更大是1/2掷出来是23456的概率是1/10。 其实对于HMM来说如果提前知道所有隐含状态之间的转换概率和所有隐含状态到所有可见状态之间的输出概率做模拟是相当容易的。但是应用HMM模型时候呢往往是缺失了一部分信息的有时候你知道骰子有几种每种骰子是什么但是不知道掷出来的骰子序列有时候你只是看到了很多次掷骰子的结果剩下的什么都不知道。如果应用算法去估计这些缺失的信息就成了一个很重要的问题。
HMM中三个重要的概念 隐含状态的数量相当于骰子的种类如6个面的骰子D6、4个面的骰子D4、8个面的骰子D8 转换概率相当于从一个骰子D4预测下一个骰子D4、D5或者D6出现的概率 可见状态链相当于抛骰子抛出的数组成的数组如抛一次得到12345678中的一个数抛多次就可以的到一个数组[2,3,4,5,6,7…] 隐含状态链相当于每次抛骰子抛出的数是那种隐含状态抛出来的假设我抛一组可见状态链为[2,3,4,5,6,7]其中数组的长度相当于抛骰子的次数又因我有D4、D6、D8三种类型的骰子那么抛骰子抛出的数就是用三种骰子中的一种骰子抛出来的可能是用D4抛的也可能是用D6抛的如果抛多次就有多种可能的抛骰子顺序如[D4,D4,D6,D8,D6,D8]或者[D4,D6,D8,D6,D6,D8]这样的骰子出现顺序,这种抛骰子顺序就是所谓的隐含状态链。
2、HMM解决什么问题
1.知道骰子有几种隐含状态的数量每种骰子间的转换概率转换概率根据掷骰子掷出的结果可见状态链我想知道每次掷出来的都是哪种骰子隐含状态链。 这个问题在语音识别领域叫做解码问题。这个问题其实有两种解法会给出两个不同的答案。每个答案都对只不过这些答案的意义不一样。
第一种解法求最大似然状态路径说通俗点说就是求一串骰子序列这串骰子序列产生观测结果的概率最大。第二种解法就不是求一组骰子序列了而是求每次掷出的骰子分别是某种骰子的概率。就相当于分类问题在已经知道标签的情况下通过分类模型得到在每一个类别的预测概率选择概率最大的类别作为预测的结果标签然后通过损失函数不断优化模型。比如说我看到结果后我可以求得第一次掷骰子是D4的概率是0.5D6的概率是0.3D8的概率是0.2.那么我就选D4作为我第一次掷的骰子也就是隐含状态链的第一个隐含状态。 2.知道骰子有几种隐含状态数量每种骰子间的转换概率转换概率根据掷骰子掷出的结果可见状态链我想知道掷出这个结果的概率。 看似这个问题意义不大因为你掷出来的结果很多时候都对应了一个比较大的概率。问这个问题的目的呢其实是检测观察到的结果和已知的模型是否吻合。如果很多次结果都对应了比较小的概率那么就说明我们已知的模型很有可能是错的有人偷偷把我们的骰子給换了。 3.知道骰子有几种隐含状态数量每种骰子间的转换概率转换概率观测到很多次掷骰子的结果可见状态链我想反推出每种骰子间的转换概率转换概率。 这个问题很重要因为这是最常见的情况。很多时候我们只有可见结果不知道HMM模型里的参数我们需要从可见结果估计出这些参数这是建模的一个必要步骤。 问题阐述完了下面就开始说解法。一个简单问题 知道骰子有几种每种骰子是什么每种骰子间的转换概率根据掷骰子掷出的结果求产生这个结果的概率。 解法无非就是概率相乘 P P ( D 6 ) ∗ P ( D 6 ⟶ 1 ) ∗ P D 6 ⟶ D 8 ∗ P ( D 8 ⟶ 6 ) ∗ P ( D 8 ⟶ D 8 ) ∗ P ( D 8 ⟶ 3 ) 1 2 ∗ 1 6 ∗ 1 3 ∗ 1 8 ∗ 1 3 ∗ 1 8 P P(D6)*P(D6 \longrightarrow 1)*PD6\longrightarrow D8*P(D8\longrightarrow 6)*P(D8\longrightarrow D8)*P(D8\longrightarrow 3) \\ \frac{1}{2}*\frac{1}{6}*\frac{1}{3}*\frac{1}{8}*\frac{1}{3}*\frac{1}{8} PP(D6)∗P(D6⟶1)∗PD6⟶D8∗P(D8⟶6)∗P(D8⟶D8)∗P(D8⟶3)21∗61∗31∗81∗31∗81 1.看见不可见的破解骰子序列 这里我说的是第一种解法解最大似然路径问题。 举例来说我知道我有三个骰子六面骰四面骰八面骰。我也知道我掷了十次的结果1 6 3 5 2 7 3 5 2 4我不知道每次用了那种骰子我想知道最有可能的骰子序列。 实最简单而暴力的方法就是穷举所有可能的骰子序列然后依照第零个问题的解法把每个序列对应的概率算出来。然后我们从里面把对应最大概率的序列挑出来就行了。如果马尔可夫链不长当然可行。如果长的话穷举的数量太大就很难完成了。 另外一种很有名的算法叫做Viterbi algorithm. 要理解这个算法我们先看几个简单的列子。 首先如果我们只掷一次骰子 看到结果为1.对应的最大概率骰子序列就是D4因为D4产生1的概率是1/4高于1/6和1/8. 把这个情况拓展我们掷两次骰子 结果为16.这时问题变得复杂起来我们要计算三个值分别是第二个骰子是D6D4D8的最大概率。显然要取到最大概率第一个骰子必须为D4。这时第二个骰子取到D6的最大概率是 P 2 ( D 6 ) P ( D 4 ) ∗ P ( D 4 ⟶ 1 ) ∗ P ( D 4 ⟶ D 6 ∗ P ( D 6 ⟶ 6 ) 1 3 ∗ 1 4 ∗ 1 3 ∗ 1 6 P2(D6) P(D4)*P(D4 \longrightarrow 1)*P(D4\longrightarrow D6*P(D6\longrightarrow 6) \\ \frac{1}{3}*\frac{1}{4}*\frac{1}{3}*\frac{1}{6} P2(D6)P(D4)∗P(D4⟶1)∗P(D4⟶D6∗P(D6⟶6)31∗41∗31∗61 同样的我们可以计算第二个骰子是D4或D8时的最大概率。我们发现第二个骰子取到D6的概率最大。而使这个概率最大时第一个骰子为D4。所以最大概率骰子序列就是D4 D6。 继续拓展我们掷三次骰子 同样我们计算第三个骰子分别是D6D4D8的最大概率。我们再次发现要取到最大概率第二个骰子必须为D6。这时第三个骰子取到D4的最大概率是 P 3 ( D 4 ) P 2 ( D 6 ) ∗ P ( D 6 ⟶ D 4 ) ∗ P ( D 4 ⟶ 3 1 216 ∗ 1 3 ∗ 1 4 P3(D4) P2(D6)*P(D6 \longrightarrow D4)*P(D4\longrightarrow 3\\ \frac{1}{216}*\frac{1}{3}*\frac{1}{4} P3(D4)P2(D6)∗P(D6⟶D4)∗P(D4⟶32161∗31∗41 同上我们可以计算第三个骰子是D6或D8时的最大概率。我们发现第三个骰子取到D4的概率最大。而使这个概率最大时第二个骰子为D6第一个骰子为D4。所以最大概率骰子序列就是D4 D6 D4。 写到这里大家应该看出点规律了。既然掷骰子一二三次可以算掷多少次都可以以此类推。我们发现我们要求最大概率骰子序列时要做这么几件事情。首先不管序列多长要从序列长度为1算起算序列长度为1时取到每个骰子的最大概率。然后逐渐增加长度每增加一次长度重新算一遍在这个长度下最后一个位置取到每个骰子的最大概率。因为上一个长度下的取到每个骰子的最大概率都算过了重新计算的话其实不难。当我们算到最后一位时就知道最后一位是哪个骰子的概率最大了。这样就找到了最有可能的骰子序列。 2.谁动了我的骰子 比如说你怀疑自己的六面骰被赌场动过手脚了有可能被换成另一种六面骰这种六面骰掷出来是1的概率更大是1/2掷出来是23456的概率是1/10。你怎么办么答案很简单算一算正常的三个骰子掷出一段序列的概率再算一算不正常的六面骰和另外两个正常骰子掷出这段序列的概率。如果前者比后者小你就要小心了。 比如说掷骰子的结果是
要算用正常的三个骰子掷出这个结果的概率其实就是将所有可能情况的概率进行加和计算。同样简单而暴力的方法就是把穷举所有的骰子序列还是计算每个骰子序列对应的概率但是这回我们不挑最大值了而是把所有算出来的概率相加得到的总概率就是我们要求的结果。这个方法依然不能应用于太长的骰子序列马尔可夫链。 我们会应用一个和前一个问题类似的解法只不过前一个问题关心的是概率最大值这个问题关心的是概率之和。解决这个问题的算法叫做前向算法forward algorithm。 首先如果我们只掷一次骰子 看到结果为1.产生这个结果的总概率可以按照如下计算总概率为0.18 把这个情况拓展我们掷两次骰子 看到结果为16.产生这个结果的总概率可以按照如下计算总概率为0.05 继续拓展我们掷三次骰子 看到结果为163.产生这个结果的总概率可以按照如下计算总概率为0.03 同样的我们一步一步的算有多长算多长再长的马尔可夫链总能算出来的。用同样的方法也可以算出不正常的六面骰和另外两个正常骰子掷出这段序列的概率然后我们比较一下这两个概率大小就能知道你的骰子是不是被人换了。 Viterbi algorithm HMM隐马尔可夫模型是用来描述隐含未知参数的统计模型举一个经典的例子一个东京的朋友每天根据天气{下雨天晴}决定当天的活动{公园散步,购物,清理房间}中的一种我每天只能在twitter上看到她发的推“啊我前天公园散步、昨天购物、今天清理房间了”那么我可以根据她发的推特推断东京这三天的天气。在这个例子里显状态是活动隐状态是天气。 任何一个HMM都可以通过下列五元组来描述 :param obs:观测序列 :param states:隐状态 :param start_p:初始概率隐状态 :param trans_p:转移概率隐状态 :param emit_p: 发射概率 隐状态表现为显状态的概率 伪码如下
states (Rainy, Sunny) observations (walk, shop, clean) start_probability {Rainy: 0.6, Sunny: 0.4} transition_probability {Rainy : {Rainy: 0.7, Sunny: 0.3},
Sunny : {Rainy: 0.4, Sunny: 0.6},} emission_probability {Rainy : {walk: 0.1, shop: 0.4, clean: 0.5},
Sunny : {walk: 0.6, shop: 0.3, clean: 0.1}, }
