网站开发语言比较,清晰化网站,wordpress 获取主题路径,深圳 网站设计 公司本篇文章结合具体的例子来介绍一下LSTM运算方式以及原理。请结合上篇文章的介绍食用。
一、具体例子 如上图所示#xff0c;网络里面只有一个 LSTM 的单元#xff0c;输入都是三维的向量#xff0c;输出都是一维的输出。 这三维的向量跟输出还有记忆元的关系是这样的。 假设…本篇文章结合具体的例子来介绍一下LSTM运算方式以及原理。请结合上篇文章的介绍食用。
一、具体例子 如上图所示网络里面只有一个 LSTM 的单元输入都是三维的向量输出都是一维的输出。 这三维的向量跟输出还有记忆元的关系是这样的。 假设 x2 的值是1时x1 的值就会被写到记忆元里假设 x2 的值是-1时就会重置这个记忆元 假设 x3 的值为1时才会把输出打开才能看到输出看到记忆元的数字。 下面我们来具体来体验一下上述过程 先看第二个输入原来存到记忆元里面的值是0第二个输入 x2 的值是1,3会被存到记忆元里面去。 第四个输入 x2 等于1所以4会被存到记忆元里面去所以会得到7。 第六个输入x3 等于1这时候7会被输出。 第七个输入 x2 的值为-1记忆元里面的值会被洗掉变为0。 第八个输入x2 的值为1所以把6存进去因为 x3 的值为1所以把6输出
二、LSTM运算示例 记忆元的四个输入标量是这样来的输入的三维向量乘以线性变换linear transform后所得到的结果x1, x2, x3 乘以权重再加上偏置。
假设这些值是已知的在实际运算之前先根据它的输入分析下可能会得到的结果。
1底下这个外界传入的单元x1 乘以 1其他的向量乘以 0所以就直接把 x1 当做输入。
2输入门x2 乘以 100偏置乘以 −10。假设 x2 是没有值的话通常输入门是关闭的偏置等于 −10。因为 −10 通过 sigmoid 函数之后会接近 0所以就代表是关闭的若 x2 的值大于 1 的话结果会是一个正值代表输入门会被打开。
3遗忘门通常会被打开的因为其偏置等于 10它平常会一直记得东西只有当 x2 的值为一个很大的负值时才会把遗忘门关起来。
4输出门平常是被关闭的因为偏置是一个很大的负值若 x3 有一个很大的正值的话压过偏置把输出打开。
假设 g 和 h 都是线性的。
假设存到记忆元里面的初始值是 0输入第一个向量 [3, 1, 0]T输入这边 3*13这边输入的是的值为 3。 输入门这边 (1 ∗ 100 − 10 ≈ 1) 是被打开 (输入门约等于 1)。(g(z) ∗ f(zi) 3)。 遗忘门 (1 ∗ 100 10 ≈ 1) 是被打开的 (遗忘门约等于 1)。 0 *133(c′ g(z)f(zi) cf(zf))所以存到记忆元里面的为 3。 输出门 (-10) 是被关起来的所以 3 无关通过所以输出值为 0。 再来看一个[1,0,1]T , 传入输入的值为1输入门(-10)是关闭的遗忘门(10)是打开的记忆元里面存的值不变输出门(100-1090)被打开整个输出为 7记忆元里面存的 7 会被读取出来。
其他三个留给大家作为练习了。
三、LSTM运作原理
在原来的神经网络里面会有很多的神经元我们会把输入乘以不同的权重当做不同神经元的输入每一个神经元都是一个函数输入一个值然后输出一个值。但是如果是 LSTM 的话只要把 LSTM 想成是一个神经元。所以要用一个 LSTM 的神经元其实就是原来简单的神经元换成 LSTM。 如图所示为了简化假设隐藏层只有两个神经元输入 x1, x2 会乘以不同的权重当做 LSTM 不同的输入。
输入(x1, x2)会乘以不同的权重会去操控输出门乘以不同的权重操控输入门乘以不同的权重当做底下的输入乘以不同的权重当做遗忘门。第二个 LSTM也是一样的。
所以 LSTM 是有四个输入跟一个输出对于 LSTM 来说这四个输入是不一样的每个门的weightbias是不一样的。在原来的神经网络里是一个输入一个输出。在 LSTM 里面它需要四个输入它才能产生一个输出。假设用的神经元的数量跟 LSTM 是一样的则LSTM需要的参数量是一般神经网络的四倍。 假设有一整排的 LSTM这些 LSTM 里面的记忆元都存了一个值把所有的值接起来就变成了向量写为 ct−1一个值就代表一个维度。
现在在时间点 t输入向量 xt这个向量首先会乘上一矩阵线性变换变成一个向量 z向量 z 的维度就代表了操控每一个 LSTM 的输入。z 这个维度正好就是 LSTM 记忆元的数量。z 的第一维就丢给第一个单元。这个 xt 会乘上另外的一个矩阵得到 zi然后这个 zi 的维度也跟单元的数量一样zi 的每一个维度都会去操控输入门。遗忘门跟输出门同理。
所以我们把 xt 乘以四个不同的变换得到四个不同的向量四个向量的维度跟单元的数量一样用着四个向量合起来去操控这些记忆元运作。 如上图所示输入分别就是 z, zi, zo, zf(都是向量)丢到单元里面的值其实是向量的一个维度因为每一个单元输入的维度都是不一样的所以每一个单元输入的值都会是不一样。
所以单元是可以共同一起被运算的。zi 通过激活函数跟 z 相乘zf 通过激活函数跟之前存在记忆元里面的值相乘然后将 z 跟 zi 相乘的值加上 zf 跟 ct−1 相乘的值zo 通过激活函数的结果输出跟之前相加的结果再相乘最后就得到了输出 yt。
之前那个相加以后的结果就是记忆元里面存放的值 ct这个过程反复的进行在下一个时间点输入 xt1把 z 跟输入门相乘把遗忘门跟存在记忆元里面的值相乘将前面两个值再相加起来在乘上输出门的值得到下一个时间点的输出 yt1。
但这还不是 LSTM 的最终形态真正的 LSTM 会把上一个时间的输出接进来当做下一个时间的输入即下一个时间点操控这些门的值不是只看那个时间点的输入 xt 还看前一个时间点的输出 ht 。其实还不止这样还会添加 peephole 连接。peephole 就是把存在记忆元里面的值也拉过来。操控 LSTM 四个门的时候同时考虑了 xt1, ht, ct 把这三个向量并在一起乘上不同的变换得到四个不同的向量再去操控 LSTM。
LSTM 通常不会只有一层若有五六层的话如下图所示。一般做 RNN 的时候其实指的就用 LSTM。
门控循环单元Gated Recurrent UnitGRU是 LSTM 稍微简化的版本它只有两个门。虽然少了一个门但其性能跟 LSTM 差不多少了 1/3 的参数也是比较不容易过拟合。
