广西网站推广优化,厦门关键词优化平台,军事最新新闻头条,公司网站怎样制作1 简介 概念 LSTM#xff08;Long Short-Term Memory#xff09;也称为长短期记忆网络#xff0c;是一种改进的循环神经网络#xff08;RNN#xff09;#xff0c;专门设计用于解决传统RNN的梯度消失问题和长程依赖问题。LSTM通过引入门机制和细胞状态#xff0c;能够更…1 简介 概念 LSTMLong Short-Term Memory也称为长短期记忆网络是一种改进的循环神经网络RNN专门设计用于解决传统RNN的梯度消失问题和长程依赖问题。LSTM通过引入门机制和细胞状态能够更好地捕捉长序列数据中的长期依赖关系。 核心思想 通过引入门机制输入门、遗忘门、输出门和细胞状态Cell State来控制信息的流动从而决定哪些信息需要保留、哪些信息需要丢弃。 内部结构 遗忘门决定了哪些信息应该被丢弃即遗忘。它读取当前输入和前一时刻的隐藏状态然后输出一个0到1之间的数值表示当前时刻的信息应当保留或丢弃的比例。 输入门决定了哪些信息需要被存储到当前的单元状态中。通过这个门来更新单元状态的记忆。 细胞状态可以将其视为一条贯穿整个网络的传送带携带长期记忆信息通过细胞状态传递并由各个门控机制选择性地修改。 输出门控制从单元状态到隐藏状态的信息流出决定当前的隐藏状态输出多少细胞状态的内容。
2. LSTM的内部结构图
2.1 整体内部结构 2.2 遗忘门结构图 2.3 输入门结构图 2.4 细胞状态更新图 细胞更新的结构与计算公式非常容易理解这里没有全连接层只是将刚刚得到的遗忘门门值与上一个时间步得到的Ct−1相乘再加上输入门门值与当前时间步得到的未更新Ct相乘的结果。最终得到更新后的Ct作为下一个时间步输入的一部分。整个细胞状态更新过程就是对遗忘门和输入门的应用。
注意由于当前记忆状态和上一次的记忆状态不是相乘而是相加则解决了RNN中容易梯度保证的问题。
2.4 输出门结构图 3. 优缺点总结 LSTM的优点 能够捕捉长期依赖通过门控机制LSTM能够记住长期的依赖关系解决了传统RNN无法记住长期信息的问题。避免梯度消失 细胞状态 Ct 的更新公式中Ct−1 和 Ct 之间是线性关系通过遗忘门 ft 控制LSTM的梯度主要通过细胞状态 Ct 传播而细胞状态的更新是线性的梯度路径更加稳定线性关系避免了梯度在时间步之间的连乘从而缓解了梯度消失问题 灵活的记忆控制LSTM通过遗忘门和输入门灵活地控制信息的传递使得模型能够记住有用的信息并丢弃不必要的信息。 LSTM的缺点 计算开销较大由于包含多个门的计算训练和推理时需要更多的计算资源相对于简单的RNN和GRU门控递归单元LSTM较为复杂调参时需要更多的时间和精力
