wdcp新建网站,做网站一般用什么程序,网站建设费用多少,我们公司想做网络推广目录 前言 RNN背景 RNN原理 上半部分#xff1a;RNN结构及按时间线展开图 下半部分#xff1a;RNN在不同时刻的网络连接和计算过程 LSTM RNN存在的问题 LSTM的结构与原理 数学表达层面 与RNN对比优势 应用场景拓展 从简易但严谨的代码来看RNN和LSTM RNN LSTM 前言 绕循环神经… 目录 前言 RNN背景 RNN原理 上半部分RNN结构及按时间线展开图 下半部分RNN在不同时刻的网络连接和计算过程 LSTM RNN存在的问题 LSTM的结构与原理 数学表达层面 与RNN对比优势 应用场景拓展 从简易但严谨的代码来看RNN和LSTM RNN LSTM 前言 绕循环神经网络RNN、注意力机制Attention以及相关模型如 LSTM、Transformer、BERT、GPT 等在深度学习中的应用展开介绍了其原理、结构、算法流程和实际应用场景。 RNN背景 RNN 产生的原因深度神经网络DNN在处理输入时每个输入之间相互独立无法处理序列信息。然而在自然语言处理NLP和视频处理等任务中需要考虑输入元素之间的关联性因此引入 RNN。以 NLP 中的词性标注任务为例需处理单词序列才能准确标注词性仅单独理解每个单词是不够的。 RNN 的结构与公式RNN 在结构上引入了循环层其隐藏层状态St不仅取决于当前输入Xt还与上一时刻的隐藏层状态相关。具体公式为 输出 这样的结构使RNN网络能够对序列信息进行处理 RNN原理 上半部分RNN结构及按时间线展开图 RNN结构 输入层Input Layer标记为“x”接收输入数据。 隐藏层Hidden Layer标记为“s”是RNN的核心部分包含循环连接。图中显示了权重矩阵“U”连接输入层和隐藏层和“W”隐藏层的循环连接输入层的。 输出层Output Layer标记为“o”通过权重矩阵“V”与隐藏层相连输出层的产生最终输出。 按时间线展开 将RNN在时间维度上展开展示了不同时刻t-1, t, t1的网络状态。每个时刻都有输入x_t、隐藏层状态s_t和输出o_t。权重矩阵“U”、“W”和“V”在不同时刻保持不变体现了RNN在时间上共享参数的特性。 下半部分RNN在不同时刻的网络连接和计算过程 t-1时刻 展示了隐藏层状态s的向量形式s[s1, s2, ..., sn]其中每个元素代表隐藏层的一个神经元状态。权重矩阵“W”连接了t-1时刻的隐藏层神经元。 t时刻 输入层输入向量X[x1, x2, ..., xm]其中m是输入维度。 隐藏层通过权重矩阵“U”接收输入层的信息并通过权重矩阵“W”接收t-1时刻的隐藏层状态信息。图中显示了隐藏层的计算过程即 其中f是激活函数。 输出层根据隐藏层状态S_t通过权重矩阵“V”计算输出 其中g是输出层的激活函数。 LSTM LSTMLong - Short - Term Memory长短期记忆网络是为解决传统循环神经网络RNN存在的问题而设计的。 RNN存在的问题 RNN有两个主要问题。一是短期记忆问题当处理足够长的序列时它难以将早期时间步的信息传递到后期。比如处理一段文本进行预测时可能会遗漏开头的重要信息。二是梯度消失问题在反向传播过程中梯度随着时间反向传播而缩小。当梯度值变得极小对神经网络权重更新的贡献就很小导致早期的层停止学习这也使得RNN在处理长序列时容易遗忘之前的信息。 LSTM的结构与原理 输入 门 当前时刻的输出及保存当前细胞状态传递给下一个‘细胞’ LSTM通过引入“细胞状态cell state”和“门gate”机制来解决上述问题 细胞状态就像一条传送带在整个网络中运行它可以在序列的不同时间步之间传递信息使得LSTM能够处理长序列而不容易丢失早期信息。 门 遗忘门forget gate决定从细胞状态中丢弃哪些信息。它读取当前输入和上一时刻隐藏状态输出一个0 - 1之间的值1表示“完全保留”0表示“完全丢弃”。 输入门input gate确定要在细胞状态中存储哪些新信息。它包含一个sigmoid层来决定更新哪些值以及一个tanh层来创建新的候选值向量这些候选值可能会被添加到细胞状态中。 输出门output gate确定LSTM的输出。它首先通过sigmoid层决定细胞状态的哪些部分将被输出然后将细胞状态通过tanh层将值映射到 - 1到1之间并将其与sigmoid层的输出相乘得到最终的输出。 通过这些机制LSTM能够更好地处理长序列数据有选择性地记忆和遗忘信息有效克服了RNN的短期记忆和梯度消失问题这也是LSTM在后续的一些自然语言处理、语音识别等领域得到广泛应用的主要原因。 数学表达层面 遗忘门计算 其中W_f是权重矩阵[h_{t - 1},x_t]是上一时刻隐藏状态和当前输入的拼接‘细胞’传递b_f是偏置项截距sigma是sigmoid激活函数输出值在0 - 1之间决定从细胞状态中遗忘的信息比例。 输入门计算 确定更新值比例 生成候选值向量二者后续用于更新细胞状态。 细胞状态更新 是逐元素相乘即结合遗忘门输出、上一时刻细胞状态、输入门输出和候选值向量来更新细胞状态。 输出门计算 决定输出比例 得到最终隐藏状态输出。 与RNN对比优势 长期依赖处理RNN受限于梯度消失难以保持长期依赖LSTM通过门控机制控制细胞状态信息流能有效保存和传递长距离信息比如在处理长篇小说文本时可记住开头人物关系等信息用于后续情节理解和生成。 学习效率RNN因梯度问题早期层学习困难LSTM通过门控灵活控制信息流动更高效学习在训练时间和收敛速度上表现更好在语音识别任务中可更快学习到语音序列中的特征模式。 应用场景拓展 自然语言处理除常见的文本生成、机器翻译、情感分析在文本摘要提取中能抓住长文本关键信息在命名实体识别中准确识别不同类型实体。 时间序列预测在金融领域预测股票价格、汇率等波动在能源领域预测电力负荷、能源消耗等利用其对时间序列中长短期信息的捕捉能力提高预测准确性。 视频处理分析视频帧序列用于动作识别、视频内容理解与生成如判断视频中人物动作类别生成符合逻辑的视频字幕等。 从简易但严谨的代码来看RNN和LSTM 通过pytorch框架来定义只有一个’细胞‘的RNN和LSTM进一步理解这两个网络的架构的应用 RNN import torch
import torch.nn as nn# 定义RNN模型
class SimpleRNN(nn.Module):def __init__(self, input_size, hidden_size, num_layers, output_size):super(SimpleRNN, self).__init__()self.hidden_size hidden_sizeself.num_layers num_layersself.rnn nn.RNN(input_size, hidden_size, num_layers, batch_firstTrue)self.fc nn.Linear(hidden_size, output_size)def forward(self, x):h0 torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)out, _ self.rnn(x, h0)out self.fc(out[:, -1, :])return out# 示例参数
input_size 10
hidden_size 20
num_layers 1
output_size 5
batch_size 3
seq_length 8# 创建输入数据
x torch.randn(batch_size, seq_length, input_size)# 实例化RNN模型
model SimpleRNN(input_size, hidden_size, num_layers, output_size)# 前向传播
output model(x)
print(output.shape)说明 定义了一个简单的SimpleRNN类继承自nn.Module。在构造函数中初始化了 RNN 层和全连接层。nn.RNN指定了输入维度input_size、隐藏层维度hidden_size、层数num_layers并设置batch_firstTrue表示输入数据的形状为(batch_size, seq_length, input_size)。 forward方法中首先初始化隐藏状态h0然后将输入数据x和初始隐藏状态传入 RNN 层获取输出out。最后将 RNN 最后一个时间步的输出传入全连接层得到最终输出。 LSTM import torch
import torch.nn as nn# 定义LSTM模型
class SimpleLSTM(nn.Module):def __init__(self, input_size, hidden_size, num_layers, output_size):super(SimpleLSTM, self).__init__()self.hidden_size hidden_sizeself.num_layers num_layersself.lstm nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue)self.fc nn.Linear(hidden_size, output_size)def forward(self, x):h0 torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)c0 torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)out, _ self.lstm(x, (h0, c0))out self.fc(out[:, -1, :])return out# 示例参数
input_size 10
hidden_size 20
num_layers 1
output_size 5
batch_size 3
seq_length 8# 创建输入数据
x torch.randn(batch_size, seq_length, input_size)# 实例化LSTM模型
model SimpleLSTM(input_size, hidden_size, num_layers, output_size)# 前向传播
output model(x)
print(output.shape)说明 1.定义了SimpleLSTM类同样继承自nn.Module。构造函数中初始化了 LSTM 层和全连接层nn.LSTM的参数设置与 RNN 类似。 2.forward方法里除了初始化隐藏状态h0还初始化了细胞状态c0然后将输入x、h0和c0传入 LSTM 层获取输出out最后经全连接层得到最终结果。
