织梦网站会员中心模板,微信网站开发教程视频,自己制作网站的软件,软件研发工程师1、RNN的定义
RNN#xff08;Recurrent Neural Network#xff0c;循环神经网络#xff09;是一种专门用于处理序列数据的神经网络架构#xff0c;它与传统的前馈神经网络#xff08;Feedforward Neural Network#xff09;不同#xff0c;主要区别在于它能够处理输入数…1、RNN的定义
RNNRecurrent Neural Network循环神经网络是一种专门用于处理序列数据的神经网络架构它与传统的前馈神经网络Feedforward Neural Network不同主要区别在于它能够处理输入数据之间的时间依赖性这使得它特别适合于处理时间序列数据、自然语言文本、语音信号等类型的数据
2、RNN的工作原理与结构
2.1 工作原理
RNN通过在网络中引入循环结构来处理序列数据使得网络能够在处理当前输入时考虑到之前的所有输入这种结构允许信息在网络中持续存在从而实现对序列数据的动态特征抽取
循环结构网络中的循环允许信息在时间步之间传递通过循环的方式来抽取时序信号的特征逐个处理序列中的每个元素都被逐一处理但每个元素的处理都依赖于前一个元素的处理结果前后依赖当前的输出不仅依赖于当前的输入还依赖于之前所有输入的累积效应前面的处理会影响后面的处理中间隐藏状态RNN通过隐藏状态来存储和传递之前输入的信息从而实现对序列的长期依赖关系的捕捉
2.2 工作结构
2.3.1 结构图 上图是RNN的工作结构示意图包含X、A、h三个主要的模块其简洁地展示了RNN如何通过循环结构处理序列数据以及如何通过隐藏状态在时间步之间传递信息 循环结构图中显示了RNN的核心特性——循环每个方框 A 代表网络中的一个重复模块其实也就是权重矩阵这个模块在每个时间步都会接收新的输入并产生输出 时间步图中的 X0,X1,X2,…,Xt 表示输入序列在不同时间步的输入例如如果处理的是文本数据则 X0 可能是第一个词的向量表示X1 是第二个词的向量表示以此类推 隐藏状态h0,h1,h2,…,ht 表示在每个时间步的隐藏状态隐藏状态是RNN的“记忆”它携带了之前时间步的信息在每个时间步隐藏状态不仅依赖于当前的输入 Xt还依赖于前一个时间步的隐藏状态 ht−1 在序列的末尾最终的隐藏状态 hn 可以作为整个序列的上下文信息用于分类、情感分析等任务 信息传递在每个时间步隐藏状态 ht 会作为下一个时间步的输入的一部分这样信息就可以在时间步之间传递这种传递是通过循环连接实现的使得网络能够捕捉到序列中元素之间的依赖关系 输出在每个时间步RNN可以产生一个输出这个输出可以是基于当前隐藏状态的也可以是整个序列处理完毕后的最终输出 参数共享在RNN中所有时间步的重复模块“A”共享相同的参数这意味着无论序列有多长网络都使用相同的权重来处理每个元素 训练RNN的训练通常涉及到反向传播算法的变种如反向传播通过时间Backpropagation Through Time, BPTT以处理序列数据的时序特性
2.3.2 示例
对于句子“宝你吃饭了吗 ”分词后得到的结果是[宝, , 你, 吃饭, 了, 吗, ] 这些词会被循环地进行处理具体如下 x0 “宝”x0 输入到权重矩阵 A 得到 h0 在实际的RNN实现中如PyTorch或TensorFlowh0 通常是由用户手动初始化的以确保网络从一个已知的状态开始学习这是因为RNN在处理序列的第一个元素之前没有先前的隐藏状态可以依赖。
x1 “”x1 再输入到权重矩阵 A 并与上一步的 h0 相结合得到 h1
x2 “你”x2 再输入到权重矩阵 A 并与上一步的 h1 相结合得到 h2
x3 “吃饭”x3 再输入到权重矩阵 A 并与上一步的 h2 相结合得到 h3
x4 “了”x4 再输入到权重矩阵 A 并与上一步的 h3 相结合得到 h4
x5 “吗”x5 再输入到权重矩阵 A 并与上一步的 h4 相结合得到 h5
x6 “”x6 再输入到权重矩阵 A 并与上一步的 h5 相结合得到 h6 最后得到的h6就是最终隐藏状态可以作为整个序列的上下文信息
3、RNN的隐藏状态更新公式 上面的公式是RNN中隐藏状态更新的一个常见表达式它结合了当前时间步的输入和前一时间步的隐藏状态具体说明如下
xt在时间步 t 的输入向量表示当前输入Wih输入到隐藏状态的权重矩阵用于将当前输入 xt 转换为隐藏状态的输入部分Whh隐藏状态到隐藏状态的权重矩阵用于将前一时间步的隐藏状态 ht−1 传递到当前时间步bih 和 bhh分别是输入和隐藏状态的偏置项tanh激活函数通常用于引入非线性特性使模型能够学习复杂的模式ht输出结果即在时间步 t 的隐藏状态表示当前时间步的记忆
Tanh激活函数与Sigmoid、ReLU的区别 输出范围 Sigmoid函数输出范围在0到1之间其输出值可以被看作是一个概率值用于表示某个事件发生的概率 ReLU函数输出范围在0到正无穷之间输入小于0时输出为0输入大于0时输出等于输入值 Tanh函数输出范围在-1到1之间 梯度特性 Sigmoid函数在输入值较大或较小时梯度接近于0导致训练过程中梯度消失的问题此外Sigmoid函数的计算开销较大涉及指数运算可能会影响大规模数据和深层网络的计算效率 ReLU函数在正值区间内具有线性特性解决了梯度消失问题ReLU函数在负值区间梯度为0可能导致一些神经元永远不会被激活从而停止更新 Tanh函数也存在梯度饱和的问题但其输出值范围在-1到1之间相对于Sigmoid函数其输出值范围更大可能导致模型学习更快 适用场景 Sigmoid函数适用于二分类问题或输出概率的场景 ReLU函数适用于需要快速计算的场景特别是在深层网络中因为它解决了梯度消失问题并且在正值区间内具有线性特性所以计算速度很快 Tanh函数通常用于隐藏层的激活函数因为其输出范围更广可以更好地表示数据的分布
4、RNN的使用方法及示例
由于时序数据通常需要进行向量转换如文本词向量经过训练和预测后再解析为用户所需内容所以整个处理过程通常会包含编码器和解码器两部分
在深度学习框架如PyTorch中RNN可以通过以下两种方式结合使用
nn.RNN这是一个封装好的RNN层可以自动处理循环逻辑通常用于编码器部分nn.RNNCell这是一个基本的RNN单元需要手动实现循环逻辑通常用于解码器部分特别是在需要更精细控制的场景下
nn.RNN示例
import torch
from torch import nn# 定义输入语句和初始隐藏状态h0
# 5表示序列长度sequence length3表示批次大小batch size10表示每个时间步的输入特征数input size
X torch.randn(5, 3, 10)
# 1表示RNN层的数量这里只有一层3表示批次大小20表示隐藏层的维度hidden size
h0 torch.zeros(1, 3, 20, dtypetorch.float32)# 调用RNN与input和h0的最后一个参数相对应
rnn nn.RNN(input_size10, hidden_size20)
# 获得output和hnoutput包含了每个时间步的隐藏状态的输出hn只包含最后一个时间步的隐藏状态
output, hn rnn(X, h0)# 查看output和hn的形状和内容
print(output.shape, hn.shape)
print(output)
print(hn)
nn.RNNCell示例
import torch
from torch import nnX torch.randn(5, 3, 10)
hn torch.zeros(3, 20, dtypetorch.float32)
# 定义一个output空列表用于存储每个时间步的隐藏状态
output []# 调用RNN与input和hn的最后一个参数相对应
rnn_cell nn.RNNCell(input_size10, hidden_size20)# 循环存储每个时间步的隐藏状态
for x in X:hn rnn_cell(x, hn)output.append(hn)# 将列表中的所有隐藏状态堆叠成一个张量形状为 (sequence_length, 3, 20)
output torch.stack(output)# 查看output的形状和内容
print(output.shape)
print(output)
