威海做网站的哪家好,三 网站开发使用软件环境,重庆网领网站建设公司,台山网站定制240713_昇思学习打卡-Day25-LSTMCRF序列标注#xff08;4#xff09;
最后一天咯#xff0c;做第四部分。
BiLSTMCRF模型
在实现CRF后#xff0c;我们设计一个双向LSTMCRF的模型来进行命名实体识别任务的训练。模型结构如下#xff1a;
nn.Embedding - nn.LSTM -CRF序列标注4
最后一天咯做第四部分。
BiLSTMCRF模型
在实现CRF后我们设计一个双向LSTMCRF的模型来进行命名实体识别任务的训练。模型结构如下
nn.Embedding - nn.LSTM - nn.Dense - CRF其中LSTM提取序列特征经过Dense层变换获得发射概率矩阵最后送入CRF层。具体实现如下
# 定义双向LSTM结合CRF的序列标注模型
class BiLSTM_CRF(nn.Cell):def __init__(self, vocab_size, embedding_dim, hidden_dim, num_tags, padding_idx0):初始化BiLSTM_CRF模型。参数:vocab_size: 词汇表大小。embedding_dim: 词嵌入维度。hidden_dim: LSTM隐藏层维度。num_tags: 标签种类数量。padding_idx: 填充索引默认为0。super().__init__()# 初始化词嵌入层self.embedding nn.Embedding(vocab_size, embedding_dim, padding_idxpadding_idx)# 初始化双向LSTM层self.lstm nn.LSTM(embedding_dim, hidden_dim // 2, bidirectionalTrue, batch_firstTrue)# 初始化从LSTM输出到标签的全连接层self.hidden2tag nn.Dense(hidden_dim, num_tags, he_uniform)# 初始化条件随机场层self.crf CRF(num_tags, batch_firstTrue)def construct(self, inputs, seq_length, tagsNone):模型的前向传播方法。参数:inputs: 输入序列形状为(batch_size, seq_length)。seq_length: 序列长度形状为(batch_size,)。tags: 真实标签形状为(batch_size, seq_length)可选。返回:crf_outs: CRF层的输出如果输入了真实标签则为损失值否则为解码后的标签序列。# 通过词嵌入层获取词向量表示embeds self.embedding(inputs)# 通过双向LSTM层获取序列特征outputs, _ self.lstm(embeds, seq_lengthseq_length)# 通过全连接层转换LSTM输出到标签空间feats self.hidden2tag(outputs)# 通过CRF层计算损失或解码crf_outs self.crf(feats, tags, seq_length)return crf_outs
完成模型设计后我们生成两句例子和对应的标签并构造词表和标签表。
# 设置词嵌入维度和隐藏层维度
embedding_dim 16
hidden_dim 32# 定义训练数据集每条数据包含一个分词后的句子和相应的实体标签
training_data [(清 华 大 学 坐 落 于 首 都 北 京.split(), # 分词后的句子B I I I O O O O O B I.split() # 相应的实体标签),(重 庆 是 一 个 魔 幻 城 市.split(), # 分词后的句子B I O O O O O O O.split() # 相应的实体标签)
]# 初始化词典用于映射词到索引
word_to_idx {}
# 添加特殊填充词到词典
word_to_idx[pad] 0
# 遍历训练数据构建词到索引的映射
for sentence, tags in training_data:for word in sentence:# 如果词不在词典中则添加到词典if word not in word_to_idx:word_to_idx[word] len(word_to_idx)# 初始化标签到索引的映射
tag_to_idx {B: 0, I: 1, O: 2}
len(word_to_idx)接下来实例化模型选择优化器并将模型和优化器送入Wrapper。 由于CRF层已经进行了NLLLoss的计算因此不需要再设置Loss。 # 实例化BiLSTM_CRF模型传入词汇表大小、词嵌入维度、隐藏层维度以及标签种类数量
model BiLSTM_CRF(len(word_to_idx), embedding_dim, hidden_dim, len(tag_to_idx))# 初始化随机梯度下降优化器设置学习率为0.01权重衰减为1e-4
optimizer nn.SGD(model.trainable_params(), learning_rate0.01, weight_decay1e-4)
# 使用MindSpore的value_and_grad函数创建一个函数它会同时计算模型的损失值和梯度
# 第二个参数设置为None表示不保留反向图第三个参数是优化器的参数列表
grad_fn ms.value_and_grad(model, None, optimizer.parameters)def train_step(data, seq_length, label):训练步骤函数执行一次前向传播和反向传播更新模型参数。参数:data: 输入数据形状为(batch_size, seq_length)。seq_length: 序列长度形状为(batch_size,)。label: 真实标签形状为(batch_size, seq_length)。返回:loss: 当前批次的损失值。# 使用grad_fn计算损失值和梯度loss, grads grad_fn(data, seq_length, label)# 使用优化器更新模型参数optimizer(grads)# 返回损失值return loss
将生成的数据打包成Batch按照序列最大长度对长度不足的序列进行填充分别返回输入序列、输出标签和序列长度构成的Tensor。
def prepare_sequence(seqs, word_to_idx, tag_to_idx):准备序列数据包括填充和转换成张量。参数:seqs: 一个包含句子和对应标签的元组列表。word_to_idx: 词到索引的映射字典。tag_to_idx: 标签到索引的映射字典。返回:seq_outputs: 填充后的序列数据张量。label_outputs: 填充后的标签数据张量。seq_length: 序列的真实长度列表。seq_outputs, label_outputs, seq_length [], [], []# 获取最长序列长度max_len max([len(i[0]) for i in seqs])for seq, tag in seqs:# 记录序列的真实长度seq_length.append(len(seq))# 将序列中的词转换为索引idxs [word_to_idx[w] for w in seq]# 将标签转换为索引labels [tag_to_idx[t] for t in tag]# 对序列进行填充idxs.extend([word_to_idx[pad] for i in range(max_len - len(seq))])# 对标签进行填充用O的索引填充labels.extend([tag_to_idx[O] for i in range(max_len - len(seq))])# 添加填充后的序列和标签到列表seq_outputs.append(idxs)label_outputs.append(labels)# 将列表转换为MindSpore张量return ms.Tensor(seq_outputs, ms.int64), \ms.Tensor(label_outputs, ms.int64), \ms.Tensor(seq_length, ms.int64)
# 调用prepare_sequence函数处理训练数据并获取处理后的数据、标签和序列长度
data, label, seq_length prepare_sequence(training_data, word_to_idx, tag_to_idx)# 打印处理后的数据、标签和序列长度的形状以确认数据转换是否正确
print(data.shape, label.shape, seq_length.shape)对模型进行预编译后训练500个step。 训练流程可视化依赖tqdm库可使用pip install tqdm命令安装。 from tqdm import tqdm# 定义训练步骤的总数用于进度条的设置
steps 500# 使用tqdm创建一个进度条总进度为steps
with tqdm(totalsteps) as t:for i in range(steps):# 执行单步训练这里假设train_step是一个已定义的训练函数# 参数data为训练数据seq_length为序列长度label为标签loss train_step(data, seq_length, label)# 更新进度条的附带信息显示当前的损失值t.set_postfix(lossloss)# 更新进度条表示完成了一步训练t.update(1)
最后我们来观察训练500个step后的模型效果首先使用模型预测可能的路径得分以及候选序列。
# 调用模型进行预测或评估返回得分和历史记录
score, history model(data, seq_length)# 输出得分用于查看模型的表现或决策
score
使用后处理函数进行预测得分的后处理。
predict post_decode(score, history, seq_length)
predict最后将预测的index序列转换为标签序列打印输出结果查看效果。
# 通过索引和标签的映射关系构建标签到索引的反向映射
idx_to_tag {idx: tag for tag, idx in tag_to_idx.items()}def sequence_to_tag(sequences, idx_to_tag):将序列中的索引转换为对应的标签。参数:sequences: 一个包含标签索引的序列列表。idx_to_tag: 一个字典用于将索引映射到对应的标签。返回:一个列表其中每个元素是输入序列中索引转换为标签后的结果。# 初始化一个空列表用于存储转换后的标签序列outputs []# 遍历输入的序列列表for seq in sequences:# 对每个序列将索引转换为标签并添加到输出列表中outputs.append([idx_to_tag[i] for i in seq])# 返回转换后的标签序列列表return outputs
sequence_to_tag(predict, idx_to_tag)打卡照片
