软装设计师常用网站,仿牌 镜像网站,wordpress开发的网站,北京办公用品网站建设基于 MindSpore 实现 BERT 对话情绪识别
模型简介
BERT全称是来自变换器的双向编码器表征量#xff08;Bidirectional Encoder Representations from Transformers#xff09;#xff0c;它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模…基于 MindSpore 实现 BERT 对话情绪识别
模型简介
BERT全称是来自变换器的双向编码器表征量Bidirectional Encoder Representations from Transformers它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构因此一定要熟练掌握Transformer的Encoder的结构。 BERT模型的主要创新点都在pre-train方法上即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 在用Masked Language Model方法训练BERT的时候随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。 因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务增加了Next Sentence Prediction预训练任务目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比Next Sentence Prediction更简单些训练的输入是句子A和BB有一半的几率是A的下一句输入这两个句子BERT模型预测B是不是A的下一句。 BERT预训练之后会保存它的Embedding table和12层Transformer权重BERT-BASE或24层Transformer权重BERT-LARGE。使用预训练好的BERT模型可以对下游任务进行Fine-tuning比如文本分类、相似度判断、阅读理解等。 对话情绪识别Emotion Detection简称EmoTect专注于识别智能对话场景中用户的情绪针对智能对话场景中的用户文本自动判断该文本的情绪类别并给出相应的置信度情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景能够帮助企业更好地把握对话质量、改善产品的用户交互体验也能分析客服服务质量、降低人工质检成本。 下面以一个文本情感分类任务为例子来说明BERT模型的整个应用过程。
import os # 导入os模块用于与操作系统交互import mindspore # 导入MindSpore深度学习框架
from mindspore.dataset import text, GeneratorDataset, transforms # 从mindspore.dataset导入文本处理和数据集相关的功能
from mindspore import nn, context # 从mindspore导入神经网络模块和上下文管理器from mindnlp._legacy.engine import Trainer, Evaluator # 导入MindNLP的训练和评估模块
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback # 导入用于模型保存和最佳模型回调的功能
from mindnlp._legacy.metrics import Accuracy # 导入准确率评估指标代码解析
导入模块 import os引入操作系统相关功能通常用于文件和路径操作。import mindspore引入MindSpore框架提供深度学习的基础设施。from mindspore.dataset import text, GeneratorDataset, transforms text处理文本数据的功能模块。GeneratorDataset可以通过生成器动态生成数据集。transforms用于数据预处理和转换的工具。 from mindspore import nn, context nn包含神经网络构建所需的各类模块和层。context用于设置MindSpore的运行环境和上下文配置。 from mindnlp._legacy.engine import Trainer, Evaluator Trainer用于模型的训练过程管理。Evaluator用于评估模型性能的工具。 from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback CheckpointCallback用于在训练过程中保存模型的回调。BestModelCallback用于记录最佳模型的回调。 from mindnlp._legacy.metrics import Accuracy引入准确率计算的指标模块。
API 解析
mindspore.dataset 该模块提供了用于处理数据集的工具支持文本数据的加载和转换。 mindspore.nn 提供构建神经网络的基础组件如层、损失函数等。 mindspore.context 用于设置运行环境例如选择计算设备CPU/GPU/Ascend。 mindnlp._legacy.engine 提供训练和评估框架可以简化模型的训练流程。 mindnlp._legacy.engine.callbacks 提供回调机制帮助用户在训练过程中实现模型保存、学习率调整等功能。 mindnlp._legacy.metrics 提供性能评估指标如准确率等帮助在训练和评估阶段监测模型表现。
Building prefix dict from the default dictionary … Loading model from cache /tmp/jieba.cache Loading model cost 1.019 seconds. Prefix dict has been built successfully.
# prepare dataset
class SentimentDataset:Sentiment Datasetdef __init__(self, path):self.path path # 存储数据集的路径self._labels, self._text_a [], [] # 初始化标签和文本列表self._load() # 调用加载数据集的方法def _load(self):# 从指定路径加载数据集with open(self.path, r, encodingutf-8) as f:dataset f.read() # 读取数据集文件内容lines dataset.split(\n) # 按行分割数据for line in lines[1:-1]: # 遍历每一行跳过第一行和最后一行label, text_a line.split(\t) # 按制表符分割标签和文本self._labels.append(int(label)) # 将标签转换为整数并添加到标签列表self._text_a.append(text_a) # 将文本添加到文本列表def __getitem__(self, index):# 根据索引返回标签和文本return self._labels[index], self._text_a[index]def __len__(self):# 返回数据集的大小return len(self._labels)代码解析
类定义 class SentimentDataset定义一个用于情感分析的数据集类主要用于加载和提供数据。 初始化方法 def __init__(self, path) self.path path将数据集文件路径存储到实例变量中。self._labels, self._text_a [], []初始化两个空列表用于存储标签和文本数据。self._load()调用私有方法 _load 来加载数据。 数据加载方法 def _load(self) with open(self.path, r, encodingutf-8) as f以只读模式打开数据集文件指定编码为UTF-8。dataset f.read()读取文件内容。lines dataset.split(\n)将文件内容按行切割。for line in lines[1:-1]循环遍历每行数据跳过第一行通常是表头和最后一行可能为空行。 label, text_a line.split(\t)将每行数据按制表符分割获取标签和文本。self._labels.append(int(label))将标签转换为整数并添加到 _labels 列表。self._text_a.append(text_a)将文本添加到 _text_a 列表。 索引获取方法 def __getitem__(self, index)根据给定的索引返回对应的标签和文本。 return self._labels[index], self._text_a[index]返回标签和文本的元组。 长度获取方法 def __len__(self)返回数据集中样本的数量。 return len(self._labels)返回标签列表的长度。
API 解析
__init__构造函数用于初始化类的实例并设置初始状态。文件读取使用Python内置的 open 函数来读取文件内容通过 with 语句确保文件在使用后正确关闭。列表操作使用列表的 append 方法动态添加数据。__getitem__** 和 **__len__这两个方法是Python的数据模型方法允许类的实例像列表一样被索引和测量长度使得 SentimentDataset 类可以很方便地与其他数据处理库如PyTorch或MindSpore配合使用。
数据集
这里提供一份已标注的、经过分词预处理的机器人聊天数据集来自于百度飞桨团队。数据由两列组成以制表符‘\t’分隔第一列是情绪分类的类别0表示消极1表示中性2表示积极第二列是以空格分词的中文文本如下示例文件为 utf8 编码。 label–text_a 0–谁骂人了我从来不骂人我骂的都不是人你是人吗 1–我有事等会儿就回来和你聊 2–我见到你很高兴谢谢你帮我 这部分主要包括数据集读取数据格式转换数据 Tokenize 处理和 pad 操作。
# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
# 使用wget命令从指定URL下载情感检测数据集并保存为emotion_detection.tar.gz!tar xvf emotion_detection.tar.gz
# 解压下载的tar.gz文件提取内容代码解析
下载数据集 !wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz !wget使用shell命令 wget 下载文件。https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz指定要下载的数据集的URL。-O emotion_detection.tar.gz将下载的文件保存为 emotion_detection.tar.gz。 解压文件 !tar xvf emotion_detection.tar.gz !tar使用shell命令 tar 来处理归档文件。xvf这是 tar 命令的选项 x表示解压缩。v表示显示解压缩过程中的文件verbose模式。f表示后面跟的是文件名。 emotion_detection.tar.gz要解压的文件名。
API 解析
wget 一个用于从网络下载文件的命令行工具支持 HTTP、HTTPS 和 FTP 协议。 tar 用于打包和解压缩文件的命令行工具常用于Linux和Unix系统。.tar.gz格式是经过gzip压缩的tar档案结合了两种工具的优点。
注意事项
在执行上述命令时确保你的环境支持 ! 前缀的shell命令这通常在Jupyter Notebook或某些支持魔法命令的环境中有效。下载和解压的操作需要网络连接并且保存路径需要有写入权限。
数据加载和数据预处理
新建 process_dataset 函数用于数据加载和数据预处理具体内容可见下面代码注释。
import numpy as np # 导入NumPy库用于数值计算和操作def process_dataset(source, tokenizer, max_seq_len64, batch_size32, shuffleTrue):# 获取当前设备目标判断是否为Ascendis_ascend mindspore.get_context(device_target) Ascendcolumn_names [label, text_a] # 定义数据集的列名# 创建生成器数据集dataset GeneratorDataset(source, column_namescolumn_names, shuffleshuffle)# 定义类型转换操作type_cast_op transforms.TypeCast(mindspore.int32)def tokenize_and_pad(text):# 根据设备类型进行分词和填充操作if is_ascend:# 在Ascend上进行填充和截断tokenized tokenizer(text, paddingmax_length, truncationTrue, max_lengthmax_seq_len)else:# 在非Ascend设备上只进行分词tokenized tokenizer(text)return tokenized[input_ids], tokenized[attention_mask] # 返回输入ID和注意力掩码# 数据集映射操作应用分词和填充函数dataset dataset.map(operationstokenize_and_pad, input_columnstext_a, output_columns[input_ids, attention_mask])# 为标签应用类型转换dataset dataset.map(operations[type_cast_op], input_columnslabel, output_columnslabels)# 批处理数据集if is_ascend:dataset dataset.batch(batch_size) # 在Ascend上使用常规批处理else:dataset dataset.padded_batch(batch_size, pad_info{input_ids: (None, tokenizer.pad_token_id),attention_mask: (None, 0)}) # 在非Ascend上使用填充批处理return dataset # 返回处理后的数据集代码解析
导入 import numpy as np导入NumPy库通常用于数值运算但在此代码中未直接使用。 函数定义 def process_dataset(source, tokenizer, max_seq_len64, batch_size32, shuffleTrue) source数据源可以是文本文件、数据集对象等。tokenizer用于将文本转换为模型输入格式的分词器。max_seq_len设置文本的最大序列长度超过该长度的文本将被截断。batch_size每个批次的样本数量。shuffle是否在生成数据集时打乱数据顺序。 设备判断 is_ascend mindspore.get_context(device_target) Ascend判断当前执行环境是否为Ascend设备。 数据集创建 column_names [label, text_a]定义数据集中包含的列名。dataset GeneratorDataset(source, column_namescolumn_names, shuffleshuffle)创建一个生成器数据集。 类型转换操作 type_cast_op transforms.TypeCast(mindspore.int32)创建一个类型转换操作将标签转换为32位整数。 分词和填充 def tokenize_and_pad(text)定义一个内部函数用于对输入文本进行分词和填充。 tokenizer(text, paddingmax_length, truncationTrue, max_lengthmax_seq_len)在Ascend设备上进行分词填充到最大长度。返回分词后的 input_ids 和 attention_mask。 数据集映射 dataset dataset.map(...)将文本列应用分词和填充操作同时将标签列应用类型转换操作。 批处理 if is_ascend根据设备类型选择合适的批处理方式。 dataset.batch(batch_size)在Ascend设备上使用常规批处理。dataset.padded_batch(batch_size, pad_info...)在其他设备上使用填充批处理指定填充值。 返回数据集 return dataset返回处理后的数据集对象。
API 解析
GeneratorDatasetMindSpore中的一个数据集类允许用户通过生成器动态生成数据。map数据集的映射方法可以对每个样本应用给定的操作。TypeCast用于将数据类型转换为指定类型的操作。batch / padded_batch用于将数据集分成批次支持标准批处理和填充批处理以处理不同长度的输入。
昇腾NPU环境下暂不支持动态Shape数据预处理部分采用静态Shape处理
from mindnlp.transformers import BertTokenizer # 导入BertTokenizer类用于加载和使用BERT分词器# 从预训练的BERT模型加载分词器
tokenizer BertTokenizer.from_pretrained(bert-base-chinese) # 获取分词器的填充标记ID
tokenizer.pad_token_id # 创建训练数据集使用自定义的SentimentDataset类和分词器
dataset_train process_dataset(SentimentDataset(data/train.tsv), tokenizer)# 创建验证数据集
dataset_val process_dataset(SentimentDataset(data/dev.tsv), tokenizer)# 创建测试数据集禁用打乱
dataset_test process_dataset(SentimentDataset(data/test.tsv), tokenizer, shuffleFalse)# 获取训练数据集的列名称
dataset_train.get_col_names() # 从训练数据集中获取一个迭代器并打印下一个样本
print(next(dataset_train.create_tuple_iterator())) 代码解析
导入分词器 from mindnlp.transformers import BertTokenizer从MindNLP库导入BERT分词器的类。 加载预训练的BERT分词器 tokenizer BertTokenizer.from_pretrained(bert-base-chinese) 使用指定的模型名称加载预训练的BERT分词器这里是中文BERT模型。 获取填充标记ID tokenizer.pad_token_id获取分词器的填充标记的ID用于后续的填充操作。 创建数据集 dataset_train process_dataset(SentimentDataset(data/train.tsv), tokenizer) 创建训练数据集使用自定义的 SentimentDataset 类将数据集路径和分词器传入。 dataset_val process_dataset(SentimentDataset(data/dev.tsv), tokenizer) 创建验证数据集。 dataset_test process_dataset(SentimentDataset(data/test.tsv), tokenizer, shuffleFalse) 创建测试数据集并设置 shuffleFalse 以保持数据顺序。 获取列名称 dataset_train.get_col_names()调用方法获取训练数据集中列的名称通常是标签和文本列。 创建迭代器并打印样本 print(next(dataset_train.create_tuple_iterator())) 创建一个迭代器使用 next() 获取下一个样本并打印出来通常返回的是一个元组包含标签和分词后的文本。
API 解析
BertTokenizer 用于处理BERT模型的文本输入负责将文本转换为模型可以接受的ID格式并执行必要的填充和截断。 from_pretrained 类方法用于加载预训练模型的分词器支持多种语言和任务。 pad_token_id 分词器的填充标记ID通常用于处理不同长度的输入确保输入形状一致。 SentimentDataset 自定义的数据集类用于从指定文件加载情感分析相关的数据。 process_dataset 处理数据集的函数执行分词、填充和批处理等操作返回已处理的数据集。 create_tuple_iterator 数据集的方法用于创建一个迭代器可以返回数据集中的样本。 next() Python内置函数用于获取迭代器的下一个值。
模型构建
通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型加载预训练权重设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作提高训练的速度然后实例化优化器紧接着实例化评价指标设置模型训练的权重保存策略最后就是构建训练器模型开始训练。
from mindnlp.transformers import BertForSequenceClassification, BertModel # 导入BERT模型和用于序列分类的特定模型
from mindnlp._legacy.amp import auto_mixed_precision # 导入自动混合精度的工具# 设置BERT配置并定义训练参数
model BertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels3)
# 从预训练的BERT模型加载序列分类模型设置输出标签数量为3model auto_mixed_precision(model, O1)
# 应用自动混合精度以提高训练性能O1为混合精度的优化策略optimizer nn.Adam(model.trainable_params(), learning_rate2e-5)
# 创建Adam优化器设置学习率为2e-5并将模型可训练参数作为优化目标metric Accuracy() # 定义准确率作为评估指标# 定义回调函数以保存检查点
ckpoint_cb CheckpointCallback(save_pathcheckpoint, ckpt_namebert_emotect, epochs1, keep_checkpoint_max2)
# 创建检查点回调设置保存路径、检查点名称、保存频率和最大保留检查点数量best_model_cb BestModelCallback(save_pathcheckpoint, ckpt_namebert_emotect_best, auto_loadTrue)
# 创建最优模型回调自动加载最佳模型# 创建训练器
trainer Trainer(networkmodel, train_datasetdataset_train,eval_datasetdataset_val, metricsmetric,epochs5, optimizeroptimizer, callbacks[ckpoint_cb, best_model_cb]) %%time # 记录训练时间# 开始训练
trainer.run(tgt_columnslabels) 代码解析
导入必要的库 from mindnlp.transformers import BertForSequenceClassification, BertModel导入MindNLP中的BERT序列分类模型。from mindnlp._legacy.amp import auto_mixed_precision导入混合精度训练工具以优化模型训练的性能和内存使用。 模型创建 model BertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels3) 从预训练的中文BERT模型加载一个用于序列分类的模型设置标签数量为3例如情感分析中的三种情感。 混合精度训练 model auto_mixed_precision(model, O1) 应用自动混合精度以节省内存和加速训练其中 ‘O1’ 是适用于混合精度训练的优化策略。 优化器定义 optimizer nn.Adam(model.trainable_params(), learning_rate2e-5) 使用Adam优化器学习率设为2e-5优化目标是模型的可训练参数。 指标定义 metric Accuracy() 定义准确率作为模型评估的指标。 定义回调 ckpoint_cb CheckpointCallback(...) 创建检查点回调以便在训练过程中定期保存模型检查点设置保存路径、名称和最大检查点数量。 best_model_cb BestModelCallback(...) 创建最佳模型回调以自动加载保存的最佳模型。 训练器创建 trainer Trainer(...) 初始化训练器传入模型、训练数据集、验证数据集、评估指标、训练周期、优化器和回调列表。 时间记录 %%time在Jupyter Notebook中使用魔法命令记录代码块的执行时间。 开始训练 trainer.run(tgt_columnslabels) 开始模型的训练过程指定目标列为标签列。
API 解析
BertForSequenceClassification BERT模型的变体专门用于序列分类任务能够处理文本分类任务的输入。 auto_mixed_precision 用于自动应用混合精度训练结合使用不同的数据类型以提高训练效率。 nn.Adam Adam优化器常用于深度学习中的参数优化。 Accuracy 评估指标类用于计算模型的准确率。 CheckpointCallback 回调类用于在训练过程中保存模型检查点。 BestModelCallback 回调类用于自动保存和加载最佳模型。 Trainer MindSpore中用于管理整个训练过程的类负责模型训练和评估的实施。 run 启动训练过程的方法传入训练所需的参数。
模型验证
将验证数据集加再进训练好的模型对数据集进行验证查看模型在验证数据上面的效果此处的评价指标为准确率。
evaluator Evaluator(networkmodel, eval_datasetdataset_test, metricsmetric)
# 创建评估器传入训练好的模型、测试数据集和评估指标evaluator.run(tgt_columnslabels)
# 运行评估指定目标列为标签列代码解析
创建评估器 evaluator Evaluator(networkmodel, eval_datasetdataset_test, metricsmetric) 使用训练好的模型、测试数据集和指定的评估指标初始化评估器。networkmodel传入已经训练好的模型。eval_datasetdataset_test传入要评估的测试数据集。metricsmetric传入评估所使用的指标如准确率。 运行评估 evaluator.run(tgt_columnslabels) 调用评估器的 run 方法开始评估过程使用 tgt_columnslabels 指定要评估的目标列为标签列。
API 解析
Evaluator 用于评估模型性能的类能够帮助用户在特定数据集上计算和输出模型的评估指标。 run 方法用于执行评估过程通常会输出评估结果和性能指标比如准确率、F1分数等。 tgt_columns 指定在评估过程中需要关注的标签列通常是模型预测的目标列。
模型推理
遍历推理数据集将结果与标签进行统一展示。
# 加载待预测数据集
dataset_infer SentimentDataset(data/infer.tsv) def predict(text, labelNone):label_map {0: 消极, 1: 中性, 2: 积极} # 定义标签映射# 将输入文本进行分词并转换为Tensor格式text_tokenized Tensor([tokenizer(text).input_ids]) # 使用模型进行预测logits model(text_tokenized) # 获取预测标签取最大值的索引作为预测结果predict_label logits[0].asnumpy().argmax() # 格式化输出信息info finputs: {text}, predict: {label_map[predict_label]} if label is not None:info f , label: {label_map[label]} # 如果提供真实标签则输出真实标签print(info) # 打印信息# 遍历待预测数据集并进行预测
for label, text in dataset_infer:predict(text, label) 代码解析
加载待预测数据集 dataset_infer SentimentDataset(data/infer.tsv) 从指定的文件路径加载待预测的数据集这里是 infer.tsv 文件。 定义预测函数 def predict(text, labelNone): 定义一个 predict 函数接受文本输入和可选的真实标签。 标签映射 label_map {0: 消极, 1: 中性, 2: 积极} 创建一个字典将数值标签映射到对应的情感描述。 文本分词和转换 text_tokenized Tensor([tokenizer(text).input_ids]) 使用提前定义的分词器对输入文本进行分词并将生成的ID转换成Tensor格式以便输入到模型中。 模型预测 logits model(text_tokenized) 将分词后的文本输入到已训练的模型中获取预测结果logits。 获取预测标签 predict_label logits[0].asnumpy().argmax() 从模型输出的logits中获取预测标签通过取最大值的索引(argmax())来确定最可能的情感类别。 格式化输出信息 info finputs: {text}, predict: {label_map[predict_label]} 创建一个包含输入文本和预测结果的字符串。 if label is not None: 语句用于检查是否提供了真实标签如果有则将真实标签添加到输出信息中。 打印信息 print(info)输出格式化的信息到控制台。 遍历数据集并进行预测 for label, text in dataset_infer: 遍历待预测的数据集 dataset_infer对于每一对 (label, text)调用 predict 函数进行预测。
API 解析
SentimentDataset 自定义的数据集类用于加载情感分析任务的输入数据。 Tensor MindSpore中的数据结构用于存储和处理多维数据尤其是在深度学习中作为输入或输出。 tokenizer 分词器实例负责将文本转换为模型可以接受的ID格式。 model 已训练的情感分类模型用于对输入文本生成预测结果。 logits 模型的输出通常是每个类别的未归一化的得分使用 argmax() 获取预测标签。 argmax() NumPy中的函数用于返回数组中最大值的索引在此用来确定最可能的情感类别。
自定义推理数据集
自己输入推理数据展示模型的泛化能力。
predict(家人们咱就是说一整个无语住了 绝绝子叠buff)
