淮安软件园有做网站的吗,视频推广渠道有哪些,网页设计与制作简答题,html5网站模板怎么用模型简介
BERT全称是来自变换器的双向编码器表征量#xff08;Bidirectional Encoder Representations from Transformers#xff09;#xff0c;它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、…模型简介
BERT全称是来自变换器的双向编码器表征量Bidirectional Encoder Representations from Transformers它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构因此一定要熟练掌握Transformer的Encoder的结构。
BERT模型的主要创新点都在pre-train方法上即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
在用Masked Language Model方法训练BERT的时候随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。
因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务增加了Next Sentence Prediction预训练任务目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比Next Sentence Prediction更简单些训练的输入是句子A和BB有一半的几率是A的下一句输入这两个句子BERT模型预测B是不是A的下一句。
BERT预训练之后会保存它的Embedding table和12层Transformer权重BERT-BASE或24层Transformer权重BERT-LARGE。使用预训练好的BERT模型可以对下游任务进行Fine-tuning比如文本分类、相似度判断、阅读理解等。
对话情绪识别Emotion Detection简称EmoTect专注于识别智能对话场景中用户的情绪针对智能对话场景中的用户文本自动判断该文本的情绪类别并给出相应的置信度情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景能够帮助企业更好地把握对话质量、改善产品的用户交互体验也能分析客服服务质量、降低人工质检成本。
下面以一个文本情感分类任务为例子来说明BERT模型的整个应用过程。
import osimport mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, contextfrom mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy
# prepare dataset
class SentimentDataset:Sentiment Datasetdef __init__(self, path):self.path pathself._labels, self._text_a [], []self._load()def _load(self):with open(self.path, r, encodingutf-8) as f:dataset f.read()lines dataset.split(\n)for line in lines[1:-1]:label, text_a line.split(\t)self._labels.append(int(label))self._text_a.append(text_a)def __getitem__(self, index):return self._labels[index], self._text_a[index]def __len__(self):return len(self._labels)
数据集
这里提供一份已标注的、经过分词预处理的机器人聊天数据集来自于百度飞桨团队。数据由两列组成以制表符\t分隔第一列是情绪分类的类别0表示消极1表示中性2表示积极第二列是以空格分词的中文文本如下示例文件为 utf8 编码。
label--text_a
0--谁骂人了我从来不骂人我骂的都不是人你是人吗
1--我有事等会儿就回来和你聊
2--我见到你很高兴谢谢你帮我
这部分主要包括数据集读取数据格式转换数据 Tokenize 处理和 pad 操作。
# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
!tar xvf emotion_detection.tar.gz 数据加载和数据预处理¶
新建 process_dataset 函数用于数据加载和数据预处理具体内容可见下面代码注释。
import numpy as npdef process_dataset(source, tokenizer, max_seq_len64, batch_size32, shuffleTrue):is_ascend mindspore.get_context(device_target) Ascendcolumn_names [label, text_a]dataset GeneratorDataset(source, column_namescolumn_names, shuffleshuffle)# transformstype_cast_op transforms.TypeCast(mindspore.int32)def tokenize_and_pad(text):if is_ascend:tokenized tokenizer(text, paddingmax_length, truncationTrue, max_lengthmax_seq_len)else:tokenized tokenizer(text)return tokenized[input_ids], tokenized[attention_mask]# map datasetdataset dataset.map(operationstokenize_and_pad, input_columnstext_a, output_columns[input_ids, attention_mask])dataset dataset.map(operations[type_cast_op], input_columnslabel, output_columnslabels)# batch datasetif is_ascend:dataset dataset.batch(batch_size)else:dataset dataset.padded_batch(batch_size, pad_info{input_ids: (None, tokenizer.pad_token_id),attention_mask: (None, 0)})return dataset
昇腾NPU环境下暂不支持动态Shape数据预处理部分采用静态Shape处理
from mindnlp.transformers import BertTokenizer
tokenizer BertTokenizer.from_pretrained(bert-base-chinese)
tokenizer.pad_token_id
dataset_train process_dataset(SentimentDataset(data/train.tsv), tokenizer)
dataset_val process_dataset(SentimentDataset(data/dev.tsv), tokenizer)
dataset_test process_dataset(SentimentDataset(data/test.tsv), tokenizer, shuffleFalse)
dataset_train.get_col_names() [input_ids, attention_mask, labels]print(next(dataset_train.create_tuple_iterator())) [Tensor(shape[32, 64], dtypeInt64, value
[[ 101, 872, 679 ... 0, 0, 0],[ 101, 1557, 8024 ... 0, 0, 0],[ 101, 6929, 1168 ... 0, 0, 0],...[ 101, 2828, 800 ... 0, 0, 0],[ 101, 1521, 1506 ... 0, 0, 0],[ 101, 6820, 1962 ... 0, 0, 0]]), Tensor(shape[32, 64], dtypeInt64, value
[[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],...[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0],[1, 1, 1 ... 0, 0, 0]]), Tensor(shape[32], dtypeInt32, value [0, 0, 1, 1, 1, 1, 1, 2, 1, 1, 0, 0, 1, 1, 1, 2, 1, 0, 1, 1, 0, 1, 1, 2, 1, 1, 1, 1, 1, 1, 1, 0])]模型构建
通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型加载预训练权重设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作提高训练的速度然后实例化优化器紧接着实例化评价指标设置模型训练的权重保存策略最后就是构建训练器模型开始训练。
from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision# set bert config and define parameters for training
model BertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels3)
model auto_mixed_precision(model, O1)optimizer nn.Adam(model.trainable_params(), learning_rate2e-5)
metric Accuracy()
# define callbacks to save checkpoints
ckpoint_cb CheckpointCallback(save_pathcheckpoint, ckpt_namebert_emotect, epochs1, keep_checkpoint_max2)
best_model_cb BestModelCallback(save_pathcheckpoint, ckpt_namebert_emotect_best, auto_loadTrue)trainer Trainer(networkmodel, train_datasetdataset_train,eval_datasetdataset_val, metricsmetric,
%%time
# start training
trainer.run(tgt_columnslabels) The train will start from the checkpoint saved in checkpoint.Epoch 0: 100% 302/302 [04:1200:00, 4.21s/it, loss0.3291704] Checkpoint: bert_emotect_epoch_0.ckpt has been saved in epoch: 0.Evaluate: 100% 34/34 [00:0700:00, 1.10s/it] Evaluate Score: {Accuracy: 0.9361111111111111}
---------------Best Model: bert_emotect_best.ckpt has been saved in epoch: 0.---------------Epoch 1: 100% 302/302 [02:3300:00, 2.02it/s, loss0.18864435] Checkpoint: bert_emotect_epoch_1.ckpt has been saved in epoch: 1.Evaluate: 100% 34/34 [00:0400:00, 7.94it/s] Evaluate Score: {Accuracy: 0.9629629629629629}
---------------Best Model: bert_emotect_best.ckpt has been saved in epoch: 1.---------------Epoch 2: 100% 302/302 [02:3400:00, 1.98it/s, loss0.12532383] The maximum number of stored checkpoints has been reached.
Checkpoint: bert_emotect_epoch_2.ckpt has been saved in epoch: 2.Evaluate: 100% 34/34 [00:0400:00, 8.05it/s] Evaluate Score: {Accuracy: 0.9805555555555555}
---------------Best Model: bert_emotect_best.ckpt has been saved in epoch: 2.---------------Epoch 3: 100% 302/302 [02:3400:00, 1.97it/s, loss0.08664711] The maximum number of stored checkpoints has been reached.
Checkpoint: bert_emotect_epoch_3.ckpt has been saved in epoch: 3.Evaluate: 100% 34/34 [00:0400:00, 8.11it/s] Evaluate Score: {Accuracy: 0.9916666666666667}
---------------Best Model: bert_emotect_best.ckpt has been saved in epoch: 3.---------------Epoch 4: 100% 302/302 [02:3400:00, 1.97it/s, loss0.060646668] The maximum number of stored checkpoints has been reached.
Checkpoint: bert_emotect_epoch_4.ckpt has been saved in epoch: 4.Evaluate: 100% 34/34 [00:0400:00, 7.80it/s] Evaluate Score: {Accuracy: 0.9879629629629629}
Loading best model from checkpoint with [Accuracy]: [0.9916666666666667]...
---------------The model is already load the best model from bert_emotect_best.ckpt.---------------
CPU times: user 22min 1s, sys: 13min 27s, total: 35min 28s
Wall time: 15min 9s模型验证
将验证数据集加再进训练好的模型对数据集进行验证查看模型在验证数据上面的效果此处的评价指标为准确率。
evaluator Evaluator(networkmodel, eval_datasetdataset_test, metricsmetric)
evaluator.run(tgt_columnslabels) Evaluate: 100% 33/33 [00:0700:00, 1.12s/it] Evaluate Score: {Accuracy: 0.8947876447876448}模型推理¶
遍历推理数据集将结果与标签进行统一展示。
dataset_infer SentimentDataset(data/infer.tsv)
def predict(text, labelNone):label_map {0: 消极, 1: 中性, 2: 积极}text_tokenized Tensor([tokenizer(text).input_ids])logits model(text_tokenized)predict_label logits[0].asnumpy().argmax()info finputs: {text}, predict: {label_map[predict_label]}if label is not None:info f , label: {label_map[label]}print(info)
from mindspore import Tensorfor label, text in dataset_infer:predict(text, label) inputs: 我 要 客观, predict: 中性 , label: 中性
inputs: 靠 你 真是 说 废话 吗, predict: 消极 , label: 消极
inputs: 口嗅 会, predict: 中性 , label: 中性
inputs: 每次 是 表妹 带 窝 飞 因为 窝路痴, predict: 中性 , label: 中性
inputs: 别说 废话 我 问 你 个 问题, predict: 消极 , label: 消极
inputs: 4967 是 新加坡 那 家 银行, predict: 中性 , label: 中性
inputs: 是 我 喜欢 兔子, predict: 积极 , label: 积极
inputs: 你 写 过 黄山 奇石 吗, predict: 中性 , label: 中性
inputs: 一个一个 慢慢来, predict: 中性 , label: 中性
inputs: 我 玩 过 这个 一点 都 不 好玩, predict: 消极 , label: 消极
inputs: 网上 开发 女孩 的 QQ, predict: 中性 , label: 中性
inputs: 背 你 猜 对 了, predict: 中性 , label: 中性
inputs: 我 讨厌 你 哼哼 哼 。 。, predict: 消极 , label: 消极自定义推理数据集
自己输入推理数据展示模型的泛化能力。
predict(家人们咱就是说一整个无语住了 绝绝子叠buff) inputs: 家人们咱就是说一整个无语住了 绝绝子叠buff, predict: 中性
