网站建设类的职位,想学服装设计,电商网站开发的代价,网站建设的开发方式和费用原文链接#xff1a; https://aclanthology.org/2022.findings-acl.124.pdf ACL 2022 介绍 问题 目前基于span的跨度量学习#xff08;metric learning#xff09;的方法存在一些问题#xff1a; 1#xff09;由于是通过枚举来生成span#xff0c;因此在解码的时候需要额… 原文链接 https://aclanthology.org/2022.findings-acl.124.pdf ACL 2022 介绍 问题 目前基于span的跨度量学习metric learning的方法存在一些问题 1由于是通过枚举来生成span因此在解码的时候需要额外处理重叠的span 2non-entites类别的原型通常都是噪声 3跨域时最有用的信息就是当前领域有限的样本之前的方法只将这些样本用于分类的相似性计算。 IDEA 作者提出分解元学习decomposed meta-learning的方法来解决Few-shot ner任务实体的边界检测和实体的分类。 将span检测作为序列标注问题并通过引入MAMLmodel-agnostic metalearning 不是很懂 可以参考这篇文章Model-Agnostic Meta-Learning MAML模型介绍及算法详解 - 知乎训练span detector从而找到一个能快速适应新实体类别的模型参数进行初始化对于实体分类作者提出MAML-ProtoNet来找到一个合适的向量空间对不同类别的span进行分类。
方法 整个方法的整体结构如下所示 Entity span Detection span detection模型用于定位输入句子中的实体该模块是类别无关的学到的只是实体的边界信息即领域不变的内部特征而不是特定的领域信息因此就能跨域进行实体定位。
Basci Detector 作者使用BIOES标注框架给定一个有L个token的序列使用encoder 来获得所有token的上下文表征对于每个token 使用一个线性分类层来计算其是否是实体的一部分 模型的损失如下所示 使用每个token的交叉熵损失这里引入最大值是为了缓解损失相对较高的token导致的学习不充分问题。推理阶段通过Viterbi算法进行解码。
Meta-Learning Procedure 在该阶段作者对边界检测模型进行训练。 首先从train数据集中进行随机采样得到对模型执行inner-update 其中表示在学习率为α时n步的梯度更新来最小化loss公式3。 然后在query set中对更新后的模型进行评估同时通过汇总多个时间来执行meta-update 上式中的二阶导数使用其一阶近似值进行估算 meta-test阶段首先将在support set上训练好的span detection迁移到新领域然后对query样本进行相应的预测。
Entity Typing
Basic Model: ProtoNet 给定输入序列L用公式1的方法计算word embedding hi并按以下方式计算span的表征 对于每个类别yk使用这个support set中属于该类别的所有span来计算原型ck 训练过程中首先使用support set中的训练数据计算所有类别的原型然后对于query set中的每个span通过计算其表征与每个类别原型ck的距离来得到属于每个类别的分数 最小化分类的交叉熵损失来训练原型网络 推理阶段首先利用训练好的模型计算所有训练集中所有类别的原型然后使用边界检测模型得到span按照公式10为每个span进行分类 MAML Enhanced ProtoNet 在训练集中进行随机采样得到。对于inner-update首先为每个类别计算原型然后将每个span作为query对模型参数进行更新 在meta-update阶段使用重新计算每个类别的原型即在query set上对r进行验证同样的使用一阶导数近似值提高计算效率 训练过程中没有见过的数据首先利用support中的样本来对meta-learned的模型进行微调微调好后再计算每个类别的原型最后基于这些原型进行分类。
实验
对比实验 在Intra和Inter这两种数据设置下进行实验结果如下图所示 在Cross-Dataset数据集上进行实验结果如下所示 消融实验 对主要模块进行了消融实验结果如下所示 其他 对不同类别的span表征进行了可视化 结论 这篇论文没有很看懂去看了以下Meta-learning的相关内容也没有很明白似乎就是meta-learning就是为模型训练出一个更合适的参数使其能够更快的应用于新领域。上周看的一篇论文感觉跟这篇很像不过不知道是不是在Few-shot ner中用原型学习的很多感觉还挺像的。
