快速微信网站开发,网站首页title怎么修改,免保证金入驻电商平台,国家网站标题颜色搭配笔记整理#xff1a;张廉臣#xff0c;东南大学硕士#xff0c;研究方向为自然语言处理、信息抽取 链接#xff1a;https://arxiv.org/pdf/2305.02105.pdf 1、动机 在很多自然语言处理任务中#xff0c;上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是#xf… 笔记整理张廉臣东南大学硕士研究方向为自然语言处理、信息抽取 链接https://arxiv.org/pdf/2305.02105.pdf 1、动机 在很多自然语言处理任务中上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是其在关系抽取任务上的性能却不尽如人意。以GPT-3为例一些基于GPT-3的上下文学习抽取方法在关系抽取任务上不理想的效果主要来自于两个方面① 检索演示示例中实体、关系的相关度较低② 大语言模型具有将NULL例子错误分类成为预定义关系类型的强烈倾向。造成①的原因主要是以上方法通过随机选择或基于句子表示的K近邻法检索演示示例。这会导致演示示例实体、关系的相关度低造成②的原因主要是相对于符合预定义类型的示例NULL示例的复杂度更高该类型是包含各种未定义的关系的集合。针对以上问题该论文提出了结合实体感知检索策略和事实标签诱导策略的GPT-RE以提高基于大语言模型的上下文学习在关系抽取任务上的性能。 2、贡献 该论文的主要贡献包括 1提出了实体感知检索策略和事实标签诱导策略实体感知检索策略能够在演示检索中结合实体信息获取更适合关系抽取任务的表示事实标签诱导策略能够引导大语言模型输出更理想的结果 2通过实验验证了结合以上两种策略的基于大语言模型的上下文学习框架能够在关系抽取任务中取得很好的效果在测试数据集上的性能已经赶上甚至超过了现有全监督基线模型 3、方法 图1 GPT-RE框架 GPT-RE是一个使用GPT-3的基于上下文学习的关系抽取框架其具体方法如下 3.1 提示构建 GPT-RE的提示主要包括三部分分别是①任务描述和关系预定义类型②小样本演示示例③输入样本。提示包含的任务描述和关系预定义类型是对关系抽取的任务描述和其相关的关系预定义类型的一个简洁概括模型会根据这部分的内容输出预定义的关系类型若测试样本不属于任何预定义关系类型模型会输出NULL标签。小样本演示示例是输入模型的演示示例其中每条样例包含文本和该文本中所包含的关系演示示例可以通过后续推理过程进一步的丰富。输入样本为一条文本GPT-3的任务就是输入文本中实体对所对应的关系。 3.2 实体感知演示检索 因为演示示例在表示空间中接近测试样本可以使模型表现出更好的性能最近的一些工作使用K近邻法选出与测试样本句子表示最相近的演示示例。但是由于句子表示和关系抽取之间的差异原始上下文的表示在关系抽取任务中不足以完全作为检索演示示例的标准该论文提出了两种新的获取表示方法提升检索演示示例的质量。 3.2.1 实体提示句子表示 首先考虑到实体信息在关系抽取任务中的重要性作者利用实体对信息重建原始上下文。其具体做法是在原文中加入描述原文中实体对关系类型的内容。在计算句子相似度时作者使用了最新的健壮模型SimCSE来计算句子之间的相似度。 3.2.2 微调关系表示 由于关系表示在很多情况下天然地包含了实体表示的信息与将实体信息加入到上下文中相比更直接的解决方法是从微调模型中提取关系表示用于检索演示示例。作者认为这种方法可以潜在地弥补GPT-3在关系抽取任务中的局限性。虽然基于GPT-3的上下文学习只使用有限的演示示例但预训练模型的微调过程可以在整个训练集上进行。这种方法有两个优点首先直接使用适应关系抽取任务的关系表示可以显著提高整体检索质量其次由于微调后的模型可以准确识别NULL类型因此过度预测NULL问题将得到缓解。 3.3 事实标签诱导推理 最近的工作表明逻辑提示可以引导大语言模型获得理想输出。在该论文中作者让GPT-3通过相应的事实关系标签来生成每个演示示例的推理逻辑过程。例如给定一个选定的示例作者首先基于该示例文本提出一个提示然后利用GPT-3生成推理上下文中实体对之间关系类型的逻辑线索。最后作者通过将生成的线索与原始示例结合起来增强演示示例。 4、实验 该论文使用了三个开放领域关系抽取数据集和一个科学领域关系抽取数据集共四个数据集作为实验数据分别为Semeval 2010 task 8, TACRED, ACE05和SciERC。基于以上四个数据集的对比方法共分为两大类第一类为传统的微调基线模型如PURE第二类是基于GPT-3的基线模型如GPT-Random等。该论文对比了以上基线模型和GPT-RE在使用不同表示检索演示示例时的性能并对比了是否加入实施标签诱导推理提示时GPT-RE的性能差异其主实验结果如下图所示 图2 实验结果 此外该论文也进行了一系列消融实验和在低资源场景下的实验具体实验结果请参照原论文。 实验结果表明① 在检索演示示例时使用适合特定任务的句子表示是有必要的无论是使用GPT-RE_SimCSE还是GPT-RE_FT都取得了比GPT-Sent更好的效果② GPT-RE_FT表现出的性能表明基于GPT-3的上下文学习有潜力在关系抽取上取得很好的效果甚至已经在Semeval和SciERC上取得了SOTA效果③ 相比于GPT-RE_SimCSE推理模块对GPT-RE_FT的加成更小这说明GPT-RE_FT获得的演示示例在本实验中质量更高。同时小样本时推理模块会使模型具有更好的性能。 5、总结 总的来说该论文探索了GPT-3 上下文学习在关系抽取任务上的潜力。针对GPT-3在此任务上存在的问题该论文提出了两个策略弥补了基于GPT-3框架和目前SOTA基线模型的差距实验结果表明GPT-RE在三个数据集上显著优于微调基线模型并在Semeval和SciERC上实现了SOTA效果。同时作者对GPT-3如何克服现有困难如NULL标签的影响等进行了详细的实例分析以上工作对后续研究具有比较大的意义。 OpenKG OpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。 点击阅读原文进入 OpenKG 网站。
