建设政务网站报告,wordpress能支持微信排版,阿里企业邮箱价格,文化传媒公司名字大全人工智能咨询培训老师叶梓 转载标明出处
传统的语言模型#xff0c;尤其是经过指令微调的大型模型#xff0c;虽然在零样本#xff08;zero-shot#xff09;任务泛化上表现出色#xff0c;但它们高度依赖于人类编写的指令数据。这些数据往往数量有限、多样性不足#xf…人工智能咨询培训老师叶梓 转载标明出处
传统的语言模型尤其是经过指令微调的大型模型虽然在零样本zero-shot任务泛化上表现出色但它们高度依赖于人类编写的指令数据。这些数据往往数量有限、多样性不足且缺乏创造性限制了模型的泛化能力。为了解决这一问题由华盛顿大学、德黑兰理工大学、亚利桑那州立大学、约翰霍普金斯大学以及艾伦人工智能研究所的研究人员联合提出了一种名为“SELF-INSTRUCT”的框架旨在通过自举bootstrapping的方式利用预训练语言模型自身的生成能力提升其遵循指令的能力。
论文链接https://arxiv.org/pdf/2212.10560
项目链接https://github.com/yizhongw/self-instruct
方法
SELF-INSTRUCT方法是一种自动化流程用于生成任务指令、过滤数据并对语言模型进行微调以提高其遵循指令的能力。旨在生成包含一组指令的数据集每个指令定义了一个自然语言中的任务。每个任务包含至少一个输入输出实例。例如指令“写一篇关于学校安全的作文”可以直接作为任务指令也可以将其分解为“写一篇关于以下主题的作文”和实例输入“学校安全”。 图 2 显示整个过程从一个小的种子任务集开始这些任务构成了任务池。然后从任务池中随机抽取任务用作提示prompt来引导现成的语言模型LM生成新的指令和相应的实例。接下来通过过滤掉质量较低或相似的生成内容将剩余的有效任务添加回初始的任务库中。这些经过筛选的数据随后可以用于对语言模型本身进行指令调优以使其更好地遵循指令。图中展示的任务是由 GPT3 生成的。这个过程是一个迭代的自举算法通过这种方式可以不断扩大任务集并提高模型遵循新指令的能力。自动化指令数据生成流程包含四个主要步骤 生成任务指令SELF-INSTRUCT从一组种子人类编写的指令开始通过自举的方式生成新指令。初始任务池包含175个任务每个任务包含一条指令和一个实例。 确定任务类型为了区分分类任务和非分类任务使用少量种子任务中的指令来提示语言模型进行判断。 实例生成根据指令和任务类型独立生成每个指令的实例。对于分类任务采用输出优先方法Output-first Approach首先生成可能的类别标签然后根据每个类别标签生成输入。对于非分类任务采用输入优先方法Input-first Approach首先生成输入字段然后产生相应的输出。 过滤和后处理为了确保多样性只有当新指令与现有指令的ROUGE-L相似度小于0.7时才将其添加到任务池中。同时排除包含特定关键词如“图像”、“图片”、“图表”的指令因为这些通常无法由语言模型处理。
在生成了大规模指令数据后研究者使用这些数据对原始语言模型进行微调。通过将指令和实例输入串联起来作为提示并训练模型以标准监督学习的方式生成实例输出。 表1描述了通过将 SELF-INSTRUCT 应用于 GPT3 生成的数据的基本统计信息包括指令数量、分类指令数量、非分类指令数量、实例数量、平均指令长度、平均非空输入长度和平均输出长度。研究者使用了伯克利神经解析器Berkeley Neural Parser来分析指令中的动词-名词结构并提取了最常见的动词和直接宾语。这些分析结果展示了指令的多样性。
为了评估生成数据的质量作者随机抽取了200个指令并请专家注释员对每个实例的正确性进行了评估。评估结果显示大多数生成的指令是有意义的尽管有些生成的实例可能包含噪声但它们仍然在正确的格式或部分正确这对训练模型遵循指令提供了有用的指导。图3为生成指令中最常见的 20 个动词内圈和它们的前 4 个直接宾语外圈。这些指令虽然多样但只占所有生成指令的 14%。 想要掌握如何将大模型的力量发挥到极致吗叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。9月22日晚实战专家1小时讲解让您轻松上手学习如何使用 Llama Factory 微调模型。 加助理微信提供直播链接amliy00729.9元即可参加线上直播分享叶老师亲自指导互动沟通全面掌握Llama Factory关注享粉丝福利限时免费CSDN听直播后的录播讲解。 LLaMA Factory 支持多种预训练模型和微调算法。它提供灵活的运算精度和优化算法选择以及丰富的实验监控工具。开源特性和社区支持使其易于使用适合各类用户快速提升模型性能。 实验
研究者使用生成的指令数据对GPT3模型本身进行了指令调整。这个过程通过OpenAI的微调API完成使用了各种模板将指令和输入串联起来并训练模型生成输出。微调使用了默认的超参数设置除了将提示损失权重设置为0并训练了2个周期。通过这种方式微调后的模型被命名为GPT3SELF-INST。
研究者评估了以下基线模型
现成的语言模型T5-LM和GPT3作为未经额外微调的基线模型。公开可用的指令调整模型T0和T-INSTRUCT这两个模型基于T5进行了指令调整并且公开可用。指令调整的GPT3模型InstructGPT由OpenAI基于GPT3开发以更好地遵循人类指令。
研究者首先评估了模型在典型NLP任务上遵循指令的零样本能力。使用的是SUPERNI评估集包含119个任务每个任务有100个实例。实验主要关注零样本设置即模型仅根据任务定义进行提示没有上下文示例。实验结果显示SELF-INSTRUCT显著提高了GPT3的指令遵循能力。与未经SUPERNI特别训练的其他模型相比GPT3SELF-INST性能更好接近InstructGPT001的性能。
尽管SUPERNI在收集现有NLP任务方面非常全面但这些任务大多偏向于分类任务并且是为了研究目的而提出的。为了更好地评估指令遵循模型的实际价值研究者策划了一组新的、以用户为导向的指令集。这组指令涵盖了多种领域如电子邮件写作、社交媒体、生产力工具、娱乐和编程等。研究者创造了252个指令每个指令有一个实例。这些指令旨在测试指令模型处理多样化和不熟悉指令的能力。 图6 展示了GPT3模型及其指令调整变体在这些新编写的指令集上的性能由人类专家进行评估。评估者根据模型的响应是否准确有效完成任务将输出分为四个等级正确且满意的响应、可接受但有小错误的响应、回应指令但内容有重大错误的响应、不相关或完全无效的响应。结果显示GPT3SELF-INST在所有经过公开指令数据集训练的GPT3变体中表现最佳并且与InstructGPT001的性能非常接近。
研究者还探讨了数据规模和质量对模型性能的影响。通过从生成的数据集中抽取不同数量的指令对GPT3进行微调并评估结果模型在252个用户导向指令集上的性能。结果表明随着数据规模的增加模型性能持续改善但在达到16K后几乎趋于平稳。 图 7 展示了使用不同大小指令数据集进行调优的 GPT3SELF-INST 模型的人类评估性能。研究者们还评估了通过从 InstructGPT003 最好的通用模型中提取输出来提高数据质量是否能进一步提升性能。结果显示所得到的模型比使用原始数据训练的模型性能提高了10%这表明通过人类专家或从更好的模型中提取来提高数据质量有很大的空间。
综上所述SELF-INSTRUCT方法不仅提高了GPT3的指令遵循能力而且通过实验验证了其在多样化任务上的有效性。这些实验结果为未来在指令调整领域的研究提供了有价值的见解和方向。
