商鼎营销型网站建设,南京建设银行官方网站,免费seo视频教学,单页销售网站制作制作1、历史 自20世纪50年代图灵测试被提出以来#xff0c;研究人员一直在探索和开发能够理解并掌握语言的人工智能技术。 作为重要的研究方向之一#xff0c;语言模型得到了学术界的广泛研究#xff0c;从早期的统计语言模型和神经语言模型开始#xff0c;发展到基于Transform…1、历史 自20世纪50年代图灵测试被提出以来研究人员一直在探索和开发能够理解并掌握语言的人工智能技术。 作为重要的研究方向之一语言模型得到了学术界的广泛研究从早期的统计语言模型和神经语言模型开始发展到基于Transformer的预训练语言模型。
2、现状 近年来研究者们发现通过扩大预训练语言模型的参数量和数据量大语言模型Large Language Model能够在效果显著提升的同时展示出许多小模型不具备的特殊能力如上下文学习能力、逐步推理能力等。 最近作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力对于整个AI研究社区带来了重大影响。
3、鸟瞰 3.1 大语言模型的定义 通常来说大语言模型指的是那些在大规模文本语料上训练、包含百亿级别或更多参数的语言模型例如GPT-3PaLMLLaMA等。 3.2 大语言模型与小模型的区别 目前的大语言模型采用与小模型类似的Transformer架构和预训练目标如 Language Modeling与小模型的主要区别在于增加模型大小、训练数据和计算资源。 3.3 大语言模型具备“涌现能力” 大语言模型的表现往往遵循扩展法则但是对于某些能力只有当语言模型规模达到某一程度才会显现这些能力被称为“涌现能力”代表性的涌现能力包括上下文学习、指令遵循、逐步推理等。 3.4 大语言模型取得成功的原因 目前大语言模型取得如此巨大的成就我们总结了五方面原因 1模型、数据和计算资源的扩展 2高效稳定的训练手段 3语言模型能力诱导 4对齐训练将大语言模型与人类偏好对齐 5工具使用潜在发展方向。
4、相关资源 图1 大语言模型发展时间线 4.1 开发大语言模型的公开可用资源 为了帮助大家速览大规模语言模型的发展进程概要了解模型的训练需求以及总结有助于训练的可用资源。我们简要总结了可以用于开发大语言模型的公开可用资源包括模型检查点model checkpoint或公开接口API训练语料库以及代码库。 4.2 检查点的模型model checkpoint 对于公开检查点的模型我们根据模型参数量分成两大类分别是百亿10B参数到千亿100B参数模型和大于千亿100B参数模型。在每一部分介绍时我们根据模型的预训练语料、任务或者评测给出研究不同能力时的推荐模型并且根据模型原论文罗列了预训练硬件配置。 4.3 公开接口API 对于公开接口我们重点介绍了OpenAI的GPT系列接口包括GPT-3系列到当前的GPT-4系列并简要介绍了部分接口之间的关系。 4.4 训练语料库 对于训练语料库我们简要总结了一列常用于训练大语言模型的公开数据集。我们按照内容将这些数据集分成了六类书籍类、CommonCrawl类、Reddit link类、维基百科类、代码类和其他。每一类我们都介绍了数据集的内容、大小以及被用于训练的模型。 4.5 代码库 对于代码库我们搜集了一些用于训练的代码库包括常用模型库和并行算法库。 项目访问地址https://github.com/RUCAIBox/LLMSurvey
5、预训练技术 预训练是大语言模型能力的基础。当语言模型的参数量扩展到超千亿级别时从头预训练一个大语言模型就成为一件十分困难且有挑战的事情。
1在数据层面如何收集尽可能多的高质量语料对预训练模型的效果十分关键。本章从预训练语料的收集出发主要探讨了数据的多种来源如对话、代码等和预处理清洗与编码并分析了预训练数据数量、质量、多样性等方面对模型效果的影响。
2在模型层面最引人关注的问题之一即是为什么大语言模型往往采用 Decoder-Only 架构本文从 Transformer 做语言模型的主干架构、具体模块和预训练任务三方面向读者们介绍如今大模型的常用方案并在最后结合文献讨论大家选用 Decoder-Only 架构的原因。
3在训练层面大参数量的模型非常难以优化。研究人员付出众多努力提出了若干增加训练稳定性及提升训练效率的方案。本章对 3D 并行、ZeRO 等被集成于 DeepSpeed 等代码库的相关训练技术进行归纳整理并在最后对如何稳定、高效地预训练一个大语言模型给出建议。
6、微调技术 预训练之后“适配微调”adaptation tuning可以进一步增强大语言模型能力并满足人类偏好。本章主要介绍了两种适配微调技术指令微调与对齐微调。 图2 指令格式实例示意图 指令微调通过收集指令格式的实例图2来微调大模型大大增强了模型遵循人类指令的能力能够让模型更好地泛化到未知任务。我们展示了两种收集指令格式实例的方法并讨论了任务数量、实例数量、实例设计等因素对指令微调效果的影响同时我们也总结了指令微调过程中常见的数据集合和训练细节方便研究者训练自己的模型。 图3 基于人类反馈的强化学习工作流程 对齐微调通过收集人类反馈数据利用强化学习进一步微调大模型使模型与人类对齐更加符合人类的偏好。我们首先讨论了三种常见的对齐标准有用性、诚实性和无害性接着展示了三种人类反馈收集方式最后介绍了基于人类反馈的强化学习流程图3。
7、使用技术 图4 两种使用技术上下文学习ICL和思维链提示CoT的对比 本章介绍了大模型完成训练之后的使用方法。其中的代表性技术是上下文学习它以自然语言文本的形式给大模型提供任务描述和/或任务示例。我们重点总结了如何设计有效的任务示例来增强大模型通过上下文学习完成下游任务的效果包括示例的选择、格式以及顺序。我们还从预训练和推理两个阶段讨论了大模型上下文学习能力的来源。 此外思维链提示也受到广泛关注它的做法是在提示中添加中间推理步骤来增强大模型在推理任务上的性能。根据提示中是否存在样例思维链提示的使用场景可以分为少样本和零样本两种情况。我们还讨论了思维链提示的适用场景以及大模型思维链推理能力的来源。
8、评估
为了评估大语言模型的有效性和优越性研究者在大量任务和评测基准上进行了评测与分析。我们从三个角度总结梳理了大语言模型的相关能力评估。
对于大模型的基础评测我们主要关注了三类任务包括语言生成任务、知识利用任务和复杂推理任务。总体来看大语言模型在各类基础任务中取得了令人瞩目的效果。但与此同时大语言模型在一些方面也存在亟待解决的问题包括可控性、幻觉、知识实时性、一致性等等。
除了上述基础任务外大模型还表现出了很多高级能力。我们着重讨论了人类对齐、外界环境交互、工具操作三大类高级能力及其对应的评估方法。这三种能力极大地丰富了语言模型的应用场景使得语言模型能做出符合人类价值观和偏好的行为对现实世界产生作用以及利用工具扩展能力边界。
接下来我们介绍了面向大语言模型的现有综合评测基准以及相关实证分析。研究者提出了许多综合评测基准用于全面的评测和比较大语言模型。同时另一大类工作着重于对大语言模型通用能力以及专业领域应用能力的分析。
9、总结
该综述文章系统回顾了大语言模型的最新进展介绍了重要概念与相关技术最后总结了大语言模型的若干挑战与未来研究方向
1大模型相关的理论和本质
2更优的模型架构
3更有效的训练方法
4更高效的使用策略
5安全性与一致性
6应用与生态。
