网站创建设计SEO优化象客,wordpress搭建像册,公司网站架构,戴尔公司网站建设特点ChatGPT概述#xff1a;从模型训练到基本应用的介绍 目录
本文是对ChatGPT的由来、训练过程以及实际落地场景的解释#xff0c;主要内容包括如下三个方面#xff1a;
1、ChatGPT是什么 2、ChatGPT的原理 3、ChatGPT的思考 4、ChatGPT的应用 ChatGPT是什么
ChatGPT可能是近…ChatGPT概述从模型训练到基本应用的介绍 目录
本文是对ChatGPT的由来、训练过程以及实际落地场景的解释主要内容包括如下三个方面
1、ChatGPT是什么 2、ChatGPT的原理 3、ChatGPT的思考 4、ChatGPT的应用 ChatGPT是什么
ChatGPT可能是近期深度学习领域讨论非常频繁的一个概念。但ChatGPT到底是一个什么怎么给出一个定义呢。可以看下ChatGPT对自己的定义如下图 从定义以及我们使用过程中的感受可以得到如下的结论
ChatGPT是一个语言模型 了解人类偏好的语言模型是一个大规模预训练的模型表现形式是具备高智能的对话能力
对此新华社也给出了“新一代操作系统平台的雏形的”评价可见ChatGPT的横空出世确实带来了一些改变。
模型具有对话能力不是很新奇的事之前腾讯的混元、百度的ERNIE等大模型都具备对话能力让ChatGPT出圈并持续火爆的是ChatGPT在如下的测试中也取得了让人惊讶的成绩 上述的测试不是简单的对话能够解决的但ChatGPT同样表现得非常出彩那为什么ChatGPT能够这么优秀
ChatGPT的原理
过往大模型的发展方向不外乎更多的数据、更大的模型结构、更精细的处理方式以及更统一的输入输出等等。但这样训练的大模型更像是一个图书馆或者搜索引擎只具备知识的储存能力和简单的检索能力。
我们以“女朋友生气了怎么办”这个问题为例过往大模型从网络数据中经过预训练得到许许多多的答案你也生气讲道理沉默是金快速认错……但具体哪个答案更符合人类的偏好和认知模型是不知道的模型只能根据网络上答案给出反馈。
但可能上述的答案上下文是故意作答、心理测试题、乱写等等情况下的答案但这些过往的大模型是不知道的。
所以历史的大模型在训练和使用阶段是没有人工参与的没有学习到人类的认知和偏好仅仅是历史数据网络数据是存储和检索。 ChatGPT出世前OpenAI已经进行了一系列的探索包括生成代码的codex系列和text-davinci系列。这一系列模型的探索过程构成了指示学习和RLHF学习方式叠加后ChatGPT模型才终于横空出世。 监督学习人工反馈强化学习 - ChatGPT 从OpenAI的官方博客可以看出InstrctGPT和ChatGPT的训练过程如下存在的差异非常细微
训练数据上的差异base模型的差异 整体的训练思路InstrctGPT和ChatGPT是相同的均包括三个步骤
微调模型监督学习下的微调通过收集问题后进行人工答案的书写来微调GPT基模型得到SFT模型模型模型在微调的基础上通过模型对同一个问题产出不同答案人工标注答案之间的优劣排序得到RM模型RLHF在SFT模型和RM模型的辅助下通过强化学习的PPO策略最终得到终极模型ChatGPT/InstrctGPT
微调 训练过程的第一步微调。问题来源于早起的Platground的API人工对问题进行答案的生成。和其他大模型的微调过程是一样的。
这一步的目的是得到后续优化的基模型以及在强化学习过程中提供损失函数的约束。 反馈模型 训练过程第二步RM模型。在已经微调的SFT模型上通过同一个问题的不同输出进行人工优劣得分的标注生成对应的序列。
例如对于问题P得到的答案为A、B、C和D人工对答案进行排序为DCBA通过模型学习人工排序的结果。也就是让模型模仿人类排序的过程对SFT模型的输出能够给出优劣的判断。 GPT是字粒度的输出输出过程的每一步都是在概率分布上的采样因此同一个问题多次输入后会得到不同的输出 RLHF 训练过程第三部PPO策略的强化学习。在已有的SFT模型和RM模型上结合PPO策略的强化学习获得最终的ChatGPT/InstrctGPT。该步的大概流程如下
输入问题后目标模型以SFT模型初始化获取得到答案将问题和答案输入RM模型中得到该答案的得分将该答案通过PPO策略反馈给目标模型进行模型的更新 通过损失函数可以看出在实际的训练过程中RM模型和最终的目标模型均存在参数的更新 上面的三个步骤就是InstrctGPT/ChatGPT的大概训练流程。总结起来就是下图 ChatGPT的思考 将人类的偏好和认知引入模型训练并不是ChatGPT或者OpenAI的首创在2020年一篇做摘要的论文就提出了该思想。只能说是OpenAI的“钞能力”将该方法发扬光大了。
针对ChatGPT目前其在聊天、翻译、脚本、代码、文案……等诸多领域已经崭露头角了在ChatGPT表现其“无所不能”的同时我们也可以考虑下其目前存在的问题有哪些呢。 目前来说
ChatGPT的准确性已经非常高但对于特定问题可能在一本正经的胡说八道当然目前其不具备联网更新能力训练语料为2021年之前的最新的知识可能更新是一方面的问题关于逻辑性和数据的偏见是目前大模型普遍存在的问题期待后续模型能够在这方面带来惊艳的表现资源是限制ChatGPT普适性推广的核心关键其训练数据规模、推理依赖的资源都是海量的在这些成本没有降低前大模型应该还仅仅是固定厂商的利器。
ChatGPT的应用
随着ChatGPT的爆火也带来了一些实际的落地应用例如下面的几个应用都是非常有意思的
对话式PDF阅读助手通过上传文档然后对话沟通的方式获取论文、文献的内容要点AI PPT生成ChatGPT和AIGC结合产生的质变写作写故事、写文案、写小说、写PPT只要是文字范围的一切皆有可能
总的来说期待ChatGPT后续的表现。
