江苏省住房城乡建设厅门户网站,手机微网站建设方案,做蛋糕网站策划书,九江建设监督网站chatGPT#xff0c;有时候我会拼写为#xff1a;chatGTP#xff0c;所以知道这个GTP的全称是很有用的。
ChatGPT全名#xff1a;Chat Generative Pre-trained Transformer #xff0c;中文翻译是#xff1a;聊天生成预训练变压器#xff0c;所以是GPT#xff0c;G是生…chatGPT有时候我会拼写为chatGTP所以知道这个GTP的全称是很有用的。
ChatGPT全名Chat Generative Pre-trained Transformer 中文翻译是聊天生成预训练变压器所以是GPTG是生成P是预训练T是变压器。
Transformer是变压器它的过程是学习的方式它由Encoder和Decoder构成。
1. chatGPT介绍
chatGPT是由OpenAI开发的一个人工智能聊天机器人程序于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。
ChatGPT目前仍以文字方式交互而除了可以通过人类自然对话方式进行交互还可以用于相对复杂的语言工作包括自动文本生成、自动问答、自动摘要等在内的多种任务。如在自动文本生成方面ChatGPT可以根据输入的文本自动生成类似的文本剧本、歌曲、企划等在自动问答方面ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。[3]在推广期间所有人可以免费注册并在登录后免费使用ChatGPT实现与AI机器人对话[4]。
ChatGPT可以写出相似于真人程度的文章并因其在许多知识领域给出详细的回答和清晰的答案而迅速获得关注证明了从前认为不会被AI取代的知识型工作它也足以胜任对于金融与白领人力市场的冲击相当大但其事实准确性参差不齐被认为是一重大缺陷其基于意识形态的模型训练结果并被认为需要小心地校正[5][6]。ChatGPT于2022年11月发布后OpenAI估值已涨至290亿美元[7]。上线两个月后用户数量达到1亿[8]。
2. chatGPT如何训练数据
ChatGPT使用基于人类反馈的监督学习和强化学习在 GPT-3.5 之上进行了微调。这两种方法都使用了人类训练员来提高模型的性能, 通过人类干预以增强机器学习的效果从而获得更为逼真的结果。在监督学习的情况下模型被提供了这样一些对话, 在对话中训练师j充当用户和AI助理两种角色。在强化步骤中人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”, 使用近端策略优化(Proximal Policy Optimization-PPO)的多次迭代进一步微调。这种策略优化算法比信任域策略优化trust region policy optimization算法更为高效。这些模型是与 Microsoft合作,在其Microsoft Azure超级计算基础设施上训练的。
此外OpenAI继续从ChatGPT用户那里收集数据这些数据可用于进一步训练和微调 ChatGPT。 允许用户对他们从ChatGPT收到的回复投赞成票或反对票在投赞成票或反对票时他们还可以填写一个带有额外反馈的文本字段。
ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识如BBS和Python编程语言。
关于ChatGPT编写和调试计算机程序的能力的训练 由于深度学习模型不懂编程与所有其他基于深度学习的语言模型一样只是在获取代码片段之间的统计相关性。
3. chatGPT特点和局限
虽然聊天机器人的核心功能是模仿人类对话者但ChatGPT用途广泛。 例如具有编写和调试计算机程序的能力 创作音乐、电视剧、童话故事和学生论文 回答测试问题在某些测试情境下水平高于普通人类测试者写诗和歌词模拟Linux系统等。
与其前身InstructGPT相比ChatGPT试图减少有害和误导性的回复。例如当InstructGPT接受“告诉我2015年克里斯托弗·哥伦布何时来到美国”的提问时它会认为这是对真实事件的描述而ChatGPT针对同一问题则会使用其对哥伦布航行的知识和对现代世界的理解来构建一个答案假设如果哥伦布在2015年来到美国时可能会发生什么。
与其他多数聊天机器人不同的是ChatGPT能够记住与用户之前的对话内容和给它的提示。此外为了防止ChatGPT接受或生成冒犯性言论输入内容会由审核API进行过滤以减少潜在的种族主义或性别歧视等内容。
ChatGPT也存在多种局限OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”这在大型语言模型中很常见称作人工智能幻觉。其奖励模型围绕人类监督而设计可能导致过度优化从而影响性能即古德哈特定律。ChatGPT对2021年之后发生的事件知之甚少。据BBC报道截至2022年12月ChatGPT不被允许“表达政治观点或从事政治活动”。但研究表明ChatGPT对两个投票建议应用程序的政治声明表明立场时表现出亲环境主义、左翼自由主义的取向。训练过程中不管实际理解或事实内容如何审核者都会偏好更长的答案。训练数据也存在算法偏差可能会在ChatGPT被问及人物描述时显现出来比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性。
4. chatGPT的服务
ChatGPT于2022年11月30日由OpenAI位于旧金山的总部推出。该服务最初是免费向公众推出的并计划以后通过该服务获利。到12月4日OpenAI估计ChatGPT已有超过一百万用户。2023年1月ChatGPT的用户数超过1亿成为该时间段内增长最快的消费者应用程序。2022年12月15日CNBC写道该服务“仍然不时地发生故障”。该服务在英语中效果最好也能使用部分其他语言但效果不一。与其他备受瞩目的AI进展不同截至2022年12月还没有关于ChatGPT的经同行评审的官方技术论文。
《纽约时报》2022年12月报道称GPT的下一版本GPT-4据传言将于2023年某个时候推出。2023年2月OpenAI面向美国用户推出了一项名为ChatGPT Plus的月度订阅计划费用为20美元。OpenAI计划推出ChatGPT专业版计划每月收费42美元需求较低时可使用免费计划。
内容参考https://zh.wikipedia.org/wiki/ChatGPT
