南山制作网站公司,旅游商城网站模板,深圳公司建设网站,大连网站的优化最近已有不少大厂都在秋招宣讲了#xff0c;也有一些在 Offer 发放阶段。
节前#xff0c;我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。
针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了…最近已有不少大厂都在秋招宣讲了也有一些在 Offer 发放阶段。
节前我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。
针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。
总结链接如下
《大模型面试宝典》(2024版) 正式发布
喜欢本文记得收藏、关注、点赞。更多实战和面试交流文末加入我们星球 大语言模型的构建过程一般分为两个阶段即预训练、人类对齐对齐再细分为指令微调基于人类反馈强化学习
预训练-数据准备流程 原始语料库为了构建功能强大的语言模型需要从多元化的数据源中收集海量数据来进行训练。网页、书籍、代码、对话语料是主要的预训练数据。根据来源不同可以分为通用文本数据和专用文本数据。 数据预处理质量过滤、敏感内容过滤、数据去重。这一环节主要通过数据的规则特征、垂直定向小模型训练识别并去除质量差、有毒性、隐私的数据。 词元化将文本内容处理为最小基本单元用于后续的训练准备。
预训练-Transformer模型架构
Transformer是由多层的多头注意力Multi-head Self-attention模块堆叠而成的神经网络模型。原始Transformer模型由编码器和解码器两个部分构成而这两个部分实际上可以独立使用例如基于编码器架构的BERT模型和解码器架构的GPT模型后续文章再对Transformer进行详尽解析 指令微调
指令微调Instruction Tuning是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调也称为有监督微调或多任务提示训练。
指令微调的数据集构建 基于现有的NLP任务数据集构建学术界围绕传统NLP任务如机器翻译、文本摘要和文本分类等发布了大量的开源数据集合这些数据是非常重要的监督学习数据资源可以用于指令数据集构造。 基于日常对话数据构建用户在日常对话中的实际需求作为任务描述与人类真实诉求较为匹配增加数据的多样性。 基于合成数据构建借助已有高质量指令数据作为上下文学习示例输入给大语言模型进而生成大量多样化的任务描述和输入-输出数据。
指令微调的训练策略 优化设置指令微调中的优化器设置AdamW或Adafactor、稳定训练技巧权重衰减和梯度剪裁和训练技术3D并行、ZeRO和混合精度训练都与预训练保持阶段一致可以完全沿用。下面列出指令微调与预训练的不同之处。 数据组织平衡数据分布 参数高效微调如 低秩适配微调方法、适配器微调、前缀微调这里我们也留到后文进行详细介绍本文优先关注整体流程
人类对齐RM/RL强化学习阶段
人类对齐是一个较为抽象的概念难以直接进行形式化建模代表性的是有用性Helpfulness、诚实性Honesty和无害性Harmlessness主要由以下两个阶段
奖励模型训练这一步是使用人类反馈数据训练奖励模型首先使用语言模型针对任务指令生成一定数量的候选输出然后邀请标注员对于输出文本进行偏好标注形式多种最后使用偏好数据进行奖励模型的训练使其建模人类偏好。强化学习训练这一步语言模型对齐被转化为一个强化学习问题。具体来说待对齐语言模型担任策略实施者角色称为策略模型它接收提示作为输入并返回输出文本其动作空间是词汇表中所有词元状态指的是当前已生成的词元序列。奖励模型则根据当前语言模型的状态提供相应的奖励分数用于指导策略模型的优化。为了避免当前训练轮次的语言模型明显偏离初始强化学习训练之前的语言模型通常会在原始优化目标中加入一个惩罚项如KL离散度例如Instruct GPT使用PPO算法来优化待对齐语言模型以最大化奖励模型的奖励。对于每个输入提示InstructGPT计算当前语言模型与初始语言模型生成结果之间的KL离散度作为惩罚项。KL散度越大意味着当前语言模型越偏离初始语言模型。
