苏州建设工程检测协会网站,网站设计资源,网站搭建及应用教程,豪华跑车网站建设前言
这个开源项目是带我的一个导师#xff0c;推荐我看的#xff0c;记录一下整个过程#xff0c;总结一下收获。这个项目的slogan是“大道至简”#xff0c;确实很简。作者说是这个项目为了帮助初学者快速入门大语言模型#xff08;LLM#xff09;#xff0c;通过从零…前言
这个开源项目是带我的一个导师推荐我看的记录一下整个过程总结一下收获。这个项目的slogan是“大道至简”确实很简。作者说是这个项目为了帮助初学者快速入门大语言模型LLM通过从零开始训练一个仅26MB的微型语言模型MiniMind最快可在3小时内完成。降低学习LLM的门槛让更多人能够轻松上手。
MiniMind极其轻量约为GPT-3的1/7000适合普通个人GPU进行快速推理和训练。项目基于DeepSeek-V2和Llama3结构涵盖数据处理、预训练、指令微调SFT、偏好优化DPO等全部阶段支持混合专家MoE模型。所有代码、数据集及其来源均公开兼容主流框架如transformers和DeepSpeed支持单机单卡及多卡训练并提供模型测试及OpenAI API接口。
下面放一个官方给的结果 一、使用conda搭建环境
这里不做过多赘述了创建一个这个项目的独立虚拟环境在这个环境下装所需的库如下是我的软硬件环境配置根据自己情况酌情变动 Windows11Python 3.9Pytorch 2.1.2CUDA 11.8requirements.txt 二、准备数据集
下载到./dataset/目录下
MiniMind训练数据集下载地址tokenizer训练集HuggingFace / 百度网盘Pretrain数据Seq-Monkey官方 / 百度网盘 / HuggingFaceSFT数据匠数大模型SFT数据集DPO数据Huggingface
这里我就是用官方的了后续我会打包整体的上传上去免费下载要不**某网盘还得冲svip为了这个会员我差点叫了一声爸爸.....但是这里我想解释一下这个数据集因为一开始我确实不了解记录下来 Tokenizer训练集这个数据集用于训练分词器tokenizer其任务是将文本数据转化为模型可以处理的词汇单元。 Pretrain数据用于模型的预训练确保模型能够学习通用的语言模式。 SFT数据该数据集专门用于指令微调SFT使模型能够更好地理解和执行用户的具体指令。SFT是提高模型实际应用能力的重要步骤。 DPO数据这个数据集主要用于偏好优化DPO旨在帮助模型通过用户反馈来改进模型输出的质量和相关性从而更好地满足用户需求。 三、训练tokenizer
话不多说先上代码在记录一下我在看这个代码中了解的知识以及总结。
def train_tokenizer():# 读取JSONL文件并提取文本数据def read_texts_from_jsonl(file_path):with open(file_path, r, encodingutf-8) as f:for line in f:data json.loads(line)yield data[text]# 数据集路径data_path ./dataset/tokenizer/tokenizer_train.jsonl# 初始化分词器tokenizer使用BPE模型tokenizer Tokenizer(models.BPE())# 预处理为字节级别tokenizer.pre_tokenizer pre_tokenizers.ByteLevel(add_prefix_spaceFalse)# 定义特殊tokenspecial_tokens [unk, s, /s] # 未知token、开始token、结束token# 设置训练器并添加特殊tokentrainer trainers.BpeTrainer(vocab_size6400, # 词汇表大小special_tokensspecial_tokens, # 确保这三个token被包含show_progressTrue,# 初始化字母表initial_alphabetpre_tokenizers.ByteLevel.alphabet())# 读取文本数据texts read_texts_from_jsonl(data_path)print(texts)exit()# 训练tokenizertokenizer.train_from_iterator(texts, trainertrainer)# 设置解码器tokenizer.decoder decoders.ByteLevel()# 检查特殊token的索引assert tokenizer.token_to_id(unk) 0assert tokenizer.token_to_id(s) 1assert tokenizer.token_to_id(/s) 2# 保存tokenizertokenizer_dir ./model/yzh_minimind_tokenizeros.makedirs(tokenizer_dir, exist_okTrue)tokenizer.save(os.path.join(tokenizer_dir, tokenizer.json)) # 保存tokenizer模型# 保存BPE模型tokenizer.model.save(./model/yzh_minimind_tokenizer)# 手动创建配置文件config {add_bos_token: False,add_eos_token: False,add_prefix_space: True,added_tokens_decoder: {0: {content: unk,lstrip: False,normalized: False,rstrip: False,single_word: False,special: True},1: {content: s,lstrip: False,normalized: False,rstrip: False,single_word: False,special: True},2: {content: /s,lstrip: False,normalized: False,rstrip: False,single_word: False,special: True}},additional_special_tokens: [],bos_token: s,clean_up_tokenization_spaces: False,eos_token: /s,legacy: True,model_max_length: 1000000000000000019884624838656,pad_token: None,sp_model_kwargs: {},spaces_between_special_tokens: False,tokenizer_class: PreTrainedTokenizerFast,unk_token: unk,use_default_system_prompt: False,chat_template: {% if messages[0][role] system %}{% set system_message messages[0][content] %}{% endif %}{% if system_message is defined %}{{ system_message }}{% endif %}{% for message in messages %}{% set content message[content] %}{% if message[role] user %}{{ suser\\n content /s\\nsassistant\\n }}{% elif message[role] assistant %}{{ content /s \\n }}{% endif %}{% endfor %}}# 保存配置文件with open(os.path.join(tokenizer_dir, tokenizer_config.json), w, encodingutf-8) as config_file:json.dump(config, config_file, ensure_asciiFalse, indent4)print(Tokenizer training completed and saved.)
从代码上来看分词器使用的是BPE模型Tokenizer(models.BPE())这条代码就是初始化一个字节对编码Byte Pair EncodingBPE分词器直接使用库就可以但是这里我建议同学们去了解一下BPE这里我推荐一篇博客供大家学习。BPE 算法原理及使用指南【深入浅出】-CSDN博客 小辉问这里面有几个库的函数解释一下 gpt答
