创业网站推广怎么做,常见的线下推广渠道有哪些,wordpress 企业网站 授权费,wordpress文章标题总有网站名本文我将使用 Google 的 Gemma-2b 模型来微调一个基于IT科技新闻正文来生成对应标题的模型。并且我将介绍如何使用高度集成的训练框架来进行快速微调。 开始前
为了尽可能简化整个流程，我将使用 linux-cn 数据集[1]作为本次训练任务的训练数据。
模型选择使用 Gemma-2b[2]，… 本文我将使用 Google 的 Gemma-2b 模型来微调一个基于IT科技新闻正文来生成对应标题的模型。并且我将介绍如何使用高度集成的训练框架来进行快速微调。 开始前
为了尽可能简化整个流程，我将使用linux-cn 数据集[1]作为本次训练任务的训练数据。
模型选择使用Gemma-2b[2]，在目前这个任务中 2b 级别的参数模型已经完全能满足当前的需求，当然你也可以尝试使用 7b 的模型。
我们在这里将直接使用LLaMA-Factory[3]训练框架来直接完成监督微调部分工作。当然该框架不仅支持监督微调（SFT）也支持预训练（PT）、奖励模型（RM）以及 PPO/DPO 的训练。
数据整理
linux-cn 数据集本身已经进行了数据的清洗和格式化，这一步我们只需要把我们需要的字段提取出后来后根据一定格式转换为 LLaMA-Factory 监督微调格式即可。
在本任务中，我们只需要数据集中的“title”和“content”两个字段即可。而 LLaMA-Factory 监督微调格式是如下格式的json文件。
[{"instruction":"Whatarethethreeprimarycolors?","input":"","output":"Thethreeprimarycolorsarered,blue,andyellow.Thesecolorsarecalledprimarybecausetheycannotbecreatedbymixingothercolorsandallothercolorscanbemad
