网站推广经验谷歌搜索引擎网址

lora
adapter
prefix-tuning
p-tuning
prompt-tuning

大模型微调后灾难行遗忘

1、主流解决大模型微调后灾难行遗忘的方法是在微调过程中加入通用的指令数据。
2、自我蒸馏方法主要是通过模型本身对任务数据进行生成引导，构建自我蒸馏数据集，改变任务数据的信息分布，减少与原始模型信息分布的差距。

• 大模型LLM-微调经验分享&总结

• 工业知识图谱关系抽取-高端装备制造知识图谱自动化构建

• 自我蒸馏方法-减轻大模型微调过程中的灾难性遗忘

• 【大模型开发 】 一文搞懂Fine-tuning（大模型微调）

• 大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning