java如何做网站西安网站定制开发

前言

  上篇文章记录了使用lora微调llama-1b，微调成功，但是微调llama-8b显存爆炸，这次尝试使用qlora来尝试微调参数体量更大的大语言模型，看看64G显存的极限在哪里。

1.Why QLora?

• QLoRA 在模型加载阶段通过 4-bit 量化大幅减少了模型权重的显存占用。
• QLoRA 通过 反量化到 BF16 进行训练，在保持计算精度的同时，进一步节省显存和提高效率。
• QLoRA 在加载、训练、以及权重存储等多个方面都进行了优化，从而有效地减少了显存使用。
  总结：比Lora节省显存！！

2.LLaMA-Factory支持模型

如上图所示，这是LLaMA-Factory所有支持的大语言模型，你可以选择你感兴趣的模型进行微调。
LLaMA-Factory

3.尝试Llama-3.2-3B

• 下载Llama-3.2-3B-Instruct