襄阳网站建设八零后,在家做电商怎么做,建设银行网站公告,大冶网站开发文章目录 前言一、下载和部署1.1 下载1.2 环境安装1.3 模型推理 总结 前言
LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型#xff08;如 Chinese-LLaMA、ChatGLM等#xff09;的基础上扩充法律领域专有词表、大规模中文法律语料预训练如 Chinese-LLaMA、ChatGLM等的基础上扩充法律领域专有词表、大规模中文法律语料预训练增强了大模型在法律领域的基础语义理解能力。LaWGPT是本人尝试使用和微调的第一个法律专业领域的大语言模型自我感觉该模型很适合作为法律垂直领域大模型的入门级选手无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署LaWGPT和LaWGPT推理基本步骤希望可以帮助大家使用LaWGPT。
一、下载和部署
1.1 下载
首先执行git clone gitgithub.com:pengxiao-song/LaWGPT.git下载项目仓库但是可能会因为网络问题而失败因此可以直接在Github上下载LawGPT的基本框架。 之后需要下载权重文件chinese-alpaca-plus-7b-merged和基础模型lawgpt-lora-7b-v2。下载地址为chinese-llama-7b-merged和lawgpt-lora-7b-v2。下载好之后将基础模型lawgpt-lora-7b-v2放在entity303文件夹中需要新建chinese-alpaca-plus-7b-merged放在minlik文件夹中需要新建。
1.2 环境安装
服务器的版本为RTX 3090内存为24GB。Python版本为3.10ubuntu的版本为20.04Cuda的版本为11.6。
库名版本transformers4.35.2
cd LaWGPT/
conda create -n lawgpt python3.10 -y
source activate lawgpt
pip install -r requirements.txt其中requirements.txt修改如下其中peft库我是在官网上下载至LaWGPT目录下再进行pip install peft安装的
accelerate
appdirs
bitsandbytes
black
black[jupyter]
datasets
fire
transformers 4.35.2
gradio
sentencepiece
wandb
scipy
socksio1.3 模型推理
模型推理部分我直接是调用了infer.py而不是infer.sh需要额外安装fire库。infer.py文件中需要自己添加一下base_modellora_weight和prompt_template的路径两个部分别为 成功运行infer.py的截图如下所示 总结
LaWGPT对于专业的法律问题回答能力优秀希望大家可以通过我的分享来测试它❤️❤️❤️
