前端素材网站,做后期哪个网站素材好,网络架构书籍,工程公司简介模板前言
好久没写博客了#xff0c;最近大模型盛行#xff0c;尤其是ChatGLM3上线#xff0c;所以想部署试验一下。 本篇只是第一篇#xff0c;仅仅只是部署而已#xff0c;没有FINETUNE、没有Langchain更没有外挂知识库#xff0c;所以从申请资源——开通虚机——…前言
好久没写博客了最近大模型盛行尤其是ChatGLM3上线所以想部署试验一下。 本篇只是第一篇仅仅只是部署而已没有FINETUNE、没有Langchain更没有外挂知识库所以从申请资源——开通虚机——部署GLM3全程只用了18分钟后面试通其它步骤后会继续写的。
本篇文章参考了 程序员树先生 的“免费部署一个开源大模型 MOSS” 同时也参考了GLM3的github说明
一、申请阿里云机器学习平台PAI
本来是想在本地部署学习的但是笔记本电脑只是3060的消费显卡又搞不到A100甚至A10都搞不到正好阿里云有3个月免费的GPU资源可以体验所以正好一试。 只要没有申请过 PAI-DSW 资源的新老用户皆可申请 5000CU 的免费额度3个月内使用。 免费试用活动页 https://free.aliyun.com/
1、申请资源 具体申请步骤我就不多做阐述了大家可以参考上面树先生的文章虽然有一些小出入但大体是一样的。
2、创建实例大概率是容器 注1GPU规格可以选择V100的这个A10资源很少即使申请成功了后面重启经常没资源。 因为比较贵如果一直开着的话15天就用完了。好在阿里云有“闲置关机策略”系统会不定期对实例进行闲置检测判断对于闲置实例做自动关机处理。不过为了以防万一仍然建议及时主动关机。 注2因为GLM3对pytorch、cuda的版本有要求所以建议选择官方镜像里的较新的版本比如 pytorch2.0.1tensorflow2.13.0-cpu-py38-ubunt否则后面必定会报错提示版本老旧等问题。 或者也可以使用镜像URLdsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai/modelscope:1.9.5-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04
二、部署GLM3
部署GLM3包括其它类似的开源大模型步骤都是差不多的毕竟这些高校/大厂都帮大家封装好了所以并没有特别繁琐的步骤。 在我看来主要就是三步1、环境搭建2、git下载GLM3如果要本地化部署还要下载模型3、修改路径并启用
1、环境搭建
因为使用的是阿里云的PAI默认已经帮我们配置好了环境变量、网络装好了python甚至pytorch、tensorflow等等所以这些正常比较麻烦的操作已经不需要我们再搞了。 进入虚机后默认页面如下 点击terminal进入后面的步骤主要就是参考github上的GLM官方步骤了。
2、git下载GLM3注从这开始需要一点点的Linux基础
2.1 git clone下载GLM3仓库
2.1.1首先git clone下载GLM3仓库并切换到这个文件夹下
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM32.1.2 然后使用 pip 安装依赖
pip install -r requirements.txt2.2 git 下载本地模型
因为模型很大总共11.6GBgithub上很难下下来所以曲线救国从modelscope上git下载
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git这样就会在ChatGLM3这个文件夹下新出来一个chatglm3-6b文件夹
3、修改变量路径并启用
有2个文件需要修改变量路径一个是ChatGLM3下的“web_demo.py”另一个是chatgm3-6b下的“config.json”都是把默认的“THUDM/”修改为“/mnt/workspace/” 这里的修改可以使用vim也可以直接左边栏双击打开文件修改推荐
3.1ChatGLM3/chatglm3-6b下的config.json 3.2 ChatGLM3下的web_demo.py 3.3 启动web_demo.py
在ChatGLM3目录下进行启动
python web_demo.py直接点击上图第二个红框url会跳转打开一个web UI这样就完成了GLM3的大模型私有化部署
