广东装饰网站建设贵港网站seo

1. 准备环境

        首先必须有7个G的显存以上，torch >= 1.10 需要根据你的cuda版本

1.1 模型下载

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm-6b

1.2 docker环境搭建

环境搭建

$ sudo docker pull slpcat/chatglm-6b:latest
$ sudo docker run -it -d -v /data/:/workspace --name chatglm --gpus all -p 9017:9017 -p 9018:22 slpcat/chatglm-6b:latest bash 
$ sudo docker exec -it chatglm bash

备份环境

$ sudo docker pull trentaml/chatglm-6b:202303252200

1.2.1 容器中搭建ssh(便于远程开发)

$ apt update && apt install openssh-server
$ mkdir /var/run/sshd && echo 'root:passwd' | chpasswd
$ sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
$ sed 's@session\srequired\spam_loginuid.so&