简单的个人网站下载,搭建网站要多少钱,网站制作团队分工,wordpress阿里云图片不显示不出来本篇介绍如何在服务器上实现SD3.5模型的加载及推理#xff0c;不包含训练及微调。
磁盘扩容
autodl服务器在关机状态下#xff0c;进行扩容#xff1a;
选择要扩容的大小#xff08;比如我这里已经扩了80G#xff0c;默认有50G免费的#xff09;#xff0c;就会有一…本篇介绍如何在服务器上实现SD3.5模型的加载及推理不包含训练及微调。
磁盘扩容
autodl服务器在关机状态下进行扩容
选择要扩容的大小比如我这里已经扩了80G默认有50G免费的就会有一个计费出来 扩容完成后配置开机就会自动生效类似地也可以选择“升级配置”扩卡如果有需要的话。
下载模型
下载模型这里折腾了挺久还是选择国内源最便捷。魔塔社区有点像HF的意思。 可以使用SDK或者git clone也可以选择使用modelscope命令下载建议用1、3方式下载可以断点续传
# 安装modelscope
pip install modelscope# 下载repo到指定路径
modelscope download --model AI-ModelScope/stable-diffusion-3.5-large --local_dir ./stable-diffusion-3.5-large
默认下载到系统盘路径/root/.cache/modelscope/hub/AI-ModelScope/stable-diffusion-3.5-large这里需要指定到数据盘路径虽然它的日志给出了误导人的提示。
开始推理
使用离线模型文件修改后的推理脚本
import torch
from diffusers import StableDiffusion3Pipelinemodel_path stable-diffusion-3.5-large
pipe StableDiffusion3Pipeline.from_pretrained(model_path, torch_dtypetorch.bfloat16
)
pipe.enable_model_cpu_offload()image pipe(prompta photo of a cat holding a sign that says hello world,negative_prompt,num_inference_steps40,height1024,width1024,guidance_scale4.5,
).images[0]image.save(sd3_hello_world-1.png)
有一个问题是官方给的代码是使用pipe.to(cuda)全让GPU干了但是实测下来一块4090依然扛不住所以改为代码里的pipe.enable_model_cpu_offload()让CPU也一起来分担。这样就可以完美完成推理。
系统监控非必须
安装监控所需要的包
apt install net-tools
apt install vnstat
apt install sysstatsar -n DEV 5 10每5s执行一次一共执行十次
rootautodl-container-da9843af01-9a6b176e:~/autodl-tmp/stable-diffusion-3.5-large# sar -n DEV 5 10
Linux 5.15.0-94-generic (autodl-container-da9843af01-9a6b176e) 11/12/24 _x86_64_ (192 CPU)06:43:45 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
06:43:50 lo 0.80 0.80 0.07 0.07 0.00 0.00 0.00 0.00
06:43:50 eth0 13095.20 5037.80 24062.36 443.36 0.00 0.00 0.00 1.9706:43:50 IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
06:43:55 lo 0.40 0.40 0.13 0.13 0.00 0.00 0.00 0.00
06:43:55 eth0 13445.51 4715.57 24038.59 419.16 0.00 0.00 0.00 1.97我这里只是想测一下实际下载过程中的网络情况。 当然autodl也提供了监控选项
拓展资料modelscope 的使用手册
