东营招聘网最新招聘seo是什么牌子
本地离线运行Openweb-ui ollama容器化部署
- 说明
- 安装
- internet操作
- 内网操作
- 问题
- 线程启动错误
- 最终命令
- 总结
说明
最近公司有一个在内网部署一个离线大模型的需求，网络是离线状态，服务器有A100GPU，一开始是想折腾开源chatGML4大模型，因为使用过gml3，所以想着部署gml4应该不难。于是把模型和程序下载好，把模型导入到内网…发现不能使用网页版运行，只能使用客户端运行，用自带网页需要依赖gradio组件，该组件又需要联网…好吧，如果您知道怎么离线运行，请视我无知…于是查询，更换了一种更便捷的方案部署。Open-webui+ollama的方案，Open-webui是网页界面服务，ollama是大模型运行框架，支持多种大模型，只需要选择切换就能切换不同模型运行了。开整！
安装
internet操作
这里使用docker镜像容器的方式安装，简化部署和运行。
1.拉取镜像，这里虽然可以分别拉取Open-webui和ollama镜像，但是我仍然推荐你拉取一个镜像就好了。
docker pull ghcr.io/open-webui/open-webui:ollama
拉取完这个镜像，run起来就算部署完了。这个镜像是包含两个组件，并且是openwebui官网提供说明的下载地址。可能会有点慢，但是实测是可以拉取下来的。
2.run起镜像来。
docker run -d -p 3000:8080 --gpus=all -v /raid/Test/ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart