电子政务与网站建设工作总结,广西网站seo,那些论坛网站做的比较好,深圳营销网站建设联系方式说明#xff1a; 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B
简介 Ollama是一个开源的大型语言模型服务工具#xff0c;它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和管理大型语言模型#xff08;LLM 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B
简介 Ollama是一个开源的大型语言模型服务工具它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和管理大型语言模型LLM使得用户能够快速地在本地运行这些模型。它简化了部署过程通过简单的安装指令用户可以执行一条命令就在本地运行开源大型语言模型例如Llama 3.1。本地部署离线运行数据无需上传云端担心隐私泄露。
1、下载Ollama安装 官网地址https://ollama.com/ 依据自己操作系统类型下载相应版本。 2、 下载Docker安装 Open WebUI 在Docker环境中运行,下载Docker进行安装 官网地址https://www.docker.com/
3、在Docker中安装open-webui 确认Docker已经运行。 在Open WebUI 官网https://docs.openwebui.com/ 复制以下命令运行
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main执行完以上的命令会在docker中出现open-webui项目。通过http://localhost:3000/打开Open WebUI界面。 4、浏览器中打开Open WebUI 第一次登录要求你注册注册信息保存在本地。第一个注册的用户默认为系统管理员。注册完成后来到一个类似ChatGPT的界面。
5、设置拉取模型。 在第③步中可以访问https://ollama.com/library,在这里有很多常用的模型。 我这里选取的是llama3.1 复制命令在cmd下执行拉取model大约4.7G。稍等一会会。
或者复制大语言模型名称在Open WebUI中直接下载 同样的方法可以安装其它模型了。
6、选择模型让我们开始吧 选择模型后就可以对话了。
工作空间的简单应用 在https://openwebui.com/可以选择相应预设模型在页面中可以知道它采那个模型还有相应的 System Prompt。 综上所述Ollama作为一个强大的开源大模型管理工具它不仅能够助你高效地管理本地开源大模型更能显著提升工作效率。通过其丰富的功能和灵活的配置选项你可以轻松地组织、训练和调优各种模型满足不同的应用需求。而Open WebUI的引入提供了一个直观、便捷的Web界面使你无需深入技术细节也能轻松访问和管理Ollama的接口。
