假网站备案,wordpress homeslide,交换友情链接是什么意思,网址大全123 上网导航1、Ollama 简介
Ollama 是一个开源的本地化大模型部署工具#xff0c;旨在简化大型语言模型#xff08;LLM#xff09;的安装、运行和管理。它支持多种模型架构#xff0c;并提供与 OpenAI 兼容的 API 接口#xff0c;适合开发者和企业快速搭建私有化 AI 服务。
Ollama …1、Ollama 简介
Ollama 是一个开源的本地化大模型部署工具旨在简化大型语言模型LLM的安装、运行和管理。它支持多种模型架构并提供与 OpenAI 兼容的 API 接口适合开发者和企业快速搭建私有化 AI 服务。
Ollama 的主要特点包括
轻量化部署支持在本地设备上运行模型无需依赖云端服务。多模型支持兼容多种开源模型如 LLaMA、DeepSeek 等。高效管理提供命令行工具方便用户下载、加载和切换模型。跨平台支持支持 Windows、macOS 和 Linux 系统。 2、DeepSeek-R1 简介
DeepSeek-R1 是由深度求索DeepSeek公司开发的高性能 AI 推理模型专注于数学、代码和自然语言推理任务。其核心优势包括
强化学习驱动通过强化学习技术显著提升推理能力仅需少量标注数据即可高效训练。长链推理CoT支持多步骤逻辑推理能够逐步分解复杂问题并解决。模型蒸馏支持将推理能力迁移到更小型的模型中适合资源有限的场景。开源生态遵循 MIT 开源协议允许用户自由使用、修改和商用。
DeepSeek-R1 在多个基准测试中表现优异性能对标 OpenAI 的 o1 正式版同时具有更高的性价比。 3、使用 Ollama 部署 DeepSeek-R1
3.1、安装 Ollama
下载 Ollama 访问 Ollama 官网根据操作系统Windows、macOS 或 Linux下载安装包并按照说明进行安装。
官网https://ollama.com/Githubhttps://github.com/ollama/ollama
验证安装在终端中运行以下命令验证安装
ollama --version如果安装成功命令行会显示 Ollama 的版本信息。
adminMac-miniM4 ~ % ollama --version
ollama version is 0.5.73.2、下载 DeepSeek-R1 模型
Ollama已支持DeepSeek-R1, 模型地址deepseek-r1 。 下载模型
根据自己的显存选择对应的模型macmini m4 16g 可流畅支持 7b。 使用以下命令下载 DeepSeek-R1 模型
ollama pull deepseek-r1:1.5b查看模型信息
下载完成后可以使用以下命令查看模型信息
ollama list该命令会显示已下载的模型列表包括名称、大小和路径等。
运行 DeepSeek-R1:
使用以下命令启动 DeepSeek-R1 模型
ollama run deepseek-r1:1.5b该命令会启动 DeepSeek-R1 模型并启动一个 REPL交互式终端你可以在这里输入问题模型会根据问题生成回答。
adminMac-miniM4 ~ % ollama run deepseek-r1:1.5b你好介绍一下你自己
think
您好我是由中国的深度求索DeepSeek公司开发的智能助手DeepSeek-R1。如您有任何任何问题我会尽我所
能为您提供帮助。
/think您好我是由中国的深度求索DeepSeek公司开发的智能助手DeepSeek-R1。如您有任何任何问题我会尽我所
能为您提供帮助。4、部署 Open-WebUI 增强交互体验
Ollama与Open WebUI结合可以提供更丰富的交互体验。 可选择任意支持Ollama的webUI如 AnythingLLM、Dify、Open-WebUI 等。
AnythingLLM更专注于文档知识库与问答场景自带向量检索管理可“多文档整合”接入 Ollama 后实现本地化问答。Dify功能多元适合对话流管理、插件化扩展、团队协同等复杂需求。只要能在其后台正确配置 Ollama 地址即可灵活调用。Open-WebUI定位纯聊天界面支持多模型集成你可以把它当做一个能“轻松切换模型、马上对话”的 Web 面板如果只是想单纯体验 Ollama 的生成效果Open-WebUI 是最方便的。
本文场景比较简单选择与Ollama结合比较紧密的open-webui。
Open-WebUIhttps://github.com/open-webui/open-webui官方文档https://docs.openwebui.com/getting-started/quick-start/
下载 Open-WebUI
本地使用 docker 部署Open-WebUI使用以下命令下载 Open-WebUI
docker pull ghcr.io/open-webui/open-webui:main启动 Open-WebUI
// 创建本地目录避免重启后数据丢失
mkdir /Users/admin/program/docker/instance/open-webui/data
cd /Users/admin/program/docker/instance/open-webui// 启动容器
docker run -d -p 3000:8080 -v $PWD/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main 启动成功后可在终端中查看容器状态通过浏览器访问Open-WebUIhttp://localhost:3000
配置 Ollama 地址
浏览器进入 Open-WebUI 后点击右上角的设置图标 进入设置页面。在“模型”选项卡中点击“添加模型”选择“Ollama”并输入 Ollama 的地址默认为 http://localhost:11434。
测试功能:
在 Open-WebUI 中你可以选择使用 Ollama 的不同模型新建对话并体验不同的功能。例如
智能客服输入“如何安装Ollama”。内容创作输入“为DeepSeek写一篇入门指南”。编程辅助输入“用 Java 实现快速排序”。教育辅助输入“解释牛顿第二定律”。
