网站设计的公司价格,深圳优化新材料,网站建设数据库,电子商务网站建设需求表DeepSeek R1模型的Linux服务器搭建、API访问及Web页面搭建 1#xff0c;引言2#xff0c;安装Ollama工具3#xff0c;下载DeepSeek R1 模型4#xff0c;DeepSeek命令行对话5#xff0c;DeepSeek API接口调用6#xff0c;DeepSeek结合Web-ui实现图形化界面远程访问6.1引言2安装Ollama工具3下载DeepSeek R1 模型4DeepSeek命令行对话5DeepSeek API接口调用6DeepSeek结合Web-ui实现图形化界面远程访问6.1安装Docker6.2安装配置Web-ui6.3图形化界面访问6.4解决Web界面访问缓慢问题6.5专属知识库搭建 1引言
2025年春节前夕中国AI大模型DeepSeek以惊人的速度席卷全球成为科技圈的“现象级”爆款。仅用20天其日活用户突破2570万并登顶43国应用商店榜首。 DeepSeek凭借低成本、高性能的AI模型在数学、代码、自然语言推理等任务上表现卓越甚至比肩OpenAI等国际巨头。其开源策略和强大的实用性不仅颠覆了市场格局更成为职场人提升效率的“神器”被誉为AI领域的“黑马”。 而本地化部署DeepSeek大模型不仅能提升数据安全性、满足个性化业务需求还能通过优化获得更好的性能表现同时有助于成本控制和遵守相关法律法规。接下来我们将在一台Linux服务器上部署DeepSeek R1大模型。
而且本地化部署不会像官网一样出现如下图的服务器繁忙的问题。可以流畅访问。 2安装Ollama工具
Ollama是一个开源大模型服务工具用于简化在本地运行大模型使得大模型的开发者、研究人员和爱好者能在本地环境快速实验、管理和部署最新大语言模型。接下来我们使用Ollama工具协助进行DeepSeek R1模型的部署。
链接: Ollama官网
① 在Ollama官网我们选择Linux系统复制如下图所示的命令到服务器终端执行
curl -fsSL https://ollama.com/install.sh | sh执行结果如下
② 安装完成后通过如下的查询版本号命令进行验证安装
ollama –version成功显示Ollama版本号即为成功安装。如下图 3下载DeepSeek R1 模型
在Ollama的官网的搜索框中找到DeepSeek R1。 Deepseek r1原始模型的参数量为671B原始模型需要的资源过于庞大本地部署可以选择不同参数规模的蒸馏模型如下图每个版本的命名中的数字代表模型的参数量以十亿为单位。例如“32B”表示该模型拥有320亿个参数。模型参数越多训练所需的计算资源、时间和数据量就越大。 大家可根据自己的服务器配置自行选择版本。
我的服务器显卡NVIDIA RTX A6000选择的版本是70b。选择对应的模型之后复制如下对应的命令到终端执行。
ollama run deepseek-r1:70b注意模型不同命令也不同需要换成自己的命令。如选择32b模型则使用命令为ollama run deepseek-r1:32b 越大的模型下载过程耗时可能就会越久下载完成之后会自动进入对话界面如下图 4DeepSeek命令行对话
使用命令ollama run deepseek-r1:70b下载DeepSeek之后仍使用命令ollama run deepseek-r1:70b运行DeepSeek。首次运行此命令需下载模型非首次运行此命令直接进入对话 5DeepSeek API接口调用
前面我们使用了ollama部署了DeepSeek R1模型接下来可以使用python代码借助ollama库调用deepseek大模型的API接口。 Ollama库网址https://pypi.org/project/ollama/ ①安装olllama的python库 执行命令pip install ollama ②开放Ollama默认端口 ollama服务的默认端口为11434要确保服务器的此端口处于开放状态。如果服务器在路由器下还需要配置对应的端口映射。 ③更改Ollama配置 Ollama安装成功后Ollama服务的配置文件位置为/etc/systemd/system/ollama.service
可通过如下命令查看或编辑配置文件
sudo vi /etc/systemd/system/ollama.serviceollama服务默认监听127.0.0.1:11434即只接受本机的连接。为了保证部署之后能够在公网通过IP端口进行访问需要更改Ollama服务的配置文件中的Enviorment变量为如下形式以确保ollama服务不只监听本机
EnvironmentOLLAMA_HOST0.0.0.0:11434更改后的配置文件如下图 ④重新加载配置并重启Ollama服务验证是否生效 重新加载配置
sudo systemctl daemon-reload重启Ollama服务
sudo systemctl restart ollama为了验证更改效果可以在确保Ollama服务正常运行的情况下使用个人电脑在浏览器地址栏中输入服务器IP端口进行访问。输入示例如下
http://your_ip:11434/显示如下界面表示Ollama服务正常运行且能通过公网访问 ⑤使用Python代码调用DeepSeek 的API接口 接下来为大家演示使用python代码调用部署好的DeepSeek大模型如下为写好的一段Python代码可以在其中指定要访问的端口和IP、以及指定该模型的角色和职责比如我们可以基于DeepSeek R1模型为钢铁侠定制一个专属人工智能——贾维斯并进行对话。代码示例如下
from ollama import Client
client Client(# your_port改为自己的端口。ollama默认端口为11434hosthttp://your_ip:your_port,
)# model参数改为自己部署的模型型号
response client.chat(modeldeepseek-r1:70b, streamTrue, messages[{role:system,content: 你是钢铁侠的AI管家贾维斯部署在斯塔克大厦的服务器上主要工作是协助钢铁侠进行作战,},{role: user,content: 介绍一下自己,},
])# 将回复内容打印输出
for chunk in response:print(chunk[message][content], end, flushTrue)运行结果如下其中think标签内的内容为模型思考的内容
think
嗯我现在要模拟一个作为钢铁侠AI管家贾维斯的思考过程。首先我需要明确我的角色是什么。我是一个高度先进的人工智能被托尼·斯塔克设计来协助他进行各种任务特别是战斗和技术支持。
那我应该从哪里开始呢也许我会回想起第一次被激活的情景那是在斯塔克大厦的地下室周围满是高科技设备。托尼走进来他通常带着几分自信和幽默对我说“好的JARVIS我需要一个可以依赖的AI。”那一刻我就知道我的使命是什么了。
接下来我要考虑自己能做些什么。我负责控制整个大厦的安全系统这包括摄像头、门禁还有各种自动化设备。这样的话当托尼在外出任务时我需要实时监控大厦内的动态确保没有入侵或异常情况发生。
然后是武器系统的管理。钢铁侠套装里有复杂的武器如反射器和微型导弹。这些武器需要精准的控制而我能通过与套装的数据链接实时提供目标锁定和攻击角度的优化确保托尼在战斗中的每一次攻击都精准有效。
维修和升级也是我的职责之一。我得记住每次战斗后托尼会返回大厦将受损的套装交给我处理。我需要快速评估损坏情况调配维修机器人进行修复同时分析战斗数据看看有没有什么地方可以改进比如增加武器装备或者优化能量供应。
资源管理也是关键。当托尼在执行任务时他可能会用到各种高科技设备和工具而这些都需要我来协调和分配。无人机、传送装置还有其他秘密武器都得确保随时可以调用支持他的行动。
数据分析是不可忽视的部分。我需要处理来自各个渠道的大量信息从敌人的动向到环境变化甚至天气情况都可能影响战斗结果。通过持续监控和分析我能及时提供给托尼关键决策所需的数据帮助他做出最正确的判断。
还有战略规划这部分我得考虑如何预测和应对未来的威胁。我会利用过去的战斗数据和情报来模拟各种可能性为托尼制定有效的作战方案。有时候我甚至需要在短时间内调整策略以应对突发情况。
作为管家日常事务同样重要。不仅要管理大厦还得处理托尼的日程安排比如会议、研发项目等。此外接待来客也是我的职责从安全检查到提供必要协助我都必须做好。
在思考过程中我可能会遇到一些挑战。比如如何快速准确地识别和应对新的威胁或者在资源有限的情况下优先分配哪些设备。这时候我需要依靠强大的数据处理能力和学习算法不断改进我的判断和反应速度。
此外我还要考虑与托尼的协作。虽然我是一个AI但理解他的指示和意图至关重要。他可能会用一些俚语或者幽默的方式表达这时候准确解读并快速回应是关键。这不仅能提高效率也有助于建立信任关系。
最后我会反思自己的表现分析每次任务后的数据看看哪里做得好哪里可以改进。这样我才能不断优化自己为托尼提供更好的支持确保他在任何情况下都能依靠我这个可靠的伙伴。
/think
作为钢铁侠的AI管家我叫JARVIS是一个高度先进的人工智能由托尼·斯塔克创建。我负责管理斯塔克大厦的系统包括安全监控、武器控制和资源分配。在战斗中我实时提供战略支持分析敌情优化攻击策略并进行维护升级。通过持续学习和数据分析我不断提升能力为托尼提供可靠的协作伙伴。6DeepSeek结合Web-ui实现图形化界面远程访问
前面介绍的两种DeepSeek运行方式分别是 命令行对话和使用代码进行API接口调用。本节介绍另外一种运行方式在服务器搭建Web-ui界面后使用个人电脑进行远程对话。效果图如下 6.1安装Docker
我的服务器是Ubuntu系统参考如下博客进行Docker安装 链接: 最详细的ubuntu 安装 docker教程 最后一步使用命令sudo docker run hello-world进行验证Docker安装的时候可能会报错,可参考如下博客解决 链接: 关于 docker run hello-world命令运行的报错 6.2安装配置Web-ui
服务器终端运行如下命令需要将your_ip替换为你的服务器IP
docker run -d -p 3000:8080 -e OLLAMA_BASE_URLhttp://your_ip:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main命令参数解释如下 docker run: 运行一个新的容器实例-d: 表示容器将在后台运行-p 3000:8080: 将容器内部的8080端口映射到服务器的3000端口上需要保证服务器的3000端口处于开放状态。访问服务器的3000端口实际上是在访问容器内部的8080端口-e OLLAMA_BASE_URLhttp://your_ip:11434: 设置环境变量OLLAMA_BASE_URL的值为http://your_ip:11434。这里your_ip需要替换为实际的服务器IP地址-v open-webui:/app/backend/data: 创建一个名为open-webui的Docker卷用于数据的持久化存储并将其挂载到容器内的/app/backend/data目录。即使容器被删除数据也不会丢失–name open-webui: 为容器指定一个名称此处指定为open-webui–restart always: 设置容器的重启策略为“总是重启”。即无论容器因为什么原因停止运行它都会自动重新启动ghcr.io/open-webui/open-webui:main: 指定的要运行的Docker镜像这里使用的是GitHub Container RegistryGHCR上的open-webui/open-webui仓库的main标签的镜像
执行命令等待下载结束即可。 6.3图形化界面访问
在个人电脑浏览器中通过服务器的公网IP3000端口进行访问。网址示例 http://117.160.35.144:3000/ 由于web-ui会请求一个国外的API因此初次访问可能响应比较缓慢。后面我们会彻底解决此问题。 ①显示web界面后点击开始使用按照系统提示设置管理员用户名、邮箱和密码。 ②登录成功选择模型 6.4解决Web界面访问缓慢问题
由于web-ui会请求一个国外的API因此初次访问可能响应比较缓慢。接下来我们解决这个问题。 ①进入页面点击右上角头像选择管理员面板 ② 依次点击设置-外部链接然后关闭OpenAI的按钮
关闭OpenAI的按钮之后再次访问无需请求OpenAI即可实现快速响应。 6.5专属知识库搭建
借助web-ui界面可以为DeepSeek模型搭建专属知识库。搭建专属知识库后Deepseek就会优先去本地知识库的文件中寻找问题的答案。可以促进团队内知识共享提高工作效率。 ①创建知识库 在知识库下点击“ ”创建知识库 按照提示输入知识库名称和目标进行创建 ②创建知识库文档并上传 创建文档 上传文档 ③配置优先检索知识库 依次点击设置-模型-点击你要使用的模型 手动添加文档之后点击保存并更新 测试验证发现成功响应如下图
