国外免费网站空间,公司公共邮箱怎么申请,网站能不能自己做,首码项目发布平台本地部署DeepSeek-R1:8b大模型 一、摘要及版本选择说明1.1 摘要1.2 版本选择 二、下载并安装Ollama三、运行DeepSeek-R1:8b大模型四、安装Open WebUI增强交互体验五、关闭Ollama开机自动启动六、DeepSeek大模型启停步骤 一、摘要及版本选择说明
1.1 摘要
作为一名对 AI 和生成… 本地部署DeepSeek-R1:8b大模型 一、摘要及版本选择说明1.1 摘要1.2 版本选择 二、下载并安装Ollama三、运行DeepSeek-R1:8b大模型四、安装Open WebUI增强交互体验五、关闭Ollama开机自动启动六、DeepSeek大模型启停步骤 一、摘要及版本选择说明
1.1 摘要
作为一名对 AI 和生成式模型感兴趣的开发者或学习者了解如何在小规模环境中部署这些模型是有趣且有益的。在个人笔记本上部署 DeepSeek-R1 是一种具有挑战性的但非常有价值的实践。它不仅可以帮助你快速实现文本生成和问答功能还能通过不断解决遇到的问题提升你的技术能力和对 AI 模型的理解。尽管过程中可能会遇到资源不足、配置复杂等问题但通过仔细规划和持续学习最终可以成功完成部署并享受到模型带来的便利。本文将介绍下载安装Ollama的方法并且根据个人电脑的配置选择合适的DeepSeek版本进行安装部署测试然后通过安装部署Open-WebUI交互页面来增强使用大模型的体验的整个过程。
1.2 版本选择
DeepSeek R1对硬件资源比较友好对不同硬件配置有良好的适应性能根据用户计算机硬件配置选择合适的模型版本。入门级设备拥有4GB 存和核显就能运行1.5BBillion十亿大模型参数的数量版本进阶设备8GB内存搭配4GB显存就能驾驭7B版本高性能设备则可选择32B版本。而且DeepSeek R1支持低配置电脑即使是没有独立显卡的低配置电脑只要有足够的空余硬盘空间如部署最大的6710亿参数的大模型需要至少1TB的空余空间也能完成部署。 本人电脑配置支持DeepSeek-R1:8b因此选择部署DeepSeek-R1:8b大模型。
二、下载并安装Ollama
下载Ollama 访问Ollama官网 点击“Download”根据操作系统下载自己操作系统对应的安装包比如Windows用户可以点击“Windows”图标然后点击“Download for Windows”下载安装包。需要注意的是对于Windows系统这里仅支持Windows10及其以上版本。 安装Ollama 下载完成后双击【OllamaSetup.exe】在弹窗中点击【Install】默认安装即可。当安装成功后一般会在电脑右下角有个提示框如果你点击该提示框会打开cmd如下图所示 可以在该cmd中输入命令查看当前ollama的版本 ollama --version执行效果如下 如果你没有看到电脑右下角的那个弹窗可以自己打开cmd然后执行上述查看版本命令也是可以的具体如下
三、运行DeepSeek-R1:8b大模型
蒸馏模型 DeepSeek团队已经证明大型模型的推理模式可以被提炼到小型模型中与通过小型模型的强化学习发现的推理模式相比可以获得更好的性能。 以下是通过使用DeepSeek-R1生成的推理数据针对研究社区广泛使用的几个密集模型进行微调而创建的模型。 运行或下载模型 在cmd中运行如下命令 ollama run deepseek-r1:8b该命令执行时会进行如下两个方向的操作 本地模型检查Ollama 会检查本地是否已经下载并缓存了 deepseek-r1:8b 模型。它会在 Ollama 默认的模型存储目录中查找该模型的相关文件。模型下载如果本地没有找到该模型Ollama 会尝试从其默认的模型注册表通常是 Ollama 官方的模型仓库下载 deepseek-r1:8b 模型。在下载过程中会显示下载进度信息直到模型文件全部下载完成并存储到本地。 执行成功后效果如下 测试模型能否正常推理 在刚刚运行ollama run deepseek-r1:8b的cmd窗口中输入相关的问题如下所示 秒级得到回复性能还是很好的给deepseek点赞 可选检查一下运行deepseek-r1:8b用掉了多少GPU 如果你本地电脑有Nvidia显卡且已经安装了cuda可在cmd中输入nvidia-smi命令查看GPU使用情况
四、安装Open WebUI增强交互体验
这种命令行的交互方式不是特别友好因此我们安装Open WebUI来增强交互体验。当然只要是支持Ollama的WebUI都可以如Dify、AnythingLLM等。这里使用比较简单而且也是与Ollama结合比较紧密的Open WebUI。可以在cmd命令行窗口中执行如下命令安装Open WebUI注意这里使用国内清华大学的安装源镜像这样可以加快安装速度。具体步骤如下 检查本地电脑是否安装Microsoft Visual C Build Tools 按下 Win R 组合键打开 “运行” 对话框。在对话框中输入 appwiz.cpl 并回车打开 “程序和功能” 窗口。在程序列表中查找 “Visual Studio Build Tools” 相关的条目。如果能找到类似 “Microsoft Visual Studio Build Tools 20xx”xx 代表具体版本号的程序说明已经安装了 Visual C Build Tools。 我电脑没有查到如图所示 如果此时执行pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple命令时报错如下 需要安装Microsoft Visual C Build Tools 到微软官网下载 下载完成后的安装包为vs_BuildTools.exe双击vs_BuildTools.exe安装包进行安装。 在弹出的安装界面中如下图所示在界面左上角的“桌面应用和移动应用”下方选中“使用C的桌面开发”然后点击界面右下角的“安装”按钮完成安装。 点击【安装】按钮会看到如下页面 等待一会儿就完成了安装如下图所示 点击【确定】按钮然后关闭“Visual Studio Install”安装窗口即可。 确保本地已经Python环境 python --version执行安装open-webui的命令 pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple执行过程如下 可以执行如下命令启动Open WebUI服务 open-webui serve注意如果启动以后看到下面界面说明还没有启动成功需要继续等待。可以敲击几次回车。 在继续等待过程中可能屏幕上会出现一些错误信息里面会包含如下内容 这个错误信息说明启动过程连接Hugging Face Hub失败。Hugging Face Hub网站在国外所以经常会连接失败所以导致open-webui启动过程始终停止不动。 直到出现下面屏幕信息以后才说明启动成功了。 启动后在浏览器中访问http://localhost:8080/即可进入Open WebUI界面。如果网页显示“拒绝连接”无法访问Open WebUI界面一般是由于你的计算机开启了Windows防火墙可以关闭本地电脑防火墙即可。 如正常访问会看到如下 点击【开始使用】进入填写邮箱页面即需要注册一个管理员账号如图所示然后就可以开始使用了。 此时会看到如下页面如看不到需要确保ollama服务已启动在任务管理器可查看 点击【确认开始使用】按钮然后会看到我们自己部署的模型 可以在对话框中输入你想要对话的内容比如“请问如何快速高效地学习并掌握deepseek大模型”然后回车页面就会给出DeepSeek R1的回答结果如图所示
五、关闭Ollama开机自动启动
在Windows 中如果想要将应用程序设置为开机自启动其步骤如下
按下 Win R 组合键打开 “运行” 对话框输入 shell:startup 并回车这会打开 “启动” 文件夹。找到 Ollama 的可执行文件通常在安装目录下创建其快捷方式。将创建好的快捷方式复制或移动到 “启动” 文件夹中。 我们可以按照这个方法检查并确认Ollama应用程序是否是开机自启动通过如上步骤我们得知ollama确实被设置成了开机自启动
由于ollama安装完成后会默认被设置成开启自动为了节省当我们不需要使用ollama时的资源可以将其关闭掉。具体步骤如下
打开任务管理器点击左侧【启动应用】选项找到ollama如图所示 把鼠标指针放到“已启动”上面单击鼠标右键在弹出的菜单中点击“禁用”然后关闭任务管理器界面。经过这样设置以后Ollama以后就不会开机自动启动了。
六、DeepSeek大模型启停步骤
停止大模型 当我们本次使用完大模型时只需要关闭各个cmd命令行窗口大模型就停止运行了。启动大模型及open-web步骤如下 可选确保ollama应用程序处于启动状态该步骤如关闭Ollama开机自启动的话需要先启动ollama服务新建一个cmd命令行窗口在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型ollama run deepseek-r1:8b再新建一个cmd命令行窗口在cmd命令行窗口中执行如下命令启动Open WebUI服务open-webui serve在浏览器中访问大模型对话页面 在浏览器中访问http://localhost:8080/即可进入Open WebUI界面开始使用大模型。
