安阳网站设计哪家专业,兰州市建设厅网站,湛江做网站seo的,wordpress修改密码目录 配置要求安装Ollama选择大模型安装大模型对话备注 配置要求
我的电脑配置为#xff1a;
CPU#xff1a;i7 12代
GPU#xff1a;3080
内存#xff1a;32g
磁盘#xff1a;1T以上配置运行情况#xff1a;
运行ollama run deepseek-r1:7b模型无压力#xff0c;CPU/… 目录 配置要求安装Ollama选择大模型安装大模型对话备注 配置要求
我的电脑配置为
CPUi7 12代
GPU3080
内存32g
磁盘1T以上配置运行情况
运行ollama run deepseek-r1:7b模型无压力CPU/GPU使用率在 10% 左右。
运行ollama run deepseek-r1:32b模型输出明显变慢大概 1 秒 2 ~4个 TokenCPU/GPU使用率在 70% 左右。ChatGpt给出的部署推荐配置如下
1. DeepSeek-R1 系列轻量级部署
适用于个人开发者、小型研究团队或资源有限的服务器。
模型版本参数量显存需求推荐配置DeepSeek-R1-1.5B1.5B8GBRTX 3060 (12GB) / RTX 4060 Ti (16GB)DeepSeek-R1-7B7B24GBRTX 3090 / 4090 (24GB) / A6000 (48GB)DeepSeek-R1-14B14B40GBRTX 4090 (24GB, 量化后可跑) / A100 (40GB)DeepSeek-R1-32B32B80GBA100 80GB / H100 (80GB)DeepSeek-R1-70B70B128GB2×A100 80GB (或更大GPU集群)
建议
7B及以下的模型可以在高端消费级显卡上运行如4090但需要使用 4-bit/8-bit 量化 降低显存占用可用 bitsandbytes。14B以上的模型推荐使用 专业级显卡A100, H100或者 多卡并行 方案。
2. DeepSeek-V3 系列高性能部署
适用于企业、学术机构或大规模推理应用。
模型版本参数量显存需求推荐配置DeepSeek-V3 (37B 激活参数)37B128GBA100 80GB ×2 / H100 80GBDeepSeek-V3 (671B 总参数)671B1.5TBH100 80GB ×16 (或更大GPU集群)
建议
DeepSeek-V3 37B 可以在多张 A100 80GB 上运行如 2×A100 80GB建议采用 TPU 或多卡并行FSDP, ZeRO 进行优化。DeepSeek-V3 671B 需要 云端或超算集群适用于 数据中心 或 高端AI研究实验室。
实测 3080的 gpu也可以运行 32b模型只是输出会慢一些大概 1 秒 2 ~4个 Token。
安装Ollama
安装DeepSeek首先需要安装一个Ollama这个软件相当于运行DeepSeek模型的底层没有这个底层就没办法跑DeepSeek AI模型。
下载地址
https://ollama.com/点击下载windows版本 点击Install 默认在c盘不能修改需要5G的磁盘大小。
安装好了以后在开始菜单可以查看有没有Ollama应用
选择大模型
直接命令安装
DeepSeek提供的模型如下
版本1.5b适用于一般文字编辑使用需要1.1GB空余空间
ollama run deepseek-r1:1.5b版本7bDeepSeek的第一代推理模型性能与OpenAl-01相当包括从基于Llama和Qwen的DeepSeek-R1中提取的六个密集模型需要
4.7GB空余空间
ollama run deepseek-r1:7b版本8b需要4.9GB空余空间
ollama run deepseek-r1:8b版本14b需要9GB空余空间
ollama run deepseek-r1:14b版本32b需要20GB空余空间
ollama run deepseek-r1:32b版本70b需要43GB空余空间
ollama run deepseek-r1:70b版本671b需要404GB空余空间
ollama run deepseek-r1:671b官网选择模型
打开地址
https://ollama.com/search选择Models 选择deepseek-r1模型左侧选择模型参数右侧复制安装命令 安装大模型
打开终端如果选择复制7b版本可以复制如下命令
ollama run deepseek-r1:7b在终端内执行 等待下载完成 下载结束之后就有一小会儿出现【verifying sha256 digest】是在检查完整性之类的东西请耐心等待模型越大等待时间越长 成功之后会提示success
对话
安装成功后会可以直接输入问题按回车提问。 当然终端的展示效果还是不太好这时候就需要安装一下openWebUi需要docker环境如果没有安装docker的安装一个docker。
终端执行以下命令
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main等待docker启动成功 安装完成后通过如下地址访问openWebUi
http://localhost:3000 第一次进入需要设置一下管理员的账号密码。 随后进入主页左侧会展示当前我们运行的模型。然后你就可以尽情的问他了。
备注
查看当前本地ollama有的模型命令
ollama list运行已有模型命令
ollama run 模型名称示例
ollama run deepseek-r1:7b可供下载的模型
版本1.5b适用于一般文字编辑使用需要1.1GB空余空间
ollama run deepseek-r1:1.5b版本7bDeepSeek的第一代推理模型性能与OpenAl-01相当包括从基于Llama和Qwen的DeepSeek-R1中提取的六个密集模型需要
4.7GB空余空间
ollama run deepseek-r1:7b版本8b需要4.9GB空余空间
ollama run deepseek-r1:8b版本14b需要9GB空余空间
ollama run deepseek-r1:14b版本32b需要20GB空余空间
ollama run deepseek-r1:32b版本70b需要43GB空余空间
ollama run deepseek-r1:70b版本671b需要404GB空余空间
ollama run deepseek-r1:671b
