红木家具网站模板,比较好的app创意想法,开发网站服务器,wap网站建设方案 pdf目录 前言1.安装ollama2.安装大模型3.安装HyperV4.安装Docker5.安装聊天界面6.总结 点我去AIGIS公众号查看本文 本期教程用到的所有安装包已上传到百度网盘 链接#xff1a;https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA 提取码#xff1a;wzw7 前言 最近开源大模型可谓闹… 目录 前言1.安装ollama2.安装大模型3.安装HyperV4.安装Docker5.安装聊天界面6.总结 点我去AIGIS公众号查看本文 本期教程用到的所有安装包已上传到百度网盘 链接https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA 提取码wzw7 前言 最近开源大模型可谓闹的沸沸扬扬尤其是Microsoft开源的wizardlm2 8*22b 和 Meta开源的llama3 70b评测都已经接近了OpenAI GPT4的水平。鉴于还有很多同学不会在WindowsWin10、Win11上部署和使用本地模型因此我们出一期保姆级教程。
1.安装ollama ollama是一个离线运行大模型的工具注意你可不要把它和Meta的大模型llama混淆二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。
2.安装大模型 ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama我们先进入到这个路径 然后在地址栏输入cmd后回车 此时会打开一个命令终端黑框 现在输入ollama run llama3 等待下载完成即可。恭喜你现在你可以开始问问题了 现在我们还有一个问题这个界面不好看我们要它的界面和OpenAI一样的风格可以必须满足你。 首次安装会自动打开该cmd界面 3.安装HyperV 先根据以下操作路径看看自己电脑有没有HyperV安装选项控制面板-程序-启用或关闭Windows功能-HyperV. 如果没有HyperV安装选项则新建一个.txt文件将以下内容拷贝进去,然后把文件后缀名改为.bat,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装HyperV
pushd %~dp0
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum hyper-v.txt
for /f %%i in (findstr /i . hyper-v.txt 2^nul) do dism /online /norestart /add-package:%SystemRoot%\servicing\Packages\%%i
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL4.安装Docker 直接在Docker官网https://www.docker.com/products/docker-desktop/下载最新版本的Docker Desktop我下载的是Docker Desktop4.28.0其中包含的Docker的版本是25.0.3Docker-Compose的版本是2.24.6。注意不要混淆Docker和Docker Desktop。如果是低版本的Docker Desktop那就需要自己手动安装Docker-Compose了。 配置一下Docker访问中国镜像源
{builder: {gc: {defaultKeepStorage: 20GB,enabled: true}},experimental: false,registry-mirrors: [http://f1361db2.m.daocloud.io,https://registry.docker-cn.com]
}配置完毕之后在cmd输入docker version确认一下是否安装成功了。
5.安装聊天界面 有了之前的操作之后接下来我们的操作就简单多了直接在cmd中运行以下命令安装聊天界面 docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 回到Docker界面看看是否已经在运行WebUI了图标亮起就表示已经在运行了点击后面的端口号就可以在浏览器中查看了。 先注册后登陆然后选择模型就可以开始聊天了。 后面得看看有没有办法在离线环境下打开这个聊天界面目前离线环境下打开界面还是不太方便。 6.总结 本文讲述了如何在WindowsWin10 Win11上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识相信不断学习的你一定不会被AI淘汰。这只是开始后面我们还有很多工作要做尤其是提示词和智能体方面的知识我们仍需要不断的学习后续我也会持续更新希望我们都能跟上时代的潮流。 更多精彩内容见公众号AIGIS
