杭州做网站哪家便宜,京东网站建设缺点,建设网站哪里来的资源,三亚专业网站建设ollama帮助我们可以快速在本地运行一个大模型#xff0c;再整合一个可视化页面就能构建一个chatGPT#xff0c;可视化页面我选择了chat-ollama#xff08;因为它还能支持知识库#xff0c;可玩性更高#xff09;#xff0c;如果只是为了聊天更推荐chatbox
部署步骤
下载…ollama帮助我们可以快速在本地运行一个大模型再整合一个可视化页面就能构建一个chatGPT可视化页面我选择了chat-ollama因为它还能支持知识库可玩性更高如果只是为了聊天更推荐chatbox
部署步骤
下载ollama并启动参考https://ollama.com/download
# 启动命令
ollama serve下载chat-ollama参考https://github.com/sugarforever/chat-ollama。本人使用docker安装的
docker compose up
# 如果您是第一次启动需要初始化 SQLite 数据库在新的控制台运行
docker-compose exec chatollama npx prisma migrate dev访问chat-ollama网址http://localhost:3000配置ollama地址 点击models下载模型llama2-chinese。因为Llama 2 本身的中文比较弱。开始聊天
注意
llama2-chinese模型最少要8G内存
7b models generally require at least 8GB of RAM13b models generally require at least 16GB of RAM
CPU跑的太慢用GPU的话也要差不多8G显存
