织梦网站网址变了如何搬家,网站目录管理模板,网站风格发展趋势,外贸网站怎么做会吸引眼球大语言模型极速部署#xff1a;Ollama 与 One-API 完美搭建教程 本文将介绍如何通过命令行工具部署 Ollama 和 One-API#xff0c;帮助你快速搭建私有化大模型。 一、安装 Ollama
Ollama 是一个容器化的应用#xff0c;方便部署和管理 AI 模型。以下是安装 Ollama 的步骤。…大语言模型极速部署Ollama 与 One-API 完美搭建教程 本文将介绍如何通过命令行工具部署 Ollama 和 One-API帮助你快速搭建私有化大模型。 一、安装 Ollama
Ollama 是一个容器化的应用方便部署和管理 AI 模型。以下是安装 Ollama 的步骤。
1. 使用安装脚本安装 Ollama
首先执行以下命令来安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh这会自动下载并执行安装脚本安装完毕后Ollama 应该已经成功安装到你的系统中。你可以通过以下命令验证安装是否成功
ollama --version如果你看到版本号输出说明安装成功。
2. 常用命令
Ollama 提供了许多实用的命令可以帮助你轻松管理 AI 模型和容器服务。
1. 查看 Ollama 版本
查看当前安装的 Ollama 版本
ollama --version2. 搜索模型
Ollama 提供了一个方便的搜索界面可以让你快速查找并下载模型。访问以下链接来搜索模型
Ollama 模型搜索地址
你可以根据关键词、类别或者模型类型搜索感兴趣的模型。
3. 列出已安装模型
查看当前 Ollama 上已经安装的所有模型
ollama models list4. 拉取Pull模型
要下载一个模型你可以使用 ollama pull 命令。假设你已经找到并决定下载一个模型例如 “gpt4”
ollama pull gpt4这会从 Ollama 的在线仓库下载 gpt4 模型并将其存储到本地。
5. 运行模型
运行一个已下载的模型你可以使用 ollama run 命令。例如运行 gpt4 模型
ollama run gpt4这会启动 gpt4 模型并开始处理输入请求。
6. 删除已安装的模型
如果你不再需要某个模型可以使用 ollama remove 命令删除它
ollama remove gpt47. 更新模型
保持你的模型更新也是很重要的。使用以下命令来更新所有已安装的模型
ollama update3.Ollama 端口修改
如何自定义ollama的服务器地址和端口 #1357
添加 OLLAMA_HOST0.0.0.0:6006 系统环境变量并重启 ollama。
二、部署 One-API
One-API 是一个开源项目可以帮助你在容器中快速搭建 API 服务。你可以选择使用 SQLite 或 MySQL 作为后端数据库存储。
1. 使用 SQLite 部署 One-API
如果你选择使用 SQLite 数据库进行存储可以通过 Docker 来快速部署 One-API。
执行以下命令
docker run --name one-api -d --restart always -p 3000:3000 -e TZAsia/Shanghai -v /data/one-api:/data justsong/one-api:v0.6.11-alpha.7--name one-api指定容器名称为 one-api。-d让容器在后台运行。--restart always容器退出后会自动重启。-p 3000:3000映射容器的 3000 端口到宿主机的 3000 端口。-e TZAsia/Shanghai设置容器时区为上海。-v /data/one-api:/data将宿主机的 /data/one-api 目录挂载到容器内的 /data 目录以便持久化数据。
如果你使用 SQLite可以通过上述命令完成 One-API 的部署。
2. 使用 MySQL 部署 One-API
如果你希望使用 MySQL 数据库你需要在上面的命令基础上增加数据库连接的环境变量。你可以通过如下命令进行部署
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSNroot:123456tcp(localhost:3306)/oneapi -e TZAsia/Shanghai -v /data/one-api:/data justsong/one-api-e SQL_DSNroot:123456tcp(localhost:3306)/oneapi设置数据库连接字符串root:123456 是数据库的用户名和密码localhost:3306 是 MySQL 数据库的地址和端口oneapi 是数据库名称。请根据实际情况修改这些参数。
3. 配置数据库
在使用 MySQL 时你需要确保 MySQL 数据库已经安装并配置好。以下是 MySQL 数据库的创建和配置步骤 登录 MySQL mysql -u root -p创建数据库 CREATE DATABASE oneapi;创建数据库用户并授权 CREATE USER root% IDENTIFIED BY 123456;
GRANT ALL PRIVILEGES ON oneapi.* TO root%;
FLUSH PRIVILEGES;确保 MySQL 数据库正常运行且可以通过 localhost:3306 进行访问。
4. 启动和验证服务
启动容器后可以通过浏览器访问 http://localhost:3000 来验证 One-API 是否正常运行。如果看到 API 文档界面或者返回相关的数据说明部署成功。
三、总结
通过 Docker 部署 Ollama 和 One-API可以帮助你快速搭建 AI 模型和 API 服务。选择使用 SQLite 或 MySQL 数据库具体根据你的需求来决定。如果有进一步的配置需求可以参考 One-API 项目的
