做网站的傻瓜软件,贸易网站建设方案,湖北建站管理系统信息,建设带数据搜索的网站文章目录 FastGPT连接OneAI接入网络模型1.准备工作2.开始部署2.1下载 docker-compose.yml2.2修改docker-compose.yml里的参数 3.打开FastGPT添加模型3.1打开OneAPI3.2接入网络模型3.3重启服务 FastGPT连接OneAI接入网络模型
1.准备工作
本文档参考FastGPT的官方文档
主机ip接… 文章目录 FastGPT连接OneAI接入网络模型1.准备工作2.开始部署2.1下载 docker-compose.yml2.2修改docker-compose.yml里的参数 3.打开FastGPT添加模型3.1打开OneAPI3.2接入网络模型3.3重启服务 FastGPT连接OneAI接入网络模型
1.准备工作
本文档参考FastGPT的官方文档
主机ip接入模型主机名称系统192.168.37.200文心一言fastgptcentos7
部署架构图 本架构是用docker-compose进行部署
安装docker
[rootfastgpt ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[rootfastgpt ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[rootfastgpt ~]# sed -i sdownload.docker.commirrors.aliyun.com/docker-ce /etc/yum.repos.d/docker-ce.repo
[rootfastgpt ~]# yum -y install docker-ce
[rootfastgpt ~]# systemctl enable --now docker
[rootfastgpt ~]# systemctl disable --now firewalld
[rootfastgpt ~]# setenforce 0安装docker-compose
[rootfastgpt ~]# curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-uname -s-uname -m -o /usr/local/bin/docker-compose% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 56.6M 100 56.6M 0 0 168k 0 0:05:44 0:05:44 --:--:-- 225k
[rootfastgpt ~]# chmod x /usr/local/bin/docker-compose
[rootfastgpt ~]# docker -v
Docker version 26.1.4, build 5650f9b
[rootfastgpt ~]# docker-compose -v
Docker Compose version v2.20.32.开始部署
2.1下载 docker-compose.yml
[rootfastgpt ~]# mkdir fastgpt
[rootfastgpt ~]# cd fastgpt/
[rootfastgpt fastgpt]# curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed
100 5109 100 5109 0 0 236 0 0:00:21 0:00:21 --:--:-- 1122
[rootfastgpt fastgpt]# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed
100 5577 100 5577 0 0 9613 0 --:--:-- --:--:-- --:--:-- 9598
[rootfastgpt fastgpt]# ls
config.json docker-compose.yml2.2修改docker-compose.yml里的参数
有些容器的镜像可能很难拉下来这时可以配一个加速器或者把docker-compose.yml里的镜像源换成国内的阿里源
[rootfastgpt fastgpt]# docker-compose up -d
[rootfastgpt fastgpt]# sleep 10
[rootfastgpt fastgpt]# docker restart oneapi #重启一次oneapi(由于OneAPI的默认Key有点问题不重启的话会提示找不到渠道临时手动重启一次解决等待作者修复)3.打开FastGPT添加模型
可以通过ip:3000访问FastGPT默认账号为root密码为1234。
安装成功之后 访问时注意关防火墙
我们访问上去是不能用的需要让oneapi当作一个跳板来连接外部模型
3.1打开OneAPI
通过ip:3001访问OneAPI默认账户为root密码是123456 3.2接入网络模型
以文心一言为例
创建一个渠道 注意在填写密钥的时候一定要是apikey|SecretKey的格式我因为只填写的apikey导致一直测试不了花了我1个小时时间排错
测试一下 创建一个令牌 创建好令牌之后就可以获取OneAPI的APIkey了 获取到key之后回到docker-compose.yml中来
- OPENAI_BASE_URLhttp://192.168.37.200:3001/v1 #这里填写OneAPI的访问地址并在后面加上/v1
- CHAT_API_KEYsk-jp8hCd3nJL0Z0fdg2b5d9aB3B1Bd4f8686Ae9fF62eA06eB1 #这里填写我们刚刚获取的APIkey然后再修改config.json文件
llmModels: [...{model: ERNIE-4.0-8K, // 这里的模型需要对应 One API 的模型name: 文心一言, // 对外展示的名称avatar: /imgs/model/ernie.svg, // 模型的logomaxContext: 16000, // 最大上下文maxResponse: 4000, // 最大回复quoteMaxToken: 13000, // 最大引用内容maxTemperature: 1.2, // 最大温度charsPointsPrice: 0,censor: false,vision: false, // 是否支持图片输入datasetProcess: false, // 是否设置为知识库处理模型usedInClassify: true, // 是否用于问题分类usedInExtractFields: true, // 是否用于字段提取usedInToolCall: true, // 是否用于工具调用usedInQueryExtension: true, // 是否用于问题优化toolChoice: true, // 是否支持工具选择functionCall: false, // 是否支持函数调用customCQPrompt: , // 自定义文本分类提示词不支持工具和函数调用的模型customExtractPrompt: , // 自定义内容提取提示词defaultSystemChatPrompt: , // 对话默认携带的系统提示词defaultConfig:{} // 请求API时挟带一些默认配置比如 GLM4 的 top_p}...
],添加模型向量
vectorModels: [......{model: text-embedding-ada-002,name: Embedding-2,avatar: /imgs/model/openai.svg,charsPointsPrice: 0,defaultToken: 700,maxToken: 3000,weight: 100},......
]3.3重启服务
[rootfastgpt fastgpt]# docker-compose down docker-compose up -d这里就可以选择文心一言进行对话了
我们尝试进行一次对话 这样我们就接入好了网络模型
