网站备案号,云龙徐州网站开发,做网站不用数据库可以吗,西安建设局网站首页[TOC](ollama fastgptm3e本地部署)
开启WSL
因为这里使用的win部署#xff0c;所以要安装wsl,如果是linux系统就没那么麻烦 控制面板-程序-程序和功能
更新wsl
wsl --set-default-version 2wsl --update --web-download安装ubuntu
wsl --install -d Ubuntudoc…[TOC](ollama fastgptm3e本地部署)
开启WSL
因为这里使用的win部署所以要安装wsl,如果是linux系统就没那么麻烦 控制面板-程序-程序和功能
更新wsl
wsl --set-default-version 2
wsl --update --web-download
安装ubuntu
wsl --install -d Ubuntu
docker下载
官网下载docker官网
修改docker镜像源
因为docker下载的镜像源默认是国外的地址所以下载比较慢换成国内的镜像源下载会比较快一点
{registry-mirrors: [https://docker.m.daocloud.io,https://docker.1panel.live,https://hub.rat.dev]
} 开启WSL integration 安装fastgpt
先创建一个文件夹来放置一些配置文件
mkdir fastgpt
cd fastgpt
用命令下载fastgpt配置文件
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
用命令下载docker的部署文件
# pgvector 版本(测试推荐简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml
这里如果是测试的话就用简单模型就好了其他的高级玩法后面再慢慢摸索
启动容器
docker-compose up -d
M3E下载
#查看网络
docker network ls
# GPU模式启动并把m3e加载到fastgpt同一个网络
docker run -d -p 6008:6008 --gpus all --name m3e --network fastgpt_fastgpt(这里你们的网络名称可能不是这个如果不是这个就按照你们查到的网络去填) stawky/m3e-large-api
# CPU模式启动并把m3e加载到fastgpt同一个网络
docker run -d -p 6008:6008 --name m3e --network fastgpt_fastgpt stawky/m3e-large-api
ollama下载
ollama下载这里就不做说明了因为现在ollama下载比较简单需要的话我再出博客讲解
oneapi配置
模型的处理我们只要用的是oneapi来处理模型
登录oneapi
本机地址http://localhost:3001/
oneapi登录账号root 默认密码123456或者1234
配置ollama渠道 base url那里的ip要换成本地ip 模型那里选择的模型要选择你本地ollama下载的模型 密钥可以随便填 添加完渠道记得要点一下测试测试通过了才能正常使用
配置渠道m3e base url要像我这样填写才行不然回出问题 模型要选m3e 密钥填sk-aaabbbcccdddeeefffggghhhiiijjjkkk 这里提交之后也要点测试看能不能通
创建令牌 这里记得选无限额度和永不过期 这里复制令牌放置docker-compose.yml文件中
# root 密码用户名为: root。如果需要修改 root 密码直接修改这个环境变量并重启即可。- DEFAULT_ROOT_PSW1234# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。- OPENAI_BASE_URLhttp://oneapi:3000/v1# AI模型的API Key。这里默认填写了OneAPI的快速默认key测试通后务必及时修改- CHAT_API_KEYsk-apETi4q0ohZoqLynBfA5CcAc716b44CcB9E7F3B0716d8c5f
修改config.json
首先是加入ollama的本地模型
llmModels: [{model: qwen2.5:7b, // 模型名(对应OneAPI中渠道的模型名)name: qwen2.5:7b, // 模型别名avatar: /imgs/model/openai.svg, // 模型的logomaxContext: 125000, // 最大上下文maxResponse: 16000, // 最大回复quoteMaxToken: 120000, // 最大引用内容maxTemperature: 1.2, // 最大温度charsPointsPrice: 0, // n积分/1k token商业版censor: false, // 是否开启敏感校验商业版vision: true, // 是否支持图片输入datasetProcess: true, // 是否设置为文本理解模型QA务必保证至少有一个为true否则知识库会报错usedInClassify: true, // 是否用于问题分类务必保证至少有一个为trueusedInExtractFields: true, // 是否用于内容提取务必保证至少有一个为trueusedInToolCall: true, // 是否用于工具调用务必保证至少有一个为trueusedInQueryExtension: true, // 是否用于问题优化务必保证至少有一个为truetoolChoice: true, // 是否支持工具选择分类内容提取工具调用会用到。目前只有gpt支持functionCall: false, // 是否支持函数调用分类内容提取工具调用会用到。会优先使用 toolChoice如果为false则使用 functionCall如果仍为 false则使用提示词模式customCQPrompt: , // 自定义文本分类提示词不支持工具和函数调用的模型customExtractPrompt: , // 自定义内容提取提示词defaultSystemChatPrompt: , // 对话默认携带的系统提示词defaultConfig: {}, // 请求API时挟带一些默认配置比如 GLM4 的 top_pfieldMap: {} // 字段映射o1 模型需要把 max_tokens 映射为 max_completion_tokens},
像我用的是qwen2.5你们可以根据自己的模型进行选择
然后加入向量模型vectorModels
vectorModels: [{model: m3e, // 模型名与OneAPI对应name: m3e, // 模型展示名avatar: /imgs/model/openai.svg, // logocharsPointsPrice: 0, // n积分/1k tokendefaultToken: 700, // 默认文本分割时候的 tokenmaxToken: 3000, // 最大 tokenweight: 100, // 优先训练权重defaultConfig:{}, // 自定义额外参数。例如如果希望使用 embedding3-large 的话可以传入 dimensions:1024来返回1024维度的向量。目前必须小于1536维度dbConfig: {}, // 存储时的额外参数非对称向量模型时候需要用到queryConfig: {} // 参训时的额外参数},
重启容器
docker-compose down
docker-compose up -d
FastGTP配置与使用
登录
本机地址http://localhost:3000
账号root 密码1234
新建知识库
这里选用通用知识库 索引模型也就是向量模型 文件处理模型就是用来做回答的模型
训练模型 因为我这里使用的是本地文件去训练所以要选择 文本数据集
1731212943975) 这里是分割数据的模型用自动模式就好了
这样就是训练好了这里之前我踩过一个坑就是一直在训练然后一条数据都没有这个一般都是向量模型的问题向量模型选错了或者是向量模型没办法访问所以上面配置渠道的时候一定要测试的原因就是这样的
创建应用
这里测试的话就用简单应用就好了
这里选择模型选择完之后就可以用了
注意以上只是最初级的玩法要知识库好用的话还得慢慢研究 如何学习AI大模型
我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。 第一阶段 从大模型系统设计入手讲解大模型的主要方法
第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用
第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统
第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统
第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型
第六阶段 以SD多模态大模型为主搭建了文生图小程序案例
第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。 学会后的收获 • 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力
• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求
• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握
• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。 1.AI大模型学习路线图 2.100套AI大模型商业化落地方案 3.100集大模型视频教程 4.200本大模型PDF书籍 5.LLM面试题合集 6.AI产品经理资源合集 获取方式 有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】 如何学习AI大模型
我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。 第一阶段 从大模型系统设计入手讲解大模型的主要方法
第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用
第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统
第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统
第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型
第六阶段 以SD多模态大模型为主搭建了文生图小程序案例
第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。 学会后的收获 • 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力
• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求
• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握
• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。 1.AI大模型学习路线图 2.100套AI大模型商业化落地方案 3.100集大模型视频教程 4.200本大模型PDF书籍 5.LLM面试题合集 6.AI产品经理资源合集 获取方式 有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
