烟台网站制作开发,网络营销专业主修课程,手机微信公众号怎么开通,php无版权企业网站管理系统一、QAnything介绍 QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统#xff0c;可断网安装使用。 您的任何格式的本地文件都可以往里扔#xff0c;即可获得准确、快速、靠谱的问答体验。 目前已支持格式: PDF… 一、QAnything介绍 QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统可断网安装使用。 您的任何格式的本地文件都可以往里扔即可获得准确、快速、靠谱的问答体验。 目前已支持格式: PDFWord(doc/docx)PPTMarkdownEmlTXT图片jpgpng等网页链接更多格式敬请期待...
二、特点 数据安全支持全程拔网线安装使用。 支持跨语种问答中英文问答随意切换无所谓文件是什么语种。 支持海量数据问答两阶段向量排序解决了大规模数据检索退化的问题数据越多效果越好。 高性能生产级系统可直接部署企业应用。 易用性无需繁琐的配置一键安装部署拿来就用。 支持选择多知识库问答。
三、架构 3.1 为什么是两阶段检索? 知识库数据量大的场景下两阶段优势非常明显如果只用一阶段embedding检索随着数据量增大会出现检索退化的问题如下图中绿线所示二阶段rerank重排后能实现准确率稳定增长即数据越多效果越好。 QAnything使用的检索组件BCEmbeddinghttps://github.com/netease-youdao/BCEmbedding有非常强悍的双语和跨语种能力能消除语义检索里面的中英语言之间的差异从而实现 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。 基于LlamaIndex的RAG评测表现SOTA【基于LlamaIndex的RAG评测指标】。
一阶段检索embedding
模型名称RetrievalSTSPairClassificationClassificationRerankingClustering平均bge-base-en-v1.537.1455.0675.4559.7343.0537.7447.20bge-base-zh-v1.547.6063.7277.4063.3854.8532.5653.60bge-large-en-v1.537.1554.0975.0059.2442.6837.3246.82bge-large-zh-v1.547.5464.7379.1464.1955.8833.2654.21jina-embeddings-v2-base-en31.5854.2874.8458.4241.1634.6744.29m3e-base46.2963.9371.8464.0852.3837.8453.54m3e-large34.8559.7467.6960.0748.9931.6246.78bce-embedding-base_v157.6065.7374.9669.0057.2938.9559.43 更详细的评测结果详见Embedding模型指标汇总https://github.com/netease-youdao/BCEmbedding/blob/master/Docs/EvaluationSummary/embedding_eval_summary.md。
二阶段检索rerank
模型名称Reranking平均bge-reranker-base57.7857.78bge-reranker-large59.6959.69bce-reranker-base_v160.0660.06 更详细的评测结果详见Reranker模型指标汇总https://github.com/netease-youdao/BCEmbedding/blob/master/Docs/EvaluationSummary/reranker_eval_summary.md
3.2 基于LlamaIndex的RAG评测embedding and rerank NOTE: 在WithoutReranker列中我们的bce-embedding-base_v1模型优于所有其他embedding模型。 在固定embedding模型的情况下我们的bce-reranker-base_v1模型达到了最佳表现。 bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。 如果想单独使用embedding和rerank请参阅BCEmbedding
3.3 LLM 开源版本QAnything的大模型基于通义千问并在大量专业问答数据集上进行微调在千问的基础上大大加强了问答的能力。如果需要商用请遵循千问的license具体请参阅通义千问https://github.com/QwenLM/Qwen
四、开始 在线试用QAnythinghttps://qanything.ai/
4.1 必要条件
必要项最低要求备注NVIDIA GPU Memory 16GB推荐NVIDIA 3090NVIDIA Driver 版本 525.105.17CUDA 版本 12.0docker compose 版本1.27.4docker compose 安装教程
4.2 下载安装 step1: 下载本项目
git clone https://github.com/netease-youdao/QAnything.git step2: 下载模型并解压到本项目根目录下
cd QAnythinggit lfs installgit clone https://www.modelscope.cn/netease-youdao/qanything_models.gitunzip qanything_models/models.zip # in root directory of the current project step3更改配置
vim front_end/.env # change 10.55.163.92 to your hostvim docker-compose.yaml # change CUDA_VISIBLE_DEVICES to your gpu device id step4: 启动服务
docker-compose up -d
安装成功后即可在浏览器输入以下地址进行体验。 前端地址: http://{your_host}:5052/qanything api地址: http://{your_host}:5052/api/
详细API文档请移步QAnything API 文档(https://github.com/netease-youdao/QAnything/blob/master/docs/API.md)
参考文献
[1] https://github.com/netease-youdao/QAnything/blob/master/README_zh.md
