wordpress 建立网站,四川煤矿标准化建设网站,网站游戏怎么制作,一台服务做两个网站周末使用 AI 速度了一篇 RAG 相关的论文#xff0c;文中提到的【设计 RAG 系统时需要考虑的七个失败点】非常有价值#xff0c;简单整理一下分享出来#xff0c;大家如果感兴趣可以继续阅读原文。 论文名称#xff1a;Seven Failure Points When Engineering a Retrieval A… 周末使用 AI 速度了一篇 RAG 相关的论文文中提到的【设计 RAG 系统时需要考虑的七个失败点】非常有价值简单整理一下分享出来大家如果感兴趣可以继续阅读原文。 论文名称Seven Failure Points When Engineering a Retrieval Augmented Generation System 论文中文名工程检索增强生成系统时的七个失败点 论文地址https://arxiv.org/abs/2401.05856 一译中英对照版https://yiyibooks.cn/arxiv/2401.05856v1/index.html 如果你也想使用 AI 快速阅读论文可参考《AI 助力问题驱动式学习》 论文转思维导图速览 如果你想了解该图是如何生成的可以阅读《AI 应用之文章转脑图的 N 种姿势》 一、概括
在这篇论文中Scott Barnett 等人探讨了增强检索Retrieval-Augmented Generation, RAG系统在工程实践中可能遇到的挑战和失败点。RAG 系统通过结合信息检索和大型语言模型LLM的生成能力旨在提供准确、上下文相关的回答。然而RAG 系统在信息检索的固有局限性和对 LLM 的依赖上存在问题。本文通过三个不同领域的案例研究分享了在设计 RAG 系统时需要考虑的七个失败点并提出了软件工程社区可能的研究方向。
二、三个案例
论文通过三个案例研究展示了RAG系统在不同领域的应用和遇到的挑战
Cognitive Reviewer支持研究人员分析科学文档的 RAG 系统。AI Tutor一个 RAG 系统学生可以就单元内容提问答案来源于学习材料。BioASQ使用 BioASQ 数据集构建的 RAG 系统专注于生物医学领域的问答。
三、设计 RAG 系统时需要考虑的七个失败点 1. FP1 缺少内容Missing Content 当用户提出的问题无法从现有的文档中找到答案时RAG系统可能无法提供有用的回应。理想情况下系统会回复类似于“对不起我不知道”的回答。然而如果问题与内容相关但没有直接答案系统可能会错误地生成一个看似合理但实际错误的回答。
2. FP2 错过高排名文档Missed the Top Ranked Documents 即使文档中包含了问题的答案但如果该文档的排名没有足够高它可能不会被返回给用户。理论上所有文档都应参与排名并用于后续步骤但在实践中通常只返回基于性能选定的前K个文档。
3. FP3 上下文缺失Not in Context 检索到的包含答案的文档可能没有被纳入生成答案的上下文中。这通常发生在从数据库检索到许多文档时需要通过整合过程来提取答案。
4. FP4 提取失败Not Extracted 尽管答案存在于上下文中但大型语言模型LLM可能未能正确提取出正确答案。这种情况通常发生在上下文中存在太多噪声或矛盾信息时。
5. FP5 格式错误Wrong Format 当问题需要以特定格式如表格或列表提取信息时如果LLM忽略了这一指令就会产生格式错误。
6. FP6 具体性错误Incorrect Specificity 返回的答案可能不够具体或过于具体无法满足用户的需求。这发生在RAG系统设计者对给定问题有预期结果时例如教师为学生提供的答案不仅应该是答案本身还应该是具体的教育内容。
7. FP7 答案不完整Incomplete 不完整的答案虽然不是错误但它们遗漏了一些信息即使这些信息在上下文中可用并且可以被提取。例如当用户问到“文档A、B和C中涵盖了哪些关键点”时更好的做法是分别提问这些问题。
四、教训
需要更大的上下文来获得更准确的结果。语义缓存可以降低成本和延迟。为 RAG 系统添加元数据可以改善检索。开源嵌入模型在小文本上的表现与闭源模型相当。RAG 系统需要持续的校准和监控。
五、未来研究方向
5.1、分块和嵌入策略的优化
分块Chunking 是RAG系统中的关键步骤它涉及将文档分割成更小的部分或“块”这些块随后被转换成嵌入向量以用于检索。分块的质量直接影响到检索过程和嵌入的质量进而影响文档与用户查询之间的匹配度。论文中提到了两种分块方法
基于启发式的分块使用标点符号、段落结束等作为分块依据。基于语义的分块利用文本中的语义信息来确定分块的起始和结束。
优化分块策略需要考虑以下方面
块的大小块太小可能无法回答某些问题块太大可能包含噪声。文档类型不同类型的文档可能需要不同的分块和处理策略。嵌入模型的选择不同的嵌入模型可能对语义检索的准确性有不同的影响。
进一步的研究应该探索这些方法之间的权衡并评估它们对关键下游过程如嵌入质量和相似性匹配的影响。
嵌入Embeddings 是文档块的压缩语义表示通常是一个数值向量。嵌入的生成对于文档检索至关重要因为它们决定了文档与查询之间的相似度计算。优化嵌入策略涉及
嵌入模型的选择选择能够准确捕捉文档语义的模型。更新频率确定何时重新生成嵌入以反映新索引的文档或文档更新。
2、RAG与微调Finetuning的比较研究
RAG系统和微调是两种不同的方法用于定制大型语言模型以适应特定领域的需求。微调涉及在特定领域的数据集上继续训练模型而RAG系统则利用检索机制来提供上下文信息然后由LLM生成答案。
微调需要内部数据集来训练和适应模型数据一旦集成到模型中就需要考虑隐私和安全性问题。此外随着基础模型的更新或新数据的加入需要重新进行微调。RAG提供了一种实用解决方案允许按需分块数据并只使用相关的块来生成答案。这有助于持续更新知识并允许控制用户可以访问的块。
比较研究应该系统地评估这两种方法在以下方面的差异
准确性哪种方法在特定任务上提供更准确的结果。延迟生成答案所需的时间。运营成本实施和维护每种方法的成本。鲁棒性系统对新数据和变化的适应能力。
3、RAG系统的测试和监控方法
RAG系统的测试和监控是软件工程中的新兴领域需要特定的方法和工具来确保系统的质量和性能。
测试由于RAG系统通常处理特定于应用的问题和答案因此测试用例的生成可能需要创新方法例如使用LLM生成问题。质量指标开发质量指标来帮助工程师做出质量权衡考虑到使用LLM的成本、引入的延迟以及每次新版本发布时性能的变化。自我适应系统将自我适应系统的概念纳入RAG系统的监控和适应中以支持系统的持续优化。
研究应该探索以下方面
测试数据生成如何生成现实和领域相关的测试问题和答案。质量评估开发和应用质量评估方法来衡量RAG系统的性能。自我适应研究如何使RAG系统能够自我监控并根据实时反馈进行调整。
通过这些研究可以为RAG系统的开发和维护提供更清晰的指导并帮助实践者构建更加健壮和有效的系统。
六、结论
论文的结论部分强调了RAG系统作为结合大型语言模型的新型信息检索技术的重要性并指出软件工程师在实施这些系统时面临的挑战。作者通过三个案例研究包括对15,000份文档和1000个问题的实证调查为实践者提供了实施RAG系统时可能遇到的挑战的指南。同时论文提出了未来研究方向包括分块和嵌入策略、RAG与微调的比较以及RAG系统的测试和监控。最后作者指出这是首次从软件工程视角对RAG系统进行的系统性研究并强调了大型语言模型将持续发展为工程师和研究人员带来新的研究兴趣点。
