海南医院网站建设,重庆专业网站推广费用,网站横幅背景图,网站系统功能流程图一、什么是 RAG#xff1f;
RAG#xff08;Retrieval-Augmented Generation#xff0c;检索增强生成#xff09;是一种结合了 信息检索#xff08;Retrieval#xff09; 与 自然语言生成#xff08;Generation#xff09; 的问答架构#xff0c;旨在提升大语言模型的…一、什么是 RAG
RAGRetrieval-Augmented Generation检索增强生成是一种结合了 信息检索Retrieval 与 自然语言生成Generation 的问答架构旨在提升大语言模型的事实性、可追溯性与最新性。
传统的大语言模型如 GPT 系列虽然拥有强大的生成能力但存在两个明显的限制
知识封闭性训练完成后的知识无法动态更新。幻觉问题Hallucination模型会生成看似合理却不真实的内容。
RAG 的提出正是为了解决这些问题。 二、RAG 的流程详解
RAG 的整体流程如下
1. 用户提问User → Query
用户提出一个查询Query系统开始处理请求。
2. 查询向量化并检索Vectorize Search
查询被转换为向量表示并在 向量数据库Vector Database 中进行相似度检索以寻找与问题相关的文档内容。
3. 文档索引与预处理Indexing
系统预先将各种文档如网页、PDF、Word 等进行以下处理
文档加载将外部文档输入系统文档切分Chunking将大文档切分为更小的文本块如段落、句子向量化存储使用嵌入模型将每个文本块转为向量并存入向量数据库中如 FAISS、Milvus、Qdrant。
4. 相关上下文检索Retrieve Relevant Contexts
系统根据查询从向量数据库中检索出最相关的文档片段作为补充上下文信息Relevant Contexts。
5. 增强输入并生成Augment Generate
将用户的原始问题与检索到的文档拼接为提示词Prompt一同输入到大语言模型LLM中生成最终回答。
Prompt:
根据以下内容回答问题
[相关内容1]
[相关内容2]
[相关内容3]
用户的问题是GPT-4 和 GPT-3.5 有什么区别6. 返回响应Response
大语言模型如 GPT、LLaMA、ChatGLM 等在增强上下文的基础上生成回答并将其返回给用户。
三、RAG 系统结构图
下面是 RAG 系统的结构图示意 四、RAG 的核心模块组成
模块名称功能描述向量化模块将文档片段与用户查询向量化便于在向量空间中计算相似度。文档加载与切分模块加载原始文档并按段落或句子切分成适合处理的文档块Document Chunks。向量数据库存储文档片段的向量表示支持高效相似度检索如 FAISS、Milvus 等。检索模块根据用户 Query 检索出相关的文档片段返回给生成模块使用。大语言模型模块接收查询与上下文基于语义理解和知识生成最终回答。
更多阅读 一文彻底搞懂大模型 - RAG检索、增强、生成
