什么是检索增强生成 (RAG)？

检索增强生成 (RAG) 是一项将外部数据源连接到大语言模型 (LLM) 的 AI 技术，可实时生成特定领域或最新的响应。

LLM 功能强大，但其知识仅限于预训练数据。这给需要依赖自己特定文档和数据的 AI 应用的企业带来了挑战。

RAG 通过使用外部数据补充 LLM 来解决这一限制。这项技术可从各种结构化和非结构化来源 (包括文本、图像和视频) 中检索相关信息，从而在公司的专有数据中找到 LLM 的回答，从而提高准确性并减少幻觉。这种主动检索 (通常由用于高效语义搜索的向量数据库提供支持) 使 LLM 能够提供比仅依赖预训练更明智、更符合上下文的答案。

简而言之，RAG 的工作原理如下：

• 用向量表示用户查询编码。
• 系统会搜索语义相似的数据。
• 将检索到的最相关的信息添加到模型的上下文中。
• 基于检索到的数据生成响应，并确保内容有据可依。

借助 RAG，您无需完全重新训练 LLM，即可集成专业知识，从而节省计算资源。

关键词搜索侧重于查找与用户输入的单词或短语完全匹配的项，按照字面意思处理查询，对同义词或上下文的理解有限。例如，搜索“扁平足最佳跑鞋”的关键词搜索可能仅返回包含这一特定短语的结果。

相反，语义搜索旨在通过分析单词与用户历史记录之间的上下文和关系，来理解查询背后的含义和意图，从而提供相关性更强的结果。若对“扁平足最佳跑鞋”进行语义搜索，则可能返回“稳定性跑鞋”、“足弓支撑跑鞋”，甚至是适合扁平足的特定鞋型评论，即使搜索查询中并未输入这些具体的关键词。

本质而言，关键词搜索查找单词，而语义搜索则查找含义。

信息检索是指根据用户查询查找相关文档或数据的过程。它使用 BM25、TF-IDF 和向量搜索等算法，返回来源列表，用户必须手动查看这些来源，获取所需洞察。RAG 不仅仅返回文档，还使用检索到的数据合成直接响应，从而减少人工解释的需求。信息检索侧重于查找相关内容，RAG 则使用该内容实时生成可感知上下文的连贯答案。

典型的 RAG 工作流程分为三个阶段：提取 (数据被摄取和嵌入的过程)、检索 (查找相关信息) 和生成 (生成答案)。每个阶段对于确保 RAG 工作流检索到准确、可靠且相关的数据至关重要。

提取

在提取阶段，企业数据被收集、转换、索引并存储在向量数据库中。在这一阶段，嵌入式模型将文本、音频或视觉内容转换为高维向量表示，实现基于相似度的搜索。在存储之前，对嵌入向量进行索引 (如作为图形)，以便使用近似最近邻 (ANN) 查找方法进行快速检索。

检索

检索使用向量和关键词搜索技术识别并检索相关数据。许多 RAG 系统还使用重新排序模型来识别哪些检索到的数据最相关。在检索阶段加入重新排序模型，有助于 RAG 系统提高最终响应生成的整体精确性。

生成

最后，在生成阶段，LLM 将用户的提示与检索到的数据相结合，制定出既具有语义又具有情景准确性的答案。这一结合赋予了 RAG 相对于仅依赖 LLM 的方案具有独特优势。

RAG 架构图显示了三个阶段：数据提取、检索和生成，由 NVIDIA NeMo™ Retriever Extraction 开放库和 Nemotron 提供支持，并由 NVIDIA cuVS 加速。

在 RAG 工作流中，数据提取涉及数据采集、嵌入生成和索引。

数据收集

首先，您必须收集、解析并清理数据，包括文档、PDF、产品目录、图像、甚至音频转录。文本通常被分割为段落或章节，以限制上下文长度，并最大限度提高检索准确性。包含准确元数据和最少重复的高质量提取至关重要，因为如果基础数据不完整或混乱，即使是最先进的 LLM 也难以提供出色表现。

您的数据源将暗示理想的数据采集方法：

• 批量：适用于稳定或静态数据集。批量处理嵌入。
• 流媒体：适合持续更新的数据 (如社交媒体、新闻)。

嵌入生成

在提取阶段，嵌入模型将数据转换为向量嵌入。向量嵌入式将文本、图像或音频等数据映射到高维空间的数值表示。这些嵌入可以捕捉内容的语义含义，实现 RAG 中基于相似度的检索。具有相关含义的项目将出现在向量空间中，彼此相邻，实现快速、高效的搜索。

例如，在搜索系统中，“深度学习快速 GPU”等查询可检索具有相似嵌入的文档，确保得到与上下文相关的结果。高质量嵌入对于 AI 应用中准确且有意义的检索至关重要。

索引

最后，创建并插入嵌入后，系统将对向量数据库中的数据进行索引。向量数据库是 RAG 系统的核心，需要将信息有效地存储为数据块，每个数据块由嵌入模型生成的相应多维向量表示。这些数据库可处理向量空间运算的复杂性和特殊性，如余弦相似性，从而提供具有有效相似性搜索、处理高维数据、可扩展性、实时处理和增强搜索相关性等关键优势。

架构示意图，显示在 RAG 工作流和 GPU 加速向量数据库中提取的数据，由 NVIDIA NeMo Retriever Extraction 开放库和 Nemotron 提供支持。

由于 RAG 不局限于文本，它还可以使用计算机视觉和语音处理模型将图像、音频和视频输入转换为嵌入内容。这有助于实现跨模态检索，其中用户能够跨数据类型进行查询。例如，电商平台可能同时嵌入产品描述和产品图片，以便用户进行视觉“查找与参考照片相似的图片”和文本搜索。通过支持不同的数据格式，企业和消费者应用变得越来越智能。

RAG 使用的多语言模型 (嵌入和 LLM) 为企业生成式 AI 应用提供全球可访问性，支持不同语言的查询和文档。

检索可识别相关性最高的数据，从而增强 LLM 的响应速度。此过程通常从查询重写开始，其中原始搜索查询会自动优化。这可能涉及使用同义词扩展数据集、解决模糊不清之处，或整合先前交互的上下文，以提高检索准确性。

接下来，使用嵌入模型将查询转换为嵌入 (一种数字向量表示)。这种转换可确保与存储的数据嵌入兼容，因此保持提取时间和查询时间嵌入之间的一致性至关重要。

最后，系统执行相似性搜索，使用余弦相似性、欧几里德距离或点积等指标测量向量距离，从而检索 top-k 最相关的块。ANN 算法通过高效缩小潜在匹配范围来优化此步骤。然后，检索到的内容 (无论是文本、图像还是其他数据) 为 LLM 的最终响应提供关键背景。

架构示意图，显示使用 GPU 加速向量数据库在 RAG 工作流中进行检索 (由 NVIDIA Nemotron 和 NVIDIA cuVS 提供支持)。

检索后是重新排序步骤，通过使用重新排序模型对最相关的数据进行优先排序，从而优化结果。排序可能基于最新性、领域相关性或用户偏好。重新排序模型，无论是基于启发式还是由机器学习驱动均可改善检索召回率，确保 LLM 首先处理最高质量的信息。

重新排序模型优先考虑最相关的数据块，然后再将其传递给 LLM，从而优化检索结果。初始检索后，重新排序模型会根据相关性信号对内容重新排序，如关键词频率、语义相似度、最新性或元数据对齐情况。它们可以是基于规则 (BM25 等启发式)、由机器学习驱动 (习得的相关性模型) 或结合多个因素的混合方式。有效的重新排序可确保 LLM 首先处理最有用的数据，从而提高 RAG 系统的响应精度和效率。

为了优化 LLM 响应，我们采用了先进的检索技术，通过组合方法、管理大数据和适应查询的细微差别来帮助提高搜索精度。

检索到相关信息后，RAG 生成阶段需要使用 LLM 合成最终响应。该流程包括：

• 基于 LLM 的合成：检索到的 top-k 数据块将与用户查询一起被插入到模型的提示中。LLM 随后根据检索到的数据生成响应，从而减少幻觉并提高事实准确性。许多企业 RAG 系统通过在生成的文本中引用或超链接来源来提高透明度。
• 总结和推理：在知识密集型领域 (如医学、法律、研究)，RAG 可将来自多个来源的信息汇总，以结构化形式呈现信息，如要点或简洁的段落。因此，用户无需手动解析多个文档，即可快速掌握关键洞察。高级 RAG 实施还支持模型对检索到的内容进行推理，从而合成一致且符合情境的多条响应。
• 输出验证：在高风险应用中，采取额外一步验证可确保生成的响应符合检索到的上下文。这可能涉及：
  • 将输出内容与检索到的文本进行对比，检查是否存在不一致。
  • 使用第二个 LLM 验证第一个模型的响应。
  • 记录生成的响应及其参考信息，确保可审计性和合规性。

通过围绕经过验证、检索到的信息构建响应，RAG 可提高 AI 生成内容的可靠性和透明度。

代理式 RAG 工作流在需要完整语境应答的复杂应用中具备优势，例如客户服务、法律服务和企业知识管理场景。

尽管简单检索已经可以满足某些应用，但对于复杂场景，应考虑采用代理式 AI 工作流，让多个协同工作的 AI 智能体共同协作达成统一目标。例如，软件设计、IT 自动化和代码生成等应用需要进行大量数据提取和处理，以确保准确性。代理式 RAG 工作流可在检索、推理和调优之间进行多轮迭代，根据预设标准不断调整输出内容，确保生成符合业务目标的最佳响应。

快速链接