长上下文能替代 RAG 吗?企业知识库应按证据范围与合格答案成本选型

模型能接收更长输入,使企业知识库多了一种直接读取文档集的路线,但容量并不等于证据完整,也不自动意味着成本更低。本文从证据分布、工作负载和全流程成本比较长上下文、检索与混合方案,给出可执行的对照验收方法,帮助技术负责人判断何时保留检索、何时扩大阅读范围。

企业知识库选型不宜从“要不要向量数据库”开始。先问一个更具体的问题:回答这类业务问题,必须看到哪些材料,怎样证明没有漏掉决定结论的例外?长上下文改变了把材料交给模型的方式,却没有替企业定义材料范围。本文的判断是:以同一组真实任务、同一权限与版本边界、同一合格标准比较路线,才能知道哪一种值得部署。

变化在于阅读范围,而非知识库工作消失

检索增强生成(RAG)先选择少量相关材料,再由模型组织答案;长上下文路线则把一个较大的、事先确定的文档集合直接交给模型。两者并非严格对立:可以先检索到整份文档,再用长上下文阅读正文和附件。采购时真正需要比较的是证据进入模型之前,哪些选择由检索器完成,哪些由模型完成。

2024 年 Li 等人的研究在指定模型和公共数据集上比较两条路线,发现资源充分时长上下文的平均表现更好,而 RAG 保留成本优势,并提出混合路由。[1] 这不是今天任意模型的采购结论,也不是企业全量文档已获验证的证据。本文将其视为建立对照基线的理由,而不搬用论文中的性能差值。

长输入也存在反例。2024 年 Lost in the Middle 研究展示了证据位置变化对特定任务表现的影响;Google 的长上下文文档也区分了单条信息定位与多条信息提取的难度。[2][3] 因此,容量上限、单条检索测试成绩、完整业务回答质量,应分别验收。

先给问题画出最小完整证据范围

本文建议先给每类问题写一张证据清单:答案需要哪些来源,是否存在优先级更高的附件或修订,是否要覆盖所有对象,以及“没有找到”能否代表“确实不存在”。这是一种工程分析方法,不是通用行业标准。它让选型讨论从输入长度转向遗漏的后果。

查一条设备维护步骤,证据可能集中在某个版本的几页手册;比较采购协议与补充条款,则需要同时读到相互覆盖的规则;列出一个项目全部交付义务,必须界定项目文档集合并验证完整性。问题表面上都在问文档,漏检的风险却不同。

权限感知的企业 RAG 讨论了访问边界与证据适用性。这些要求同样适用于长上下文:不能因为窗口装得下,就把调用者无权查看的附件一并输入;也不能混入失效版本,让模型自行决定哪个更可信。权限过滤和版本选择必须在构建输入时落实。

三类工作负载,对应三种优先测试路线

对于大语料中的局部事实查询,先测试检索路线。它把输入限制在少量候选证据,适合问题集中、证据位置可被关键词或语义定位的场景。代价是要维护切分、索引和召回评估;若例外条款分散,检索命中主条款仍可能给出错误结论。增加候选数量只能缓解部分遗漏,不能证明范围完整。

对于用户已明确选择的一组文件,例如某次评审的主文档及固定附件,直接长上下文是合理基线。它减少片段选择环节,便于跨章节比较。前提是材料经过解析、版本和权限检查,且总输入为提示、问题和输出预留了空间。超过限制时不能静默截断;应明确缩小任务或采用分阶段阅读。

对于范围较大但可先确定相关文档的任务,测试“检索文档,再完整阅读”的混合路线。检索负责找对文件,长上下文负责处理文件内部关系。它仍会受文档选择遗漏影响,却可能避免把重要附件切散。若问题要求对全部交易求和或穷尽记录,优先使用受控数据库查询和确定性计算,不能让文本检索承担完整枚举的证明。

把价格比较改为每个合格答案的全流程成本

本文建议以同一评估周期内的总运行成本除以合格答案数量。总成本包括文档解析和更新、索引与检索、模型输入输出、失败重试,以及必要的人工复核;开发和迁移投入另列,避免用一次性费用掩盖长期运行差异。合格答案须同时满足事实正确、证据充分、权限合规和响应时限,而不是只要返回文字就计数。

长上下文可能省去部分索引工程,却增加重复输入和等待时间;RAG 可能降低每次输入量,却需要持续维护检索质量。对于反复查询同一材料集的任务,可评估上下文缓存。Google 文档说明缓存能够帮助降低重复上下文的成本,同时提示长输入通常增加首个输出出现前的等待。[3] 实际收益仍取决于复用率、缓存有效期和所选服务的计费条件。

测试应分别记录冷缓存、热缓存及更新后的请求,不能把所有流量都当作缓存命中。延迟除中位数外,还要报告较慢请求的分位数及超时比例;单位成本同时列出总请求数和合格数量。一个便宜但经常需要人工纠错的方案,可能只是把费用转移到了业务团队。

用一个构造场景检验遗漏,而不是追逐平均分

以下是构造场景,并非壹典项目或实测结果。某团队评审一组设备采购文件,包括主合同、验收附件和一份修订通知。问题是“本次交付是否必须完成现场培训”。主合同写有一般培训要求,附件限定设备范围,修订通知调整了本次交付安排。只命中主合同就可能回答得流畅而错误。

为同一授权文档快照建立三条基线:片段检索、完整文件集输入、检索文件后阅读全文。人工先标出结论所必需的条款及其优先关系,再检查每条路线是否找到这些证据、是否正确处理覆盖关系、是否能指出材料缺失。不能用某条路线生成的答案直接充当标准答案。

随后加入范围外的相似旧合同、把决定性修订放到不同位置,并移除一份必要附件。位置变化用于观察稳定性;旧合同用于检验版本边界;移除附件时,合格行为是说明无法确定,而不是沿用此前结论。测试集合还应包含无需全量阅读的简单查询,防止为少数复杂任务付出所有请求的高成本。

混合方案需要可解释的升级条件

不是每次低置信度都值得重发全量材料。建议先记录文档范围是否确定、必要来源是否齐全、输入是否超预算,再决定扩大阅读范围。模型自报“有把握”可作为辅助信号,不应成为唯一放行条件。研究中的混合思路提供了参考,但企业路由还必须接入权限、时限和证据要求。[1]

升级路线应保留原始问题、材料版本、已尝试路径及新增证据,避免重试变成无法解释的另一套答案。权限不足时不能通过扩大输入绕过限制;来源确实缺失时,应请求补齐材料或返回有限结论。运营上可按问题类型调整路线,无需为整个知识库永久押注一种架构。

最终验收建议交付三份结果:按任务类别拆分的质量与遗漏记录、包含维护和复核的成本账,以及失败时的处理边界。只有某条路线在对应工作负载上满足这些条件,才扩大流量。长上下文是否替代 RAG,最终应成为可重做的工程判断,而不是依据窗口长度作出的品牌选择。

参考资料

  1. [1] Li et al. (EMNLP 2024): Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
  2. [2] Liu et al. (TACL 2024): Lost in the Middle: How Language Models Use Long Contexts
  3. [3] Google: Long context — Gemini API
返回洞察
鲁ICP备2024109755号-2
可拖动移动。右键、长按或按 Shift+F10 可选择停靠位置。