一份售后规定刚更新,语言模型却仍按旧条款回答。最直观的修补方式,是在生成答案前找到最新资料,把有关段落交给模型。检索增强生成,也就是 RAG,把一部分知识放在可维护的外部索引中,让资料更新与模型参数更新不必完全绑定。这使它适合经常变化的文档问答,也让错误从单个模型内部扩展到一整条处理链。
链条中的任何环节都可能出问题:原文件没有解析完整,正确条款被切成两半,检索器找到了旧版,生成器忽略了限制条件,最后的引用又指向不支持答案的段落。讨论 RAG 的可靠性,需要把这些情况分别定位,才能知道应该换嵌入模型、调整文档处理,还是改进生成与验收。Lewis 等的原始 RAG 论文

原始 RAG 怎样连接检索与生成
Lewis 等把参数化的序列到序列模型,与存放维基百科片段的稠密向量索引结合。检索器根据问题给候选文档分配相关性,生成器则根据问题和文档预测回答。原论文把文档视作潜在变量,对不同文档条件下的输出概率加权求和。这与今天常见的“把检索片段直接拼入提示词”共享思想,但训练和概率建模细节并不相同。
以序列级版本为例,可以把答案概率近似写成 P(y|x)=Σz P(z|x)P(y|x,z),其中 x 是问题,z 是候选文档,求和通常限制在检索出的少量文档中。这个表达式展示了两个判断怎样结合:某份文档与问题是否相关,以及在该文档条件下某个答案是否合理。另一个词元级版本允许生成不同词元时使用不同文档假设。
这里的概率并没有直接检查每句回答是否被资料逻辑蕴含。生成器仍会利用参数中的语言规律与知识,也可能补出没有依据的内容。维护外部索引能够改变可读取的资料,但资料的新旧、权限、冲突关系和实际使用情况,仍需另外设计。把检索接上模型,等于增加了获取证据的路径,并没有自动完成证据审查。
先让文档变成可追溯的证据单元
文档处理决定检索器能看到什么。扫描件中的表格、页眉页脚、跨页脚注和多栏排版,都可能在文字提取时改变含义。例如“仅适用于企业账户”的限制若被分到另一个片段,主条款即使检索成功,也可能支持一个范围过大的答案。切分策略因此应尽量保留标题层级、表格关系和相邻的适用条件。
每个片段应携带稳定的文档标识、版本、生效时间、页码或段落位置。检索前还应依据用户可访问的资料范围过滤候选,而不是先让模型读完全部内容,再要求它不要透露。对会频繁更新的知识库,还需要确定旧版本是保留用于历史查询,还是从当前索引撤出。两者都合理,但检索条件必须与用户问题中的时间范围一致。
切得越短,向量通常越集中于局部语义,却可能丢失上下文;切得越长,保留的信息更多,也会增加无关内容和上下文成本。重叠切分能减轻边界问题,但会制造重复结果。实际应抽取真实问题,看答案所需的最小证据跨越多少段,再比较几种切分方案。这里没有一个对所有文档都最优的固定字数。
打开 HTML 互动演示 · 多拿几条检索结果,一定更好答吗?
找得相似,为什么仍可能找错
稠密检索用向量表示问题和片段,再按点积或余弦相似度寻找近邻。DPR 展示了双编码器在开放域问答中的用途:候选片段可以预先编码,查询时只需编码问题。效率上的好处明显,但训练目标塑造的是某种相关性,而不等于逐项核对日期、编号、否定词和适用主体。DPR 原论文
例如“个人用户能否开票”与“企业用户能否开票”在主题上很近,实际条款却可能不同。精确型号、合同编号和金额也容易成为向量检索的薄弱点。可以把词法检索与稠密检索合并,再用交叉编码器重排候选。重排允许问题与候选在同一个网络里相互比较,但每多比较一条片段,就增加计算和延迟。
检索还可能受重复资料影响。如果前十条候选都是同一条款的转述,数量看起来充足,证据覆盖却很窄。应按文档和内容去重,保留必要的互补信息。对需要两份资料联合回答的问题,单篇命中率也不够:系统必须同时取回组成答案所需的证据,而不只是找到其中一半。
用一个合成账本拆分损失来源
假设人为设计一组 200 道问题,每道都存在明确的参考证据。这是教学用的合成场景,不是某个产品的实测。检索前五条候选中,150 道含有完整证据,检索覆盖率为 75%。在这 150 道里,生成器有 120 道答对;其余 50 道即使偶尔凭参数知识猜对,也不能算作成功利用了检索证据。
若最终有 130 道答案正确,总准确率是 65%,但这个总数混合了证据利用与无证据作答。更有诊断价值的做法,是给所有 200 道题直接提供人工选择的正确片段,测一次生成器表现。如果这一条件下能答对 180 道,就说明修复检索有明显空间;如果仍只答对约 130 道,重点应转向阅读、约束与回答组织。
还可以单独核查答案中的事实断言。假设某回答有四项具体主张,三项得到片段支持,一项未经支持,不能因为它带有一个正确链接就把整段算作有据可查。断言核对能暴露“引用存在但引用无效”的情况。研究报告应同时保留问题、候选片段、最终上下文、答案和引用位置,使误差能够沿链条回溯。
给模型更多资料,收益为什么会变小
增加候选数量可能提高证据覆盖,也会带来噪声、重复和冲突。生成器需要在更多文字中定位关键条件,输入成本也随之增加。与其只比较取回五条还是二十条,更有意义的是比较相同输入预算下的证据密度:多少文字直接支持答案,多少只是主题相近的陪衬。
上下文排列也会影响结果。Lost in the Middle 对相关信息位置的实验,提醒我们在评估中改变证据的出现位置,而不要只用一种固定拼接顺序。尤其是重排后总把正确片段放在最前的离线测试,可能高估系统在真实复杂资料中的稳定性。相关原始研究
面对版本冲突,系统应该明确表示采用哪份资料及其生效范围。面对缺少答案的查询,应测试它能否指出缺口,而不是用相关段落凑出结论。可以构造“资料里缺一项关键条件”的反事实测试,观察模型是否承认无法确定。这样比只收集库内有标准答案的问题,更接近实际知识服务的边界。
一套可执行的研究与上线验收
先按问题类型分层:单段查找、多段综合、表格计算、历史版本、无答案和权限受限。每层保留人工核对过的参考证据,避免仅用自动生成的问题反复考察文档中最容易的句子。划分训练与测试时,应按文档家族或业务版本分组,防止同一条款的近似副本分散到两边。
随后逐环节做对照。固定生成器比较检索方案,固定正确证据比较生成策略,固定最终上下文比较答案格式。除答案质量外,记录检索延迟、重排耗时、上下文长度和每问成本。实验应使用相同问题集,并报告不同类别的结果,而不只是一个总体平均数。对少见但重要的问题,还要检查单个失败案例的业务影响。
上线后需要保存可重放的资料版本与配置。索引更新、嵌入模型替换或生成模型升级,都可能改变结果,不能仅凭组件自身的基准分数判断整条链变好。一个可靠的 RAG 系统,应能回答“这句话依据哪份资料、为什么采用这个版本、缺少哪些条件”。这些能力来自文档治理、检索和生成的共同设计,也来自持续的针对性测试。
当答案需要计算,检索只能完成第一步
不少文档问题并非直接摘取一句话。例如用户询问某个方案一年的费用,资料可能分别列出月费、一次性设置费和按量计费。检索器即使取回所有片段,生成器仍需要确认计费单位、适用档位与计算顺序。把这种任务与单句事实查询混在一起,会掩盖完全不同的失败来源。
设一个合成方案的月费为 120 元,设置费为 300 元,前两个月月费减半。若没有其他费用,首年费用应为 2×60+10×120+300=1620 元。这里的数值仅用于展示处理步骤。系统需要先从证据中抽出三个条件,再完成算术;如果错误地算成十二个月全价加设置费,引用每份资料也不能让结果变正确。
实际实现可以先形成结构化的中间记录,包括数值、单位、来源位置和适用条件,再交给计算器处理。最终输出保留简洁的计算式与证据,让用户能够核对输入是否取对。使用计算工具能降低算术错误,却不能替代条款理解。若模型把“每账户”误读为“每用户”,工具只会准确执行错误的公式。
评估时可以分别记录字段提取正确率、公式正确率和最终数值正确率,还可在同一条款模板里替换金额和日期。若模板一变就失灵,说明系统可能记住了常见答案。表格问答还应保留行列标题与合并单元格关系,避免数值脱离所属条件。RAG 在这类任务里的价值,是把计算所需的输入带到眼前;推导是否成立仍需独立检查。













