答案摘要:企业知识库 RAG 回答不准时,应先保存一次问题从身份、问题改写、权限过滤、召回、重排、上下文到答案引用的完整证据,再判断问题属于资料、解析、检索、生成还是权限。修复时一次只改变一类变量,并用固定评测集核对改善、退化和回滚条件,不能只凭几条更流畅的回答决定上线。
先把“不准”归到可以处理的环节
回答错误并不都来自模型。资料中没有依据时,应补资料或拒答;资料已存在但没有召回,要查解析、切片、关键词、向量与权限;正确片段进入上下文后仍答错,才重点检查提示词、模型和输出约束;多份制度互相冲突时,则由资料责任人确认有效版本。
- 知识缺失:标准答案不在已生效资料中,或者业务负责人尚未确认口径。
- 解析与检索失败:表格、扫描件、标题层级或附件没有正确解析,正确片段未进入候选集。
- 重排与上下文失真:正确片段已召回,但被无关片段挤出,或章节、时间和适用对象在切片时丢失。
- 生成与引用偏差:上下文正确,答案却混用版本、扩大结论或引用了不能支持断言的片段。
- 权限错误:有权资料被过滤,或无权资料通过缓存、分享链接和工具调用进入回答。
如果资料盘点、版本和评测基线尚未建立,可先按RAG 知识库建设清单补齐输入,不要直接从调参数开始。
为每个 Badcase 保存一条可复放的追踪记录
只保存最终答案,无法判断错误在哪一层。建议给每次问答分配追踪号,并保存脱敏后的关键字段。日志本身可能含敏感资料,因此查看权限、脱敏和保留周期也要纳入设计。
| 阶段 | 建议记录 | 要回答的问题 |
|---|---|---|
| 身份与问题 | 用户角色、问题原文、改写问题、会话与时间 | 限定条件是否被改错,角色是否可信 |
| 过滤与召回 | 知识空间、权限条件、候选片段、文档和版本 | 正确资料是否有权可见并进入候选集 |
| 重排与上下文 | 重排前后顺序、最终片段、分数与截断情况 | 正确片段是否被挤出或失去上下文 |
| 生成与引用 | 提示配置、模型版本、最终答案、引用和拒答结果 | 答案是否被证据支持,引用是否指向生效版本 |
| 业务结果 | 人工纠正、转人工、工具调用和最终处理状态 | 错误是否产生了后续业务影响 |
记录字段应绑定具体版本,而不是只写“使用当前配置”。这样才能复放同一问题,区分资料变更、索引发布、模型调整和接口异常带来的差异。
按单变量顺序修复,避免同时改到无法归因
- 先确认标准答案、适用对象、有效资料与允许引用范围,由业务责任人关闭事实问题。
- 固定模型和提示配置,修复解析、切片、元数据或权限过滤,再重放该问题及同类样本。
- 召回稳定后,再比较重排、上下文组装与生成约束;每次记录具体变更和版本。
- 只有证据层仍不足时,才评估模型或提示调整,并同时复跑无答案、越权和旧版本冲突样本。
例如正确制度已进入候选集,却在重排后消失,应先检查排序与上下文预算;直接更换模型可能让措辞更顺,却没有修复证据丢失。权限问题则使用同题异权与越权测试单独验收。
用固定评测集决定放行、保持还是回退
评测集至少覆盖直接回答、组合多段资料、无答案拒答、旧版本冲突、无权限资料、长表格和口语化提问。每条样本记录标准要点、允许引用、禁止出现的信息、需要追问或转人工的条件。不要只看平均得分,还要看高后果错误是否新增。
- 放行:目标 Badcase 已修复,允许回答和引用仍正确,拒答、越权阻断及关键旧样本没有退化。
- 附条件灰度:目标问题改善,但只在部分资料或角色范围验证,先限制人群并保留人工复核。
- 保持:差异不足以证明改善,继续收集问题证据,不为一次回答重写全部资料。
- 回退:出现新的越权、错误版本引用、关键问题退化,或上线后无法复现和解释答案来源。
知识库上线后的版本、灰度与回滚流程可结合RAG 持续运营指南执行;索引、配置和模型版本要能成组恢复,不能只恢复原文档。
哪些情况先不要继续扩大上线范围
没有标准答案和资料责任人、追踪记录缺少候选片段与版本、权限撤回无法同步到索引或缓存、固定问题集只覆盖正常问法,或高风险答案没有人工接管入口时,应先治理证据链。部署在内网也不会自动修复这些问题;如需核对数据、索引、日志和模型服务的位置,可从私有化部署继续评估。
聚匠科技在企业知识库 RAG交付中,会把资料版本、权限、检索追踪、固定评测、灰度和回滚作为同一条可复验链路;具体指标、样本与放行条件仍需结合企业资料和业务风险共同确认。
说明:本文为企业知识库 RAG 排查与验收的通用方法,示例字段不代表某个项目已完成测试;实际资料、权限、模型、日志和运维责任以项目约定为准。