答案摘要:企业知识库 RAG 的权限验收不能只看页面菜单是否隐藏,而要让不同角色使用同一问题,核对身份、检索片段、引用来源、回答内容、导出与工具调用是否都受权限约束。聚匠科技通常把部门、岗位、文档密级和有效期映射到检索过滤条件,并用越权、缓存、调岗和权限撤回样本做回归,关键结论保留人工复核。
先把权限链拆成五个可检查环节
RAG 回答由用户身份、知识检索、模型生成和业务动作共同完成。只在前端隐藏目录,或只依靠提示词告诉模型“不要泄露”,都不足以形成稳定边界。权限判断应在模型看到资料前生效,并贯穿引用、下载、分享和工具调用。
| 环节 | 需要核对的内容 | 验收证据 |
|---|---|---|
| 身份 | 用户、部门、岗位、项目组和临时授权 | 登录主体与权限快照 |
| 资料 | 文档密级、所属空间、版本和有效期 | 文档元数据与授权规则 |
| 检索 | 向量、关键词、重排结果是否先做过滤 | 脱敏后的命中片段与规则结果 |
| 回答 | 答案、引用、附件和下载链接是否一致受控 | 回答记录与引用版本 |
| 动作 | 查询、导出、发消息或写入系统的权限 | 接口账号、审批与操作日志 |
企业还要区分“能搜索到文档”和“能执行业务动作”。员工可以读取报销制度,不代表可以修改费用单;客服可以查询当前订单,不代表可以查看客户的全部历史资料。建设企业知识库 RAG时,应把知识权限与接口权限分别建模。
同题异权测试矩阵怎样设计
同题异权是让管理层、部门主管、普通员工、外部协作人和无权限账号提出相同问题,再比较每个账号可以检索和回答的范围。例如同时提问“今年销售奖金规则是什么”,销售员工可以看到本部门生效制度,其他部门只能看到公开说明或收到无权限提示,离职与停用账号则不能继续访问。
测试矩阵至少包含以下四组样本:
- 允许样本:用户有权读取资料,答案引用正确版本,并展示来源和更新时间。
- 部分允许:问题跨多个部门,系统只使用当前账号可见的片段,不暗示隐藏内容。
- 明确拒绝:通过文档名、关键词、摘要请求或追问尝试访问未授权资料。
- 身份变化:调岗、加入项目组、临时授权到期和账号停用后立即重测。
不要只准备措辞完全相同的问题。验收集还应包含同义表达、错别字、文件名猜测、要求“忽略权限”的指令,以及把公开资料和敏感资料混在一个问题里的情况。结果应按允许、拒绝、需澄清和需人工处理分类,而不是只统计回答是否流畅。
缓存、索引和分享链接为何容易造成串读
权限已经撤回,旧答案却仍然出现,常见原因不是模型记住了企业文档,而是会话缓存、检索缓存、离线索引或分享链接没有同步失效。多租户系统还要检查向量索引、对象存储和日志查询是否都带有企业标识,不能只在业务数据库里过滤租户。
需要重点检查的异常清单包括:
- 用户退出后复用旧会话,是否仍能打开原引用和附件。
- 文档降密、升密、替换或删除后,索引与缓存多久更新。
- 复制回答链接给无权限账号时,页面是否重新校验身份。
- 批量导出、打印、浏览器预览和接口返回是否使用同一规则。
- AI 智能体调用 CRM、OA 或工单工具时,是否沿用发起人的授权范围。
对于需要快速撤权的场景,可以采用短时身份令牌、权限版本号和缓存失效事件;但具体方式要结合现有 IAM、知识平台和并发要求选择。验收应记录从权限修改到各层生效的实际时间,并明确超出时间后的告警与处置人。
引用溯源与审计证据怎样验收
一条可复核的回答至少能关联用户身份、原问题、命中的知识片段、文档版本、权限规则结果、模型与提示配置、输出内容和时间。面向员工展示时可以隐藏内部技术字段,但运维和审计人员应能按事件编号还原链路。日志本身也可能含敏感资料,因此要设置查看权限、脱敏和保留周期。
- 用固定账号和固定问题执行基准测试,保存允许与拒绝结果。
- 调整部门或文档权限,再次执行并记录生效时间。
- 核对引用能否回到生效版本,失效资料是否仍参与回答。
- 触发下载、分享和工具调用,检查各环节的身份与审批记录。
- 由业务负责人抽查答案依据,安全负责人复核越权和日志样本。
验收结论不应只写“准确率通过”。可以分别记录有权问题命中率、越权阻断结果、无依据拒答、引用可访问性、权限生效时间和人工修改量。上线后权限规则、知识版本或模型调整时,固定样本继续用于回归。
部署方式不同,哪些边界仍然不变
云模型 API、混合私有化和全本地推理的基础设施不同,但权限原则相同:企业身份和知识过滤应由受控应用层执行,发送给模型的上下文只包含当前任务允许使用的资料。选择AI 私有化部署可以改变数据流向与运维责任,并不会自动修复文档没有负责人、部门关系混乱或接口账号权限过大的问题。
如果企业尚未建立统一登录、文档归属、版本状态和人员异动流程,先不要开放全员问答或自动写入业务系统。可先选一个资料边界清楚的部门,用成熟模型、受控知识库、必要权限、现有系统接口和人工复核完成小范围验证,再逐步扩展。涉及薪酬、合同、客户隐私或外部发送的结果,应保留人工确认和问题升级入口。