答案摘要:私有化 AI 智能体应把模型推理、企业知识库 RAG、业务工具和身份权限分层设计。聚匠科技会分别确定模型与数据部署位置、知识检索范围、CRM 或工单接口的读写权限,以及人工确认、日志和失败补偿,避免把本地模型直接连接全部业务系统,并分阶段开放工具。
本地模型只是智能体的一层
把模型部署到内网后,它仍然不知道企业制度、客户订单和工单状态,也没有天然权限修改业务数据。智能体要完成任务,还需要知识库提供依据、工具层连接系统、身份层判断用户权限、工作流控制步骤与人工兜底。
如果模型服务直接持有数据库高权限账号,提示词或工具配置出错就可能扩大影响。更稳妥的方式是由业务 API 或工具网关提供受控动作,模型只选择工具和生成参数,最终权限由系统校验。
每一层都应有独立服务账号、版本和健康状态。某一层故障时,系统要能降级为只读问答、人工处理或暂停执行,而不是让模型在缺少知识或工具结果时继续生成确定性结论。
四层架构分别负责什么
| 层级 | 主要职责 | 私有化关注点 |
|---|---|---|
| 模型推理层 | 理解、生成、规划与结构化输出 | 模型来源、许可证、路由、资源和升级 |
| RAG 知识层 | 文档解析、检索、重排和引用 | 原文、索引、权限、版本和备份 |
| 工具与流程层 | 查询或写入 CRM、OA、ERP、工单 | 接口白名单、幂等、确认、补偿和超时 |
| 身份与审计层 | 识别用户、角色、入口并记录操作 | 组织权限、脱敏、日志留存和追溯 |
四层可以部署在同一内网,但不应共享无限权限。模型服务不能绕过知识权限直接读原始文件,工具服务不能因为来自“内部智能体”就跳过用户鉴权,日志平台也要限制谁能查看完整问题和业务参数。
实施前的接口与数据清单
- 模型、提示词、用户问题、检索片段和回答分别存在哪里。
- 知识资料按部门、项目、客户如何分组,谁负责更新。
- 每个工具是查询、创建、修改、审批还是高风险动作。
- 业务接口使用哪个服务账号,字段和数据范围如何限制。
- 哪些操作要求用户确认,哪些异常自动进入人工队列。
- 模型、知识、提示词和工具版本如何进入同一条审计记录。
清单里还要标记外部依赖。即使模型在本地,短信、地图、企业微信、钉钉或其他 SaaS 接口仍可能访问公网;这些调用应与模型请求分开管理,不能笼统写成“所有数据不出内网”。
一条客服工单流程如何落地
用户在企业微信提问后,身份层确认客户和可见订单;RAG 检索售后政策并返回引用;模型提取问题类型、订单号和故障信息;工具层查询订单并生成工单草稿;用户或客服确认后写入工单系统;结果与业务 ID 回写会话,整个过程记录模型、知识和工具版本。
若本地模型无法判断、知识版本冲突或接口超时,流程停在人工队列,不能继续猜测或重复建单。私有化的价值是控制数据和系统边界,不是取消人工责任。
哪些动作先不要交给私有化智能体
删除数据、付款退款、合同确认、批量发消息和跨权限查询等高风险动作,在权限、回滚和审计未验证前不应自动开放。可先从 AI 智能体 的只读问答与草稿开始,通过 企业知识库 RAG 固定依据,再在 私有化部署 方案中逐步开放工具权限。