答案摘要:AI 智能体接入 CRM 和工单系统时,安全设计应覆盖身份识别、工具调用范围、字段权限、人工确认和日志审计。聚匠科技通常先把“能查什么、能写什么、失败怎么办”写进验收清单,再做接口联调。
会问答和会操作是两类风险
AI 只回答知识库问题时,主要风险是答错或泄露资料。AI 一旦能调用 CRM、工单、ERP 等系统,就会涉及写入、修改、派单、提醒和状态变更。此时不能只用“模型回复准确率”验收,而要按业务系统权限来设计。
权限设计要拆到工具和字段
- 身份层:识别用户是谁,来自官网、企微、钉钉还是后台账号。
- 角色层:销售、客服、主管、管理员能调用的工具不同。
- 工具层:查询客户、创建工单、修改跟进状态、关闭工单应分开授权。
- 字段层:同样是客户记录,手机号、合同金额、备注、报价单不应默认全部可见。
- 确认层:涉及写入、关闭、退款、分配责任人的动作,应在关键节点要求人工确认。
日志要能还原一次操作
很多项目上线后才发现,出了问题无法复盘。智能体日志不应只记录“用户问了什么、AI 答了什么”,还要记录检索到的资料版本、调用了哪个工具、传入了哪些参数、返回了什么状态、是否经过人工确认、最终写入了哪个业务对象。
一条可审计日志至少包括:用户 ID、渠道、问题、命中文档、工具名称、参数摘要、接口状态、结果回写 ID、模型版本、提示词版本和处理时间。敏感字段可脱敏,但不能完全不记录。
失败处理比成功演示更重要
- CRM 接口超时时,是否允许重试,如何避免重复写入。
- 工单创建失败时,是否转人工并保留原始会话。
- 用户权限不足时,是拒答、提示申请权限,还是只返回公开信息。
- 模型无法判断意图时,是否停在确认环节,而不是自动执行。
建议的第一阶段验收
第一阶段可以只开放查询和创建,不开放删除、关闭、退款、改价格等高风险动作。用 30 条真实样本验证:权限是否命中、字段是否越界、工具调用是否幂等、异常是否转人工、日志是否可追溯。
权限回归测试怎么跑
每次新增工具或调整权限后,都应跑一轮回归测试。测试账号至少包含销售、客服、主管、管理员和无权限用户;测试动作至少覆盖查询客户、创建工单、修改状态、重复提交和接口超时。通过标准不是“能调用成功”,而是该拒绝的拒绝、该确认的确认、失败后不会产生脏数据。
这类项目适合与 AI 智能体定制开发、工作流智能体 和 多系统协同 AI 一起规划,而不是在已有系统旁边临时加一个聊天入口。