答案摘要：ChatBI 验收要同时检查指标字典、数据权限、同义问法一致性、SQL 安全、数据时效和结果溯源，不能只看图表是否漂亮。聚匠科技通常用财务、销售和运营已确认的指标样本做基准，并限制 AI 只读访问授权数据集，同时准备异常问题与权限回归样本。
能生成 SQL，不等于能回答业务问题
“本月销售额是多少”看似简单，实际可能涉及下单口径还是支付口径、是否扣除退款、按自然月还是财务月、数据刷新到几点。ChatBI 如果没有指标字典，只能根据表名和字段猜测，结果可能语法正确、业务错误。
上线前应由指标负责人确认公式、维度、时间范围、数据源、刷新频率和适用部门。AI 负责把自然语言映射到已批准指标，而不是临时发明计算口径。
基准结果要在同一时间点冻结。业务报表每天刷新，而测试样本如果没有注明数据截止时间，今天和下周得到不同数字并不一定是系统错误。验收包应保存问题、预期指标、筛选条件、数据快照时间和责任人。
验收样本要覆盖四类问法
- 标准问法：按指标字典名称提问，验证基准结果。
- 同义问法：“成交额、销售收入、已支付金额”是否被正确区分或追问。
- 组合问法：按地区、渠道、产品对比，并检查筛选条件。
- 越界问法：无权限用户查询工资、客户手机号或其他部门明细时应拒绝。
SQL 安全与权限要独立检查
生产环境建议使用只读账号、授权视图或语义层，不让模型直接访问全部业务表。查询设置超时、行数和并发限制，禁止写入、删除、建表以及未批准的跨库访问。即使最终只展示汇总图，也要按用户身份过滤数据范围。
日志中应记录原问题、映射指标、筛选条件、生成或调用的查询、结果时间戳和数据版本。敏感值可以脱敏，但要保留足够信息用于复盘“为什么这次答案不同”。
对“华南表现怎么样”这类不完整问题，系统应先询问时间范围、指标和组织范围，或者展示其采用的默认值。直接生成一张趋势图虽然演示顺滑，却可能把默认口径伪装成用户已经确认的需求。
一份可执行的验收清单
| 验收项 | 通过条件示例 |
|---|---|
| 口径 | 与已确认报表在相同时间范围内一致 |
| 一致性 | 同义问法映射同一指标或主动澄清 |
| 权限 | 不同角色仅返回授权维度和粒度 |
| 时效 | 明确展示数据更新时间与延迟 |
| 异常 | 缺数、超时、口径不明时不编造答案 |
| 溯源 | 可查看指标定义、筛选条件和来源 |
验收账号至少覆盖管理层、区域负责人、一线员工和无权限用户。测试时不仅要看页面是否隐藏，还要验证查询层确实过滤数据，导出和分享链接也不能绕过权限。每次调整指标或数据源后，固定样本应重新执行。
哪些情况先不要开放自然语言问数
如果同一个指标在三个部门有三种算法、历史表没有主键、权限只靠口头约定，先上 ChatBI 会把争议变成更多图表。应先整理指标和数据权限，再建设 AI 数据分析 / ChatBI；制度和口径文档可进入 企业知识库 RAG，需要把分析结论触发到 CRM、OA 或工单时，再评估 多系统协同 AI。
