AI 智能体可以完全不调用公网大模型 API 吗?
AI 智能体可以完全不调用公网大模型 API,但模型、RAG、身份认证、业务工具、日志和许可证等依赖都要部署在企业内网,并通过断网测试确认。
答案摘要:AI 智能体可以完全不调用公网大模型 API,但必须把模型权重、推理服务、企业知识库 RAG、身份认证、业务工具、日志和必要依赖都部署在企业内网。聚匠科技会通过关闭公网后的冷启动、问答、权限和工具调用测试,确认它是真正全本地运行,而不只是应用部署在客户服务器。
完全离线需要满足这份依赖清单
- 模型权重、分词器、推理镜像、驱动和运行依赖已完整导入内网。
- 知识库原文、向量索引、嵌入与重排服务均在本地。
- 用户登录、组织权限、单点认证和证书校验不依赖公网。
- CRM、ERP、OA、工单等工具接口可以从内网访问。
- 许可证、监控、告警、备份和时间同步具有离线方案。
仅让模型在 GPU 服务器上成功启动,不代表完整智能体已经离线。登录服务、在线许可证、外部对象存储、地图、短信或 SaaS 接口中的任何一项仍需公网,相关功能断网后就会失败。方案中应列明允许外连的服务和断网后的降级行为。
云 API、混合部署和全本地怎么选
云模型 API 适合快速验证、模型能力要求高且数据可以脱敏的任务;混合部署让知识、权限和敏感任务留在内网,公开或复杂任务按规则调用外部模型;全本地推理适合数据不能外发、网络隔离并具备 GPU 与运维能力的企业。三种方式都可以承载 AI 智能体,区别在数据、模型和责任边界。
全本地方案还要根据模型、量化、上下文、并发和响应目标评估容量,并核对模型与第三方组件许可证。可通过 AI 私有化部署 确定模型和基础设施,通过 企业知识库 RAG 确定资料、索引与权限位置。
哪些情况先不要承诺完全离线
核心身份系统或业务接口仍在公网、模型许可证需要在线校验、运维团队无法维护推理框架,或尚未完成真实模型效果测试时,不应直接承诺完全离线。可以先定义“断网后保留知识问答、暂停外部查询”等降级范围,再逐步迁移依赖。
验收时要关闭公网出口并重新启动系统,依次测试登录、知识检索、引用、权限、工具调用、日志、备份和恢复。只有整条链路按约定工作,才可认定对应功能不依赖公网模型 API。