AI 网关解决模型调用这一层:统一接入多个模型、分配额度、记录调用、常配私有化部署。执行治理平台解决的是调用之上的那一层:项目工作区、文件与上下文、Agent 能做哪些动作、谁来审批、人走了怎么交接。卡在账单和密钥就先上网关;卡在项目、权限和交接就需要治理层。两者不冲突,可以叠加。

把问题分成三段看

企业把 AI 用起来之后遇到的麻烦,几乎都能归到三段不同的位置上。这三段的症状看着像同一个问题——「AI 用起来不受控」——但解决它们的产品完全不同,买错层就是花了钱、问题还在。

第一段:模型调用

最先暴露的通常是这一段。研发自己申请了一个厂商的 API,市场部用的是另一家,财务月底收到两三张账单,每张都只有一个总额,谁花的、花在哪个项目上,谁也说不清。密钥散在个人电脑和代码仓库里,某个渠道限流或者挂掉,调用方没有兜底,业务那边直接报错。这一段是 AI 网关的主场:统一入口接多个模型、按人或部门分配额度、把每一次请求记下来、渠道故障时自动切换,很多网关还支持私有化部署,把调用日志留在内网。

判断自己是不是卡在这一段很简单:如果你现在最难回答的问题是「这个月的 AI 账单怎么分摊」「密钥到底在谁手里」,那就是这一段。

第二段:项目与执行

网关把调用这件事管住之后,第二段的问题才浮出来,而且它比第一段更难收拾。文件、上下文和产出散在每个人的账号里,同事休假,他跑过的那套流程别人接不上;Agent 用的是某个员工的凭据去读代码库和业务系统,出了问题查到的是这个人,而不是这次任务;一个任务中途失败、重试了三次、最后由人工接管改完的,这些过程没有留下记录;项目结束或者有人离职,权限收不干净,谁也不敢确认到底收完没有。

这一段网关管不到,原因不在功能多少,而在它看到的东西。网关看到的是一次次请求——哪个模型、多少 token、什么时候返回;它看不到这些请求属于哪一件事、这件事是谁批的、中间动了哪些数据、最后交给了谁。把一百条请求日志摆在面前,也还原不出一件事的全过程。这一段需要的是执行治理平台:项目工作区承载文件和上下文,Agent 有独立身份和动作级权限,敏感操作执行前要人确认,申请和回收走审批,任务级的记录包含失败、重试和人工接管,人员变动时工作区跟着项目走而不是跟着人走。

第三段:岗位与方法

前两段都解决了,还会剩一个问题:员工不知道该拿 AI 做什么。同类任务每次都从零开始描述一遍,做得好不好全看个人表达能力,一个人摸索出来的有效做法也传不到隔壁工位。这一段靠的是工作流、按角色分工的 AI 员工团队和可复用的模板,把验证过的做法固定下来。它属于前两段之上的增值层——底下两段没打好,这一层做得再漂亮也撑不住。

两类产品的覆盖范围

要解决的问题AI 网关执行治理平台
多个模型统一接入是取决于接入方式,可保留已有网关
按人或部门分配额度是是,并归集到项目和任务
调用日志是(按请求)是(按任务,含失败、重试与人工接管)
项目工作区与文件上下文否是
Agent 的动作级权限与执行前确认否是(取决于所选 Agent 是否支持)
申请审批与权限回收一般不含是
人员变动时的交接否是,工作区属于项目
私有化部署常见是

这张表按两类产品通常覆盖的范围写,不代表某一家具体产品的功能清单;真要选型,以各家公布的文档为准。

怎么判断自己该先上哪一层

不用把两类产品的功能表摊开逐项对比,换个方法更快:把你们现在最难回答的那个问题写下来,看它落在哪一段。

举一个常见的场景。一家公司的研发团队先用起了 AI,三个月后财务提出账单要分摊到项目,这时候买网关是对的——它能把额度按部门切开、把每次调用归到人。又过了两个月,法务发现 Agent 在读取客户合同目录,问「谁批准它读这个目录的、读过哪些文件」,这个问题网关答不了,因为它只知道有人调用了模型,不知道这次调用背后的任务动了哪些文件。这时候需要的就是第二段的能力,而且这类问题往往是被外部要求(审计、合规、客户尽调)逼出来的,留给你的时间不多。

  1. 最难回答的是账单分摊和密钥去向——先上网关。
  2. 最难回答的是「这件事是谁让 AI 做的、它动了哪些数据、结果交给了谁」——需要治理层。
  3. 两个问题都在,预算只够一件事:先管住能造成事故的那一段,通常是权限和执行记录;账单算错了可以事后补算,数据出去了补不回来。
  4. 已经有网关:不用拆,治理层管理的是接入并获得授权之后的能力、权限和执行记录。

叠加使用时的分工

两类产品叠着用的时候,分工是清楚的:网关继续负责模型路由、额度和调用日志,治理层负责项目、人、权限、审批、交接和任务级记录,并把用量按人、项目、模型归集。治理层向下走到网关那一层就停住,不去替它做路由;网关也不需要知道上面那件事是谁批的。

两边都会记录,但记录的粒度不一样,这一点在对账的时候最明显。网关给你的是「10 月 14 日 15:23,用户 A 调用了某模型,输入 3200 token,输出 1100 token」;治理层给你的是「客户合同初审这项任务,由谁发起、用了哪几个模型和工具、中间失败重试过两次、第三次由人工接管改完、最终产出放在哪个项目里、总共花了多少」。按请求对账只能对出一个总数,按任务对账才知道钱花在哪件事上、值不值。

具体到权限怎么设计,见AI Agent 的权限与审计管理;用量怎么归集,见多个大模型的用量与成本管理。

常见问题

已经上了 AI 网关,还需要治理平台吗?

看你现在卡在哪一段。如果账单和密钥的问题已经解决,剩下的是项目、权限、审批和交接,那是网关覆盖不到的一层。已有网关可以保留。

AI 网关能替代执行治理平台吗?

不能完整替代。网关看到的是一次次模型调用,还原不了一件事从发起、授权、执行到验收的全过程,也不处理项目工作区和人员交接。

两套系统会不会重复记录?

会各记各的,但粒度不同:网关记请求,治理层记任务,包含失败、重试、人工接管和最终交付物。对账时以任务为单位更有意义。

只有十几个人,需要哪一层?

人数少、任务不接触内部系统时,先把顺手的工具用好。多个团队共用模型、AI 开始接触公司数据或费用要分摊时,再按上面的判断顺序选。

说说你现在卡在哪一段

把现在最难回答的那个问题讲清楚——是账单、密钥,还是责任和交接,我们按这个确定要不要做、从哪做起。

咨询试点方案
分享