写在前面,上一篇讲了 AI 网关是什么(公司 AI 用量的总闸,解决用量/权限/出口三个失控)。这篇解决一个更实际的问题。市面上的产品都自称「网关」,价格差得离谱,功能说得都一样,怎么分辨真假?这篇文章给一套可以直接拿去验收供应商的「试五样」方法,写给正在做选型评估的开发者和 IT 决策者。
一、先说坑(转发不等于管控)
市面上不少产品,干的活就是把好几家模型的接口转成同一个格式,方便你切换。这算不算装了总闸?
这顶多算个三通接头。
管子归拢了,可水表、阀门、过滤网一样没有。三通接头解决「接得上」,总闸解决「管得住」,两件事。
这也是 LLM Proxy 和 AI Gateway 的本质区别。
| LLM Proxy | 多模型接口格式转换,方便切换 | 三通接头 | 轻量转发中间件,无计量无策略 |
| AI Gateway | 转发之上加计量、权限、安全、审计 | 总闸 | 生产级控制面(control plane) |
业界对此已有共识定义。AI Gateway 是位于应用与大模型供应商之间的集中代理层,统一提供路由、计量、访问控制与安全防护。Cloudflare、Azure API Management、LiteLLM 等官方文档的能力清单也都收敛到这套集合。判别标准很清晰,看它有没有计量、策略和审计,不看它会不会转发。
二、真总闸的完整标准(钱、权、责、稳、简)
真到挑选的时候,验收标准是五件事,钱、权、责、稳、简。不用听销售讲 PPT,像装修验收一样,上手试五样。
| 钱 | 成本 | 每一笔消耗算得清、摊得明 |
| 权 | 权限 | 谁能用什么模型,分得开、收得回 |
| 责 | 审计 | 每一次调用都能查到人和源头 |
| 稳 | 链路 | 上游模型出故障,业务不掉线 |
| 简 | 安全 | 脱敏、防护这些安全能力开箱即用 |
三、试五样
第一样,查水表(钱)
找财务要一个真实问题,这个月市场部用了多少 Token,花了多少钱,能不能按部门、项目、人头拆开?水表记不清数,后面全是空中楼阁。
还要问清一点,网关统计的用量和厂商账单对不对得上?
这俩经常有出入,折扣、缓存、模型版本都可能造成差价。Cloudflare 官方文档就明确将其成本数据定位为 estimation(估算),行业对账实践中 3%~12% 的差异并不罕见。选型时直接问厂商,网关的成本估算保留价格版本和计费依据吗?月末能和上游账单对账吗?靠谱的网关会留好对账的底子,不会让网关里的数字和真账单变成两本账。
第二样,试阀门和钥匙(权)
三个具体问题。
密钥等于钱。密钥生命周期管理做不好的网关,泄露一个 Key 就等于给人开了张空白支票。阀门只能全开或全关,那不叫阀门,叫掰水管。
第三样,验过滤网(简)
员工往对话框里粘贴的合同、客户资料,能不能先脱敏再送出去?只让水过,不让渣过。
企业 AI 的数据泄露风险集中在出口侧,代码片段、访问凭证、客户数据混在 Prompt 里发往外部模型,一旦发生就无法追回。这一样最容易被省掉,因为做起来最麻烦。但三个失控里最难收拾的就是出口没人守,过滤网省了,总闸就缺了最要紧的一块。
第四样,晃一晃管子(稳)
上游模型今天宕机、明期限流,你的业务是跟着停摆,还是自动切到备用链路(failover)?
好的网关不只被动切换,还会主动检测每条链路的健康状态,异常模型自动下线,不污染整体调用;恢复后自动归队,无需人工干预。这一样平时看不出差别,出事那天才知道值不值。
第五样,翻旧账(责)
随便指一笔上周的调用,能不能查到几点几分、哪个人、哪个项目、用的哪把密钥、烧了多少 Token?
这就是全链路审计,请求级 Trace,异常调用自动标记并可溯源到人。翻不出旧账的网关,出了事只能互相猜,财务怪 IT,IT 怪业务,业务怪模型。
四、什么规模的公司需要装
给你个粗略的判断。
| 十来个人 | 一年几千块 | 别折腾,管理成本比账单贵 |
| 几十到几百人 | 六位数起步 | 该考虑了 |
| 单企业年耗 8000 亿 Token 级 | 无 | 不是考虑装不装,是抢救 |
(8000 亿 Token 的账这么算,400 名研发 × 250 个工作日 × 人均日耗 800 万 Token,来自某大型制造企业的真实案例。)
五、可带走的验收清单
把「试五样」压缩成一张表,选型时逐项打钩。
| 1 | 查水表(钱) | 要一份按部门/项目/人头的用量拆分报告 | 只有请求次数,没有 Token 明细 |
| 2 | 试阀门钥匙(权) | 问密钥全生命周期的五个环节 | 密钥全局共用,无法按人/按项目隔离 |
| 3 | 验过滤网(简) | 演示环境输入一条带敏感数据的 Prompt | 无脱敏能力,或只有黑白名单 |
| 4 | 晃管子(稳) | 问上游宕机时的切换机制和恢复策略 | 手动切换,无链路健康检测 |
| 5 | 翻旧账(责) | 指定一笔历史调用,要求溯源到人 | 只有汇总报表,无请求级 Trace |
写在最后
这是 AI 网关系列的第二篇。第一篇立概念(AI 网关是总闸,解决三个失控),这一篇给验收方法(试五样,避开贴牌总闸)。下一篇聊装完之后的事,账记起来了,钱花了,怎么判断这 AI 买得值不值。预告一个观点,Token 是计量单位,不是价值单位。
如果对魔芋 MAI 网关感兴趣(企业级大模型流量治理网关,就是上文说的「总闸」,钱权责稳简五维全覆盖),可以关注我



