从零搭建 AI 中台:一个百人团队的真实踩坑记录
基础设施不需要漂亮话。
过去 8 个月,我参与了一个百人规模的 AI 中台搭建项目,从零开始,到最终支持 20+ 业务线调用。过程中踩了大量坑,有些是技术债,有些是组织架构问题,还有些是纯粹的选型失误。
这篇文章记录的是真实踩坑过程,不是方法论,不是最佳实践,就是一份故障复盘。
一、背景:为什么要建 AI 中台
2024 年底,公司内部 AI 需求爆发。最开始是三个业务线各自接入大模型 API,很快变成十个、二十个。问题逐层暴露:
- 成本失控:每个业务线各自采购 API,没有集中采购,单价高,月度账单从 5 万涨到 80 万。
- 重复建设:每个团队都在写自己的 Prompt 管理、调用封装、结果缓存,代码重复率极高。
- 合规风险:部分业务线直接把用户数据发给第三方 API,安全团队介入后叫停了 6 个项目。
- 性能瓶颈:高峰期并发请求打爆了单实例部署的模型服务,多个业务线互相影响。
技术委员会讨论后决定:建一个统一的 AI 中台,提供模型接入、推理服务、Prompt 管理、成本控制、安全审计五项核心能力。
决策很快,执行很难。
二、架构选型:我们为什么没选托管方案
初期有三个方案:
最终选了方案 3,原因是成本和安全合规双重约束。
混合架构的核心设计:
踩坑 1:网关成了单点瓶颈
最初版本用 Go 写了一个简单网关,负责 API Key 管理、请求路由、限流。上线第一周就出问题:QPS 到 2000 时延迟从 50ms 飙到 800ms。
排查发现是连接池配置问题。标准库 http.Client 默认 MaxConnsPerHost 无限速,但我们的网关还加了业务层限流,导致大量请求排队。改成分层限流(连接级 + 请求级)后解决,但这个过程花了 3 天,期间多个业务线投诉。
教训:网关层的性能测试必须在真实流量下做,压测环境的 QPS 要按峰值的 3 倍设计。
三、模型接入:统一接口比想象中难
AI 中台的核心价值之一是统一接口。业务方只需要调用一个 API,中台负责背后路由到不同的模型提供商。
理想很丰满,现实很骨感。
各家 API 的接口规范差异比预期大:
| 认证方式 | Bearer Token | x-api-key | API Key + Secret | 内部 IAM |
| 流式响应 | SSE | SSE | 自定义协议 | 自定义 |
| 错误码 | HTTP 状态码 | 自定义 JSON | 自定义 JSON | 自定义 |
| 计费维度 | Token | Token | 调用次数 | 不计费 |
我们花了一个月写适配器层,最终定义了内部统一接口规范。但代价是:Adapter 代码量比核心网关还多,而且每次第三方 API 升级都要跟进适配。
踩坑 2:适配层变成了维护地狱
第 3 个月,Claude API 升级到 3.0,接口规范大改。我们的适配器层没有做好版本管理,导致线上服务中断 2 小时。
之后重构了适配器架构,引入版本化 Adapter 管理:
type ModelAdapter interface {
Chat(ctx context.Context, req *ChatRequest) (*ChatResponse, error)
Embedding(ctx context.Context, req *EmbedRequest) (*EmbedResponse, error)
Version() string
}
var adapterRegistry = map[string]map[string]ModelAdapter{
"claude": {
"2.0": &ClaudeV2Adapter{},
"3.0": &ClaudeV3Adapter{},
},
}
四、成本控制:从账单失控到精确到部门
成本控制是 AI 中台的核心价值,但也是最难做好的部分。
我们最初的成本统计很粗糙:每天拉一次各提供商的账单 CSV,人工汇总。这种方式的问题是延迟高、精度低,等业务方发现成本超支,钱已经花出去了。
最终方案是实时计费 + 预算告警:
踩坑 3:实时计费的性能开销
最初版本是同步计费:每次推理完成后,网关同步调用计费模块写入数据库。这导致 P99 延迟增加了 120ms。
优化方案是把计费改成异步:网关只做轻量级计数(基于 Token 预估),详细计费交给后台 Worker 批量处理。最终精度损失在 5% 以内,但延迟问题彻底解决。
五、总结:如果重来一次
8 个月上线,20+ 业务线接入,月度 AI 成本从 80 万降到 45 万。数字看起来不错,但过程中有些决策如果重来,我会做得不一样:
AI 中台不是银弹。它解决的是规模化问题,但引入的复杂度需要团队有能力消化。如果你们团队规模小于 50 人,我建议先用好托管方案,等规模上来了再考虑自建。
基础设施不需要漂亮话,能用、稳定、成本低,就是好方案。



