欢迎光临
我们一直在努力

从零搭建 AI 中台:一个百人团队的真实踩坑记录

从零搭建 AI 中台:一个百人团队的真实踩坑记录

基础设施不需要漂亮话。

过去 8 个月,我参与了一个百人规模的 AI 中台搭建项目,从零开始,到最终支持 20+ 业务线调用。过程中踩了大量坑,有些是技术债,有些是组织架构问题,还有些是纯粹的选型失误。

这篇文章记录的是真实踩坑过程,不是方法论,不是最佳实践,就是一份故障复盘。

一、背景:为什么要建 AI 中台

2024 年底,公司内部 AI 需求爆发。最开始是三个业务线各自接入大模型 API,很快变成十个、二十个。问题逐层暴露:

  • 成本失控:每个业务线各自采购 API,没有集中采购,单价高,月度账单从 5 万涨到 80 万。
  • 重复建设:每个团队都在写自己的 Prompt 管理、调用封装、结果缓存,代码重复率极高。
  • 合规风险:部分业务线直接把用户数据发给第三方 API,安全团队介入后叫停了 6 个项目。
  • 性能瓶颈:高峰期并发请求打爆了单实例部署的模型服务,多个业务线互相影响。

技术委员会讨论后决定:建一个统一的 AI 中台,提供模型接入、推理服务、Prompt 管理、成本控制、安全审计五项核心能力。

决策很快,执行很难。

二、架构选型:我们为什么没选托管方案

初期有三个方案:

  • 全托管(Azure OpenAI + Vertex AI)
  • 半托管(K8s + 开源模型)
  • 混合架构(托管 API + 自建推理集群)
  • 最终选了方案 3,原因是成本和安全合规双重约束。

    混合架构的核心设计:

    踩坑 1:网关成了单点瓶颈

    最初版本用 Go 写了一个简单网关,负责 API Key 管理、请求路由、限流。上线第一周就出问题:QPS 到 2000 时延迟从 50ms 飙到 800ms。

    排查发现是连接池配置问题。标准库 http.Client 默认 MaxConnsPerHost 无限速,但我们的网关还加了业务层限流,导致大量请求排队。改成分层限流(连接级 + 请求级)后解决,但这个过程花了 3 天,期间多个业务线投诉。

    教训:网关层的性能测试必须在真实流量下做,压测环境的 QPS 要按峰值的 3 倍设计。

    三、模型接入:统一接口比想象中难

    AI 中台的核心价值之一是统一接口。业务方只需要调用一个 API,中台负责背后路由到不同的模型提供商。

    理想很丰满,现实很骨感。

    各家 API 的接口规范差异比预期大:

    维度OpenAIClaude文心一言自建 Llama
    认证方式 Bearer Token x-api-key API Key + Secret 内部 IAM
    流式响应 SSE SSE 自定义协议 自定义
    错误码 HTTP 状态码 自定义 JSON 自定义 JSON 自定义
    计费维度 Token Token 调用次数 不计费

    我们花了一个月写适配器层,最终定义了内部统一接口规范。但代价是:Adapter 代码量比核心网关还多,而且每次第三方 API 升级都要跟进适配。

    踩坑 2:适配层变成了维护地狱

    第 3 个月,Claude API 升级到 3.0,接口规范大改。我们的适配器层没有做好版本管理,导致线上服务中断 2 小时。

    之后重构了适配器架构,引入版本化 Adapter 管理:

    type ModelAdapter interface {
    Chat(ctx context.Context, req *ChatRequest) (*ChatResponse, error)
    Embedding(ctx context.Context, req *EmbedRequest) (*EmbedResponse, error)
    Version() string
    }

    var adapterRegistry = map[string]map[string]ModelAdapter{
    "claude": {
    "2.0": &ClaudeV2Adapter{},
    "3.0": &ClaudeV3Adapter{},
    },
    }

    四、成本控制:从账单失控到精确到部门

    成本控制是 AI 中台的核心价值,但也是最难做好的部分。

    我们最初的成本统计很粗糙:每天拉一次各提供商的账单 CSV,人工汇总。这种方式的问题是延迟高、精度低,等业务方发现成本超支,钱已经花出去了。

    最终方案是实时计费 + 预算告警:

    踩坑 3:实时计费的性能开销

    最初版本是同步计费:每次推理完成后,网关同步调用计费模块写入数据库。这导致 P99 延迟增加了 120ms。

    优化方案是把计费改成异步:网关只做轻量级计数(基于 Token 预估),详细计费交给后台 Worker 批量处理。最终精度损失在 5% 以内,但延迟问题彻底解决。

    五、总结:如果重来一次

    8 个月上线,20+ 业务线接入,月度 AI 成本从 80 万降到 45 万。数字看起来不错,但过程中有些决策如果重来,我会做得不一样:

  • 尽早引入 Kafka 做异步解耦:初期为了简单用了 HTTP 直调,后期重构成本高。
  • 网关层必须用成熟方案:自研网关踩的坑,用 Envoy + 自研插件可以避免。
  • 成本控制要从 Day 1 做起:后期接入成本系统比从零搭建还难,因为要补历史数据。
  • 适配器层必须版本化管理:这是血泪教训,API 升级是常态不是例外。
  • AI 中台不是银弹。它解决的是规模化问题,但引入的复杂度需要团队有能力消化。如果你们团队规模小于 50 人,我建议先用好托管方案,等规模上来了再考虑自建。

    基础设施不需要漂亮话,能用、稳定、成本低,就是好方案。

    赞(0)
    未经允许不得转载:171主机测评 » 从零搭建 AI 中台:一个百人团队的真实踩坑记录
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址