导读
前面几章讲了如何衡量AI产品质量——幻觉率、Token效率、评估体系。但质量是有代价的。AI产品一旦规模化,成本会快速失控——上个月还健康的账单,这个月可能翻倍,而团队找不到原因。
这一章解决两个核心问题:AI产品的钱到底花在哪里(成本结构),以及如何让它花得更值(成本优化)。
20.1 为什么AI产品成本容易失控
成本的三个放大器
AI成本有三个放大因素,它们会同时作用,让成本增长超出预期:
放大器一:用户量 × 每人请求数 × 每请求Token数
这是最直接的成本公式。任何一项线性增长,总成本都会线性放大。但实际中,这三项往往同时增长:用户多了,请求更频繁了,Prompt也更长了(因为加了更多上下文)。几个百分点的增长叠加起来,就是倍数级别的账单膨胀。
放大器二:模型层级用错
用顶级模型(GPT-5、Claude Opus)处理简单任务,是最常见的成本浪费。研究发现,使用单一顶级模型处理所有任务的组织,可能在AI账单上多花了40-85%。不是每个问题都需要一个能写诗的模型——FAQ回答、简单分类、意图识别,这些任务用更小更便宜的模型完全能搞定。
放大器三:重复计算
用户(或者不同用户)经常问同样的问题,或者相似的问题。但系统每次都重新调用模型,重新计算答案。据



