/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后，紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
1. 引言
随着大语言模型（LLM）在各行各业的落地，越来越多的业务系统开始集成 AI 能力。然而，调用大模型应用往往面临响应慢、成本高、体验不稳定等挑战。性能优化不是单一维度的调优，而是覆盖延迟、吞吐、成本、并发、稳定性等多个指标的系统工程。
本文将从「性能指标」和「优化策略」两个维度，系统梳理调用 AI 大模型应用的整体性能优化方法，帮助你在架构设计、代码实现和运维层面做出更优的决策。
2. 需要关注的核心性能指标
在讨论优化之前，先明确「性能」到底包含哪些可量化的维度。以下是调用大模型应用时最常关注的性能指标：
2.1 延迟（Latency）
- 首 Token 延迟（TTFT，Time To First Token）：从发起请求到收到第一个输出 Token 的时间。这是用户感知最明显的指标，直接影响交互体验。
- 总响应时间（Total Response Time）：从请求发出到完整响应返回的总耗时。
- 端到端延迟（End-to-End Latency）：包含网络传输、业务逻辑处理、模型推理在内的全链路耗时。
2.2 吞吐量（Throughput）
- 每秒请求数（RPS，Requests Per Second）：系统在单位时间内能处理的请求数量。
- 每秒 Token 数（TPS，Tokens Per Second）：模型每秒生成的 Token 数量，反映推理引擎的生成速度。
- 并发数（Concurrency）：系统同时处理的请求数量上限。
2.3 成本（Cost）
- 单次请求成本：每次调用 API 的 Token 费用。
- 单位 Token 成本：每千 Token 的调用价格。
- 总成本 / 月：包含模型调用、基础设施、缓存等在内的综合开销。
2.4 稳定性与可靠性
- 错误率（Error Rate）：请求失败（超时、限流、服务不可用）的比例。
- P95 / P99 延迟：反映极端情况下的延迟表现，比平均值更能暴露性能瓶颈。
- 可用性（Availability）：服务在单位时间内的可用比例。
2.5 资源利用率
- GPU/CPU 利用率：推理服务器的硬件资源使用情况。
- 内存占用：模型加载、KV Cache 等占用的内存量。
- 带宽消耗：输入输出 Token 带来的网络流量。
下图展示了各核心性能指标之间的权衡关系——优化某一指标时往往会影响其他指标，需要结合业务目标综合取舍：
#mermaid-svg-t82IVrvAiIW49FId{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-t82IVrvAiIW49FId .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-t82IVrvAiIW49FId .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-t82IVrvAiIW49FId .error-icon{fill:#552222;}#mermaid-svg-t82IVrvAiIW49FId .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-t82IVrvAiIW49FId .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-t82IVrvAiIW49FId .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-t82IVrvAiIW49FId .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-t82IVrvAiIW49FId .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-t82IVrvAiIW49FId .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-t82IVrvAiIW49FId .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-t82IVrvAiIW49FId .marker{fill:#333333;stroke:#333333;}#mermaid-svg-t82IVrvAiIW49FId .marker.cross{stroke:#333333;}#mermaid-svg-t82IVrvAiIW49FId svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-t82IVrvAiIW49FId p{margin:0;}#mermaid-svg-t82IVrvAiIW49FId .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-t82IVrvAiIW49FId .cluster-label text{fill:#333;}#mermaid-svg-t82IVrvAiIW49FId .cluster-label span{color:#333;}#mermaid-svg-t82IVrvAiIW49FId .cluster-label span p{background-color:transparent;}#mermaid-svg-t82IVrvAiIW49FId .label text,#mermaid-svg-t82IVrvAiIW49FId span{fill:#333;color:#333;}#mermaid-svg-t82IVrvAiIW49FId .node rect,#mermaid-svg-t82IVrvAiIW49FId .node circle,#mermaid-svg-t82IVrvAiIW49FId .node ellipse,#mermaid-svg-t82IVrvAiIW49FId .node polygon,#mermaid-svg-t82IVrvAiIW49FId .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-t82IVrvAiIW49FId .rough-node .label text,#mermaid-svg-t82IVrvAiIW49FId .node .label text,#mermaid-svg-t82IVrvAiIW49FId .image-shape .label,#mermaid-svg-t82IVrvAiIW49FId .icon-shape .label{text-anchor:middle;}#mermaid-svg-t82IVrvAiIW49FId .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-t82IVrvAiIW49FId .rough-node .label,#mermaid-svg-t82IVrvAiIW49FId .node .label,#mermaid-svg-t82IVrvAiIW49FId .image-shape .label,#mermaid-svg-t82IVrvAiIW49FId .icon-shape .label{text-align:center;}#mermaid-svg-t82IVrvAiIW49FId .node.clickable{cursor:pointer;}#mermaid-svg-t82IVrvAiIW49FId .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-t82IVrvAiIW49FId .arrowheadPath{fill:#333333;}#mermaid-svg-t82IVrvAiIW49FId .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-t82IVrvAiIW49FId .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-t82IVrvAiIW49FId .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-t82IVrvAiIW49FId .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-t82IVrvAiIW49FId .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-t82IVrvAiIW49FId .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-t82IVrvAiIW49FId .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-t82IVrvAiIW49FId .cluster text{fill:#333;}#mermaid-svg-t82IVrvAiIW49FId .cluster span{color:#333;}#mermaid-svg-t82IVrvAiIW49FId div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-t82IVrvAiIW49FId .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-t82IVrvAiIW49FId rect.text{fill:none;stroke-width:0;}#mermaid-svg-t82IVrvAiIW49FId .icon-shape,#mermaid-svg-t82IVrvAiIW49FId .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-t82IVrvAiIW49FId .icon-shape p,#mermaid-svg-t82IVrvAiIW49FId .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-t82IVrvAiIW49FId .icon-shape .label rect,#mermaid-svg-t82IVrvAiIW49FId .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-t82IVrvAiIW49FId .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-t82IVrvAiIW49FId .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-t82IVrvAiIW49FId :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
资源类指标
稳定性指标
成本类指标
体验类指标
提升吞吐可能牺牲延迟
吞吐越高成本越高
成本与稳定性需平衡
资源利用率影响稳定性
资源占用影响成本
反映极端延迟
依赖资源与容灾
延迟（TTFT / 总响应）
吞吐（RPS / TPS）
单次请求成本
单位 Token 成本
错误率
P95 / P99 延迟
可用性
GPU / CPU 利用率
内存占用
读图提示：性能优化本质是在「体验、成本、稳定性、资源」四类指标之间寻找平衡点。例如提升吞吐（B）往往需要更多 GPU 资源（H），进而推高成本（C）；而过度压缩成本又可能牺牲稳定性（E）。建议先明确业务的核心目标（如 C 端产品优先体验、B 端批量任务优先成本），再有针对性地取舍。
3. 优化策略总览
性能优化需要从「应用层 → 模型层 → 基础设施层」三个层面协同推进。下面按优化手段的收益和成本给出整体框架：
#mermaid-svg-VcmEJzQfgbqYOdcm{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-VcmEJzQfgbqYOdcm .error-icon{fill:#552222;}#mermaid-svg-VcmEJzQfgbqYOdcm .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VcmEJzQfgbqYOdcm .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VcmEJzQfgbqYOdcm .marker{fill:#333333;stroke:#333333;}#mermaid-svg-VcmEJzQfgbqYOdcm .marker.cross{stroke:#333333;}#mermaid-svg-VcmEJzQfgbqYOdcm svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VcmEJzQfgbqYOdcm p{margin:0;}#mermaid-svg-VcmEJzQfgbqYOdcm .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster-label text{fill:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster-label span{color:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster-label span p{background-color:transparent;}#mermaid-svg-VcmEJzQfgbqYOdcm .label text,#mermaid-svg-VcmEJzQfgbqYOdcm span{fill:#333;color:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm .node rect,#mermaid-svg-VcmEJzQfgbqYOdcm .node circle,#mermaid-svg-VcmEJzQfgbqYOdcm .node ellipse,#mermaid-svg-VcmEJzQfgbqYOdcm .node polygon,#mermaid-svg-VcmEJzQfgbqYOdcm .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VcmEJzQfgbqYOdcm .rough-node .label text,#mermaid-svg-VcmEJzQfgbqYOdcm .node .label text,#mermaid-svg-VcmEJzQfgbqYOdcm .image-shape .label,#mermaid-svg-VcmEJzQfgbqYOdcm .icon-shape .label{text-anchor:middle;}#mermaid-svg-VcmEJzQfgbqYOdcm .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-VcmEJzQfgbqYOdcm .rough-node .label,#mermaid-svg-VcmEJzQfgbqYOdcm .node .label,#mermaid-svg-VcmEJzQfgbqYOdcm .image-shape .label,#mermaid-svg-VcmEJzQfgbqYOdcm .icon-shape .label{text-align:center;}#mermaid-svg-VcmEJzQfgbqYOdcm .node.clickable{cursor:pointer;}#mermaid-svg-VcmEJzQfgbqYOdcm .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-VcmEJzQfgbqYOdcm .arrowheadPath{fill:#333333;}#mermaid-svg-VcmEJzQfgbqYOdcm .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VcmEJzQfgbqYOdcm .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VcmEJzQfgbqYOdcm .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VcmEJzQfgbqYOdcm .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-VcmEJzQfgbqYOdcm .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VcmEJzQfgbqYOdcm .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster text{fill:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm .cluster span{color:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VcmEJzQfgbqYOdcm .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-VcmEJzQfgbqYOdcm rect.text{fill:none;stroke-width:0;}#mermaid-svg-VcmEJzQfgbqYOdcm .icon-shape,#mermaid-svg-VcmEJzQfgbqYOdcm .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VcmEJzQfgbqYOdcm .icon-shape p,#mermaid-svg-VcmEJzQfgbqYOdcm .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-VcmEJzQfgbqYOdcm .icon-shape .label rect,#mermaid-svg-VcmEJzQfgbqYOdcm .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VcmEJzQfgbqYOdcm .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-VcmEJzQfgbqYOdcm .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-VcmEJzQfgbqYOdcm :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
