推理篇第12节：TensorRT-LLM（二）——KV Cache与PageAttention优化

KV Cache不是\”缓存加速\”——它是大模型自回归推理的生存之锚；而PageAttention让它从低效的连续分配进化为灵活的分页管理

前言

上一节我们跑通了TRT-LLM的第一个模型。但你可能注意到了：生成式LLM的推理有一个根本性的\”矛盾\”——每生成一个新token，模型都需要\”回头看一眼\”之前所有的token来计算注意力。如果每次都重新计算，复杂度是O(n²)；如果全部缓存，显存又随着序列增长线性膨胀。

这正是KV Cache与PageAttention试图解决的问题。理解它们，是理解LLM推理优化的关键。这一节，我们从自回归推理的本质出发，一步步推导出KV Cache的必要性、它的显存瓶颈，以及PageAttention如何用\”分块+虚拟映射\”的方式优雅地解决这个瓶颈。

一、自回归推理的本质矛盾

1.1 为什么KV Cache必不可少

在自回归（auto-regressive）生成中，每步只输出一个新token。以生成\”我 爱 编程\”为例：

Step 1: prompt=\”AI助手：\” → 输出 Token_1
计算: Q(\”AI助手：\”) × K_all × V_all → output Token_1

Step 2: prompt=\”AI助手：我\” → 输出 Token_2
计算: Q(\”AI助手：我\”) × K_all × V_all → o