作者的话：随着大语言模型的规模不断增长，推理成本已成为AI应用落地的关键瓶颈。一个70B参数的模型，单次推理可能需要数GB显存和数秒延迟。vLLM等推理引擎通过PagedAttention、连续批处理等创新技术，将吞吐量提升了数十倍。本文将深入解析大模型推理优化的核心技术，并带你完成vLLM的实战部署！
一、大模型推理的挑战
1.1 推理成本分析
大模型推理面临三大挑战：
1. 显存占用
– 模型权重：70B模型 × 2字节(FP16) = 140 GB
– KV Cache：batch_size × seq_len × hidden × layers × 2 × 2字节
– 激活值：中间计算结果
2. 计算延迟
– 自注意力计算：O(n²)复杂度
– 线性层计算：矩阵乘法
– 解码方式：自回归逐个生成token
3. 吞吐量
– 单次请求延迟高
– GPU利用率低（内存带宽瓶颈）
1.2 自回归解码的瓶颈
标准自回归生成：
输入: "今天天气"
↓
生成第1个token: "很" (需要完整前向传播)
↓
生成第2个token: "好" (需要完整前向传播)
↓
生成第3个token: "。" (需要完整前向传播)
问题：
– 每个token都需要重新计算KV Cache
– 大量重复计算
– 内存带宽成为瓶颈
二、KV Cache优化
2.1 KV Cache原理
Transformer中的KV Cache：
在自注意力计算中：
Attention(Q, K, V) = softmax(QK^T / √d) V
对于生成任务：
– Q（查询）：当前token的查询向量
– K（键）：所有已生成token的键向量
– V（值）：所有已生成token的值向量
优化：缓存之前计算的K和V
– 避免重复计算
– 只需计算当前token的Q、K、V
– 但K、V需要存储，占用大量显存
2.2 多查询注意力（MQA）
标准多头注意力 vs 多查询注意力：
标准MHA：
– 每个头有自己的K、V投影
– 参数量：h × d × d_k
– KV Cache：batch × seq × h × d_k × 2
MQA：
– 所有头共享同一组K、V
– 参数量：d × d_k
– KV Cache：batch × seq × d_k × 2
– 显存节省：h倍（通常h=8-32）
分组查询注意力（GQA）：
– 折中方案：n个组，每组共享K、V
– 平衡显存和性能
2.3 KV Cache压缩
1. 量化
– INT8量化：减少50%显存
– INT4量化：减少75%显存
2. 稀疏化
– 只保留重要的KV（如H2O方法）
– 滑动窗口：只缓存最近N个token
3. 低秩近似
– 用低秩矩阵近似KV Cache
– 类似LoRA的思想
三、PagedAttention与vLLM
3.1 内存碎片问题
传统推理引擎的问题：
预分配策略：
– 为每个请求预分配最大长度内存
– 实际生成长度不确定
– 内存浪费严重
动态分配策略：
– 按需分配
– 产生内存碎片
– 难以批处理
示例：
请求1：预分配2048，实际用100 → 浪费1948
请求2：预分配2048，实际用2000 → 正常
请求3：需要1024，但内存碎片无法满足
3.2 PagedAttention原理
受操作系统虚拟内存启发：
虚拟内存 PagedAttention
↓ ↓
逻辑页面 → 物理页帧 逻辑块 → 物理块
↓ ↓
按需分配 按需分配KV Cache
↓ ↓
非连续存储 非连续存储
关键创新：
1. 将KV Cache分块（Block）
2. 每个Block固定大小（如16 tokens）
3. 逻辑块到物理块的动态映射
4. 支持内存共享和复用
优势：
– 消除内存碎片
– 支持动态扩展
– 内存利用率>90%（传统仅30-50%）
3.3 vLLM架构
vLLM系统架构：
┌─────────────────────────────────────────────┐
│ Scheduler │
│ 调度请求，决定batch组成 │
└─────────────────┬───────────────────────────┘
↓
┌─────────────────────────────────────────────┐
│ PagedAttention │
│ BlockManager + GPU内存管理 │
│ – 分配/释放Block │
│ – Copy-on-Write机制 │
└─────────────────┬───────────────────────────┘
↓
┌─────────────────────────────────────────────┐
│ Model Execution │
│ 实际模型推理计算 │
└─────────────────────────────────────────────┘
Copy-on-Write示例：
1. 请求A生成 "The cat"
2. 请求B复制请求A的上下文，生成 "The cat sat"
3. 共享 "The cat" 的KV Cache
4. 只在分叉点复制，节省内存
四、连续批处理（Continuous Batching）
4.1 静态批处理的问题
静态批处理：
时间轴 →
Batch: [Req1, Req2, Req3]
Req1: ████████ (短) 等待
Req2: ████████████████ (中) 等待
Req3: ██████████████████████ (长) 运行
问题：
– Req1完成后，GPU空闲等待Req2、Req3
– GPU利用率低
– 延迟高
4.2 连续批处理
连续批处理（In-flight Batching）：
时间轴 →
Step 1: [Req1, Req2, Req3] 运行
Step 2: [Req2, Req3, Req4] Req1完成，Req4加入
Step 3: [Req3, Req4, Req5] Req2完成，Req5加入
优势：
– GPU利用率接近100%
– 延迟降低50%+
– 吞吐量提升3-5倍
vLLM实现：
– 每个iteration检查完成的请求
– 立即加入新请求
– 动态调整batch大小
五、vLLM实战部署
5.1 安装与配置
# 安装vLLM
pip install vllm
# 检查GPU支持
python -c "import vllm; print(vllm.__version__)"
# 需要CUDA 11.8+ 和 PyTorch 2.0+
5.2 基础推理
from vllm import LLM, SamplingParams
# 加载模型
llm = LLM(
model="meta-llama/Llama-2-7b",
tensor_parallel_size=1, # GPU数量
gpu_memory_utilization=0.9, # GPU内存使用率
)
# 配置采样参数
sampling_params = SamplingParams(
temperature=0.8,
top_p=0.95,
max_tokens=256
)
# 单条推理
prompt = "解释什么是机器学习"
output = llm.generate(prompt, sampling_params)
print(output[0].outputs[0].text)
# 批量推理
prompts = [
"解释什么是机器学习",
"写一首关于AI的诗",
"总结深度学习的应用"
]
outputs = llm.generate(prompts, sampling_params)
for prompt, output in zip(prompts, outputs):
print(f"Prompt: {prompt}")
print(f"Output: {output.outputs[0].text}")
print("-" * 50)
5.3 部署OpenAI兼容API
# 启动API服务器
python -m vllm.entrypoints.openai.api_server –model meta-llama/Llama-2-7b –tensor-parallel-size 1 –max-num-seqs 256 –max-model-len 4096
# 调用API
import openai
openai.api_base = "http://localhost:8000/v1"
openai.api_key = "none"
response = openai.ChatCompletion.create(
model="meta-llama/Llama-2-7b",
messages=[
{"role": "user", "content": "解释什么是机器学习"}
],
temperature=0.8,
max_tokens=256
)
print(response.choices[0].message.content)
5.4 多卡并行推理
# 张量并行（Tensor Parallelism）
python -m vllm.entrypoints.openai.api_server –model meta-llama/Llama-2-70b –tensor-parallel-size 4 # 使用4张GPU
# 流水线并行（Pipeline Parallelism）
python -m vllm.entrypoints.openai.api_server –model meta-llama/Llama-2-70b –pipeline-parallel-size 2 –tensor-parallel-size 2 # 总共使用4张GPU
六、其他推理优化技术
6.1 FlashAttention
FlashAttention核心思想：
标准Attention：
– 加载Q, K, V到HBM（高带宽内存）
– 计算S = QK^T
– 计算P = softmax(S)
– 计算O = PV
– 内存访问：O(N²)次
FlashAttention：
– 分块计算，减少HBM访问
– 使用SRAM（高速缓存）
– 融合算子，减少kernel启动开销
– 内存访问：O(N)次
效果：
– 速度提升2-4倍
– 显存节省5-20倍
– 支持更长的序列
6.2 投机采样（Speculative Decoding）
投机采样原理：
1. 使用小模型（Draft Model）快速生成候选token
2. 大模型（Target Model）并行验证
3. 接受匹配的token，拒绝则重新采样
流程：
小模型: 生成 [t1, t2, t3, t4]
大模型: 并行计算 [t1, t2, t3, t4] 的概率
↓
验证： 接受 [t1, t2]，拒绝 t3
↓
结果： 输出 [t1, t2] + 大模型重采样t3'
效果：
– 延迟降低2-3倍
– 小模型可以是模型的量化版本
– Medusa、Lookahead等变体
6.3 量化推理
量化方法对比：
方法 精度 速度 显存节省
FP16 基准 1x 0%
INT8 高 1.5x 50%
INT4-GPTQ 中高 2x 75%
INT4-AWQ 高 2x 75%
FP8 高 1.8x 50%
GPTQ（训练后量化）：
– 逐层量化，最小化误差
– 适合静态推理
AWQ（激活感知量化）：
– 保护重要的权重通道
– 精度损失更小
vLLM量化支持：
python -m vllm.entrypoints.openai.api_server –model TheBloke/Llama-2-7B-AWQ –quantization awq
七、性能评测与调优
7.1 关键指标
1. Time To First Token (TTFT)
– 首个token的延迟
– 用户体验的关键
2. Time Per Output Token (TPOT)
– 每个输出token的生成时间
– 影响生成流畅度
3. Throughput
– 每秒生成的token数
– 服务端性能指标
4. Latency
– 完整请求的响应时间
– 受生成长度影响
7.2 性能测试
# 使用benchmark工具
python -m vllm.benchmarks.benchmark_throughput –model meta-llama/Llama-2-7b –dataset ShareGPT_V3_unfiltered_cleaned_split.json –num-prompts 1000
# 结果解读
Throughput: 1500 tokens/s
Average latency: 2.5s
P99 latency: 5.2s
7.3 调优建议
| 低延迟优先 | 减少batch size，使用投机采样 |
| 高吞吐优先 | 增大batch size，使用连续批处理 |
| 长序列 | 使用FlashAttention，滑动窗口 |
| 显存不足 | 量化（AWQ/GPTQ），MQA/GQA |
| 多用户并发 | 张量并行，动态批处理 |
八、总结
核心要点
技术选型建议
小规模部署（<10并发）：
– vLLM单卡部署
– INT8量化
– 连续批处理
中规模部署（10-100并发）：
– vLLM多卡张量并行
– AWQ量化
– 负载均衡
大规模部署（100+并发）：
– 多节点部署
– 服务网格
– 动态扩缩容
学习路径
Level 1: 基础使用
├── vLLM安装部署
├── API服务搭建
└── 基础性能测试
Level 2: 进阶优化
├── 量化技术（AWQ/GPTQ）
├── 并行策略（TP/PP）
└── 参数调优
Level 3: 深度定制
├── 自定义算子
├── 调度策略优化
└── 多模型管理
Level 4: 生产部署
├── 高可用架构
├── 监控告警
└── 成本控制
下一篇预告：【第56篇】多模态大模型：视觉语言模型实战（万字长文+完整代码实现）
本文为系列第55篇，详细介绍了大模型推理优化的核心技术和vLLM实战。有任何问题欢迎在评论区交流！
标签：vLLM、推理优化、PagedAttention、大模型部署、KV Cache、量化推理
