推理篇第11节：TensorRT-LLM（一）——大语言模型推理框架介绍与安装

别再用通用TensorRT硬怼LLM了——TensorRT-LLM是专门为大模型推理设计的\”特种部队\”

前言

至此，我们已经掌握了TensorRT的核心能力：Builder→Engine→ExecutionContext的完整生命周期、ONNX模型导入、精度配置、动态Shape、CUDA Stream并发。如果目标模型是ResNet、BERT、YOLO这类传统模型，这套工具链已经完全够用。

但大语言模型（LLMs）——GPT、Llama、Qwen等——的推理有完全不同的特征：

• 自回归生成：逐token生成，每次只输出一个token
• KV Cache：已计算的Key/Value必须缓存，避免重复计算
• 序列长度变化剧烈：从prompt的几百token到生成的几万token
• 内存管理复杂：KV Cache的大小随batch和序列动态变化

TensorRT-LLM（简称TRT-LLM）正是为解决这些特有问题而生的——它不是TensorRT的替代品，而是构建在TensorRT之上的LLM专用推理层。它做了四件核心的事：