把一个近 400B 的模型塞进单卡,这事儿放在两年前还得堆 10 张 H100。如今一张 192GB 显存,理论上就能装下 NVFP4 量化后的 Qwen 3.5-397B-A17B 这类旗舰 MoE 模型。数字一对比,确实有点魔幻——显存需求从近 800GB 砍到 100GB 出头,降幅接近八成。
这个变化的核心,是 NVIDIA 在 Blackwell 架构上原生支持的 NVFP4 格式。它不是简单的"把 FP16 砍掉几位",而是一整套重新设计的数值表达和缩放机制。今天我们就把它掰开,顺便把目前能跑 NVFP4 的显卡一并理清楚。
从内存墙说起
制约大模型推理的,早就不是算力,而是显存。
一张 H100 SXM 配 80GB HBM3,看似很大,但遇到 Qwen 3.5-397B 这类近 400B 旗舰 MoE,FP16 加载就要 800GB 上下。即便用 INT4 量化,权重也得 200GB 左右,加上激活值和 KV 缓存,显存直接爆掉。多卡互联能解决容量问题,又带来通信延迟和单机架功耗的新麻烦。
NVIDIA 的思路是:既然单精度跑不动,就把精度继续往下压。FP8 已经把内存砍了一半,但还不够狠;真正破局的是 FP4——理论内存只有 FP16 的四分之一。
听起来很美好,问题是 4 位能装得下神经网络那种动辄跨越好几个数量级的数值吗?MXFP4 试过,32 个值共享一个缩放因子,实际效果差强人意,大模型精度掉得厉害。NVFP4 换了一套打法,效果就好得多。
NVFP4 到底是个什么东西
NVFP4 的核心是 E2M1 这种 4 位浮点格式——1 位符号位、2 位指数位、1 位尾数位,总共 4 比特。
4 位能表示多少数?严格按规格是 -6 到 +6 之间的若干离散值。范围这么窄,光靠它自己肯定扛不住 LLM 那种动辄 0.001 到 100 的权重分布。所以 NVFP4 引入了关键的两层缩放机制。
NVFP4 的 E2M1 位分配:1 符号 + 2 指数 + 1 尾数
第一层:微块缩放(16 值共用一个 E4M3 缩放因子)
每 16 个连续的 NVFP4 数值,会配一个 FP8(E4M3)格式的缩放因子。这个缩放因子不是简单的 2 的幂次(那是 MXFP4 的做法),它能表示 1.5×、2.5× 这种非整数倍,缩放粒度更细。
为什么是 16 而不是 32?NVIDIA 内部测试过——块越小,对异常值的容忍度越好。一个离群值不会"污染"整个大块,损失自然小。代价是额外多了一点缩放因子开销,平均每个值大约 0.5 位。
第二层:张量缩放(整个张量共用一个 FP32 缩放因子)
光有微块缩放还不够。Transformer 不同层的数值尺度差异巨大——第一层 attention 的权重可能在 0.01 量级,最后一层 FFN 又跑到 10 量级,微块缩放搞不定这种宏观差异。所以 NVFP4 在整个张量层面再叠一个 FP32 高精度缩放因子,负责把跨层的数量级差异先归一化掉。
双层缩放:微块缩放 + 张量缩放协同
两层缩放加起来,每个 NVFP4 值的实际存储开销大约 4.5 位(4 位数据 + 平摊的缩放因子)。相比 FP16,内存直接省到 28% 左右;相比 FP8,也能再省 56%。
光省内存还不够,关键还得保住精度。NVIDIA 发布的 Gemma 4 31B NVFP4 量化版就是个现成例子:GPQA Diamond 上跑到 75.46%,跟原版的 75.71% 几乎一致,精度保留率 99.7%。MMLU Pro 84.94%、AIME 2025 65.94%、LiveCodeBench 70.63%——这套基准打下来,跟 BF16 原版的差距基本都在 1 个百分点以内。这个精度损失,跟 FP8 比 FP16 的损失差不多,完全在工程可接受范围内。
NVFP4 和 MXFP4 有什么不一样
既然都是 FP4,绕不开和 MXFP4 的对比。它俩最大的差别在三处:
| 微块大小 | 32 个值 | 16 个值 |
| 微块缩放因子 | E8M0(纯 2 的幂) | E4M3 FP8(支持分数倍) |
| 张量级缩放 | 无 | FP32 全局缩放 |
| 硬件加速 | 部分平台软件模拟 | Blackwell Tensor Core 原生 |
简单说,MXFP4 是 OCP(开放计算项目)推动的开放标准,生态兼容性强,但精度上吃亏;NVFP4 是 NVIDIA 专为自家 Blackwell 设计的"特供版",精度和性能都更优,但离开 Blackwell 就只能软件模拟跑。
实测下来,同样的 8B 模型,MXFP4 要多训 36% 左右的 token 才能追平 NVFP4 的最终损失。Qwen 3.5 这类 MoE 模型尤其吃这套双层缩放——稀疏激活 + 全局缩放刚好契合 NVFP4 的设计目标,显存和精度两手都硬。
显存账:NVFP4 能省多少
光说原理有点抽象,直接看数字更直观。下图是 Google DeepMind 4 月发布的 Gemma 4 31B Dense 在不同精度下的权重占用:
Gemma 4 31B Dense 不同精度下的权重占用
62GB → 16GB,这只是权重。实际部署中,KV 缓存和激活值也要算上,但量级在那摆着——单张 24GB 显存的 RTX 5090 跑 Gemma 4 31B NVFP4 已经是工程现实,跑满 256K 长上下文则推荐 32GB 显存。
换到 Qwen 3.5-397B-A17B 这种旗舰 MoE 上,账更夸张:FP16 加载要 800GB,INT4 也要 200GB,而 NVFP4 量化后能压到 100GB 出头。配合 MoE 本身只激活 17B 参数的稀疏性,推理时的有效算力开销进一步降低,B200 这种 192GB 显存的单卡就能塞下,GB200 多卡部署吞吐直接起飞。
谁在硬件上原生支持 NVFP4
NVFP4 不是软件层面的事,关键在于 Tensor Core 能不能直接吃下 4 位数据。答案目前只有 Blackwell 这一代。
支持 NVFP4 的 Blackwell 显卡(数据中心 + 消费级)
数据中心卡
从最早的 B100、B200,到双芯封装的 GB200 Grace Blackwell,再到后续的 B300、GB300,清一色是 Blackwell 架构,第五代 Tensor Core 全部原生支持 NVFP4。B200 单卡 FP4 峰值算力 40 PFLOPS,是 H100 FP8 性能的 5 倍。GB300 还要再上一档,288GB HBM3E 显存加上 1.5 倍性能提升,一个 NVL72 机柜总算力能到 1.1 ExaFLOPS 量级。
消费级卡
RTX 50 系列(Blackwell 消费版)也支持 NVFP4。RTX 5090 标称 3352 AI TOPS,RTX 5080 是 1801 TOPS,RTX 5070 Ti 1406 TOPS,RTX 5070 也有 988 TOPS。这些数字来自 NVIDIA 官方规格,实际能跑出多少还要看具体模型和量化工具链。
值得一提的是,Hopper 架构(H100、H200)只能软件模拟 NVFP4,没有硬件加速。AMD 的 MI300X、MI350 在 FP4 上另有方案,跟 NVFP4 不是一回事,不能混用。
性能数据:从推理到训练
推理端
以 Qwen 3.5-397B-A17B 为例,部署在 GB200 上跑 NVFP4,单节点就能服务一个 397B 总参的旗舰 MoE,吞吐量相比 H100 跑 FP8 提升 3 倍多,整机能到每秒 3 万 token 上下。关键是精度:MMLU-Pro 上 Qwen 3.5-397B-A17B 是 87.8%,NVFP4 量化后基本保持这个水平。
Google DeepMind 4 月发布的 Gemma 4 31B,经过 NVIDIA NVFP4 量化后,GPQA Diamond 75.46%、MMLU Pro 84.94%、AIME 2025 65.94%、LiveCodeBench 70.63%——这一组基准跟 BF16 原版差距都在 1% 以内。在 RTX 5090 上跑 NVFP4 Gemma 4 31B,相比 FP8 加速近 2 倍,256K 长上下文的本地多模态应用不再受限于显存。
训练端
NVFP4 同样可以用于训练。NVIDIA 在 MaxText 中给出了多组模型的实测数据(以 Qwen 3.5 同级别的 Llama 系列作为参照):
| 8B Dense / GB200 | 1497 | 2017 | 1.35× |
| 8B Dense / GB300 | 1759 | 2301 | 1.31× |
| 405B Dense / GB200 | 1557 | 2241 | 1.44× |
| 405B Dense / GB300 | 2103 | 3633 | 1.73× |
加速比 1.3 到 1.7 倍之间,看着不算爆炸性提升,但训练场景下"每步快一点"在万卡集群上折算成时间和电费,就是几个百分点的总成本差异。对 Qwen 3.5 这种大尺寸 MoE 来说,MLP 层占训练 FLOP 的大头,正好是 NVFP4 提速最明显的部分;注意力层则保留高精度,避免 softmax 放大量化噪声。8B Dense 用 NVFP4 训练 1 万步,损失曲线几乎和 FP8 重合,差距在 0.026 nat,完全淹没在训练噪声里。
能效比方面,H100 跑 FP8 推理每 token 大约 10 焦耳,到 B200 的 NVFP4 降到 0.4 焦耳,B300 进一步压到 0.2 焦耳。50 倍的能效提升,放在 Qwen 3.5-Plus、Gemma 4 这类大规模推理服务上,一年下来电费差距相当可观。
软件生态:能不能用上
光有硬件支持还不够,软件得跟上。NVFP4 在 2025 年才正式推出,但生态完善速度比想象中快。
量化工具
TensorRT Model Optimizer 是官方主推方案,Python API 十几行代码就能完成模型量化。校准数据集准备几百个样本就够,但要尽量贴合实际推理的数据分布,否则缩放因子会偏。
llm-compressor 也支持 NVFP4,适合从 Hugging Face 模型直接导出。
推理框架
vLLM 和 SGLang 都已经原生集成 NVFP4,部署时通过参数或环境变量切换精度模式。TensorRT-LLM 的支持是开箱即用的,配置文件里指定精度即可。
Hugging Face 上预量化的 NVFP4 模型越来越多,Qwen 3.5、Gemma 4 系列都有官方或社区维护的版本,直接下载就能跳过量化步骤。Qwen 3.5-122B-A10B 这种中等规模 MoE 用 vLLM 部署时,NVFP4 一行参数就能切。
训练侧
NVFP4 预训练已经走通。NVIDIA 在 MaxText 中给出了完整 recipe,核心是:只对 MLP 层做 4 位量化(注意力层保持高精度),用 16×16 的 2D 权重缩放、随机 Hadamard 变换和随机舍入来保持收敛。转换指令是 Blackwell 原生支持的,CUDA、cuDNN、Transformer Engine 几个组件配合起来就能跑。Qwen 3.5 的训练虽然用的是 FP8 流水线(50% 激活显存节省),但 NVFP4 是 FP8 之后的下一个台阶——两者不冲突,反而是同一思路的延续。
怎么选:几点实际建议
聊到选型,几个具体场景可以参考:
如果你是企业级推理服务方,在 GB200、GB300 这种集群上做高吞吐量部署,直接上 NVFP4 是最优解。Qwen 3.5-397B-A17B、Gemma 4 31B 这种体量的模型,单节点 8 卡就能服务,延迟和 TCO 都比 FP8 友好。Qwen 3.5-Plus 通过阿里云百炼提供 1M 上下文 API,这种规模的服务对底层推理效率极敏感,NVFP4 直接降低单 token 成本。
如果你是中小企业或者个人开发者,RTX 5090 配上 vLLM 是当前性价比最高的本地化方案。Gemma 4 31B NVFP4 版一张 24GB 显卡就能跑,Qwen 3.5-35B-A3B 这种轻量 MoE 激活参数只有 3B,普通笔记本都能本地部署。本地跑 31B 级别的前沿模型,FLUX 这种生图模型也能实时出图。
如果是混合精度部署,不必把整个模型全压成 NVFP4。敏感层(embedding、最后输出层)保留 FP8 或 BF16,中间线性层用 NVFP4,内存收益能拿大头,精度损失控制得更好。Gemma 4 12B 这类多模态模型尤其推荐这招——文本和图像走 NVFP4,音频和最后一层 LM Head 留 BF16。
如果是边缘或离线场景,注意 NVFP4 需要 Blackwell 及以上架构。Hopper 上能跑但没硬件加速,性能优势直接砍半。手头只有 H100、A100 的,老老实实用 INT4 或 FP8 更划算,或者直接上 Gemma 4 E2B/E4B 这类专为边缘优化的轻量版本。
如果模型规模超过 300B,NVFP4 的价值就特别明显——Qwen 3.5-397B-A17B 这种 400B 量级的 MoE,FP16 要 800GB 显存,INT4 算上 KV 缓存和激活值也捉襟见肘,只有 NVFP4 能稳稳塞进 192GB 单卡并保留余量做长上下文推理。
最后说一句
NVFP4 不是 NVIDIA 凭空造出来的概念,而是内存墙压力下的工程必然——模型规模膨胀的速度,远快于显存容量的增长,精度压缩是绕不开的路径。
4 位浮点并不是终点。NVIDIA 在 Rubin 架构里规划了 50 PFLOPS 的密集 FP4 算力,相比 Blackwell 再翻一倍。学术界也在探索 3 位、2 位的可行性。NVFP4 那套"双层缩放"的设计思路,大概率会被推广到更激进的低比特方案里。
对实际做模型部署的人来说,现在是个不错的窗口期:硬件陆续到位,工具链趋于完善,预量化模型开箱即用。NVFP4 不是万能解,但在它擅长的场景里(大模型推理、长上下文、高并发服务),确实把"内存"和"算力"两个老问题,往前推了一大步。
如果还在为显存发愁,不妨拿 RTX 5090 跑跑预量化的 NVFP4 模型,实际效果比纸面数据更有说服力。
