最近对两张 NVIDIA H200 NVL 进行了 NCCL 通信与基础性能测试，过程中还踩了不少 CUDA/NCCL 版本兼容坑。最终完成了 CUDA 12.8 + NCCL CUDA12.8 版本统一后，测试结果已经稳定。
本文主要分析：
- H200 PCIe 版本单卡性能
- 双卡 PCIe P2P 通信性能
- 与 NVLink/NVL 版本差距
- H200 PCIe 是否适合大模型训练
- 实际部署建议
一、测试环境
硬件配置
- GPU：2 × H200 NVL（PCIe 版本）
- 显存：141GB HBM3e
- PCIe：Gen5 x16
- CPU：双路服务器平台
- GPU 拓扑：
- GPU0：0000:c1:00
- GPU1：0000:e1:00
软件环境
- Driver：570.211.01
- CUDA：12.8
- NCCL：2.26.2 + CUDA12.8
- 测试工具：
- nccl-tests 2.18.3
二、测试过程中踩过的坑
最开始测试时，NCCL 一直报：
CUDA driver version is insufficient fo
