100 多台 8 卡 GPU 服务器（共 800 + 张 GPU）组网，核心目标是满足大规模分布式训练的低延迟、高带宽、无单点故障需求，同时兼顾扩展性和可维护性。推荐采用 **“叶脊（Spine-Leaf）全互联拓扑”**，搭配分层网络设计（计算网、管理网、存储网物理隔离），以下是详细方案：
一、组网核心原则
二、网络架构设计（核心：Spine-Leaf 全互联）
针对 100 + 台服务器规模，采用标准叶脊拓扑（中小型集群无需额外 Aggregation 层），分为三层网络平面：
| 计算网（核心） | 跨节点 GPU 通信（参数同步、模型并行数据交换） | InfiniBand（IB）HDR/NDR 或 RoCEv2 | 单链路 200G/400G，集群总带宽≥20TB/s |
| 管理网 | 节点 IPMI 监控、SSH 管理、日志传输、调度系统通信 | 10G 以太网 | 单链路 10G，总带宽≥100G（冗余后） |
| 存储网 | 连接并行存储（如 GPFS、Ceph），共享训练数据 / Checkpoint | 100G 以太网或 IB | 单链路 100G，总带宽≥10TB/s |
1. 计算网：Spine-Leaf 拓扑详解（核心中的核心）
计算网是集群性能瓶颈的关键，优先选InfiniBand（IB）RDMA（低延迟、无 TCP 开销），预算有限可退选 RoCEv2（基于以太网的 RDMA）。
（1）拓扑结构
- Leaf 层（叶交换机）：每机柜 1 台 Leaf 交换机，负责连接本柜所有 GPU 服务器，以及上联至 Spine 层；
- Spine 层（脊交换机）：集中转发
