在训练大模型（如 Llama 3, OpenVLA）时，我们经常看到各种各样的启动命令。python train.py？torchrun？还是 accelerate launch？
它们到底有什么区别？对于 7B+ 的模型，哪种才是“正确姿势”？本文带你一分钟彻底理清。
🚀 太长不看版（核心对比表）
| 1. python train.py | DP (单进程) | ❌ 极差 (GPU0 易炸) | ❌ 不支持 | 仅限调试代码逻辑 |
| 2. torchrun + 原生代码 | DDP (多进程) | ✅ 高 | ❌ 极难 (需手写 Engine) | 科研、魔改底层架构 |
| 3. torchrun + SFTTrainer | DDP (多进程) | ✅ 高 | ⚠️ 中等 (需手写 JSON) | 不需要 DeepSpeed 的标准微调 |
| 4. accelerate launch | DDP (多进程) | ✅ 最高 | ✅ 极简 (自动配置) | LLM/VLA 微调首选 |
1. 方式一：直接运行 python train.py
这是新手最容易踩的坑。
即使你使用了 SFTTrainer，如果不加任何分布式启动器直接运行，HuggingFace 默认会启用 DP (DataParallel) 模式。
- 原理：单进程多线程。主显卡 (GPU 0) 负责分发数据、汇总梯度、更新权重。
- 后果：
- GPU 0 显存爆炸：其他卡围观，主卡累死。
- 速度慢：Python GIL 锁限制了多线程效率。
- 结论：大模型训练绝对禁止使用此方式。
2. 方式二：torchrun + 原生 PyTorch 代码
这是“硬核”玩家的选择。
- 原理：PyTorch 原生的 DDP (DistributedDataParallel)。启动 N 个进程，每个进程控制一张卡，无中间商赚差价。
- 代码要求：
- 你需要手动写 dist.init_process_group。
- 需要手动包装 model = DDP(model)。
- 需要手动处理 Sampler。
- 结论：适合算法科学家从零写新架构。如果你只是微调，这属于“重复造轮子”。
3. 方式三：torchrun + SFTTrainer
这是“折中”的选择。
利用 torchrun 启动多进程，但利用 SFTTrainer (HuggingFace) 自动识别环境变量来通过 DDP 运行。
- 优点：不需要写复杂的 DDP 代码，直接享受多卡并行的高效率。
- 痛点：DeepSpeed 配置麻烦。
- 如果你想用 ZeRO-3 省显存，你需要手动写一个 ds_config.json 文件。
- 你需要确保 JSON 里的 batch_size 和 Python 代码里的参数严格对齐，否则报错报到你怀疑人生。
- 结论：如果你显存够大（不需要 DeepSpeed），这个方式很不错。
4. 方式四：accelerate launch (⭐ 推荐)
这是大模型微调的“最佳实践”。
Accelerate 是 HuggingFace 专门为分布式训练开发的“自动挡”工具。
- 原理：底层依然调用 torchrun，但它帮你管理了所有配置。
- 杀手级功能：DeepSpeed 集成。
- 只需运行一次 accelerate config，通过交互式菜单选择 “DeepSpeed” -> “ZeRO-3”。
- 它会自动生成配置，自动注入到 SFTTrainer 或 Accelerator 中。
- 你完全不需要手写 JSON，也不用担心参数对齐问题。
- 结论：微调 OpenVLA、Llama 等大模型的首选方案。
💡 总结建议
- 调试代码逻辑（看跑不跑得通）：用 python train.py（单卡）。
- 微调 7B+ 模型（需要 DeepSpeed）：请锁死 accelerate launch。
- 微调小模型（如 ResNet/BERT）：torchrun 配合 SFTTrainer 足够了。
参考命令：
- Accelerate (推荐):
accelerate launch –config_file default_config.yaml train.py
- Torchrun:
torchrun –nproc_per_node=8 train.py
