欢迎光临
我们一直在努力

FlashAttention-3(Hopper)代码阅读笔记

FlashAttention-3(Hopper)代码阅读笔记

对应目录:/root/.cuda/flash-attention/hopper/ 本文整理自看 FA3 forward 路径时的问答,按「找文件 → 调用链 → 壳 → 主循环 → 关键机制 → CuTe/CUTLASS」组织,便于复习。


1. 代码在哪、核心文件是谁

路径
版本 / 角色
csrc/flash_attn/、flash_attn/ FA1 / FA2
hopper/ FA3(Hopper / H100)
flash_attn/cute/ FA4(CuTeDSL)

README:cd hopper && python setup.py install,Python 包 flash_attn_3。

赞(0)
未经允许不得转载:171主机测评 » FlashAttention-3(Hopper)代码阅读笔记
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址