什么是Flash Attention
Flash Attention 是一种优化注意力机制计算效率的技术，由斯坦福大学团队在 2022 年提出。它的核心目标是解决传统自注意力计算中“内存瓶颈”问题——让模型在处理长文本（比如几万字的输入）时，计算更快、占用显存更少，同时不损失精度。
先理解：传统自注意力的“痛点”
自注意力机制的核心是计算“注意力矩阵”（Q×K^T，Q、K、V 是模型生成的向量），这个矩阵的大小是 (序列长度, 序列长度)。比如处理 1 万个词的文本，这个矩阵就有 1 亿个元素，会占用大量 GPU 内存。
传统计算流程类似：
这个过程中，“频繁读写全局内存”是最大的效率杀手——就像你每次做饭都要从远处的仓库来回搬运食材，浪费大量时间。
