简介
【摘要】Transformer 原生全自注意力存在 O (n²) 平方级计算复杂度，百万 Token 长文本场景完全无法落地。滑动窗口注意力把复杂度降低至线性 O (n・w)，解决算力问题，但引入窗口分段断层：远距离 token 信息逐层传递衰减，出现 “读了后面忘前面”。跨窗口注意力通过局部窗口 + 少量全局信息通路，在几乎不增加算力前提下打通长距离语义；而 KDA (Key‑Value Decoupling Attention，键值解耦注意力) 作为该方向的高级实现，将 Key 与 Value 解耦处理：Key 做全局检索、Value 仅在局部窗口加权，同时兼顾全局语义连通性、线性计算开销、局部细节保真。本文拆解原理、通俗类比、给出简化数学表达、可理解伪代码，同时重点讨论这套机制真实存在的边界与缺陷。
1 全注意力：理想但算力爆炸
1.1 通俗比喻
把 Transformer 自注意力想象成大型会议室交流会。 全注意力：屋子里每一个人（token），必须和屋子里其余所有人握手交换信息。参会人数翻倍，握手总次数大约翻 4 倍。参会人数达到百万级别，握手次数直接万亿级别，硬件根本扛不住。
1.2 数学公式
标准自注意力：
(\\mathrm{Attention}(Q,K,V)=\\mathrm{softmax}\\left(\\frac{QK^\\top}{\\sqrt{d_k}}\\right)V) 时间复杂度：
(O_{\\text{full}} = O(n^2)) n：序列 token 总长度；(d_k)：key 维度。
量级直观感受：
- (4\\mathrm{k}) token：约 16M 计算
- (32\\mathrm{k}) token：约 1B 计算
- (1\\mathrm{M}) token：约 1T 计算 百万 token 下全注意力算力完全不可行。
2 滑动窗口注意力：长文本的折中方案
2.1 通俗比喻
大公司上千员工，不再要求每个人认识全公司，每个人只认识自己部门的 w 个同事。部门之外完全看不见。</
