一、为什么需要 Local Attender Operator?
在视觉特征上采样领域,早期方法(如 LiFT)采用迭代 2× 上采样,但多次迭代会导致语义漂移;近期方法(如 LoftUp、JAFAR、AnyUp)转向 QKV 交叉注意力,虽然效果提升,但计算复杂度随 token 数量呈 O(N²) 增长,显存和时间开销巨大。
UPLiFT 论文提出:迭代上采样仍然可以与交叉注意力方法竞争,甚至实现更优的性价比。其核心是 Local Attender Operator(LAO),一种全新的局部注意力池化机制:
- ❌ 不使用 Query-Key-Value 公式
- ✅ 完全基于局部相对位置定义注意力
- ✅ 计算复杂度 O(n·N),n 为邻域大小(常数),N 为 token 数 → 线性缩放
- ✅ 天然保持特征分布一致性,避免语义漂移
二、LAO 做了什么?
1️⃣ 核心思想
LAO 是一种由高分辨率引导特征(Guide)指导低分辨率特征(Value)进行局部重采样的算子。
- Guide 特征:提供空间引导信号(高分辨率)




