欢迎光临
我们一直在努力

YOLOv11改进策略【Conv和Transformer】| ICLR 2025 PolaLinearAttention 极性感知线性注意力 全符号交互 + 可学习降熵,线性复杂度追平Softmax

一、本文介绍

本文记录的是利用PolaLinearAttention极性感知线性注意力 模块优化YOLOv11的目标检测网络模型。

PolaLinearAttention通过Q/K极性分解、双路可学习符号加权融合与可学习幂函数降熵结合,在保持线性复杂度的同时完整恢复Query-Key正负交互并生成低熵尖锐注意力。本文利用PolaLinearAttention模块,先将查询与键分解为正负分量建模全符号交互,再以可学习矩阵自适应加权同符号与反符号贡献,通过可学习幂函数降低注意力分布熵,对关键目标特征进行精准聚焦、抑制无效均匀权重与背景噪声干扰,在注意力建模阶段实现完整特征关系与低熵尖锐分布的高效兼顾,摆脱传统线性注意力信息丢失与Softmax二次复杂度缺陷,显著提升视觉Transformer在分类、检测、分割任务中的精度与效率。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

文章目录

  • 一、本文介绍
  • 二、PolaLinearAttention 介绍
    • 2.1 设计出发点
    • 2.2 模块结构
    • 2.3 模块优势
  • 三、PolaLinearAttention的实现代码
  • 四、创新模块
    • 4.1 改进点⭐
  • 五、添加步骤
    • 5.1 修改一
    • 5.2 修改二
    • 5.3 修改三
  • 六、yaml模型文件
    • 6.1 模型改进版本⭐
  • 七、成功运行结果

二、PolaLinearAttention 介绍

2.1 设计出发点

传统线性注意力仅保留非负特征,丢失 Query-Key 负向交互信息,导致注意力图熵高、区分度差;且缺少类似 Softmax 的尖锐性,权重分布过于平均,表达能力弱于原版自注意力。因此提出极性感知线性注意力 PolaLinearAttention,完整保留正负交互并降低熵值。

2.2 模块结构

PolaLinearAttention(极性感知线性注意力)结构:

  • 极性分解:将 Q、K 拆分为正、负分量,建模同符号(正正、负负)与反符号(正负、负正)全交互;
  • 双路可学习融合:按通道拆分 V 为两路,分别处理同符号/反符号响应,用可学习矩阵 G s G^s G
  • 赞(0)
    未经允许不得转载:171主机测评 » YOLOv11改进策略【Conv和Transformer】| ICLR 2025 PolaLinearAttention 极性感知线性注意力 全符号交互 + 可学习降熵,线性复杂度追平Softmax
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址