0. 前言
本文介绍了频率驱动的TemporalAttention时空注意力模块,并将其集成到ultralytics最新发布的YOLO26目标检测算法中,构建C2PSA_TemporalAttention创新模块。Temporal Attention 模块是 FSTA-SNN 中的核心子模块之一,旨在解决脉冲神经网络中时序维度上的特征学习冗余问题。Temporal Attention 模块通过可学习的加权机制对不同时间步的特征进行动态调整,增强信息丰富的时间步特征,抑制冗余或噪声时间步特征。
专栏链接:YOLO系列算法改进专栏链接
专栏文章:YOLO26改进系列 | 卷积篇、轻量化、注意力、损失函数、Backbone、SPPF、C2PSA、Neck、检测头全方面保姆级优化合集 | 同样适配YOLOv11改进!!!
目录
0. 前言
1. Temporal Attention模块简介
2. Temporal Attention模块原理与创新点
🧠 Temporal Attention模块基本原理
🎯 Temporal Attention模块创新点
3. 具体改进步骤
🍀🍀步骤1:创建C2PSA_TemporalAttention.py文件
🍀🍀步骤2:tasks.py文件修改
🍀🍀步骤3:创建YAML配置文件
🍀🍀步骤4:新建train.py文件训练模型
🍀🍀步骤5:模型结构打印结果
1. Temporal Attention模块简介
脉冲神经网络因其固有的能量效率,正成为人工神经网络的一种有前景的替代方案。由于 SNN 中脉冲生成的固有稀疏性,对中间输出脉冲的深入分析和优化常被忽视。这种忽视严重限制了 SNN 固有的能量效率,并削弱了其在时空特征提取方面的优势,导致精度不足和不必要的能量消耗。在这项工作中,我们从时间和空间两个角度分析了 SNN 的固有脉冲特性。在空间分析方面,我们发现浅层倾向于学习垂直变化,而深层逐渐学习特征的水平变化。在时间分析方面,我们观察到不同时间步之间的特征学习没有显著差异,这表明增加时间步对特征学习的效果有限。基于这些分析得到的见解,我们提出了一种基于频率的时空注意力模块来增强 SNN 中的特征学习。该模块旨在通过抑制冗余脉冲特征来提高特征学习能力。实验结果表明,FSTA 模块的引入显著降低了 SNN 的脉冲发放率,在多个数据集上相比最先进的基线方法表现出更优的性能。

原始论文:


