目录
1、题目
2、文献信息
3、动机
4、主要工作
1）提出PIAFusion框架：
2）构建MSRS数据集：
3）广泛验证和高层视觉任务验证：
5、核心创新点
1）光照感知子网络：
2）光照感知损失函数：
3）跨模态差异感知融合模块：
4）渐进式特征提取与中途融合：
6、网络结构
1）网络结构
2）光照感知子网络
3）跨模态差分感知模块
4）渐进式融合网络架构
a、特征提取器：渐进式双分支交互
b、中途融合节点：
c、图像重建器：
7、损失函数
1）渐进式融合网络损失函数
2）光照感知子网络损失函数
1、题目
“PIAFusion: A progressive infrared and visible image fusion network based on illumination aware”
《 PIAFusion:一种基于光照感知的渐进式红外与可见光图像融合网络》
2、文献信息
作者： Linfeng Tang, Jiteng Yuan, Hao Zhang, Xingyu Jiang, Jiayi Ma ∗
出处： Information Fusion, 83-84 ( 2022 ) : 79-92
IF:15.5 JCR分区：Q1 新锐分区：计算机科学1区
链接：PIAFusion: A progressive infrared and visible image fusion network based on illumination aware – ScienceDirect
3、动机
红外与可见光图像融合中长期光照不平衡问题，即现有方法未能根据白天与夜间光照变化自适应调整对两种图像信息的依赖，主流数据集场景单一、规模不足以及融合阶段设计僵化的缺陷
4、主要工作
1）提出PIAFusion框架：
构建了一个端到端的深度学习框架，包含光照感知子网络、跨模态差异感知融合模块和渐进式融合策略
2）构建MSRS数据集：
基于MFNet数据集构建了多光谱道路场景(MSRS)数据集，包含1444对对齐的高质量红外与可见光图像，涵盖白昼与夜晚场景
3）广泛验证和高层视觉任务验证：
在多个数据集上验证并与9种最先进的方法比较，证明了该方法在定性和定量指标上的优越性。在语义分割任务中验证了融合结果对高级视觉任务的提升作用
5、核心创新点
1）光照感知子网络：
专门设计了一个分类网络来估算可见光图像的光照分布，通过计算图像属于白天或黑夜的概率，生成动态权重来指导融合过程
2）光照感知损失函数：
创新性地利用光照概率构建损失函数 。该损失函数能根据光照条件动态调节红外和可见光图像在融合结果中的强度占比，实现全天候自适应融合
3）跨模态差异感知融合模块：
设计了一个类似差分放大电路的 CMDAF 模块 。该模块在特征提取阶段渐进地整合互补信息，并通过通道加权强关键特征
4）渐进式特征提取与中途融合：
结合CMDAF模块与中途融合策略，使网络在不同阶段完全集成共有和互补特征
6、网络结构
1）网络结构
2）光照感知子网络
评估输入可见光图像的光照分布，来判断当前场景所处的光照条件，其输出最终用于计算光照感知权重，以指导主融合网络在不同光照下自适应地分配特征融合的比例
卷积层：4×4，步长2，Leaky Relu为激活函数，压缩空间维度的同时提取深层的光照特征
池化层：利用全局平均池化（GAP）操作来整合提取到的全局光照信息
全连接层：通过两个全连接层（FC）将整合后的特征映射为最终的光照概率分布
权重计算机制
网络输出的概率被引入归一化分配机制，用于计算源图像的最终贡献权重
光照感知子网络的损失函数
训练阶段采用交叉熵损失函数来约束分类的准确率，softmax函数将照明概率归一化为[0,1]，在整体的训练流程上，须先对光照感知子网络进行预训练。预训练完成后，利用其计算出的概率构建主网络的“光照感知损失”，进而指导后续渐进式融合网络的参数更新
3）跨模态差分感知模块
该模块基于差分放大电路原理设计，通过差分分解与通道加权，在特征提取阶段渐进式补偿红外与可见光模态间的差异互补信息
特征差分分解：模块首先将深度特征分解为共有部分和互补(差异)部分
通道加权与信息交互：提取互补特征后，模块通过通道注意力机制将其作为模态补充信息融合至原特征中
特征压缩：利用全局平均池化(GAP)将计算出的互补特征压缩为一个向量
权重生成：提供Sigmoid函数将该向量归一化至 [0, 1] 区间，生成通道权重
信息补偿：将互补特征与对应通道权重逐元素相乘，最后加回原始特征中，实现两模态互补信息的充分集成
4）渐进式融合网络架构
主要由特征提取器、中途融合节点、图像重建器组成
a、特征提取器：渐进式双分支交互
初步模态对齐：第一个卷积层是独立训练的，初步消除红外与可见光图像之间的固有模态差异
深层特征提取：后续四个卷积层用于提取图像的高级语义和纹理细节特征
渐进式交互：第
2
、
3
、
4
个卷积层之间横向插入有“
CMDAF”
模块，
CMDAF
模块提取出两者的互补特征后，通过加法操作将其重新注入回各自的主干分支中，这种设计让特征在提取阶段就完成了多轮次的渐进式预融合
b、中途融合节点：
“C”代表“拼接（Concatenation）”操作，网络在此处将高度交互后的红外与可见光特征在通道维度上直接合并
c、图像重建器：
接收来自节点“C”的拼接特征，并通过 5 个连续的卷积层进行处理，将收集到的所有共有和互补信息进行最终的彻底融合
该模块嵌入特征提取器的多个中间层，通过渐进式交换与融合互补信息，在保留公共语义的同时突出各模态独有细节，从而提升融合的完整性与适应性
渐进融合网络中所有卷积层的卷积核大小、输出通道数以及激活函数
7、损失函数
1）渐进式融合网络损失函数
该损失函数是光照感知损失、辅助强度损失和纹理损失的加权组合。在网络中引入光照与纹理损失的联合约束，实现了亮度分布的自适应优化与细节增强，从而确保全天候场景下红外与可见光信息的高效融合
光照感知损失，引导网络根据当前的光照条件，动态地保留源图像中的强度信息。它利用光照感知子网络输出的权重，对红外和可见光图像的像素级强度差异进行加权约束 ：
红外与可见光的强度损失通过计算融合图像与源图像在l1范数下的差异得出：
辅助强度损失，该损失强制融合图像在每个像素点上尽可能保留红外和可见光图像中的最大强度值 ：
纹理损失，该损失约束融合图像的梯度分布(即纹理)，使其逼近红外和可见光图像梯度的最大聚合值：
2）光照感知子网络损失函数
光照感知子网络在本质上是一个图像分类器(判断白天或黑夜)，在预训练阶段采用标准的交叉熵损失函数进行参数优化
