目录
1、题目
2、文献信息
3、动机
4、主要工作
5、核心创新点
6、网络结构
1）总体架构
2）整体架构
3） 多特征专家混合模块 (MoMFE)
4）语义引导重建模块 (SGR)
7、损失函数
1、题目
Less Is More: Infrared and Visible Images Fusion via Semantic-Guided Mixture of Multi-Feature
少即是多：基于多特征专家语义制导的红外与可见光图像融合
2、文献信息
作者：邢英辉，牛志龙，朔阳，张世洲*，张燕宁
院士出处：IEEE TRANSACTIONS ON IMAGE PROCESSING，2026(35)3381-3394
IF：13.7， JCR分区：Q1，新锐分区：计算机科学1区
链接：Less Is More: Infrared and Visible Images Fusion via Semantic-Guided Mixture of Multi-Feature Experts | IEEE Journals & Magazine | IEEE Xplore
3、动机
现有深度学习红外与可见光图像融合（IVIF）方法在训练后通常对所有图像对执行静态推理，难以适应不同场景的需求；静态融合策略无法有效处理多模态数据间的特征冗余，常导致融合结果中引入多余信息，例如红外图像中的热噪声和可见光图像中的伪影，从而降低下游任务的精度
4、主要工作
1）提出了一种基于语义引导的多特征专家混合（MoMFE）框架用于红外与可见光图像融合
2）利用离散小波变换（DWT）和双编码器提取图像的高低频特征与梯度特征，并将其输入到对应的专用专家网络
3）设计了门控网络（Gating Net）来计算专家权重，动态选择并整合不同模态的特征
4）引入了辅助语义分割网络，在五个公共数据集上进行了全面的实验，验证了该方法在图像融合与下游分割任务中的性能提升
5、核心创新点
1）多特征专家混合模块（MoMFE）： 设计了6个专用专家网络独立处理不同的频率与梯度特征，并通过门控机制动态分配权重，在实现特征自适应互补融合的同时有效抑制模态内和模态间的冗余信息
2）语义引导重建模块（SGR）： 将融合特征与语义分割模型的特征对齐，利用高级语义信息指导融合图像的渐进式重建过程，确保融合结果兼具视觉质量与语义相关性
3）动态权重策略（Dynamic Weighting Strategy）： 摒弃了固定的损失函数超参数，利用熵（EN）和平均梯度（AG）指标动态评估像素级强度与纹理的相关性，自适应调节像素损失参数𝛼和梯度损失参数𝛽的权重比例，从而在训练中自动平衡图像结构稳定性与边缘细节的保留
6、网络结构
1）总体架构
2）整体架构
并行编码器：分别针对红外图像（
Infrared Image
）和可见光图像（
Visible Image
）提取多级分层特征
离散小波变换
(DWT)
模块：将源图像分解为高频和低频组件，以增强模型捕捉精细细节的能力
多特征组件：最终生成的特征包括频率特征（
Frequency features
）和梯度特征（
Gradient features
），共计
6
种不同的特征类型进入融合阶段
3） 多特征专家混合模块 (MoMFE)
专家网络
(Experts)
：包含
6
个专用的专家网络，其中
4
个为频率专家（处理高、低频特征），
2
个为梯度专家（处理编码器提取的梯度特征）
门控网络
(Gating Net)
：输入多模态编码特征，通过全局平均池化（
GAP
）和全局最大池化（
GMP
）生成门控权重，该机制能动态选择最关键的特征（推理时通过
Top-K
操作选择
4
个专家），在整合互补信息的同时抑制模态内的冗余信息和噪声
融合特征生成：经过加权后的专家输出与深层连接特征结合，生成融合特征
4）语义引导重建模块 (SGR)
语义特征引导：引入辅助分割网络的特征作为引导。通过通道注意力（
CA
）和空间注意力（
SA
）机制对融合特征进行调制
渐进式重建：调整后的融合特征与不同层级的编码器浅层特征进行残差连接并逐步卷积，确保重建的图像能保留丰富的视觉细节
最终输出：输出高质量的融合图像，并进一步辅助下游的语义分割任务
7、损失函数
该文献的损失函数由图像感知质量损失（像素损失、梯度损失、结构相似性损失）和训练稳定损失（负载损失）结合而成。负载损失：针对专家混合（MoE）架构设计，利用变异系数（CV）的平方来平衡各专家的工作量，确保每个专家处理的训练样本数量大致相同。为解决固定超参数的局限性，作者设计了一种动态权重策略在训练中自适应调节各项比例
动态调整机制：模型引入了图像的熵（EN）和平均梯度（AG）作为评估指标，用于衡量融合图像中像素级强度与纹理之间的相关性（即γ）。通过评估三种感知质量损失的相对关系，动态计算α和β的值。λ是一个常量，设置为5
