论文阅读 CVPR 2025 GIFNet 底层任务交互破局

4.1 公式化#

图像融合范式通常可定义为：

其中$I_1$和$I_2$是输入图像，$F$表示一种图像融合方法，$I_f$是融合后的图像。

近年来的方法常常将来自高级视觉任务的语义信息整合到多模态图像融合（IVIF）模型中，旨在提高性能。然而，这种范式带来了图像质量下降、计算成本增加以及泛化能力有限的风险（见图1和图2）。

图2. 基于高级任务的先进多任务融合方法与本文提出的底层任务交互范式的对比。前者依赖多模态特征和任务共享特征，聚焦于数字摄影任务共享特征的学习与增强；后者提供像素级监督，能呈现清晰的纹理细节，而那些聚焦语义的范式无法像我们的范式一样始终确保稳健的融合质量。

为此提出了一种新颖的方法，引入了两个创新点。

• 第一个是跨任务交互机制，它利用了各种融合任务中的底层处理操作。
  • 具体来说，我们使用数字摄影图像融合任务为无监督的 IVIF 任务提供额外的特定任务特征和监督信号，从而提高融合模型的泛化性和鲁棒性。
  • 我们选择多聚焦图像融合（MFIF）作为数字摄影融合的代表性示例来展示我们的 GIFNet 模型，因为在我们的交互消融实验（4.2 节）中，它在可用的融合任务中表现最佳。
• 第二个创新点是融入了单模态图像增强能力。
  • 通过引入数字摄影融合任务（一张图像的不同设置），模型学会在不依赖多模态输入的情况下增强特征。通过将两个输入都设置为同一图像，我们模拟了一种类似融合的增强过程，专注于细化单张图像内的细节。这个推理过程可以表示为：

其中，$X$ 表示单模态输入，$\hat{X}$ 是增强后的输出。现有图像融合方法的应用仅局限于多模态场景。而这一新特性使我们能够利用增强后的结果来提升主流 RGB 视觉任务的性能。

4.2 模型架构#

当代图像融合方法由于其单一的网络设计，多个任务依赖于单一的编码器 - 解码器结构，常常在协作学习方面遇到困难。

为了解决这个问题，我们的框架引入了一种三分支架构（如图 3（a）所示）

4.3 三分支架构#

它解耦了特征提取过程，并促进了底层任务之间的交互。在我们的模型中，只有基础特征提取部分在不同任务之间共享。

通过关注底层任务之间的交互，我们的方法允许特定任务的特征在网络内直接组合，无需额外的模块来弥合特征或语义差距。这种交互发生在多模态（MM）和数字摄影（DP）分支之间，跨任务机制在主分支和辅助分支之间交替（图 3（d））。

然后，一个门控模块有选择地将主分支的混合特征路由到全局解码器（G-Dec）以生成融合结果。重建（REC）分支通过提取任务无关的特征来支持这一过程。

4.4 交叉融合门控机制(CFGM)：#

在获得这些共享特征后，MM 和 DP 分支继续提取不同融合类型的特定任务特征。所提出的交叉融合门控机制（CFGM）是控制这些分支的核心技术，使它们能够融合特定任务的特征，并自适应地稳定跨任务交互。鉴于 SwinTransformer 块具有强大的全局特征提取能力，并且在捕获任务感知特征方面取得了成功 ，我们使用它来构建 CFGM。

在交叉融合门控机制（CFGM）中，主分支和辅助分支通过交替更新一个分支并冻结另一个分支来进行训练（图3（c））。

4.5 重建分支(REC)：#

REC 分支采用自动编码器从各种图像融合任务中导出通用特征（图 3（b）（II））。通过针对增强数据中的共享 RGB 模态进行重建，我们确保了任务共享特征的有效提取。共享编码器（S-Enc）中的密集连接最大化了特征利用率，使原始视觉信号能够传输到其他分支。其中REC分支的输入是主任务图像。

4.6 训练操作#

图 4. 我们的广义图像融合网络（GIFNet）推理阶段的示意图。在这个阶段，仅使用一对图像来生成多模态和数字摄影特征。

每个训练步骤中，我们有：

其中，$x_m$和$x_a$分别表示主任务和辅助任务的表示，$\lambda$是一个可学习的参数，用于控制辅助任务的影响程度。$Att_{self}和Att_{cross}$分别表示自注意力和交叉注意力操作。交互仅限于奇数层，以避免干扰Swin Transformer的窗口移位操作。

4.7 损失函数#

在训练过程中，我们采用两个损失函数，即由重建（REC）分支的输出$I_{r}$和融合图像$I_{f}$定义的公共损失$\mathcal{L}_{pub}$和私有损失$\mathcal{L}_{pri}$。每个任务分支的总损失为：

公共损失$L_{pub}$通过强制重建（REC）分支输出与共享RGB模态$I_{vis}$之间的一致性来指导基础特征提取：

其中，$\mathcal{L}_{ssim}$和$\mathcal{L}_{mse}$分别表示结构相似性损失和均方误差损失。结构相似性损失定义为：

这里，(SSIM)表示两个图像之间的结构相似性度量。

对于DP分支（MFIF任务），由于增强的MFIF数据来自RGB图像$I_{vis}$，我们有监督训练的真实标签。因此，该分支的私有损失公式为：

私有损失是针对每个任务唯一定义的。在迭代的任务交互过程中，只有主任务分支及其私有损失会被优化，而另一个分支则被冻结。请注意，REC分支的输入始终是主任务图像。

对于MM分支（IVIF任务），它要求融合图像保留输入图像中的信息内容，我们采用信息加权损失函数。基于卷积网络的视觉解释研究，特征图的梯度表明特定区域对最终网络决策的贡献程度。使用轻量级DenseNet分类网络，我们确定混合比例$w_{vis }$和$w_{ir }$：

其中$\phi(X)$表示通过预训练的DenseNet121网络提取的模态$X$的图像特征。然后，MM分支的私有损失定义为：

在推理阶段，与训练过程不同，单个融合任务仅需一对输入图像。我们首先提取共享图像特征，利用交叉融合门控机制（CFGM）融合两组特定表示，最终由全局解码器重建融合图像。该过程无需额外计算或参数更新，确保了实时应用的可行性。

5.1 实验设置#

我们使用LLVIP数据集进行训练，该数据集包含对齐的红外和可见光图像。通过数据增强（如模糊处理、旋转、翻转）生成额外的MFIF训练样本。评估涵盖7类任务：IVIF（5个数据集）、MFIF（3个数据集）、多曝光融合（MEIF）、近红外（NIR）融合、遥感（RS）融合、医学图像融合（MRI/PET）以及单模态增强任务。采用VIF、SCD、EI、AG等11项指标进行定量评估。

5.2 消融实验#

表1展示了不同模块对性能的影响。完整模型（MTL+CFGM+REC）在VIF指标上达到0.897，显著优于基线模型（0.763）。消融CFGM导致VIF下降8.2%，验证了跨任务交互的重要性。REC模块的引入使VIF提升5.4%，表明通用特征对齐的有效性。此外，MFIF辅助任务的效果优于MEIF（VIF 0.897 vs 0.862），证明了任务选择的合理性。

表 1. 所提出的广义图像融合网络（GIFNet）涉及不同组件和任务组合的消融实验结果（IV（即 IVIF，红外 - 可见光融合）任务属于多模态实验，MF 和 ME 分别指多聚焦图像融合和多曝光图像融合）。 EI（Edge Intensity，边缘强度）：衡量融合结果的边缘信息丰富度； VIF（Visual Information Fidelity，视觉信息保真度）：衡量融合图像对源图像信息的保留程度； SCD（Sum of Correlation Differences，相关差异和）：衡量融合图像与源图像的相关性差异； AG（Average Gradient，平均梯度）：衡量融合结果的清晰度。

交叉融合门控机制（CFGM）模块：最后，如图5和图6所示，用传统的融合操作取代自适应的CFGM策略（其特点是有一个可学习参数λ用于控制混合比例），从定量和定性两方面都表明，我们的自适应方法能够对交互过程进行更出色的控制，从而生成更可靠的融合图像。

图5. 交叉融合门控机制（CFGM）消融实验的定量结果。 图6. 交叉融合门控机制（CFGM）消融实验的可视化结果。

5.3 特征可视化#

图7显示，共享编码器提取的基础特征包含纹理和边缘信息。MM分支的特征保留了红外图像中的热辐射信息（如人体轮廓），而DP分支的特征增强了可见光图像的细节（如树叶纹理）。交叉融合后的特征同时包含两种模态的关键信息，验证了CFGM的有效性。

图7. 共享编码器以及两个分支在各种图像融合任务上的特征图可视化结果。

5.4 多模态任务#

5.5 已见任务#

在MFIF任务中，GIFNet在VIF指标上达到0.921，较第二名Text-IF提升25%（表2a）。在IVIF任务中，GIFNet的融合结果平衡了红外与可见光信息，在NVIQM指标上达到0.943，优于CDDFuse的0.915（表2b）。视觉效果显示，GIFNet在保留红外目标（如行人）的同时，恢复了可见光图像的纹理细节（图8）。

图8. 先进方法在不同融合任务上的定性结果。 （1）MFIF 任务 如表 2（a1）（a2）所示，GIFNet 在各项评价指标中均取得优异结果。例如，VIF 指标达到最优，较其他方法提升 25%，表明融合结果能有效增强源图像信息（如图 8 第一行所示）。 （2）IVIF 任务 如图 8 第二行所示，得益于协同训练，GIFNet 可更好地调整源模态的混合比例：既保留 RGB 图像丰富的纹理细节，又通过热辐射信息使场景呈现更明亮的视觉效果。因此，在低光与常规光照条件下，GIFNet 在所有定量实验中均表现最优（如表 2（b1）（b2）所示）。

5.6 未见任务#

对于未见的MEIF任务，GIFNet在VIF指标上达到0.853，较U2Fusion[34]提升46.7%（表2c）。在NIR融合任务中，GIFNet的SCD值为0.081，优于所有对比方法（表2d）。遥感融合任务中，GIFNet的AG值达到0.937，显著优于传统方法（图8）。医学图像融合任务中，GIFNet有效整合了MRI的解剖结构和PET的功能信息（表2f）。

表2. 专用（*）或统一方法在各种图像融合任务上的定量结果。（加粗：最佳，加粗：次佳） （1）MEIF 任务 GIFNet 在 MEIF 任务中对曝光不良图像的处理效果优异。如图 8 第三行所示，在 MEIF 任务的关键评价指标 “整体曝光度” 上，GIFNet 的融合结果亮度适中，无明显色彩失真（见高亮区域）。如表 2（c）所示，与先进方法相比，GIFNet 在所有融合指标中均大幅领先（VIF 提升 46.7%，AG 提升 37.8%）。 （2）近红外 - 可见光（NIR-VIS）融合任务 该任务与 IVIF 类似，但将中远红外模态替换为近红外模态。如图 8 第四行所示，现有融合方法虽能利用近红外信息改善 RGB 图像的低光条件，但 GIFNet 的纹理细节最清晰。定量结果（表 2（d））同样表明 GIFNet 性能优于现有算法。 （3）遥感融合任务（全色锐化） 该任务旨在同时保留全色图像的空间分辨率与多光谱图像的光谱分辨率。如图 8 倒数第二行所示，与现有方法不同，GIFNet 的融合图像边缘信息更锐利，可有效保留高分辨率全色模态中的物体形状。如表 2（e）所示，即便针对该任务设计的专用方法（P2Sharpen、ZeroSharpen），在多项指标中也不及 GIFNet。 （4）医学影像融合任务 该任务需保留磁共振成像（MRI）的显著器官结构，以及正电子发射断层扫描（PET）的清晰功能信息。如表 2（f）所示，尽管 GIFNet 未针对该任务训练，但其融合结果仍具备较强的视觉信息保真度（VIF），且与源输入的相关性较高（SCD）。这一性能与图 8 最后一行的定性结果一致 ——GIFNet 的融合结果可清晰呈现 MRI 模态中的局部结构。

5.7 单模态增强任务#

使用增强后的CIFAR100数据训练ResNet56，GIFNet的Top-1准确率达到56.18%，较原始数据提升7.3%（表3）。可视化结果显示，增强后的图像对比度更高，细节更清晰（图9）。这表明GIFNet不仅适用于多模态融合，还能作为通用图像增强器。

表3. 使用不同数据进行训练时，ResNet56的分类结果。原始的CIFAR100数据集以及使用不同图像融合方法增强后的数据被用作训练集。（†：此方法是使用不同的任务进行训练的）

图9. 先进的图像融合方法在CIFAR100单模态增强任务上的可视化结果。