论文阅读 IEEE 2022 CLFNet Contrastive Learning for Infrared and Visible Image Fusion Network

4.1 网络架构#

CLF-Net 是一个简洁的端到端架构，主要包含两部分：

特征提取网络 (Encoder)：

• 双路输入：包含红外编码器 和可见光编码器 。

• 结构：由 4 个 ResBlock（残差块）组成。

• 特点：为了保留细节，步长设为 1，没有下采样，全程保持图像分辨率不变。

• 激活函数：$LeakyReLU$。

特征重建网络 (Decoder)：

• 输入：将两路编码器的深层特征直接拼接。
• 结构：同样由 4 个 ResBlock 组成。
• 输出：最后一个 ResBlock 采用 $tanh$ 激活函数替代 $leaky ReLU$激活函数，确保融合图像与源图像的取值范围一致。

4.2 NCE框架#

基于 NCE 思想并引入互信息（MI）概念，研究者提出一种新形式的对比损失函数 ——InfoNCE 。具体而言，假设存在一个编码后的查询样本（query）与一组编码后的样本集$\{k_1^-, k_2^-, ..., k_N^-\}$（包含 1 个正样本与 N 个负样本），查询样本、正样本与 N 个负样本分别映射为 K 维向量$q, k^+ \in \mathbb{R}^K$与$k^- \in \mathbb{R}^{N×K}$（其中$k_n^- \in \mathbb{R}^K$表示第 n 个负样本）。当查询样本与正样本$k^+$相似、与所有负样本$k^-$不相似时，InfoNCE 损失值最小。相似度通过 L2 归一化后的查询样本与其他样本的点积衡量，结果经温度参数 $\tau$ 缩放后作为对数几率（logits）。InfoNCE 损失定义如下：

4.3 自适应块级对比学习(patchNCE)#

• 样本采样：从融合图像中随机采样一个 patch，从红外图像与可见光图像的同一位置选取正样本 patch（即图中绿色、红色与蓝色框）；从红外图像与可见光图像的其他位置随机选取 N 个负样本 patch（即图中黄色与橙色框）；
• 特征编码：复用红外编码器与可见光编码器，并添加两层多层感知机（MLP）网络，将源图像与融合图像任意空间位置的 patch 编码为特征向量。例如，融合图像与源图像的正样本 patch 分别编码为特征向量 query、$p_{ir}$与$p_{vi}$；
• 相似度计算与损失计算：计算 query 与$p_{ir}$、query 与$p_{vi}$的相似度，保留相似度最高的 pair 计算 InfoNCE 损失。需注意的是，用于计算 InfoNCE 损失的正负样本均来自同一编码器编码后的源图像与融合图像

4.4 损失函数#

本节讨论结合 SSIM 损失与 patchNCE 损失的总损失函数计算过程，该总损失函数通过无监督学习引导 CNN 网络寻找最优参数。其中，SSIM 损失主要关注图像本身的结构特征，patchNCE 损失主要关注图像的深层特征。

（1）SSIM 损失 结合图像亮度、对比度与结构信息衡量图像质量，任意两幅图像的 SSIM 定义如下：

式中，$C_1=1×10^{-4}$，$C_2=9×10^{-4}$，将 SSIM 损失定义如下：

式中，W表示从图像左上角到右下角、步长为 1 的滑动窗口；$P_i$表示第 i 个像素值；m与n表示滑动窗口大小（本文设为 16×16）；N表示单幅图像中滑动窗口的数量。SSIM 损失基于局部窗口内像素的平均强度，既能保留红外图像的显著目标，又能保留可见光图像的亮区与显著纹理；同时，SSIM 损失利用图像结构的浅层特征，确保输入与输出的结构一致性。

（2）patchNCE 损失 对比损失构建过程如下：首先，利用图像融合任务中使用的两个编码器$E_{ir}$与$E_{vi}$，将特征图通过一个小型神经网络投影头H（两层 MLP）；红外图像与可见光图像通过对应编码器编码，融合图像通过两个编码器编码，得到 4 个特征序列：

设 $s \in \{1, \ldots, S\}$（$S$ 表示从最后一层图像特征层采样的空间位置数量），对于图像特征层的任意特定空间位置，将该位置的 patch 特征记为 $z^s \in \mathbb{R}^C$（$C$ 为通道数），同一特征层的其余特征记为 $z^{S/s} \in \mathbb{R}^{(S-1)\times C}$。如图 2 所示，任意特定空间位置的 patchNCE 损失如式（7）所示，对比损失如式（8）所示：

式中，$Z^s$是集合$\{z_{f\_ir}^s, z_{f\_vi}^s, z_{ir}^s, z_{vi}^s\}$的统称。patchNCE 损失聚焦编码器提取的深层表征，随着训练过程推进，该损失可有效调整编码器与投影头，使融合图像保留源图像中最相似的部分。

（3）总损失函数基于上述两种损失函数：

式中，$\lambda_1$与$\lambda_2$为超参数，用于平衡两种损失函数的权重。总体而言，SSIM 损失确保输入与输出的结构一致性，patchNCE 损失确保输入与输出的深层特征一致性，两种损失函数互补，共同引导网络取得理想的融合效果。

5.1 实验设置#

（1）数据集 所有训练与测试数据均来自 TNO 数据集 与 RoadScene 数据集 ：

• TNO 数据集：主要包含各类军事相关场景，是红外 - 可见光图像融合任务中最常用的数据集，包含 60 对红外 - 可见光图像对与 3 组视频序列截图；
• RoadScene 数据集：基于 FLIR 视频发布，包含大量道路场景（如道路、车辆、行人），共 221 对红外 - 可见光图像对。

（2）评价指标 融合性能评价包括主观评价与客观评价： 主观评价：基于人类视觉感知，通常包含红外显著目标与丰富纹理信息的融合图像效果最优； 客观评价：通过定量指标衡量融合性能，本文选取 6 种主流指标： 熵（EN）：基于信息论衡量融合图像的信息含量； 互信息（MI）：衡量源图像与融合图像的相关性； 视觉信息保真度（VIF）：通过计算图像失真程度衡量融合结果的信息保真度，与人类视觉系统一致性高； 标准差（SD）：基于统计概念反映融合图像的像素分布与对比度； 平均梯度（AG）：量化融合图像的梯度信息； 空间频率（SF）：衡量融合图像的梯度分布，AG 与 SF 均反映图像细节与纹理信息。

（3）训练细节 采用 TNO 数据集训练模型：选取 20 对图像对，通过裁剪扩充训练数据；采用 128×128 滑动窗口将图像裁剪为小图像块，滑动步长设为 32，最终得到 4404 对图像块；从 TNO 数据集选取 20 对图像对进行对比实验；为充分验证模型泛化能力，从 RoadScene 数据集选取 20 对图像对进行泛化实验。

所有源图像先归一化至 [-1, 1] 范围；MLP 结构参考 BYOL ，包含输出维度为 2048 的线性层、批归一化层、LeakyReLU 激活层，以及输出维度为 256 的最终线性层。

训练参数设置如下：批次大小（batch size）=4，最大训练轮次（max epoch）=20，学习率 = 2×10⁻³，温度参数(\tau)=0.07；算法基于 PyTorch 平台实现，所有实验在 NVIDIA GeForce RTX 2070 Super GPU 与 Intel i7-10875H CPU 上完成。

（4）训练超参数讨论 部分超参数直接影响模型最终性能，包括式（7）中的采样数量S与式（9）中的(\lambda_1)、(\lambda_2)。需注意，采样数量 S 与负样本数量 N 相关：正样本来自某一源图像的一个 patch，负样本既来自同一源图像的其他 patch，也来自同一训练批次中其他源图像的 patch，因此负样本数量(N=S-1+(B-1)×S)（B为批次大小）。

从定量指标与单轮次训练时间两方面分析不同超参数选择的影响，结果如表 1 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。损失函数中(L_{SSIM})权重过低会导致融合图像对比度低、质量差；权重过高则会导致可见光细节一定程度丢失。

由表 1 可知，(\lambda_1/\lambda_2)的不同比例选择对定量指标有直接影响：当(\lambda_1/\lambda_2>1)时，MI、VIF、SD 指标更优，表明(L_{patchNCE})更有助于提升融合图像对比度，使其更符合人类视觉效果；当(\lambda_1/\lambda_2<1)时，EN、AG、SF 指标更优，表明融合图像包含更多纹理细节。这一结果表明：即使(L_{patchNCE})权重较低，也能弥补(L_{SSIM})的不足，保留可见光细节，这一点在消融实验中也得到验证。因此，为结合两种损失函数的优势，本文将超参数 (\lambda_1) 与 (\lambda_2) 均设为 1。此外，由表 1 可知，随着采样数量S增加，训练时间显著增加，过多采样会加重训练效率与设备负担；从定量指标来看，采样数量过低或过高均会导致模型性能下降：采样数量过少会使模型无法有效区分正负样本，过多则易导致负样本中包含更多与正样本相似的样本（例如，在热红外目标上采集多个样本，这些样本实际可视为同一类，若将其多数作为负样本会影响模型性能）。因此，本文选取超参数(S=200)。

5.2 对比实验#

为全面分析所提方法性能，在 TNO 数据集上将 CLF-Net 与 8 种方法进行对比。

（1）定性结果

为直观对比不同算法性能，从 TNO 数据集选取 4 组典型图像对（bench、Nato_camp_1811、Kaptein_1123、2_men_in_front_of_house），定性对比结果如图 3 - 图 6 所示。在图 3 与图 4 中，选取显著目标（红色框标注）并在右下角放大，便于对比。

如图 3 所示：DenseFuse 丢失红外目标信息，未捕捉到明显热辐射目标；NestFuse、IFCNN、PMGI、U2Fusion 虽能捕捉到较明显热辐射目标，但均受可见光图像噪声干扰（其中 U2Fusion 受干扰最严重）；FusionGAN、GANMcC 能捕捉到高对比度显著目标，但目标边缘模糊，影响目标识别；STDFusionNet 与 CLF-Net 能捕捉到质量最优的红外显著目标，且 CLF-Net 的显著目标边缘更清晰，更贴近红外图像。

图 4 中，所提方法在显著目标融合方面仍表现最优。

在图 5 与图 6 中，除选取显著目标（红色框标注）并在右下角放大外，还选取背景区域进行分析。如图 5 所示：首先，在显著目标方面，CLF-Net 保留充足信息，得到边缘清晰、对比度高的红外目标；其次，在可见光图像地面背景区域（绿色框标注），DenseFuse、NestFuse、IFCNN、STDFusionNet、CLF-Net 均能保留纹理信息；但对于图像中其他背景（如天空，蓝色框标注），5 种算法表现不同 ——CLF-Net 受热红外信息干扰最小，得到与可见光图像天空一致的明亮天空。

（2）定量结果

从 TNO 数据集选取 20 对图像对，对所提方法与 8 种算法进行定量分析，6 种通用定量指标结果如图 7 与表 2 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。

在 6 项指标中，所提方法在 EN、VIF、SD 指标上表现最优（尤其在 VIF 指标上优势显著）；在 MI、AG、SF 指标上表现相当：MI 指标除 STDFusionNet 外，所提方法优于其他算法；AG 指标略逊于 U2Fusion 与 IFCNN；SF 指标仅微弱落后于 IFCNN。

如图 7 所示，所提方法在几乎所有图像对的 VIF 指标上均取得最高值，表明所提算法具有更优的人类视觉效果，与定性分析结果一致；EN 值越大，融合图像包含信息越多，CLF-Net 融合图像的信息含量最大；SD 指标表现最优，表明融合结果对比度高，同样与定性分析结果一致；MI 值越大，源图像向融合图像的信息传递越多，表明所提方法保留了红外与可见光图像的大量信息；SF 与 AG 均反映融合图像的细节与纹理，尽管所提方法在这两项指标上并非最优，但仍能保证融合图像包含充足梯度信息。

5.3 RoadScene 数据集泛化实验#

为验证所提方法的泛化能力，在 RoadScene 数据集上将 CLF-Net 与 8 种方法进行对比。

（1）定性结果

从 RoadScene 数据集选取 4 组典型图像对进行分析，如图 8 - 图 11 所示，用红色框标注道路场景中的典型显著目标（车辆、行人）。与其他方法相比，CLF-Net 生成的融合图像中，显著目标具有清晰的边缘轮廓与最高对比度，最大化保留了红外图像中的热目标。 由于红外图像独特的成像方式，无论昼夜，红外图像中的天空始终呈暗色，因此难以从红外图像判断时间或天气。在图 8、图 10 与图 11 中，场景均拍摄于白天，但除 IFCNN、STDFusionNet、CLF-Net 外，其他方法的融合图像难以区分昼夜；其中 STDFusionNet 与 CLF-Net 表现最优，且 CLF-Net 的天空背景更明亮，更贴近可见光图像。 此外，用绿色框标注树木、横幅、墙上文字等背景区域，对比可知所提方法保留了可见光图像最丰富的细节纹理信息。图 10 中需注意，阳光导致相机拍摄的可见光图像存在轻微过曝光，细节模糊，但所提方法生成的融合图像有效降低了过曝光影响。

（2）定量结果

从 RoadScene 数据集选取 20 对图像对进行定量评价，结果如图 12 与表 3 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。具体而言，所提方法在 EN、MI、VIF、AG、SF 指标上均取得最高平均值；在 SD 指标上，所提算法与 NestFuse、STDFusionNet 性能接近，仅微弱落后。

5.4 医学图像泛化实验#

本节在医学图像上对比不同图像融合方法，实验所用医学图像来自http://www.med.harvard.edu/aanlib/ ， 共 24 对。

（1）定性结果

选取 MR-T1 与 MR-T2 图像作为源图像：MR-T1 包含明亮的颅骨特征，MR-T2 包含丰富的纹理信息。从数据集中选取两组典型图像对，如图 13 与图 14 所示，用红色框标注图 13 中 MR-T1 的显著区域与图 14 中 MR-T2 的纹理细节。 如图 13 所示，不同融合算法对 MR-T1 中明亮颅骨特征的保留效果存在差异，其中 STDFusionNet 与 CLF-Net 对明亮颅骨区域的保留效果最优；IFSepR 生成的图像存在一定失真，但包含丰富纹理细节；对于标注的显著区域，RFN-Nest 与 FusionGAN 几乎丢失该区域特征，而 IFCNN、PMGI、CLF-Net 能很好地保留显著区域特征，更贴近源图像。 图 14 中，颅骨明亮区域的融合效果分析与图 13 一致；此外，对于眼眶区域（MR-T2 比 MR-T1 更亮），仅 GANMcC、IFCNN、STDFusionNet、CLF-Net 能较好保留 MR-T2 的亮度；与图 13 相比，图 14 的 MR-T2 图像包含更丰富有用的纹理信息，DenseFuse、FusionGAN、GANMcC、PMGI 保留的纹理信息较少，而 IFCNN、U2Fusion、STDFusionNet、IFSepR、CLF-Net 保留的纹理信息更多。

（2）定量结果

定量对比结果如表 4 与图 17 所示。AG 与 SF 反映图像纹理信息，IFSepR、CLF-Net、IFCNN 在这两项指标上位列前三，其次是 U2Fusion 与 STDFusionNet，表明这些算法能更好保留图像中丰富的纹理信息，与定性分析一致；在 VIF 指标上，CLF-Net、IFCNN、PMGI 位列前三，表明这些算法生成的图像更符合人类视觉效果；此外，IFSepR 的 VIF 指标最低，这与其图像失真相关；所提算法在 EN 与 MI 指标上同样表现优异，表明其具有较强的信息传递能力。 医学图像融合任务与红外 - 可见光图像融合任务存在一定相似性，基于上述定性与定量分析，所提方法在医学图像融合任务中具有良好的应用潜力。

5.5 多焦点图像泛化实验#

本节在多焦点图像融合领域评价所提方法，测试所用多焦点图像来自 https://github.com/sametaymaz/Multi-focus-Image1032 Fusion-Dataset，包含 36 对不同场景的图像对。

（1）定性结果

源图像来自同一图像，但不同非重叠区域存在模糊。从数据集中选取两组典型图像对，如图 15 与图 16 所示。从整体融合效果来看，PMGI 融合结果失真严重，包含大量噪声；IFSepR 能融合模糊区域，但天空区域存在失真；RFN-Nest、FusionGAN、GANMcC、STDFusionNet 对模糊区域的融合性能较差，主要表现为难以清晰识别模糊文字；IFCNN、U2Fusion、DenseFuse 能保留模糊区域细节，文字清晰可见；CLF-Net 在一定程度上保留了模糊区域细节，文字可辨认。 图 16 中，IFCNN、U2Fusion、IFSepR 对模糊区域细节特征的保留效果最优，最贴近源图像；DenseFuse、CLF-Net 也能较好保留充足纹理细节；RFN-Nest、FusionGAN、STDFusionNet 几乎无法分辨模糊细节。

（2）定量结果

多焦点图像融合的定量对比结果如表 5 与图 18 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。U2Fusion 在 AG 与 SF 指标上位列第一，表明其保留了丰富的细节纹理信息；IFCNN 在 VIF 指标上表现最优，生成的图像更贴近人类视觉；所提算法在 EN、AG、SF 指标上位列第二，在 VIF 指标上位列第三，表明其在多焦点图像融合中具有竞争力。 与红外 - 可见光图像融合相比，多焦点图像融合策略存在差异：对于源图像中的模糊区域，多焦点融合图像更倾向于保留单一源图像中对应的清晰部分。因此，部分在红外 - 可见光图像融合中表现优异的算法，在多焦点图像融合中性能较差。但本文提出的基于对比学习的算法同样倾向于保留局部区域信息，即保留源图像中相似度最高的区域，因此所提方法在多焦点图像融合中仍具有较强的应用潜力。 相较于红外 - 可见光图像融合，所提方法在医学图像与多焦点图像融合中的结果略逊。未来可从两方面深入研究：一方面，采用特定训练集使模型更具针对性；另一方面，结合医学图像与多焦点图像的特点，引入新模块优化模型。

5.6 消融实验#

在模型中，除引入 SSIM 损失函数外，核心是基于对比学习框架设计的损失函数 ——patchNCE 损失。两种损失函数共同引导 CNN 网络探索最优参数：patchNCE 损失从深层特征层面对比源图像与融合图像，引导网络充分保留红外图像的显著目标与可见光图像的细节纹理。

为验证 patchNCE 损失的有效性，进行相关消融实验：将参数(\lambda_1)设为 0 以移除 patchNCE 损失，仅采用 SSIM 损失训练网络。

消融实验结果如图 19 与表 6 所示（红色表示最优结果）。如图 19 (d) 所示，仅使用 SSIM 损失时，模型虽能实现红外 - 可见光图像融合，但在背景纹理信息融合方面仍存在缺陷；为直观对比有无 patchNCE 损失的融合图像差异，对两幅图像进行差值运算并反转结果，如图 19 (e) 所示 —— 图像越暗，表明两幅融合图像的差异越大。图 19 (e) 显示，整体背景区域与显著目标边缘存在大量暗区，表明 patchNCE 损失弥补了大量背景纹理信息与显著目标边缘信息。

此外，定量对比结果如表 6 所示：与无 patchNCE 损失的 CLF-Net 相比，所提方法在所有指标上均显著提升，尤其在 AG 与 SF 指标上提升明显，表明所提方法生成的融合图像具有更丰富的梯度与纹理信息，与前文分析一致。

5.7 效率与复杂度评估实验#

对于图像融合任务，模型生成效率也是评价模型性能的重要指标，可通过运行时间直观评估。在 TNO 与 RoadScene 数据集上测试 9 种不同算法（含所提算法）的运行时间均值与标准差，结果如表 7 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。运行时间均值反映模型综合运行效率，标准差反映模型对不同分辨率源图像融合的稳健性。结果表明，除 IFCNN 外，所提方法优于大多数算法，表明 CLF-Net 在运行效率评价中具有竞争力。

此外，测试模型参数数量：结果显示，与其他对比算法相比，CLF-Net 的参数数量较少，仅略高于 PMGI，表明所提网络具有轻量化特点。

5.8 扩展实验#

本节讨论自适应 patch 级对比学习框架中的负样本选择策略，以 “从红外编码器得到的融合图像中选取 query、从红外图像中选取正样本” 为例，负样本选取存在三种可能策略：

策略 1：从可见光编码器编码的可见光图像中选取；

策略 2：从红外编码器编码的可见光图像中选取；

策略 3：从红外图像的其余区域选取（本文采用的策略）。

对比测试结果如表 8 所示（红色表示最优结果）。由表 8 可知，本文提出的策略 3 在所有指标上均表现最优，原因分析如下：

策略 1：不同编码器提取的特征不一致，导致从可见光编码器获取的负样本与从红外编码器获取的 query 差异显著，训练初期对比损失值即维持在较低水平，无法对网络参数优化起到有效引导作用；

策略 2：正负 patch 通过同一编码器编码，虽能确保正负 patch 处于同一空间，但红外编码器具有特定功能，通过红外编码器获取可见光图像特征无实际意义，因此训练初期正负样本仍存在显著差异；此外，策略 2 存在大量计算冗余，这一点从单轮次训练时间也可看出；

策略 3：从同一源图像的其余区域选取负样本，既能保证正负样本处于同一特征空间，又能有效区分正负样本，对网络训练起到有效引导作用。