Stardust

cc/codex接入deepseek等自定义模型

Sun, 07 Jun 2026 00:00:00 GMT

1. 安装 Node.js（已安装可跳过）#

确保 Node.js 版本 ≥ 18.0

Terminal window

1
# Ubuntu / Debian 用户
2
curl -fsSL https://deb.nodesource.com/setup_lts.x | sudo bash -
3
sudo apt-get install -y nodejs
4
node --version
5

6
# macOS 用户
7
sudo xcode-select --install
8
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
9
brew install node
10
node --version

2. 安装 cc/codex#

安装Claude Code：

Terminal window

1
npm install -g @anthropic-ai/claude-code
2
claude --version

安装 Codex:

codex desktop在 ChatGPT 官网/微软商店安装即可。

codex cli:

Terminal window

1
npm i -g @openai/codex
2
codex --version

3. 安装 CC Switch(强烈建议)#

cc switch是一个非常好用的切换配置工具，访问 cc switch-Release 官方下载即可

4. 开始使用#

1. 配置cc switch#

cc :打开cc switch主页面，进入claude cli配置，点击右上角加号。

cc switch配置

选择自定义配置，然后按照下列模板配置json文件，前几行是模型映射，填写你使用的模型，如果使用官方claude模型则不用填写，后两行填写 auth_token(apikey) 和 base_url ，保存后启用即可。

claude code配置

codex desktop: 在cc switch中选择codex desktop配置，点击右上角加号。进入并配置：

codex 配置

如果auth.json文件不存在，需要在~/.codex目录下新建。保存后启用即可

2. 上手使用#

cc :配置完成后，打开终端，运行

Terminal window

1
cd your-project-folder
2
claude

运行后

选择你喜欢的主题 + Enter

确认安全须知 + Enter

使用默认 Terminal 配置 + Enter

信任工作目录 + Enter

即可开始使用claude!

codex desktop: 打开codex desktop即可使用

论文阅读 CVPR 2024 Fusion-Mamba 用于跨模态目标检测

Mon, 11 May 2026 00:00:00 GMT

CVPR 2024 | Fusion-Mamba：用于跨模态目标检测#

01 论文信息#

论文题目： Fusion-Mamba for Cross-modality Object Detection
论文作者： Zeyu Zhang，Aohan Zeng，Wei Liu，等
发表单位： Zeyu Zhang，Aohan Zeng，Wei Liu 等
发表会议\期刊： IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR），2024
论文链接： https://arxiv.org/abs/2404.09146
代码链接：https://github.com/millieXie/FusionMamba

02 论文主要贡献#

本文的出发点是：跨模态目标检测中，传统 CNN/Transformer 融合模块往往难以兼顾全局依赖建模、计算效率和模态差异抑制。论文因此尝试把 Mamba 的状态空间建模能力引入 RGB-IR 特征融合。

结合摘要和引言，论文的主要贡献可概括为：它提供了一种以隐藏状态空间为核心的跨模态融合范式，使 RGB 与红外特征不只是拼接或注意力交互，而是在状态空间中建立关联与互补；实验结果说明，该范式能让检测器更聚焦目标区域，在多个公开 RGB-IR 检测数据集上取得更好的精度与效率平衡。

03 论文创新点#

提出 Fusion-Mamba 方法，探索 Mamba 在跨模态融合中的潜力，增强融合特征的表示一致性；基于改进的门控 Mamba 构建跨模态交互的隐藏状态空间，以减小跨模态特征差异。
设计包含两个模块的 Fusion-Mamba Block：状态空间通道交换（SSCS）模块促进浅层特征融合，双状态空间融合（DSSF）模块在隐藏状态空间中实现深层融合。
在三个公开 RGB-IR 目标检测数据集上的大量实验表明，所提方法达到当前最优性能，并为跨模态目标检测方法提供了新的基线。

04 方法#

4.1 预备知识#

4.2 状态空间模型(SSM)#

状态空间模型（State Space Models, SSMs）常用于表示线性时不变系统，其通过一维输入序列 x(t)∈Rx (t)∈Rx(t)∈R，经中间隐状态 h(t)∈RNh (t)∈Rᴺh(t)∈RN 处理后生成输出 y(t)∈Ry (t)∈Ry(t)∈R 。数学上，SSMs 通常表示为线性常微分方程（ODEs）：

h′(t)=Ah(t)+Bx(t)h'(t)=A h(t)+B x(t) h′(t)=Ah(t)+Bx(t)y(t)=Ch(t)+Dx(t)y(t)=C h(t)+D x(t)y(t)=Ch(t)+Dx(t)

其中，系统行为由一组参数定义，包括状态转移矩阵 A∈RNxNA∈RᴺˣᴺA∈RNxN、投影参数 B、C∈RNx1B、C∈Rᴺˣ¹B、C∈RNx1 以及跳跃连接 D∈RD∈RD∈R。为简化说明，一般通过设置 D=0D=0D=0 移除 Dx(t)D x (t)Dx(t) 项。

4.3 离散化#

考虑到计算机易于处理离散数据，因此通过离散化操作将ODEs离散化：

h‾k=A‾hk−1+B‾xk,y(t)=C‾hk+Dxk,A‾=eΔA,B‾=(ΔA)−1(eΔA−I)ΔB,C‾=C\begin{array}{ll} \overline{h}_{k} = \overline{A} h_{k-1} + \overline{B} x_{k}, \\ y(t) = \overline{C} h_{k} + D x_{k}, \\ \overline{A} = e^{\Delta A}, \\ \overline{B} = (\Delta A)^{-1} \left(e^{\Delta A} - I\right) \Delta B, \\ \overline{C} = C \end{array}hk=Ahk−1+Bxk,y(t)=Chk+Dxk,A=eΔA,B=(ΔA)−1(eΔA−I)ΔB,C=C

其中，B、C∈RDB、C∈RᴰB、C∈RD，III 为单位矩阵，B‾和C‾\overline{B}和\overline{C}B和C分别为B，CB，CB，C的离散化表达，ΔΔΔ为时间尺度参数，即离散化后的时间步长。离散化后，SSMs 通过结构化卷积核 K~∈RDK̃∈RᴰK~∈RD 的全局卷积计算：

y=x∗K‾,K=(CB‾,CA‾B‾,⋯ ,CA‾L−1B‾)y = x * \overline{K}, \quad K = \left(C \overline{B}, C \overline{A} \overline{B}, \cdots, C \overline{A}^{L-1} \overline{B}\right)y=x∗K,K=(CB,CAB,⋯,CAL−1B)

4.4 二维选择性扫描(SS2D)#

二维视觉数据与一维语言序列的不兼容性导致曼巴（Mamba）无法直接应用于视觉任务。为解决这一问题，提出了二维选择性扫描（2D Selective Scan, SS2D）机制，其流程如图 3 所示。

SS2D 首先将图像块向四个不同方向扩展，生成四个独立序列；这种四向扫描策略确保特征图中的每个元素都包含来自不同方向所有其他位置的信息，从而在不增加线性计算复杂度的前提下构建全面的全局感受野。

随后，每个特征序列通过选择性扫描状态空间序列模型（S6）进行处理，最后通过聚合特征序列重构二维特征图。

首先，图像经扫描扩展生成四个不同的特征序列；随后，每个序列通过 S6 块独立处理；最后，聚合 S6 块的输出，生成最终的二维特征图。

4.5 Fusion Mamba#

4.6 架构#

本文模型架构如图 2 所示，其检测骨干网络由双流特征提取网络和三个 融合 - 曼巴块（FMB） 组成，特征提取网络从 RGB 和红外图像中提取局部特征，分别记为 FriFᵣᵢFri 和 FiriFᵢᵣᵢFiri ；随后，将这两个特征输入 FMB，通过在隐藏状态空间中关联跨模态特征，减小跨模态特征差异并增强融合特征的表示一致性。本文中，FMB 仅添加到最后三个阶段，生成融合特征 P3、P4和P5P₃、P₄和 P₅P3、P4和P5 ，这些特征作为 YOLOv8 颈部和头部的输入，最终生成检测结果

4.7 核心组件#

4.7.1 卷积块#

给定输入 RGB 图像 IrIᵣIr 和红外图像 IirIᵢᵣIir ，将其输入一系列卷积块以提取局部特征：

FRi=ϕi⋯(ϕ2(ϕ1(IR)))F_{R_{i}}=\phi_{i} \cdots\left(\phi_{2}\left(\phi_{1}\left(I_{R}\right)\right)\right) FRi=ϕi⋯(ϕ2(ϕ1(IR)))FIRi=φi⋯(φ2(φ1(IIR)))\quad F_{I R_{i}}=\varphi_{i} \cdots\left(\varphi_{2}\left(\varphi_{1}\left(I_{I R}\right)\right)\right) FIRi=φi⋯(φ2(φ1(IIR)))

其中，ϕi\phi_iϕi 和 φi\varphi_iφi 分别表示 RGB 和红外分支在第 iii 阶段的卷积块。

4.7.2 SSCS 模块#

该模块通过 通道交换 操作和 VSS 块，增强跨模态特征交互以实现 浅层融合 。通过整合不同通道的信息构建跨模态特征关联，丰富通道特征的多样性，提升融合性能。

1.通道交换 采用通道交换操作生成 RGB 和红外的新局部特征 TriTᵣᵢTri 和 TiriTᵢᵣᵢTiri，其公式为：

TRi=CS(FRi,FIRi),TIRi=CS(FIRi,FRi)T_{R_{i}}=CS(F_{R_{i}},F_{IR_{i}}), \quad T_{IR_{i}}=CS(F_{IR_{i}},F_{R_{i}}) TRi=CS(FRi,FIRi),TIRi=CS(FIRi,FRi)

其中，CS(・,・)CS (・,・)CS(・,・) 为通道交换操作，通过通道分割和拼接实现：首先将局部特征 FriFᵣᵢFri 和 FiriFᵢᵣᵢFiri 沿通道维度均分为四等份；然后，从 FriFᵣᵢFri 中选取第 1 和第 3 部分，从 FiriFᵢᵣᵢFiri 中选取第 2 和第 4 部分，按顺序拼接生成 RGB 新局部特征 TriTᵣᵢTri ；同理生成红外新局部特征 TiriTᵢᵣᵢTiri 。

2.跨模态交互 对 TriTᵣᵢTri 和 TiriTᵢᵣᵢTiri 应用 VSS 块，从浅层特征增强跨模态交互：

F~Ri=VSS(TRi),F~IRi=VSS(TIRi)\tilde{F}_{R_{i}}=V S S\left(T_{R_{i}}\right), \quad \tilde{F}_{I R_{i}}=V S S\left(T_{I R_{i}}\right)F~Ri=VSS(TRi),F~IRi=VSS(TIRi)

其中，VSS (・) 表示图 2 中的 VSS 块 ；F~riF̃ᵣᵢF~ri 和 F~iriF̃ᵢᵣᵢF~iri 分别为 RGB 和红外模态的浅层融合特征输出。

4.7.3 DSSF 模块#

为进一步减小模态差异，构建用于跨模态特征关联与互补的隐藏状态空间。 DSSF 模块通过建模跨模态目标关联，促进特征融合。具体而言，采用 VSS 块将两种模态的特征投影到隐藏状态空间，并利用门控机制构建双向隐状态转换，实现跨模态深层特征融合。

1.投影到隐藏状态空间 得到浅层融合特征 F~riF̃ᵣᵢF~ri 和 F~iriF̃ᵢᵣᵢF~iri 后，首先通过 无门控 的 VSS 块 将其投影到隐藏状态空间：

yRi=Pin(F~Ri),yIRi=Pin(F~IRi)y_{R_{i}}=P_{in}(\tilde{F}_{R_{i}}), \quad y_{I R_{i}}=P_{in}(\tilde{F}_{I R_{i}}) yRi=Pin(F~Ri),yIRi=Pin(F~IRi)

其中，Pin(・)Pᵢₙ(・)Pin(・) 表示将特征投影到隐藏状态空间的操作（详细实现见算法 1 第 13-17 行）；yriyᵣᵢyri 和 yiriyᵢᵣᵢyiri 表示 隐状态特征。

2.生成门控参数 对 F~riF̃ᵣᵢF~ri 和 F~iriF̃ᵢᵣᵢF~iri 进行投影，得到门控参数 zrizᵣᵢzri 和 zirizᵢᵣᵢziri ：

zRi=fθi(F~Ri),zIRi=gωi(F~IRi)z_{R_{i}}=f_{\theta_{i}}\left(\tilde{F}_{R_{i}}\right), \quad z_{I R_{i}}=g_{\omega_{i}}\left(\tilde{F}_{I R_{i}}\right)zRi=fθi(F~Ri),zIRi=gωi(F~IRi)

其中，fi(・)f_θᵢ(・)fi(・) 和 gi(・)g_ωᵢ(・)gi(・) 分别表示双流中带有参数 θiθᵢθi和 ωiωᵢωi 的门控操作。

3.隐状态特征融合 利用式中的门控输出 zrizᵣᵢzri 和 zirizᵢᵣᵢziri 对 yriyᵣᵢyri 和 yiriyᵢᵣᵢyiri 进行调制，实现隐状态特征融合：

yRi′=yRi⋅zRi+zRi⋅yIRiy_{R_{i}}'=y_{R_{i}} \cdot z_{R_{i}}+z_{R_{i}} \cdot y_{I R_{i}}yRi′=yRi⋅zRi+zRi⋅yIRiyIRi′=yIRi⋅zIRi+zIRi⋅yRiy_{I R_{i}}'=y_{I R_{i}} \cdot z_{I R_{i}}+z_{I R_{i}} \cdot y_{R_{i}}yIRi′=yIRi⋅zIRi+zIRi⋅yRi

其中，yri′yᵣᵢ'yri′ 和 yiri′yᵢᵣᵢ'yiri′ 分别表示融合后的 RGB 和红外隐状态特征；“・” 表示按元素乘积。

4.残差连接与特征增强 将 yri′yᵣᵢ'yri′ 和 yiri′yᵢᵣᵢ'yiri′ 投影回原始空间，并通过残差连接得到互补特征 FˉriF̄ᵣᵢFˉri 和 FˉiriF̄ᵢᵣᵢFˉiri：

F‾Ri=Pout(yRi′)+F~Ri\overline{F}_{R_{i}}=P_{out }\left(y_{R_{i}}'\right)+\tilde{F}_{R_{i}}FRi=Pout(yRi′)+F~RiF‾IRi=Pout(yIRi′)+F~IRi\overline{F}_{I R_{i}}=P_{out }\left(y_{I R_{i}}'\right)+\tilde{F}_{I R_{i}}FIRi=Pout(yIRi′)+F~IRi

其中，Pout(・)Pₒᵤₜ(・)Pout(・) 表示带有线性变换的投影操作

增强特征表示:

F^Ri=FRi+F‾Ri,F^IRi=FIRi+F‾IRi\hat{F}_{R_{i}}=F_{R_{i}}+\overline{F}_{R_{i}}, \quad \hat{F}_{I R_{i}}=F_{I R_{i}}+\overline{F}_{I R_{i}}F^Ri=FRi+FRi,F^IRi=FIRi+FIRi

4.7.4 FMB算法（算法1）#

4.7.5 损失函数#

经 FMB 处理后，RGB 和红外的增强特征（即 F^riF̂ᵣᵢF^ri 和 F^iriF̂ᵢᵣᵢF^iri ）通过加法进一步融合，生成融合特征 PiPᵢPi 作为颈部输入，以提升检测性能。总损失函数定义为：

L=λcoordLcoord+Lconf+Lclass\mathcal{L}=\lambda_{coord } \mathcal{L}_{coord }+\mathcal{L}_{conf }+\mathcal{L}_{class }L=λcoordLcoord+Lconf+Lclass

其中，

λcoordsλ_{coords}λcoords

为调节定位损失 LcoordsL_{coords}Lcoords 权重的超参数，LconfL_{conf}Lconf 为置信度损失，LclassL_{class}Lclass 为分类损失。

4.8 与基于 Transformer 的融合方法对比#

现有基于 Transformer 的跨模态融合方法通过卷积对特征进行展平与拼接，生成中间融合特征，再通过多头交叉注意力进一步融合得到最终特征。这些方法仅通过空间交互无法有效减小模态差异，因为难以建模跨模态特征的目标关联。本文的 FMB 块通过四向扫描特征获得四组图像块，有效保留特征的局部信息；同时，将这些图像块映射到隐藏空间进行特征融合，这种基于映射的深层特征融合方法通过双向门控注意力有效减小了空间差异，进一步抑制冗余特征并捕捉模态间的互补信息。因此，所提 FMB 块减小了跨模态特征差异，增强了融合特征的表示一致性。此外，Transformer 全局注意力的时间复杂度为 O(N2)O (N²)O(N2)，而曼巴（Mamba）的时间复杂度仅为 O(N)O (N)O(N)（NNN 为序列长度）。从实验角度来看，在相同的检测模型架构下，用 Fusion-Mamba 块替换基于 Transformer 的融合模块，对单对图像的推理时间可节省 7-19ms（实验部分将详细讨论）。

05 实验分析#

5.1 实验设置#

5.2 数据集#

实验在三个广泛使用的可见光-红外（RGB-IR）基准数据集上进行评估，覆盖低光、多场景及昼夜环境，具体信息如下：

LLVIP：低光环境下的行人检测数据集，包含15,488对对齐的RGB-IR图像。数据采集于夜间低光照条件，聚焦行人目标检测。遵循官方划分，使用12,025对图像训练，3,463对测试。
M³FD：多模态多场景数据集，包含4,200对对齐的RGB-IR图像，覆盖不同光照（如强光、弱光）、季节（春、夏、秋、冬）和天气（晴、雨、雾）场景。数据涵盖自动驾驶和道路监控中常见的6个类别（行人、车辆、自行车等）。由于无官方划分，采用文献[18]的训练/测试分割。
FLIR：昼夜场景数据集，包含5个类别（人、汽车、自行车、狗、其他车辆）。遵循文献[38]，使用FLIR-Aligned子集，其中4,129对训练，1,013对测试。

5.3 评估指标#

采用目标检测领域最常用的两个指标：

mAP₅₀：IoU阈值为0.50时的平均精度（Average Precision），反映模型对目标定位和分类的基础能力；
mAP：IoU阈值在0.50到0.95（步长0.05）范围内的平均精度，综合评估模型在不同重叠度下的鲁棒性。

此外，报告在A800 GPU上对输入尺寸为640×640的图像进行5次运行评估的平均推理时间（单位：ms），衡量模型的计算效率。

5.4 实现细节#

所有实验基于双流框架[6]，在单张A800 GPU上完成。默认使用YOLOv5-l或YOLOv8-l作为主干网络（Backbone），颈部（Neck）和头部（Head）结构与对应YOLO版本保持一致。训练超参数设置如下：

批量大小（Batch Size）：4；
优化器：SGD，动量（Momentum）0.9，权重衰减（Weight Decay）0.001；
输入尺寸：640×640；
训练轮次（Epochs）：150；
初始学习率（Initial LR）：0.01；
Fusion-Mamba模块参数：SSCS模块数量1，DSSF模块数量8；
定位损失权重：λcoord=7.5\lambda_{\text{coord}} = 7.5λcoord=7.5（其他超参数与YOLOv8默认配置一致）。

5.5 与现有最优方法的对比#

5.6 LLVIP数据集#

为验证Fusion-Mamba的有效性，我们在LLVIP数据集上与两类方法对比：单模态检测方法（仅RGB或仅IR）和多光谱融合方法（同时利用RGB-IR特征）。实验结果如表1所示（此处假设表1为对比数据）。

LLVIP作为低光行人检测数据集，单模态检测中IR模态因对光照不敏感，性能普遍优于RGB模态（如仅IR的Cascade R-CNN mAP为58.4%）。融合方法通过跨模态信息互补，理论上应优于单模态检测。

与单模态方法对比：基于ResNet50主干的RSDet（融合方法）在LLVIP上mAP为62.9%，较仅IR的Cascade R-CNN（58.4%）提升4.5%；而仅IR的简单YOLOv5框架（无融合）已达到61.9% mAP，显著优于部分融合方法（如DIVFusion仅9.9% mAP），说明低质量融合可能破坏IR模态的固有优势。
与多光谱融合方法对比：在相同YOLOv5主干下，Fusion-Mamba的mAP为62.8%（较仅IR的YOLOv5提升0.9%），较RSDet（61.3%）提升1.5%。核心优势源于SSCS模块的浅层通道交换（增强跨模态信息交互）和DSSF模块的深层门控融合（抑制冗余特征并捕捉互补信息），有效减少了模态差异，提升了融合特征的表示一致性。
与YOLOv8主干对比：基于YOLOv8-l的Fusion-Mamba进一步优化了性能，达到mAP₅₀=97.0%、mAP=64.3%，为当前LLVIP上的最优结果。

5.7 M³FD 数据集#

我们将我们的方法与 7 种基于 YOLOv5 的现有最优检测器和 1 种基于 YOLOv7 的现有最优检测器进行比较。如表 2 所示，与基于相同 YOLOv5 主干的现有最优方法相比，我们的 Fusion-Mamba 在所有类别上使用 mAP₅₀和 mAP 指标均表现最佳；基于 YOLOv8 主干的方法在 People、Bus、Motorcycle 和 Truck 类别上实现了新的现有最优结果，同时 mAP₅₀和 mAP 指标进一步提升了 3% 和 4.4%。此外，尽管 YOLOv5 的特征表示能力低于 YOLOv7，我们使用 YOLOv5 主干的方法仍比基于 YOLOv7 的 SuperFusion 高出 1.5% mAP 和 mAP₅₀，这得益于我们 FMB 的有效性，提升了跨模态特征的固有互补性。

5.8 FLIR-Aligned 数据集#

如表 3 所示，Fusion-Mamba 在 Aligned-FLIR 数据集上也表现最佳。与基于双流 YOLOv5 主干的 CrossFormer 相比，我们基于 YOLOv8 和 YOLOv5 的方法在 mAP₅₀上分别超越它们 5.6% 和 5%，在 mAP 上分别超越 4.9% 和 2.3%。我们还比 RSDet 高出 3.8% mAP₅₀和 5.6% mAP。在速度方面，我们使用 YOLOv5 的方法实现了最快速度，与基于 Transformer 的 CFT 和 CrossFormer 方法相比，一对图像的检测分别节省 7ms 和 19ms。在参数方面，我们基于 YOLOv5 的方法比 CrossFormer 方法节省约 100M 参数。尽管我们基于 YOLOv8 的方法比 YOLOv5 增加了约 40M 参数，但 mAP 显著提升了 2.6%。该结果表明，我们基于隐藏空间建模的方法更好地整合了不同模态之间的特征，抑制了模态差异，以最佳的性能和计算成本权衡增强了融合特征的表示能力。

5.9 热力图可视化#

为直观展示我们模型的高性能，我们从三个实验数据集中各随机选择一对图像，可视化 P₅热力图，并与其他融合方法进行比较。如图 5 所示，与其他方法相比，我们的模型更聚焦于目标，而非分散或聚焦于无关部分。更多示例见补充材料。我们还在补充材料中可视化了目标检测结果，以评估我们方法的有效性。

5.10 消融实验#

我们使用 FLIR-Aligned 数据集进行消融实验，以分别验证 SSCS 和 DSSF 模块的有效性，并进一步探索 DSSF 模块数量和位置的影响。特别地，我们还评估了 DSSF 模块双向注意力的效果。所有实验均基于 YOLOv8 主干进行。

5.11 SSCS 和 DSSF 模块的影响#

FMB 中移除 SSCS 和 DSSF 的结果汇总于表 4。

移除 SSCS 模块后（表 4 第二行），检测器性能在 mAP₅₀和 mAP 上分别下降 2% 和 1.1%。原因在于，没有两模态特征的初始交换和浅层映射融合，在后续深层融合中特征差异未得到有效减少。同时，没有 DSSF（表 4 第三行），仅浅层融合交互无法在特征融合过程中有效抑制冗余特征并激活有效特征，导致检测器性能在 mAP₅₀和 mAP 上分别下降 2.5% 和 2.4%。同时移除 SSCS 和 DSSF，直接通过两局部模态特征相加获得融合特征（表 4 第四行），其性能在 mAP₅₀和 mAP 上分别显著下降 4.8% 和 7.6%。这些结果表明，FMB 的这两个组件对跨模态目标检测有效。

5.12 FMB 位置的影响。#

遵循 [6,14] 的工作，我们也设置三个 FMB 用于特征融合。在此，我们进一步探索 FMB 位置的影响，即应在哪些阶段添加 FMB。我们选择三组多级特征：P2,P3,P5{P₂, P₃, P₅}P2,P3,P5、P2,P4,P5{P₂, P₄, P₅}P2,P4,P5 和 P3,P4,P5{P₃, P₄, P₅}P3,P4,P5 进行消融实验，其中 Pᵢ是使用 FMB 在第 i 阶段的融合特征。如表 5 所示，位置 P3,P4,P5{P₃, P₄, P₅}P3,P4,P5 在性能和计算复杂度之间实现了最佳权衡，因此我们默认选择此位置进行实验。

表 5. FLIR-Aligned 数据集上 FMB 位置的影响。

5.13 DSSF 模块数量的影响。#

我们已在表 4 中验证了 DSSF 的有效性，在此进一步评估 DSSF 模块数量的影响，结果汇总于表 6。

我们选择四种 DSSF 数量（即 2、4、8、16），并保持其他模型设置与上述实验一致。可以看出，模块数量设置为 8 时实现最佳性能，8 个 DSSF 模块将达到饱和，增加数量会导致互补特征漂移，从而降低融合性能。

5.14 DSSF 模块双向注意力的影响#

为进一步探索我们门控机制中 DSSF 模块双向注意力的有效性，我们分别移除 RGB 分支中的 IR 注意力（即式 9 中的 zIRi・yRiz_{IRᵢ}・y_{Rᵢ}zIRi・yRi）、IR 分支中的 RGB 注意力（即式 10 中的 zIRi・yRiz_{IRᵢ}・y_{Rᵢ}zIRi・yRi）以及双向注意力。结果如表 7 所示。移除 IR 注意力或 RGB 注意力后，由于减少了两特征间的注意力交互，mAP₅₀分别下降 1.6% 或 1.1%；当移除双向注意力时，DSSF 模块变为 VSS 块的堆叠，mAP₅₀下降 2%。值得注意的是，IR 和 RGB 注意力分支与其他分支共享权重，与移除双向注意力相比，这相当于仅添加激活函数和特征加法操作。因此，双向注意力的使用对模型参数和运行时间没有显著影响，但显著提升了检测性能。

06 个人声明#

本文为作者对原论文的学习笔记与心得分享，受个人学识与理解所限，文中对论文内容的解读或有不够周全之处，一切以原论文正式表述为准。本文仅用于学术交流与传播，内容均由作者独立整理完成，不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议，请及时与作者联系，作者将在第一时间核实并妥善处理。

论文阅读 2024 TIP RGBT Tracking via Challenge-Based Appearance Disentanglement and Interaction

Mon, 11 May 2026 00:00:00 GMT

TIP 2024 | RGBT Tracking via Challenge-Based Appearance Disentanglement and Interaction#

01 论文信息#

论文题目： RGBT Tracking via Challenge Based Appearance Disentanglement and Interaction
论文作者： Lei Liu，Chenglong Li，Yun Xiao，Ruizhe Ruan，Ming Tang
发表单位： Lei Liu（大连理工大学等），Chenglong Li（安徽大学等），Yun Xiao，Ruizhe Ruan，Ming Tang；
发表会议\期刊： IEEE Transactions on Image Processing（TIP），2024
论文链接： https://ieeexplore.ieee.org/document/10460420/
代码链接： https://github.com/liulei970507/CAT-TIP

02 论文主要贡献#

本文面向 RGBT 跟踪中目标外观在不同挑战条件下表现不一致的问题，强调不能把所有挑战都交给同一种分支结构处理，而应根据挑战类型拆分并定制外观表示。

结合摘要和引言，论文的主要贡献可概括为：它将 RGBT 跟踪中的挑战划分为模态共享与模态专属两类，并围绕这些挑战学习不同的目标外观表示；同时通过跨模态交互和自动生成训练样本缓解训练数据不足与挑战标签模糊问题。实验结果显示，该策略在多个 RGBT 跟踪基准上提升了复杂场景下的定位稳定性和鲁棒性。

03 论文创新点#

设计了一种基于新型挑战基网络的有效深度学习框架，通过模态共享和模态专属挑战属性执行目标外观表示的解耦与交互，即使在 RGBT 跟踪训练数据不足的情况下也能工作。
根据不同挑战属性的性质，开发不同结构来建模目标外观并学习鲁棒目标表示；这些结构以残差信息形式分层并行嵌入骨干网络，参数量少且高效有效。
提出针对不同挑战属性的训练数据生成策略，减少人工标注工作量并消除标签歧义。
在四个 RGBT 跟踪基准数据集上进行大量实验，结果表明该方法相较当前最优方法取得有竞争力的性能。

04 方法#

CAT++的核心框架是基于挑战的外观解耦与交互网络，整体流程为：裁剪前一帧跟踪结果周围的搜索区域→输入解耦与交互网络学习不同挑战下的目标表示→RoI Align提取目标特征→全连接层分类器判别前景/背景，得到最终跟踪结果。

方法主要包含四大核心模块：基于挑战的外观解耦模块、指导交互模块（GIM）、聚合交互模块（AIM）、训练数据生成策略，同时设计了四阶段训练算法和在线跟踪流程。

4.1 整体网络架构#

CAT++的网络架构由三部分组成：

双流CNN骨干网络：分别提取RGB和热红外模态的特征，基于VGG-M修改，移除第二层最大池化、最后一层引入膨胀卷积（膨胀率3），提升高分辨率特征提取能力；
基于挑战的外观解耦模块：5个挑战分支（3个参数共享分支+2个参数独立分支），针对不同挑战特性定制网络结构；
基于挑战的外观交互模块：包含指导交互模块（GIM）和聚合交互模块（AIM），实现跨模态特征增强和多挑战表示融合。

网络的核心设计是将挑战分支以残差形式分层并行嵌入骨干网络的每一层卷积层，仅需少量参数即可学习不同挑战下的目标表示，解决了训练数据不足的问题。

4.2 基于挑战的外观解耦模块#

该模块是CAT++的核心创新之一，为5类挑战设计专属的分支结构，并根据模态共享/专属特性，将分支分为参数共享分支和参数独立分支：

参数共享分支：针对模态共享挑战（OCC、LR、SA），RGB和热红外模态共用一套卷积参数，捕捉跨模态的协同信息；
参数独立分支：针对模态专属挑战（IV、TC），RGB和热红外模态使用独立卷积参数，捕捉各模态的异质信息。

每个分支均由基础挑战分支（BCB） +挑战专属模块组成，BCB为轻量级卷积块，在骨干网络不同层有不同设计（BCB1/BCB2/BCB3），以适配不同层级的特征特性。

4.2.1 模态共享挑战分支设计#

4.2.1.1 （1）遮挡分支（OCC）#

遮挡会导致目标外观信息缺失，核心解决思路是让每个特征通道响应目标的不同局部区域，并自适应加权有效通道，核心为空间正则化损失+通道注意力模块：

4.2.1.1.1 ① 空间正则化损失#

通过滤波器正交损失LfilterL_{filter}Lfilter和响应正交损失LresponseL_{response}Lresponse两个多样性损失，鼓励不同卷积滤波器响应目标的不同局部区域，公式如下：

Lfilter=∑i≠j∣∑p<wip,wjp>∥wip∥F∥wjp∥F∣L_{filter}=\sum_{i \neq j}\left|\sum_{p} \frac{<w_{i}^{p}, w_{j}^{p}>}{\left\| w_{i}^{p}\right\| _{F}\left\| w_{j}^{p}\right\| _{F}}\right|Lfilter=i=j∑p∑∥wip∥FwjpF<wip,wjp>

其中：wipw_{i}^{p}wip表示卷积滤波器wiw_iwi在空间位置ppp的列向量（3×3卷积核的p∈{1,2,...,9}p \in \{1,2,...,9\}p∈{1,2,...,9}），<⋅,⋅><\cdot,\cdot><⋅,⋅>为内积，∥⋅∥F\|\cdot\|_F∥⋅∥F为Frobenius范数。该损失强制不同卷积滤波器正交，使其关注目标的不同局部区域。

Lresponse=∑i≠j∥<fi,fj>∥fi∥F∥fj∥F∥2L_{response}=\sum_{i \neq j}\left\| \frac{<f_{i}, f_{j}>}{\left\| f_{i}\right\| _{F}\left\| f_{j}\right\| _{F}}\right\| ^{2}Lresponse=i=j∑∥fi∥F∥fj∥F<fi,fj>2

其中：fif_ifi表示第iii个卷积滤波器的响应（即特征的第iii个通道）。该损失直接惩罚不同滤波器响应的相关性，进一步增强特征通道的多样性。

4.2.1.1.2 ② 通道注意力模块#

对空间正则化后的特征，设计通道注意力模块生成权重，抑制遮挡区域的噪声通道，步骤为：

对输入特征FFF做平均池化和最大池化，生成空间上下文描述子FavgF_{avg}Favg和FmaxF_{max}Fmax；
用两层1×1卷积生成通道注意力权重WavgW_{avg}Wavg和WmaxW_{max}Wmax（中间加ReLU非线性变换）；
逐元素求和+Sigmoid激活得到最终通道注意力权重FcF_cFc；
特征FFF与FcF_cFc逐元素相乘，得到遮挡挑战下的目标表示。

4.2.1.2 （2）低分辨率分支（LR）#

低分辨率导致目标精细细节丢失，核心解决思路是多尺度特征捕捉+自适应融合：

基础挑战分支提取通用特征；
设计多尺度模块（MSM），通过1×1、3×3、5×5不同感受野的卷积分支捕捉多尺度特征（对应padding为0、1、2，保证输入输出分辨率一致）；
引入集成层（1×1卷积+LRN归一化）自适应融合多尺度特征，缓解特征传递过程中的退化问题。

4.2.1.3 （3）相似外观分支（SA）#

相似外观/背景杂波会导致目标与背景混淆，核心解决思路是空间注意力抑制干扰区域，空间注意力模块为核心，公式为：

Fs=σ(fk×k(Concatenate(Favg,Fmax)))(3)F_{s}=\sigma\left(f^{k × k}\left( \text{Concatenate} \left(F_{avg }, F_{max }\right)\right)\right) \tag{3}Fs=σ(fk×k(Concatenate(Favg,Fmax)))(3)

其中：

σ\sigmaσ为Sigmoid激活函数，将注意力权重归一化到[0,1]；
fk×kf^{k×k}fk×k为k×kk×kk×k的卷积层，用于生成空间注意力权重，kkk在骨干网络第1/2/3层分别设为7/5/3；
Concatenate\text{Concatenate}Concatenate为拼接操作，将平均池化FavgF_{avg}Favg和最大池化FmaxF_{max}Fmax的结果在通道维度拼接；
FavgF_{avg}Favg和FmaxF_{max}Fmax为输入特征FFF沿通道轴做平均/最大池化后的空间上下文描述子。

最终输入特征FFF与空间注意力权重FsF_sFs逐元素相乘，抑制相似干扰区域的特征响应，提升目标判别性。

4.2.2 模态专属挑战分支设计#

针对光照变化（IV）和热交叉（TC），设计参数独立的基础挑战分支分别建模各模态的特征，同时引入指导交互模块（GIM） 实现跨模态特征增强——利用高质量模态的判别特征指导低质量模态的特征学习，提升弱模态的表示能力：

光照变化（IV）：RGB模态为弱模态，热红外模态为高质量模态，用热红外特征增强RGB特征；
热交叉（TC）：热红外模态为弱模态，RGB模态为高质量模态，用RGB特征增强热红外特征。

4.3 交互模块设计#

4.3.1 指导交互模块（GIM）#

现有跨模态特征传递方法（如FiLM）存在两大缺陷：无法处理空间信息、易传递噪声信息。CAT++提出的GIM针对这两个问题做了改进，核心由逐点特征缩放/偏移和门控机制组成：

逐点特征缩放/偏移：用1×1卷积从高质量模态提取判别信息，对低质量模态特征做特征级的缩放和偏移，保留空间信息（区别于FiLM的通道级缩放/偏移）；
门控机制：通过1×1卷积+Sigmoid激活生成门控权重，公式类似空间注意力，抑制噪声信息在特征传递中的传播，仅保留有效判别信息。

GIM实现了跨模态的互补信息传递，同时避免了噪声干扰，显著提升了弱模态的特征判别性。

4.3.2 聚合交互模块（AIM）#

跟踪过程是挑战无关的——单帧可能同时存在多种挑战，因此需要将5个挑战分支的表示融合为一个统一的、更具判别性的目标表示。

AIM的核心设计：

采用拼接操作融合所有挑战分支的特征，避免加法操作导致的特征差异分散；
用1×1卷积进行特征自适应提取+维度降维，在保证效率的同时，生成适配挑战无关跟踪过程的目标表示；
融合后的特征以残差形式聚合到骨干网络的特征中，实现分层特征增强，残差连接公式为：

Fbackbonel+1=Fbackbonel+FAIMlF_{backbone}^{l+1} = F_{backbone}^l + F_{AIM}^lFbackbonel+1=Fbackbonel+FAIMl

其中：FbackbonelF_{backbone}^lFbackbonel为骨干网络第lll层的原始特征，FAIMlF_{AIM}^lFAIMl为AIM融合后的第lll层挑战特征。

4.4 训练数据生成策略#

现有RGBT数据集的挑战标注存在标签缺失、标注模糊、数据分布不均衡三大问题（如缺少低分辨率、相似外观的帧级标注，手动标注耗时耗力）。为解决这些问题，作者设计了针对5类挑战的自动化训练数据生成策略，无需手动标注，且生成的数据多样化、标签无歧义，具体生成方式如下：

遮挡数据：在RGB和热红外图像的相同位置随机生成矩形遮挡框，框的颜色为目标区域的平均颜色，模拟部分/完全遮挡；
低分辨率数据：根据目标尺寸自适应缩小整幅图像，RGB和热红外模态缩放量一致；
相似外观数据：从同序列其他帧裁剪目标区域，经椒盐噪声、高斯模糊、旋转等变换后，粘贴到当前帧目标周围，模拟相似干扰物；
光照变化数据：对RGB模态做伽马校正（伽马值γ\gammaγ随机选[0.1,0.7][0.1,0.7][0.1,0.7]模拟低光照，[1.5,4][1.5,4][1.5,4]模拟高光照），伽马校正公式为：

Iout=IinγI_{out} = I_{in}^\gammaIout=Iinγ

其中IinI_{in}Iin为原始RGB图像像素值（归一化到[0,1]），IoutI_{out}Iout为伽马校正后的像素值； 5. 热交叉数据：对热红外模态做均值滤波（滤波器尺寸随机选[1,10][1,10][1,10]），降低其判别性，模拟热交叉场景。

4.5 四阶段训练算法#

为了有效训练各模块，同时避免训练过程中的参数干扰，作者设计了四阶段渐进式训练策略，每阶段冻结其他模块参数，仅训练目标模块，训练基础均为SGD优化器，损失函数采用Softmax交叉熵损失+实例嵌入损失（参考RTMDNet），核心训练参数：

基础学习率：0.0001，动量：0.9，权重衰减：0.0005；
训练轮数：基础模型1000轮，后续模块与基础模型一致。

四阶段训练流程：

阶段1：训练基线跟踪器：训练双流CNN骨干网络+三层全连接分类器，骨干网络用ImageNet预训练的VGG-M初始化，全连接层随机初始化；
阶段2：训练所有挑战分支：冻结基线模型参数，逐一训练5个挑战分支（移除GIM），使用对应挑战的生成数据；
阶段3：训练指导交互模块（GIM）：冻结基线模型和挑战分支参数，训练GIM，实现跨模态特征增强；
阶段4：训练聚合交互模块（AIM）+微调全连接层：冻结前序所有参数，训练AIM，全连接层用更小的学习率（0.00001） 微调，适配融合后的挑战表示。

4.6 在线跟踪流程#

CAT++的在线跟踪流程基于RT-MDNet改进，分为初始化和逐帧跟踪两步，同时引入短时更新和长时更新适配目标外观变化，核心阈值与采样规则：

初始化（第一帧）：
- 替换最后一层全连接层，用500正样本（IoU>0.7）+5000负样本（IoU<0.5） 微调三层全连接层（50轮）；
- 采样1000个IoU>0.6的样本训练边界框回归器，优化跟踪框定位精度；
逐帧跟踪：
- 在前一帧跟踪结果周围采样256个候选区域，经网络前向传播得到跟踪分数，取Top-5候选区域的平均位置作为初始跟踪结果；
- 若跟踪分数>0>0>0，判定跟踪成功，用边界框回归器优化跟踪框，并随机采样20正+100负样本用于在线更新；
- 若跟踪分数<0<0<0，判定跟踪失败，执行短时更新（用最近20帧样本训练15轮），同时每10帧执行长时更新（用最近100帧样本训练15轮），快速适配目标外观变化。

05 实验分析#

作者在四大RGBT跟踪基准数据集（GTOT、RGBT210、RGBT234、LasHeR）上进行了全面实验，验证了CAT++的性能，其中LasHeR是目前最大的RGBT数据集（1224对视频，146.96万帧）。

5.1 实验设置#

评价指标：采用最大精度率（PR）、最大成功率（SR） 作为核心指标，LasHeR额外引入归一化精度率（NPR） 解决目标尺寸对PR的影响，指标计算规则：
- PR：跟踪结果中心与真实框中心距离小于阈值的帧占比（GTOT阈值5像素，其余数据集20像素）；
- SR：跟踪结果与真实框IoU大于阈值的帧占比，取曲线下面积为最终值；
- NPR：将PR的距离阈值归一化到真实框尺寸，解决小目标PR偏低问题。
对比方法：分为三类——属性基方法（CAT、ADRNet、APFNet）、CNN基方法（RT-MDNet+RGBT、DMCNet、LANet等13种）、Transformer基方法（TBSI、ViPT、CMD等7种）；
实现细节：GTOT测试时用RGBT234+生成数据训练，其余数据集测试时用GTOT+生成数据训练，验证方法在小样本训练下的有效性。

5.2 定量对比结果#

5.2.1 与属性基方法对比#

CAT++在四大数据集上全面超越CAT、ADRNet、APFNet：

相比CAT，GTOT/ RGBT210/ RGBT234的PR/SR分别提升2.6%/1.6%、3.0%/2.8%、3.6%/3.1%，LasHeR的PR/NPR/SR提升5.9%/4.9%/4.2%；
相比ADRNet/APFNet，RGBT210/RGBT234的PR/SR均有显著提升，仅在部分数据集的SR上略有落后，但PR/NPR优势明显，证明CAT++的目标定位精度更高。

5.2.2 与CNN基方法对比#

CAT++在小样本训练下（仅用GTOT的50个视频），全面超越13种CNN基方法，相比基线RT-MDNet+RGBT，四大数据集的PR/SR均提升7%以上；即使与使用LasHeR训练集（979个视频）的SOTA方法LANet相比，CAT++在RGBT210/RGBT234上的PR仍有显著提升，证明了基于挑战的解耦建模的有效性。

5.2.3 与Transformer基方法对比#

Transformer基方法依赖大规模预训练数据（如LaSOT、GOT-10K）和LasHeR训练集，参数规模达3.5亿，而CAT++仅用ImageNet预训练+GTOT小样本，参数仅9000万。尽管如此，CAT++在GTOT/RGBT234上取得了与Transformer基方法相当的性能，在RGBT210上的PR也有优势，实现了性能与训练数据规模的良好平衡。

5.3 挑战属性级性能分析#

在RGBT234的12类挑战子集上，CAT++在遮挡、低分辨率、热交叉、形变、快速运动等核心挑战上取得前2的性能，其中形变（DEF）、快速运动（FM）的PR/SR分别提升1.7%/0.2%、3.3%/2.5%，显著优于DMCNet、APFNet等SOTA方法，证明CAT++对不同挑战的建模能力均优于现有方法。

5.4 消融实验#

作者通过大量消融实验验证了各模块的有效性，核心结论如下：

挑战分支的有效性：单个挑战分支在对应挑战子集上均取得最优性能，相比基线RT-MDNet+RGBT，各挑战子集的PR/SR均提升2%以上；多分支融合后性能进一步提升，能有效处理多挑战共存的场景；
指导交互模块（GIM）的有效性：替换GIM为简单求和/FiLM/无门控GIM，性能均显著下降，证明GIM的空间信息保留和门控噪声抑制设计的必要性；
分层设计的有效性：将挑战分支嵌入骨干网络的所有卷积层（分层），比嵌入单/两层的性能更高，证明分层残差嵌入能充分利用不同层级的特征，提升挑战表示的判别性；
Transformer的潜力：在RoI Align后引入跨Transformer实现跨模态交互，性能略有提升（RGBT234的PR/SR达84.5%/59.3%），证明Transformer在跨模态融合中的潜力，为后续研究提供方向。

06 个人声明#

论文阅读 arXiv 2025 IRDFusion 基于迭代关系图差异引导的多光谱目标检测特征融合方法

Mon, 11 May 2026 00:00:00 GMT

arXiv 2025 | IRDFusion：基于迭代关系图差异引导的多光谱目标检测特征融合方法#

01 论文信息#

论文题目： IRDFusion: Iterative Relation-Map Difference guided Feature Fusion for Multispectral Object Detection
论文作者： Min Li，等
发表单位： Min Li 等；arXiv 版本作者单位需以论文首页/ arXiv 页面为准
发表会议\期刊： arXiv，2025
论文链接： https://doi.org/10.48550/arXiv.2509.09085
代码链接： https://github.com/61s61min/IRDFusion.git

02 论文主要贡献#

本文关注多光谱目标检测中特征融合容易保留冗余背景和共享噪声的问题，重点不是简单增强两种模态，而是让模型逐步区分“有用的互补差异”和“无关的背景干扰”。

结合摘要和引言，论文的主要贡献可概括为：它把跨模态关系建模和差异反馈组织成一个迭代式融合过程，让 RGB 与红外特征在多轮交互中逐步强化目标相关线索；同时，该方法在不同检测框架和多数据集场景下验证了这种差异引导融合的有效性，说明其价值主要体现在复杂背景、弱目标和模态互补不足场景中的鲁棒检测能力。

03 论文创新点#

本文的主要贡献如下：

提出互特征精炼模块（MFRM），通过建模模态间关系增强特征表示，提升跨模态一致性与判别能力；
受反馈差分放大器电路启发，设计差异特征反馈模块（DFFM），计算两种模态间的互补判别特征，同时过滤冗余信息；
将 MFRM 与 DFFM 联合优化，通过动态差分关系图反馈机制有效整合不同模态的判别性互补信息，为渐进式多光谱特征融合提供新策略。

04 方法#

4.1 整体框架#

模型首先采用双分支骨干网络分别从 RGB 与红外模态提取特征，再通过所提 IRDFusion 模块渐进式融合跨模态特征。IRDFusion 通过放大跨模态差异并将其作为引导信号，逐步引导融合过程，提升特征表示质量。融合后的特征经简单特征金字塔（SFP） 颈部处理，送入 Transformer 编码器，最终输入 Co-DETR 的多个并行检测头。检测头设计与 Double-Co-DETR 保持一致。

IRDFusion 模块拟议示意图说明：红色数据流为 DFFM 模块。本场景下，LN&D 指层归一化与丢弃层（Dropout）；MLP&LN 指多层感知机层（MLP layer）后接层归一化；λ、β 与 µ 均为可学习参数。Flat&PE 指将特征图整理为序列（展平）并添加位置编码信息；WF表示加权融合（weighted fusion）；Reshape 指将序列重新转换为特征图。

4.2 互特征精炼模块（MFRM）#

互特征精炼模块（MFRM）旨在增强两种模态的特征表示，提升跨模态一致性与判别能力。其核心思路是：在 Transformer 结构中，利用单模态的自注意力矩阵与两种模态的加权值（Value）特征交互，放大跨模态表示，生成更具信息量的融合特征。

1.特征投影与注意力计算：两种模态的特征（RGB 或红外）首先通过不同权重矩阵投影，生成查询（Query）、键（Key）、值（Value）矩阵，计算每种模态的注意力矩阵。公式如下：

Qi=Fi⋅Wiq,Ki=Fi⋅Wik,Vi=Fi⋅WivQ_i=F_i⋅W_i^q,K_i=F_i⋅W_i^k,V_i=F_i⋅W_i^vQi=Fi⋅Wiq,Ki=Fi⋅Wik,Vi=Fi⋅WivAi=softmax(Qi⋅KiTd)A_i = \text{softmax}\left( \frac{Q_i \cdot K_i^T}{\sqrt{d}} \right)Ai=softmax(dQi⋅KiT)

其中，FiF_iFi表示 RGB 或红外模态的输入特征；QiQ_iQi、KiK_iKi、ViV_iVi分别为查询、键、值矩阵；WiqW_i^qWiq、WikW_i^kWik、WivW_i^vWiv为线性变换权重矩阵；AiA_iAi为注意力矩阵；ddd为特征维度。

2.跨模态值特征融合：以 RGB 分支为例，通过引入红外分支的 Value 向量VtV_tVt，整合红外模态信息 —— 将 RGB 分支的注意力矩阵应用于红外 Value 向量，使模型在 RGB 分支关注的空间区域内强调红外线索，有效增强两种模态间的信息交互与融合。公式如下：

Vf_v=Av⋅Vv+Av⋅VtV_{f\_v} = A_v \cdot V_v + A_v \cdot V_tVf_v=Av⋅Vv+Av⋅Vt

其中，

Vf_sV_{f\_s}Vf_s

、Vf_tV_{f\_t}Vf_t分别为 RGB 与红外模态的融合 Value 特征。

3.自适应融合权重：在 Value 向量融合过程中，引入可学习参数 λ\lambdaλ，使模型根据输入数据特性自适应调整融合过程，提升稳健性。公式如下：

Vf_i=λi⋅(Ai⋅Vi)+(1−λi)⋅(Ai⋅Vj)V_{f\_i}=λ_i⋅(A_i⋅V_i)+(1−λ_i)⋅(A_i⋅V_j)Vf_i=λi⋅(Ai⋅Vi)+(1−λi)⋅(Ai⋅Vj)λi=exp⁡(λq1⋅λk1)−exp⁡(λq2⋅λk2)+λinit,i∈{v,t}\lambda_i = \exp\left(\lambda_{q1} \cdot \lambda_{k1}\right) - \exp\left(\lambda_{q2} \cdot \lambda_{k2}\right) + \lambda_{\text{init}}, i \in \{v, t\}λi=exp(λq1⋅λk1)−exp(λq2⋅λk2)+λinit,i∈{v,t}

其中，λiλ_iλi为模态融合权重，由可学习向量λq1λ_{q1}λq1、λq2λ_{q2}λq2、λk1λ_{k1}λk1、λk2λ_{k2}λk2与初始权重λinitλ_{init}λinit控制。i,ji,ji,j 表示 s/ts/ts/t 的一种，即当 iii 为 sss 时，jjj 即为 ttt

4.跨模态放大特征生成：最终，基于融合后的 Value 特征，生成跨模态放大特征。公式如下：

Fi′=MLP(LN(Vf_i))+FiF_i^′=MLP(LN(V_{f\_i}))+F_iFi′=MLP(LN(Vf_i))+Fi

其中，Fi′F_i^′Fi′为最终融合特征；MLPMLPMLP、LNLNLN分别表示多层感知机与层归一化。

4.3 差异特征反馈模块（DFFM）#

以 RGB 分支为例，DFFM 的流程如下： 1.计算跨模态差异特征：引入可学习参数βββ，自适应控制红外模态对 RGB 模态的差异贡献，计算两种模态的差异特征； 2.差异特征反馈：对差异特征进行加权处理后反馈至 RGB 特征，放大跨模态差异信号，引导 MFRM 从另一模态提取判别线索； 3.迭代优化：通过迭代反馈，逐步增强互补信息、过滤冗余噪声，生成更稳健的自适应跨模态表示。

数学公式如下（以 RGB 分支为例）：

Fdif,v(k)=Ft(k)−β⋅Fv(k)F_{\mathrm{dif},v}^{(k)} = F_t^{(k)} - \beta \cdot F_v^{(k)}Fdif,v(k)=Ft(k)−β⋅Fv(k)Fv(k+1)=μ⋅Fv(k)+α⋅MLP(LN(Fdif,v(k)))F_v^{(k+1)} = \mu \cdot F_v^{(k)} + \alpha \cdot \mathrm{MLP} \left( \mathrm{LN} \left( F_{\mathrm{dif},v}^{(k)} \right) \right)Fv(k+1)=μ⋅Fv(k)+α⋅MLP(LN(Fdif,v(k)))Ft(k+1)=Ft(k)F_t^{(k+1)} = F_t^{(k)}Ft(k+1)=Ft(k)

其中，α\alphaα、β\betaβ、μ\muμ 为可学习参数；Fdif,v(k)F_{\mathrm{dif},v}^{(k)}Fdif,v(k) 表示第 kkk 次迭代中红外模态相对于 RGB 模态的差异特征；Fi(k)F_i^{(k)}Fi(k) 表示 MFRM 第 kkk 次迭代的输出特征；Fi(k+1)F_i^{(k+1)}Fi(k+1) 表示 MFRM 第 (k+1)(k+1)(k+1) 次迭代的输入特征。

4.4 整合为迭代关系图差异引导框架#

为实现稳健的特征学习，本文将 MFRM 与 DFFM 整合到统一框架中，正式构建为迭代关系图差异引导特征融合框架（IRDFusion）。

以 RGB 模态为例，跨模态差异特征 Fv−tF_{v-t}Fv−t 以渐进方式反馈，精炼 Fv(k+1)F_v^{(k+1)}Fv(k+1)（kkk 表示迭代次数），公式如下：

Fv′=softmax(QvKvTd)(Vv+λvVt)=Av2v(Vv+λvVt)F_v^{\prime} = \mathrm{softmax} \left( \frac{Q_v K_v^T}{\sqrt{d}} \right) \left( V_v + \lambda_v V_t \right) = A_{v2v} \left( V_v + \lambda_v V_t \right)Fv′=softmax(dQvKvT)(Vv+λvVt)=Av2v(Vv+λvVt)Ft′=softmax(QtKtTd)(Vt+λtVv)=At2t(Vt+λtVv)F_t^{\prime} = \mathrm{softmax} \left( \frac{Q_t K_t^T}{\sqrt{d}} \right) \left( V_t + \lambda_t V_v \right) = A_{t2t} \left( V_t + \lambda_t V_v \right)Ft′=softmax(dQtKtT)(Vt+λtVv)=At2t(Vt+λtVv)Fv−t=Fv′−βFt′=Av2v(Vv+λvVt)−βAt2t(Vt+λtVv)=(Av2v−βλtAt2t)Vv−(βAt2t−λvAv2v)Vt=C(v−t)2vVv−C(t−v)2tVt\begin{aligned} F_{v-t} &= F_v^{\prime} - \beta F_t^{\prime} \\ &= A_{v2v}\left(V_v + \lambda_v V_t\right) - \beta A_{t2t}\left(V_t + \lambda_t V_v\right) \\ &= \left(A_{v2v} - \beta \lambda_t A_{t2t}\right)V_v - \left(\beta A_{t2t} - \lambda_v A_{v2v}\right)V_t \\ &= C_{(v-t)2v}V_v - C_{(t-v)2t}V_t \end{aligned}Fv−t=Fv′−βFt′=Av2v(Vv+λvVt)−βAt2t(Vt+λtVv)=(Av2v−βλtAt2t)Vv−(βAt2t−λvAv2v)Vt=C(v−t)2vVv−C(t−v)2tVtFv(k+1)=Fv−t(k)+βFt′F_v^{(k+1)} = F_{v-t}^{(k)} + \beta F_t^{\prime}Fv(k+1)=Fv−t(k)+βFt′

需注意，在 RGB 分支的特征精炼过程中，红外图像特征 FtF_tFt 保持固定。

4.5 损失函数#

本文采用 CoDetr 损失进行训练，该损失函数整合多个组件，优化分类与定位性能：

LCoDetr=λ1⋅Lmain+λ2⋅(LRPN+LROI+LBbox)\mathcal{L}_{\mathrm{CoDetr}} = \lambda_1 \cdot \mathcal{L}_{\mathrm{main}} + \lambda_2 \cdot \left( \mathcal{L}_{\mathrm{RPN}} + \mathcal{L}_{\mathrm{ROI}} + \mathcal{L}_{\mathrm{Bbox}} \right)LCoDetr=λ1⋅Lmain+λ2⋅(LRPN+LROI+LBbox)

主检测头（CoDINOHead）：采用质量焦点损失（Quality Focal Loss）处理类别不平衡问题，同时使用 L1 损失优化边界框回归、GIoU 损失优化定位精度。
辅助检测头：CoDetr 包含三个辅助检测头：
1. RPN 头：采用交叉熵损失进行目标-背景分类，L1 损失精炼边界框候选；
2. ROI 头：采用交叉熵损失进行类别预测，GIoU 损失提升边界框回归精度；
3. Bbox 头：采用焦点损失（Focal Loss）进行分类，GIoU 损失进行回归，交叉熵损失进行中心度预测。

05 实验分析#

5.1 实验细节#

本文基于 Double-Co-DETR 框架开展实验，所有实验在 PyTorch 环境下进行，硬件配置为 Intel i7-9700 CPU、64GB 内存、Nvidia RTX 3090 GPU（24GB 显存）。图像输入尺寸设为 640×640，数据增强采用 Double-Co-DETR 的 v1 版本，其余设置与原文保持一致。

最终实验中，FLIR 与 LLVIP 数据集训练 12 轮（epoch），M³FD 数据集训练 36 轮；消融实验以 NiNfusion 为基准，所有实验训练 12 轮，批次大小（batch size）设为 1，参数设置保持一致。

5.2 数据集与评价指标#

5.3 数据集#

FLIR：高质量多光谱目标检测数据集，包含成对红外与 RGB 图像，主要用于自动驾驶与监控场景，标注类别包括“人”“车”“自行车”，适合红外与可见光跨模态融合研究。

LLVIP：聚焦弱光条件下的行人检测，包含成对 RGB 与红外图像，专门用于低光照环境下的多模态数据融合方法研究。

M³FD：包含 4200 对红外与可见光对齐图像，采集于不同光照、季节、天气环境，涵盖自动驾驶与道路监控中的 6 类典型目标，按 8:2 比例划分训练集与测试集。

5.4 评价指标#

采用 COCO 标准的 平均精度均值（mAP） 评估目标检测模型：

mAP：计算所有类别在 IoU 阈值 0.5–0.95（步长 0.05）下的平均 AP，综合评估检测精度与定位精度；
mAP50：IoU = 0.5 时的平均 AP，关注“足够重叠”的检测效果；
mAP75：IoU = 0.75 时的平均 AP，对定位精度要求更严格。

5.5 对比试验#

FLIR 数据集：

本文方法在 mAP50 上取得最优成绩（88.3%），mAP75 上相比基准模型提升 3.5%，超过 DAMSDet 1.7%，证明在低 IoU 阈值下的检测能力更优；mAP75 与整体 mAP 比基准模型分别提升 4.0% 与 3.8%，表明在严格评价标准下仍具备稳健性能。

LLVIP 数据集：

从表中看出，本文方法在所有三项指标上均取得最优性能：mAP50、mAP75、整体 mAP 相比基准模型分别提升 0.4%、2.4%、1.4%，相比 DAMSDet 分别提升 0.5%、4.0%、1.3%。这些提升证明 IRDFusion 在行人检测中的有效性。

M³FD 数据集：

如表所示，本文方法在所有指标上均取得最高性能：mAP 与最优模型持平（61.9%），mAP50 提升 2.8%；相比基准模型，两项指标均提升 3.7%。

5.6 消融实验#

5.7 不同模块的贡献#

MFRM 模块：单独引入 MFRM 后，“自行车”和“人”类别的各项指标显著提升，其中“自行车”的 mAP50 提升 4.4%，原因是该类目标在单一模态中特征不突出，MFRM 通过融合双模态互补特征强化了目标表示。但“汽车”类别指标略有下降（mAP50 降低 0.2%），推测是 RGB 与红外模态中目标轮廓附近的背景边缘被误放大，导致定位精度下降。总体而言，MFRM 使 mAP50、mAP75、mAP 分别提升 1.5%、2.0%、1.7%，验证了其核心有效性。

DFFM 模块：单独引入 DFFM 后，模型整体性能显著提升，“自行车”类别获益最大（mAP50 提升 6.6%、mAP75 提升 3.7%、mAP 提升 5.2%），“人”类别 mAP75 提升 8.6%。这表明 DFFM 对双模态中视觉模糊或特征薄弱的目标具有强优化作用，能精准强化关键特征、抑制冗余信息。

MFRM + DFFM 模块：两模块联合使用时，模型性能达到最优，mAP50、mAP75、mAP 较基线分别提升 3.5%、4.0%、3.8%。说明 MFRM 侧重放大并整合弱有效特征，DFFM 侧重引导融合过程、抑制干扰，二者形成互补，共同优化跨模态融合效果。

5.8 迭代次数的影响#

模型在第 4 次迭代时 mAP50 达到最优（88.3%）；尽管部分类别在不同迭代次数下达到性能峰值，但差异较小，因此将 4 次迭代设为所有实验的标准设置。
迭代次数过少时（如 1–2 次），冗余特征未被充分抑制，差异特征反馈不足，无法有效消除两种模态中的冗余或噪声信息，降低模型整合有效跨模态特征的能力。
迭代次数过多时（如 5–6 次），性能下降——差异特征逐渐减弱，模态间交互引入负面影响（如背景噪声放大），模型过度强调差异特征而牺牲特征整合效果，破坏整体融合质量。

5.9 失败案例#

如图所示，IRDFusion 在检测“小尺寸、严重遮挡目标”时存在局限：

此类条件下，模态共享特征（如轮廓、空间布局）与差异特征（如颜色或热对比度）均变得难以区分，导致 MFRM 无法准确捕捉跨模态线索，DFFM 难以通过差异反馈提取互补信息；最终融合特征表示减弱，偶尔出现假阳性与漏检。未来需探索“多尺度特征增强策略”或“动态可变形注意力机制”，增强跨模态特征交互，提升严重遮挡场景下的检测性能。

5.10 局限性#

如表所示，引入 IRDFusion 模块后：

YOLO 框架：检测速度显著下降（FPS 从 45.3 降至 17.0），参数从 75.4M 增至 134.0M，GFLOP 从 91.0 增至 122.8；
CoDetr 框架：速度下降相对较小（FPS 从 3.6 降至 3.1），但参数与 GFLOP 大幅增加（参数 +25M，GFLOP 从 944.9 增至 1213.5）。

这可能源于 IRDFusion 模块中的迭代过程；此外，CoDetr 采用 ViT 作为骨干网络，基准模型已具备大量参数与高计算量，需消耗大量计算资源。尽管 IRDFusion 提升检测精度，但高计算成本限制了其在边缘设备上的实时部署。

06 个人声明#

论文阅读 CVPR 2022 用于小目标检测的归一化高斯 Wasserstein 距离

Mon, 11 May 2026 00:00:00 GMT

CVPR 2022 | 用于小目标检测的归一化高斯 Wasserstein 距离#

01 论文信息#

论文题目： A Normalized Gaussian Wasserstein Distance for Tiny Object Detection
论文作者： Jiang Wang，Chang Xu，Wen Yang，Lei Yu
发表单位： Jiang Wang，Chang Xu，Wen Yang，Lei Yu 武汉大学
发表会议\期刊： IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR），2022
论文链接： https://arxiv.org/abs/2110.13389
代码链接： https://github.com/jwwangchn/NWD

02 论文主要贡献#

本文从小目标检测中 IoU 对像素级位置偏差过度敏感这一根本问题出发，重新思考边界框相似度的度量方式。其核心贡献不是提出新的检测骨干，而是用更适合小目标的位置相似性指标替换检测流程中依赖 IoU 的关键环节。

结合摘要和引言，论文的主要贡献可概括为：作者将边界框建模为二维高斯分布，用归一化高斯 Wasserstein 距离衡量预测框与真实框之间的相似度，使度量在目标极小、框不重叠或轻微偏移时仍保持平滑有效；在此基础上，论文把该指标用于标签分配、NMS 和回归损失，实验表明它能显著改善 AI-TOD、VisDrone 等小目标检测场景下的性能。

03 论文创新点#

本文的贡献总结如下：

分析了 IoU 对小目标位置偏差的敏感性，并提出 NWD 作为衡量两个边界框相似度的更优指标；
通过将 NWD 应用于基于锚点检测器的标签分配、NMS 和损失函数，设计了一种高性能的小目标检测器；
所提出的 NWD 能够显著提升主流基于锚点检测器的小目标检测性能，在 AI-TOD 数据集上，Faster R-CNN 的性能提升幅度达到 11.1% 至 17.6%。

04 方法#

4.1 边界框的高斯分布建模#

对于小目标而言，其边界框中往往包含部分背景像素（因为大多数真实目标并非严格的矩形）。在这些边界框中，前景像素和背景像素分别集中在边界框的中心和边缘。

为了更好地描述边界框中不同像素的权重，我们将边界框建模为二维（2D）高斯分布：边界框的中心像素权重最高，像素的重要性从中心向边缘逐渐降低。具体而言，对于水平边界框 R=(cx, cy, w, h)（其中 (cx, cy) 为中心坐标，w 和 h 分别为宽度和高度），其内切椭圆的方程可表示为：

(x−μx)2σx2+(y−μy)2σy2=1(1)\frac{(x-\mu_x)^2}{\sigma_x^2} + \frac{(y-\mu_y)^2}{\sigma_y^2} = 1 \tag{1}σx2(x−μx)2+σy2(y−μy)2=1(1)

其中 (μₓ, μᵧ) 为椭圆的中心坐标，σₓ和 σᵧ分别为 x 轴和 y 轴方向的半轴长度。相应地，μₓ=cx，μᵧ=cy，σₓ=w/2，σᵧ=h/2。

二维高斯分布的概率密度函数为：

f(x∣μ,Σ)=exp⁡(−12(x−μ)⊤Σ−1(x−μ))2π∣Σ∣12(2)f(x|\mu, \Sigma) = \frac{\exp\left(-\frac{1}{2}(x-\mu)^\top \Sigma^{-1}(x-\mu)\right)}{2\pi|\Sigma|^{\frac{1}{2}}} \tag{2}f(x∣μ,Σ)=2π∣Σ∣21exp(−21(x−μ)⊤Σ−1(x−μ))(2)

其中 x、μ 和 Σ 分别表示坐标 (x, y)、均值向量和协方差矩阵。当满足：

(x−μ)⊤Σ−1(x−μ)=1(3)(x-\mu)^\top \Sigma^{-1}(x-\mu) = 1 \tag{3}(x−μ)⊤Σ−1(x−μ)=1(3)

时，式（1）中的椭圆即为二维高斯分布的密度等高线。因此，水平边界框 R=(cx, cy, w, h) 可建模为均值向量 μ 和协方差矩阵 Σ 如下的二维高斯分布 N (μ, Σ)： nwd

μ=[cxcy],Σ=[w2400h24](4)\mu = \begin{bmatrix} c_x \\ c_y \end{bmatrix}, \quad \Sigma = \begin{bmatrix} \frac{w^2}{4} & 0 \\ 0 & \frac{h^2}{4} \end{bmatrix} \tag{4}μ=[cxcy],Σ=[4w2004h2](4)

进一步地，边界框 A 和 B 之间的相似度可转化为两个高斯分布之间的距离。

4.2 归一化高斯沃尔什 - 田贝距离#

我们使用源自最优传输理论的沃尔什 - 田贝距离计算分布之间的距离。对于两个二维高斯分布 μ₁=N (m₁, Σ₁) 和 μ₂=N (m₂, Σ₂)，其二阶沃尔什 - 田贝距离定义为：

W22(μ1,μ2)=∥m1−m2∥22+Tr(Σ1+Σ2−2(Σ21/2Σ1Σ21/2)1/2)(5)W_2^2(\mu_1, \mu_2) = \|m_1 - m_2\|_2^2 + \text{Tr}\left(\Sigma_1 + \Sigma_2 - 2\left(\Sigma_2^{1/2}\Sigma_1\Sigma_2^{1/2}\right)^{1/2}\right) \tag{5}W22(μ1,μ2)=∥m1−m2∥22+Tr(Σ1+Σ2−2(Σ21/2Σ1Σ21/2)1/2)(5)

该式可简化为：

W22(μ1,μ2)=∥m1−m2∥22+∥Σ11/2−Σ21/2∥F2(6)W_2^2(\mu_1, \mu_2) = \|m_1 - m_2\|_2^2 + \|\Sigma_1^{1/2} - \Sigma_2^{1/2}\|_F^2 \tag{6}W22(μ1,μ2)=∥m1−m2∥22+∥Σ11/2−Σ21/2∥F2(6)

<— 也即

W22(μ1,μ2)=∥m1−m2∥22+(σ1−σ2)2+(w1−w2)2W_2^2(\mu_1, \mu_2) = \|m_1 - m_2\|_2^2 + (σ_1-σ_2)^2 + (w_1 - w_2)^2W22(μ1,μ2)=∥m1−m2∥22+(σ1−σ2)2+(w1−w2)2

—>

其中 ‖・‖_F‖・‖\_F‖・‖_F 表示弗罗贝尼乌斯范数（Frobenius norm）。

进一步地，对于由边界框 A=(cxa,cya,wa,ha)A=(cx_a, cy_a, w_a, h_a)A=(cxa,cya,wa,ha) 和 B=(cxb,cyb,wb,hb)B=(cx_b, cy_b, w_b, h_b)B=(cxb,cyb,wb,hb) 建模得到的高斯分布 NaN_aNa 和 NbN_bNb，式（6）可进一步简化为：

W22(Na,Nb)=∥[cxacyawa2ha2]−[cxbcybwb2hb2]∥22(7)W_2^2(\mathcal{N}_a, \mathcal{N}_b) = \left\| \begin{bmatrix} cx_a \\ cy_a \\ \frac{w_a}{2} \\ \frac{h_a}{2} \end{bmatrix} - \begin{bmatrix} cx_b \\ cy_b \\ \frac{w_b}{2} \\ \frac{h_b}{2} \end{bmatrix} \right\|_2^2 \tag{7}W22(Na,Nb)=cxacya2wa2ha−cxbcyb2wb2hb22(7)

然而，W22(Na,Nb)W_2^2(\mathcal{N}_a, \mathcal{N}_b)W22(Na,Nb) 是一个距离指标，无法直接作为相似度指标（即像 IoU 那样取值在 0 到 1 之间）。因此，我们通过指数形式对其进行归一化，得到新的指标 —— 归一化高斯沃尔什 - 田贝距离（NWD）：

NWD(Na,Nb)=exp⁡(−W22(Na,Nb)C)(8)\text{NWD}(\mathcal{N}_a, \mathcal{N}_b) = \exp\left(-\frac{\sqrt{W_2^2(\mathcal{N}_a, \mathcal{N}_b)}}{C}\right) \tag{8}NWD(Na,Nb)=exp(−CW22(Na,Nb))(8)

其中 C 是一个与数据集密切相关的常数。在后续实验中，我们通过经验设定 C 为 AI-TOD 数据集的平均绝对尺寸，取得了最佳性能。此外，我们观察到 C 在一定范围内具有鲁棒性，具体细节将在补充材料中展示。

与 IoU 相比，NWD 在小目标检测中具有以下优势：

尺度不变性
对位置偏差的平滑性
能够衡量非重叠或相互包含边界框之间的相似度

图 2：IoU - 偏差曲线与 NWD - 偏差曲线在两种不同场景下的对比。横坐标表示 A 和 B 中心点之间的像素偏差数，纵坐标表示对应的指标值。注：边界框位置只能离散变化，因此值 - 偏差曲线以散点图形式呈现。

如图 2 所示，在两种不同场景下讨论指标值的变化：第一行中，保持框 A 和框 B 的尺度相同，沿 A 的对角线移动 B，可见四条 NWD 曲线完全重合，表明 NWD 对边界框的尺度变化不敏感；同时，IoU 对微小位置偏差过于敏感，而 NWD 因位置偏差产生的变化更为平滑，这种平滑性使得在相同阈值下，NWD 能够比 IoU 更好地区分正负样本。第二行中，将框 B 的边长设置为框 A 的一半，沿 A 的对角线移动 B，与 IoU 相比，NWD 曲线更为平滑，即使在 A 和 B 完全包含（|A∩B|=A 或 B）或无重叠（|A∩B|=0）的情况下，仍能稳定反映两者之间的相似度。

4.3 基于 NWD 的检测器#

所提出的 NWD 可轻松集成到任何基于锚点的检测器中以替代 IoU。不失一般性，我们以具有代表性的基于锚点检测器 Faster R-CNN 为例，说明 NWD 的使用方法：具体而言，所有修改均针对原本使用 IoU 的三个环节，包括正负样本标签分配、NMS 和回归损失函数。细节如下：

基于 NWD 的标签分配：Faster R-CNN 由两个网络组成 —— 用于生成区域提议的 RPN 和基于这些提议进行目标检测的 R-CNN，两者均包含标签分配过程。对于 RPN，首先生成不同尺度和宽高比的锚点，然后为锚点分配二元标签，以训练分类头和回归头；对于 R-CNN，标签分配过程与 RPN 类似，区别在于 R-CNN 的输入是 RPN 的输出。为克服上述 IoU 在小目标检测中的缺陷，我们设计了基于 NWD 的标签分配策略，利用 NWD 进行标签分配：具体而言，在训练 RPN 时，以下两类锚点将被分配正标签：

与某个真实目标（GT）的 NWD 值最高，且该 NWD 值大于负阈值 θnθₙθn；
与任意真实目标的 NWD 值高于正阈值 θpθₚθp。相应地，若某个锚点与所有真实目标的 NWD 值均低于负阈值 θnθₙθn，则被分配负标签；既未被分配正标签也未被分配负标签的锚点不参与训练过程。

基于 NWD 的 NMS：NMS 是目标检测流程中抑制冗余预测边界框的关键环节，其核心采用 IoU 指标。NMS 的工作流程为：首先根据得分对所有预测框进行排序，选择得分最高的预测框 M，抑制所有与 M 存在显著重叠（使用预定义阈值 NtNₜNt）的其他预测框，然后对剩余框递归执行该过程。然而，IoU 对小目标的敏感性会导致许多预测框的 IoU 值低于 NtNₜNt，进而产生假阳性预测。为解决这一问题，我们认为 NWD 是小目标检测中 NMS 的更优准则，因为 NWD 克服了尺度敏感性问题；此外，基于 NWD 的 NMS 易于集成到任何小目标检测器中，仅需少量代码修改。
基于 NWD 的回归损失：IoU 损失被引入以消除训练和测试之间的性能差距，但在以下两种情况下，IoU 损失无法为网络优化提供梯度：（1）预测边界框 PPP 与真实边界框 GGG 无重叠（即 ∣P∩G∣| P∩G|∣P∩G∣=0）；（2）PPP 完全包含 GGG 或反之（即 ∣P∩G∣| P∩G|∣P∩G∣=PPP 或 GGG）。这两种情况在小目标检测中极为常见：一方面，预测框 PPP 的微小像素偏差就可能导致与 GGG 无重叠；另一方面，小目标容易被误预测，导致 PPP 完全包含 GGG 或反之。因此，IoU 损失不适用于小目标检测器。尽管完全交并比（CIoU）和距离交并比（DIoU）能够处理上述两种情况，但由于它们均基于 IoU，对小目标的位置偏差仍具有敏感性。为解决上述问题，我们将 NWD 指标设计为损失函数：

LNWD=1−NWD(Np,Ng)(9)\mathcal{L}_{\text{NWD}} = 1 - \text{NWD}(\mathcal{N}_p, \mathcal{N}_g) \tag{9}LNWD=1−NWD(Np,Ng)(9)

其中 NpNₚNp是预测框 PPP 的高斯分布模型，N9N₉N9是真实框 GGG 的高斯分布模型。根据 2.2 节的介绍，即使在 ∣P∩G∣|P∩G|∣P∩G∣=0 和 ∣P∩G∣|P∩G|∣P∩G∣=PPP 或 GGG 的情况下，基于 NWD 的损失仍能提供梯度。

05 实验分析#

我们在AI-TOD和VisDrone2019数据集上评估所提出的方法。消融实验在AI-TOD上进行，AI-TOD是一个专为小目标检测设计的具有挑战性的数据集。它包含八个类别，在28036张800×800像素的航拍图像中共有700621个目标实例。AI-TOD的平均绝对尺寸仅为12.8像素，远小于其他目标检测数据集，如PASCAL VOC（156.6像素）、MS COCO（99.5像素）和DOTA（55.3像素）。此外，VisDrone2019是一个用于目标检测的无人机数据集。它由10209张图像组成，包含10个类别。VisDrone2019有许多复杂场景，并且由于图像是在不同地点、不同高度拍摄的，所以存在大量小目标。

我们采用与AI-TOD数据集相同的评估指标，包括平均精度均值（AP）、AP0.5AP_{0.5}AP0.5、AP0.75AP_{0.75}AP0.75、APvtAP_{vt}APvt、APtAP_{t}APt、APsAP_{s}APs和APmAP_{m}APm。具体来说，AP是不同IoU阈值（IoU={0.5,0.55,⋯ ,0.95}IoU = \{0.5, 0.55, \cdots, 0.95\}IoU={0.5,0.55,⋯,0.95}）下的平均精度均值，AP0.5AP_{0.5}AP0.5和AP0.75AP_{0.75}AP0.75分别是IoU阈值为0.5和0.75时的平均精度。此外，APvtAP_{vt}APvt、APtAP_{t}APt、APsAP_{s}APs和APmAP_{m}APm是AI-TOD中用于非常小（2 - 8像素）、小（8 - 16像素）、小（16 - 32像素）和中等（32 - 64像素）尺度评估的指标。

我们在一台配备4个NVIDIA Titan X GPU的计算机上进行所有实验，实验代码基于MMdetection代码库。除非另有说明，均使用在ImageNet上预训练的带有FPN的ResNet-50作为骨干网络。所有模型均使用随机梯度下降（SGD）优化器训练12个epoch，动量为0.9，权重衰减为0.0001，批量大小为8。我们将初始学习率设置为0.01，并在第8个和第11个epoch时将其衰减为原来的0.1倍。此外，RPN和Fast R-CNN的批量大小分别设置为256和512，正负样本的采样比例设置为1/3。RPN生成的提议数量设置为3000。在推理阶段，我们使用预设分数0.05过滤掉背景边界框，并应用IoU阈值为0.5的非极大值抑制（NMS）。除非另有说明，上述训练和推理参数在所有实验中均适用。

5.1 与其他基于IoU的度量方法比较#

如第2节所述，有一些基于IoU的度量方法可用于测量边界框之间的相似度。在本研究中，我们在相同的基础网络（即Faster R-CNN）上重新实现上述四种度量方法（即IoU、GIoU、CIoU和DIoU）以及我们提出的NWD，以比较它们在小目标检测上的性能。具体来说，将它们分别应用于标签分配、NMS和损失函数中。在AI-TOD数据集上的实验结果如表1所示。

表1：标签分配、非极大值抑制（NMS）和损失函数中不同度量指标的比较。

标签分配中的比较：请注意，RPN和R-CNN的分配模块中的度量均进行了修改。可以看出，NWD实现了最高的AP，达到16.1%，与IoU度量相比，在APtAP_{t}APt上提高了9.6%，这表明基于NWD的标签分配可以为小目标提供更多高质量的训练样本。此外，为了分析性能提升的本质，我们进行了一组统计实验。具体来说，在相同的默认阈值下，我们分别计算使用IoU、GIoU、DIoU、CIoU和NWD时每个真实框匹配的正锚框的平均数量，分别为0.72、0.71、0.19、0.19和1.05。可以发现，只有NWD能够确保有相当数量的正训练样本。此外，虽然简单降低基于IoU的度量方法的阈值可以为训练提供更多的正锚框，但经过阈值微调后的基于IoU的小目标检测器的性能并不比基于NWD的检测器好，这将在补充材料中进一步讨论。这归因于NWD可以解决IoU对小目标位置偏差的敏感性问题。
NMS中的比较：在本实验中，我们仅修改RPN的NMS模块，因为只有RPN中的NMS会直接影响检测器的训练过程。可以看出，在训练过程中使用不同的度量方法过滤冗余预测也会影响检测性能。具体而言，NWD实现了最佳的AP，为11.9%，比常用的IoU高0.8%。这意味着在检测小目标时，NWD是一种更好的过滤冗余边界框的度量方法。
损失函数中的比较：请注意，我们同时修改了RPN和R-CNN中的损失函数，这两者都会影响检测器的收敛。同样可以看出，基于NWD的损失函数实现了最高的AP，为12.1%。

5.2 消融实验#

在本节中，我们以Faster R-CNN作为基线，它由两个阶段组成：RPN和R-CNN。我们提出的方法可以应用于RPN和R-CNN的标签分配、NMS、损失函数模块中，因此总共有六个模块可以从IoU度量切换为NWD度量。为了验证我们提出的方法在不同模块中的有效性，我们进行了以下两组消融实验：将NWD应用于六个模块之一的比较，以及将NWD应用于RPN或R-CNN的所有模块的比较。

表2：NWD应用于单个模块时的消融实验。

应用于单个模块：实验结果如表2所示。与基线方法相比，基于NWD的RPN和R-CNN分配模块分别实现了最高和第二高的AP提升，分别为6.2%和3.2%，这表明IoU导致的小目标训练标签分配问题最为显著，我们提出的基于NWD的分配策略极大地提高了分配质量。还可以观察到，我们提出的方法在六个模块中的五个模块中都提高了性能，这显著验证了我们基于NWD的方法的有效性。而R-CNN的NMS模块中性能下降可能是由于默认的NMS阈值不是最优的，需要进行微调以提升性能。

表3：将NWD应用于多个模块时的消融实验。

应用于多个模块：表3列出了实验结果。在训练12个epoch时，在RPN、R-CNN或所有模块中使用NWD时，检测性能均实现了显著提升。当我们在RPN的所有三个模块中应用NWD时，达到了17.8%的最佳性能。然而，我们发现当在所有六个模块中使用NWD时，与仅在RPN中使用NWD相比，AP下降了2.6%。为了分析性能下降的原因，我们增加了一组实验，将网络训练24个epoch。可以看到，性能差距从2.6%缩小到0.9%，这表明在R-CNN中使用NWD时，网络需要更多时间来收敛。因此，在后续实验中，我们仅在RPN中使用NWD，以在更短时间内实现可观的性能提升。

5.3 主要结果#

为了揭示NWD在小目标检测（TOD）上的有效性，我们在小目标检测数据集AI-TOD和VisDrone2019上进行了实验。

AI-TOD上的主要结果：为了验证NWD可以应用于任何基于锚框的检测器并提升TOD性能，我们选择了五个基线检测器，包括单阶段基于锚框的检测器（即RetinaNet、ATSS）和多阶段基于锚框的检测器（即Faster R-CNN、Cascade R-CNN、DetectoRS）。实验结果如表4所示。可以看出，当前最先进的检测器的APvtAP_{vt}APvt极低，接近零，这意味着它们在小目标上无法产生令人满意的结果。此外，我们提出的基于NWD的检测器使RetinaNet、ATSS、Faster R-CNN、Cascade R-CNN和DetectoRS的AP指标分别提高了4.5%、0.7%、6.7%、4.9%和6.0%。当目标非常小时，性能提升更为明显。值得注意的是，基于NWD的DetectoRS在AI-TOD上达到了最先进的性能（20.8% AP）。图3展示了在AI-TOD数据集上使用基于IoU的检测器（第一行）和基于NWD的检测器（第二行）的一些可视化检测结果。我们可以观察到，与IoU相比，NWD可以显著减少漏检（FN）。

图3：基于IoU的检测器（第一行）和基于NWD的检测器（第二行）对AI-TOD数据集的检测结果可视化。绿色、蓝色和红色框分别表示真阳性（TP）、假阳性（FP）和假阴性（FN）预测结果。

表4：AI-TOD测试集上基线模型与带*的NWD方法的定量比较。

Visdrone上的主要结果：除了AI-TOD，我们使用VisDrone2019数据集（其中包含许多不同场景下的小目标）来验证基于NWD的检测器的泛化能力。结果如表5所示。可以看出，基于NWD的基于锚框的检测器相对于其基线均实现了显著的性能提升。

表5：VisDrone2019验证集上基线模型与带*的NWD方法的定量比较。

06 个人声明#

论文阅读 CVPR 2025 GIFNet 底层任务交互破局

Mon, 11 May 2026 00:00:00 GMT

CVPR 2025 | GIFNet：One Model for ALL: Low-Level Task Interaction Is a Key to Task-Agnostic Image Fusion#

01 论文信息#

论文题目： One Model for ALL: Low-Level Task Interaction Is a Key to Task-Agnostic Image Fusion
论文作者： Wenjie Zhang，Yun Liu，Jinyuan Liu，等
发表单位： Wenjie Zhang，Yun Liu，Jinyuan Liu ，江南大学等
发表会议\期刊： IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR），2025
论文链接： https://doi.org/10.48550/arXiv.2502.19854
代码链接： https://github.com/AWCXV/GIFNet

02 论文主要贡献#

本文针对现有图像融合方法过度依赖高级视觉任务监督、难以跨融合场景泛化的问题，提出从底层视觉任务交互中寻找更通用的监督和特征对齐方式。

结合摘要和引言，论文的主要贡献可概括为：它把多模态融合任务与数字摄影类底层任务放在同一个训练框架中交互，使模型学习更通用的像素级和纹理级表示；这种设计让同一个模型能够服务于多种已见和未见融合任务，并进一步扩展到单模态图像增强场景。实验部分表明，该低层任务交互范式在通用性、效率和融合质量上均优于依赖高级语义监督的做法。

03 论文创新点#

证明底层融合任务之间的协作训练这一此前未被重视的策略，能够通过利用跨任务协同显著提升性能。
引入重建任务和增强的以 RGB 为中心的联合数据集，以对齐不同融合任务的特征并解决数据支撑问题。
显著增强融合系统的通用性，避免耗时的特定任务适配。
率先整合图像融合与单模态增强过程，将图像融合模型的应用范围扩展到多模态领域之外。

04 方法#

4.1 公式化#

图像融合范式通常可定义为：

If=F(I1,I2),(1)I_f = F(I_1, I_2), (1)If=F(I1,I2),(1)

其中I1I_1I1和I2I_2I2是输入图像，FFF表示一种图像融合方法，IfI_fIf是融合后的图像。

近年来的方法常常将来自高级视觉任务的语义信息整合到多模态图像融合（IVIF）模型中，旨在提高性能。然而，这种范式带来了图像质量下降、计算成本增加以及泛化能力有限的风险（见图1和图2）。

图2. 基于高级任务的先进多任务融合方法与本文提出的底层任务交互范式的对比。前者依赖多模态特征和任务共享特征，聚焦于数字摄影任务共享特征的学习与增强；后者提供像素级监督，能呈现清晰的纹理细节，而那些聚焦语义的范式无法像我们的范式一样始终确保稳健的融合质量。

为此提出了一种新颖的方法，引入了两个创新点。

第一个是跨任务交互机制，它利用了各种融合任务中的底层处理操作。
- 具体来说，我们使用数字摄影图像融合任务为无监督的 IVIF 任务提供额外的特定任务特征和监督信号，从而提高融合模型的泛化性和鲁棒性。
- 我们选择多聚焦图像融合（MFIF）作为数字摄影融合的代表性示例来展示我们的 GIFNet 模型，因为在我们的交互消融实验（4.2 节）中，它在可用的融合任务中表现最佳。
第二个创新点是融入了单模态图像增强能力。
- 通过引入数字摄影融合任务（一张图像的不同设置），模型学会在不依赖多模态输入的情况下增强特征。通过将两个输入都设置为同一图像，我们模拟了一种类似融合的增强过程，专注于细化单张图像内的细节。这个推理过程可以表示为：

X^=F(X,X),(2)\hat{X}=F(X, X), \quad(2)X^=F(X,X),(2)

其中，XXX 表示单模态输入，X^\hat{X}X^ 是增强后的输出。现有图像融合方法的应用仅局限于多模态场景。而这一新特性使我们能够利用增强后的结果来提升主流 RGB 视觉任务的性能。

4.2 模型架构#

当代图像融合方法由于其单一的网络设计，多个任务依赖于单一的编码器 - 解码器结构，常常在协作学习方面遇到困难。

为了解决这个问题，我们的框架引入了一种三分支架构（如图 3（a）所示）

4.3 三分支架构#

它解耦了特征提取过程，并促进了底层任务之间的交互。在我们的模型中，只有基础特征提取部分在不同任务之间共享。

通过关注底层任务之间的交互，我们的方法允许特定任务的特征在网络内直接组合，无需额外的模块来弥合特征或语义差距。这种交互发生在多模态（MM）和数字摄影（DP）分支之间，跨任务机制在主分支和辅助分支之间交替（图 3（d））。

然后，一个门控模块有选择地将主分支的混合特征路由到全局解码器（G-Dec）以生成融合结果。重建（REC）分支通过提取任务无关的特征来支持这一过程。

4.4 交叉融合门控机制(CFGM)：#

在获得这些共享特征后，MM 和 DP 分支继续提取不同融合类型的特定任务特征。所提出的交叉融合门控机制（CFGM）是控制这些分支的核心技术，使它们能够融合特定任务的特征，并自适应地稳定跨任务交互。鉴于 SwinTransformer 块具有强大的全局特征提取能力，并且在捕获任务感知特征方面取得了成功，我们使用它来构建 CFGM。

在交叉融合门控机制（CFGM）中，主分支和辅助分支通过交替更新一个分支并冻结另一个分支来进行训练（图3（c））。

4.5 重建分支(REC)：#

REC 分支采用自动编码器从各种图像融合任务中导出通用特征（图 3（b）（II））。通过针对增强数据中的共享 RGB 模态进行重建，我们确保了任务共享特征的有效提取。共享编码器（S-Enc）中的密集连接最大化了特征利用率，使原始视觉信号能够传输到其他分支。其中REC分支的输入是主任务图像。

4.6 训练操作#

图 4. 我们的广义图像融合网络（GIFNet）推理阶段的示意图。在这个阶段，仅使用一对图像来生成多模态和数字摄影特征。

每个训练步骤中，我们有：

xm^=Attself(xm)(3)\hat{x_{m}}=Att_{self}\left(x_{m}\right) \quad(3)xm^=Attself(xm)(3)xm=xm^+λ⋅Attcross(xm^,xa)(4)x_{m}=\hat{x_{m}}+\lambda \cdot Att_{cross}\left(\hat{x_{m}}, x_{a}\right) \quad(4)xm=xm^+λ⋅Attcross(xm^,xa)(4)

其中，xmx_mxm和xax_axa分别表示主任务和辅助任务的表示，λ\lambdaλ是一个可学习的参数，用于控制辅助任务的影响程度。Attself和AttcrossAtt_{self}和Att_{cross}Attself和Attcross分别表示自注意力和交叉注意力操作。交互仅限于奇数层，以避免干扰Swin Transformer的窗口移位操作。

4.7 损失函数#

在训练过程中，我们采用两个损失函数，即由重建（REC）分支的输出IrI_{r}Ir和融合图像IfI_{f}If定义的公共损失Lpub\mathcal{L}_{pub}Lpub和私有损失Lpri\mathcal{L}_{pri}Lpri。每个任务分支的总损失为：

Ltotal=Lpub+Lpri(5)\mathcal{L}_{total }=\mathcal{L}_{pub }+\mathcal{L}_{pri} \quad(5)Ltotal=Lpub+Lpri(5)

公共损失LpubL_{pub}Lpub通过强制重建（REC）分支输出与共享RGB模态IvisI_{vis}Ivis之间的一致性来指导基础特征提取：

Lpub=Lssim(Ir,Ivis)+Lmse(Ir,Ivis),(6)\mathcal{L}_{pub }=\mathcal{L}_{ssim }\left(I_{r}, I_{vis }\right)+\mathcal{L}_{mse }\left(I_{r}, I_{vis }\right), \quad(6)Lpub=Lssim(Ir,Ivis)+Lmse(Ir,Ivis),(6)

其中，Lssim\mathcal{L}_{ssim}Lssim和Lmse\mathcal{L}_{mse}Lmse分别表示结构相似性损失和均方误差损失。结构相似性损失定义为：

Lssim(IX,IY)=1−SSIM(IX,IY)(7)\mathcal{L}_{ssim }\left(I_{X}, I_{Y}\right)=1-SSIM\left(I_{X}, I_{Y}\right) \quad(7)Lssim(IX,IY)=1−SSIM(IX,IY)(7)

这里，(SSIM)表示两个图像之间的结构相似性度量。

对于DP分支（MFIF任务），由于增强的MFIF数据来自RGB图像IvisI_{vis}Ivis，我们有监督训练的真实标签。因此，该分支的私有损失公式为：

LpriDP=Lmse(If,Ivis)(8)\mathcal{L}_{pri}^{DP}=\mathcal{L}_{mse}\left(I_{f}, I_{vis}\right) \quad(8)LpriDP=Lmse(If,Ivis)(8)

私有损失是针对每个任务唯一定义的。在迭代的任务交互过程中，只有主任务分支及其私有损失会被优化，而另一个分支则被冻结。请注意，REC分支的输入始终是主任务图像。

对于MM分支（IVIF任务），它要求融合图像保留输入图像中的信息内容，我们采用信息加权损失函数。基于卷积网络的视觉解释研究，特征图的梯度表明特定区域对最终网络决策的贡献程度。使用轻量级DenseNet分类网络，我们确定混合比例wvisw_{vis }wvis和wirw_{ir }wir：

GradF(X)=∑∇ϕ(X)Grad F(X)=\sum \nabla \phi(X)GradF(X)=∑∇ϕ(X)[wir,wvis]=softmax(GradF(Iir),GradF(Ivis))(9)\left[w_{ir }, w_{vis }\right]=softmax\left(Grad F\left(I_{ir }\right), Grad F\left(I_{vis }\right)\right)\quad(9)[wir,wvis]=softmax(GradF(Iir),GradF(Ivis))(9)

其中ϕ(X)\phi(X)ϕ(X)表示通过预训练的DenseNet121网络提取的模态XXX的图像特征。然后，MM分支的私有损失定义为：

LpriMM=wir⋅Lmse(If,Iir)+wvis⋅Lmse(If,Ivis)(10)\mathcal{L}_{pri}^{MM}=w_{ir} \cdot \mathcal{L}_{mse}\left(I_{f}, I_{ir}\right)+w_{vis} \cdot \mathcal{L}_{mse}\left(I_{f}, I_{vis}\right) \quad(10)LpriMM=wir⋅Lmse(If,Iir)+wvis⋅Lmse(If,Ivis)(10)

在推理阶段，与训练过程不同，单个融合任务仅需一对输入图像。我们首先提取共享图像特征，利用交叉融合门控机制（CFGM）融合两组特定表示，最终由全局解码器重建融合图像。该过程无需额外计算或参数更新，确保了实时应用的可行性。

05 实验分析#

5.1 实验设置#

我们使用LLVIP数据集进行训练，该数据集包含对齐的红外和可见光图像。通过数据增强（如模糊处理、旋转、翻转）生成额外的MFIF训练样本。评估涵盖7类任务：IVIF（5个数据集）、MFIF（3个数据集）、多曝光融合（MEIF）、近红外（NIR）融合、遥感（RS）融合、医学图像融合（MRI/PET）以及单模态增强任务。采用VIF、SCD、EI、AG等11项指标进行定量评估。

5.2 消融实验#

表1展示了不同模块对性能的影响。完整模型（MTL+CFGM+REC）在VIF指标上达到0.897，显著优于基线模型（0.763）。消融CFGM导致VIF下降8.2%，验证了跨任务交互的重要性。REC模块的引入使VIF提升5.4%，表明通用特征对齐的有效性。此外，MFIF辅助任务的效果优于MEIF（VIF 0.897 vs 0.862），证明了任务选择的合理性。

表 1. 所提出的广义图像融合网络（GIFNet）涉及不同组件和任务组合的消融实验结果（IV（即 IVIF，红外 - 可见光融合）任务属于多模态实验，MF 和 ME 分别指多聚焦图像融合和多曝光图像融合）。 EI（Edge Intensity，边缘强度）：衡量融合结果的边缘信息丰富度； VIF（Visual Information Fidelity，视觉信息保真度）：衡量融合图像对源图像信息的保留程度； SCD（Sum of Correlation Differences，相关差异和）：衡量融合图像与源图像的相关性差异； AG（Average Gradient，平均梯度）：衡量融合结果的清晰度。

交叉融合门控机制（CFGM）模块：最后，如图5和图6所示，用传统的融合操作取代自适应的CFGM策略（其特点是有一个可学习参数λ用于控制混合比例），从定量和定性两方面都表明，我们的自适应方法能够对交互过程进行更出色的控制，从而生成更可靠的融合图像。

图5. 交叉融合门控机制（CFGM）消融实验的定量结果。图6. 交叉融合门控机制（CFGM）消融实验的可视化结果。

5.3 特征可视化#

图7显示，共享编码器提取的基础特征包含纹理和边缘信息。MM分支的特征保留了红外图像中的热辐射信息（如人体轮廓），而DP分支的特征增强了可见光图像的细节（如树叶纹理）。交叉融合后的特征同时包含两种模态的关键信息，验证了CFGM的有效性。

图7. 共享编码器以及两个分支在各种图像融合任务上的特征图可视化结果。

5.4 多模态任务#

5.5 已见任务#

在MFIF任务中，GIFNet在VIF指标上达到0.921，较第二名Text-IF提升25%（表2a）。在IVIF任务中，GIFNet的融合结果平衡了红外与可见光信息，在NVIQM指标上达到0.943，优于CDDFuse的0.915（表2b）。视觉效果显示，GIFNet在保留红外目标（如行人）的同时，恢复了可见光图像的纹理细节（图8）。

图8. 先进方法在不同融合任务上的定性结果。（1）MFIF 任务如表 2（a1）（a2）所示，GIFNet 在各项评价指标中均取得优异结果。例如，VIF 指标达到最优，较其他方法提升 25%，表明融合结果能有效增强源图像信息（如图 8 第一行所示）。（2）IVIF 任务如图 8 第二行所示，得益于协同训练，GIFNet 可更好地调整源模态的混合比例：既保留 RGB 图像丰富的纹理细节，又通过热辐射信息使场景呈现更明亮的视觉效果。因此，在低光与常规光照条件下，GIFNet 在所有定量实验中均表现最优（如表 2（b1）（b2）所示）。

5.6 未见任务#

对于未见的MEIF任务，GIFNet在VIF指标上达到0.853，较U2Fusion[34]提升46.7%（表2c）。在NIR融合任务中，GIFNet的SCD值为0.081，优于所有对比方法（表2d）。遥感融合任务中，GIFNet的AG值达到0.937，显著优于传统方法（图8）。医学图像融合任务中，GIFNet有效整合了MRI的解剖结构和PET的功能信息（表2f）。

表2. 专用（*）或统一方法在各种图像融合任务上的定量结果。（加粗：最佳，加粗：次佳）（1）MEIF 任务 GIFNet 在 MEIF 任务中对曝光不良图像的处理效果优异。如图 8 第三行所示，在 MEIF 任务的关键评价指标 “整体曝光度” 上，GIFNet 的融合结果亮度适中，无明显色彩失真（见高亮区域）。如表 2（c）所示，与先进方法相比，GIFNet 在所有融合指标中均大幅领先（VIF 提升 46.7%，AG 提升 37.8%）。（2）近红外 - 可见光（NIR-VIS）融合任务该任务与 IVIF 类似，但将中远红外模态替换为近红外模态。如图 8 第四行所示，现有融合方法虽能利用近红外信息改善 RGB 图像的低光条件，但 GIFNet 的纹理细节最清晰。定量结果（表 2（d））同样表明 GIFNet 性能优于现有算法。（3）遥感融合任务（全色锐化）该任务旨在同时保留全色图像的空间分辨率与多光谱图像的光谱分辨率。如图 8 倒数第二行所示，与现有方法不同，GIFNet 的融合图像边缘信息更锐利，可有效保留高分辨率全色模态中的物体形状。如表 2（e）所示，即便针对该任务设计的专用方法（P2Sharpen、ZeroSharpen），在多项指标中也不及 GIFNet。（4）医学影像融合任务该任务需保留磁共振成像（MRI）的显著器官结构，以及正电子发射断层扫描（PET）的清晰功能信息。如表 2（f）所示，尽管 GIFNet 未针对该任务训练，但其融合结果仍具备较强的视觉信息保真度（VIF），且与源输入的相关性较高（SCD）。这一性能与图 8 最后一行的定性结果一致 ——GIFNet 的融合结果可清晰呈现 MRI 模态中的局部结构。

5.7 单模态增强任务#

使用增强后的CIFAR100数据训练ResNet56，GIFNet的Top-1准确率达到56.18%，较原始数据提升7.3%（表3）。可视化结果显示，增强后的图像对比度更高，细节更清晰（图9）。这表明GIFNet不仅适用于多模态融合，还能作为通用图像增强器。

表3. 使用不同数据进行训练时，ResNet56的分类结果。原始的CIFAR100数据集以及使用不同图像融合方法增强后的数据被用作训练集。（†：此方法是使用不同的任务进行训练的）

图9. 先进的图像融合方法在CIFAR100单模态增强任务上的可视化结果。

06 个人声明#

论文阅读 TGRS 2024 Mask-Guided Mamba Fusion for Drone-Based Visible-Infrared Vehicle Detection

Mon, 11 May 2026 00:00:00 GMT

TGRS 2024 | Mask-Guided Mamba Fusion for Drone-Based Visible-Infrared Vehicle Detection#

01 论文信息#

论文题目： Mask-Guided Mamba Fusion for Drone-Based Visible–Infrared Vehicle Detection
论文作者： Simiao Wang，Chunpeng Wang，Chaoyi Shi，Yunan Liu，Mingyu Lu
发表单位： Simiao Wang，Chunpeng Wang，Chaoyi Shi，Yunan Liu，Mingyu Lu；大连海事大学人工智能学院；齐鲁工业大学（山东省科学院）算力网络与信息安全教育部重点实验室
发表会议\期刊： IEEE Transactions on Geoscience and Remote Sensing（TGRS），2024
论文链接：https://ieeexplore.ieee.org/document/10659747
代码链接： 未公开

02 论文主要贡献#

本文面向无人机可见光-红外车辆检测场景，解决航拍视角下目标尺度小、方向变化大、低光条件下可见光模态不稳定等问题。论文的核心思路是利用单模态检测结果反向指导另一模态特征提取，使融合不再只是被动拼接。

结合摘要和引言，论文的主要贡献可概括为：它把检测候选区域作为跨模态引导信号，使两种模态在特征提取阶段就能吸收彼此的目标线索；随后再利用状态空间建模强化深层跨模态关系。实验显示，该方法在 DroneVehicle 以及其他跨模态检测任务上取得稳定提升，说明显式引导与深层融合结合后能改善无人机复杂场景下的车辆检测效果。

03 论文创新点#

提出用于可见光-红外车辆检测的 MGMF 方法；该方法不仅通过显式引导捕捉有价值的融合特征，还探索了 Mamba 为跨模态车辆检测提取判别性表示的潜力。
提出 MRCM 用于提取引导信息，使一种模态的特征能够融入另一种模态的更多线索；同时引入 SSFM，在隐藏状态空间中进行深度融合，以更好感知模态间相关性。
在 DroneVehicle 基准数据集上，MGMF 在可见光-红外车辆检测中取得新的最优性能；消融实验进一步证明了所提方法在跨模态融合中的有效性。

04 方法#

4.1 MGMF整体框架#

MGMF框架主要包含可见光分支（BvB_vBv）、红外分支（BiB_iBi）和融合分支（BfB_fBf）三个分支，整体由特征提取器、融合模块（MRCM+SSFM）和检测头三大核心组件构成，具体流程为：

将可见光图像IvI_vIv和红外图像IiI_iIi分别输入对应分支的特征提取器GvG_vGv和GiG_iGi，提取单模态特征fv=Gv(Iv)f_v=G_v(I_v)fv=Gv(Iv)和fi=Gi(Ii)f_i=G_i(I_i)fi=Gi(Ii)；
检测头HvH_vHv和HiH_iHi对单模态特征进行检测，得到初始检测结果Yv=Hv(fv)Y_v=H_v(f_v)Yv=Hv(fv)和Yi=Hi(fi)Y_i=H_i(f_i)Yi=Hi(fi)；
融合模块利用单模态检测结果引导另一模态的中间层特征提取，通过MRCM得到各模态的融合候选特征，再经SSFM完成跨模态深度融合，得到融合特征fm={fm1,fm2,...,fmT}f_m=\{f_m^1,f_m^2,...,f_m^T\}fm={fm1,fm2,...,fmT}；
融合分支的检测头HfH_fHf对融合特征fmf_mfm检测得到YfY_fYf，最后通过跨域非极大值抑制（NMS）融合YvY_vYv、YiY_iYi和YfY_fYf，得到最终的跨模态检测结果YcmY_{cm}Ycm。

其中，特征提取器采用ResNet50作为骨干网络，检测头集成了特征金字塔、区域提议网络（RPN）和RoI Transformer模块，实现旋转目标的检测，适配无人机航拍场景中车辆的方向变化特性；检测结果的每个边界框包含6个元素：bbox={x,y,h,w,θ,c}bbox=\{x, y, h, w, \theta, c\}bbox={x,y,h,w,θ,c}（(x,y)(x, y)(x,y)为框中心，(w,h)(w, h)(w,h)为宽高，θ\thetaθ为朝向，ccc为类别）。

4.2 掩码正则化约束模块（MRCM）#

MRCM是实现跨模态显式引导的核心模块，核心思想为掩码引导的特征图覆盖和一致性约束的特征图恢复，在可见光和红外分支的特征提取器各阶段后均有部署，输入为当前模态的中间层特征和另一模态的检测结果，最终输出适合跨模态融合的特征gvtg_v^tgvt（可见光）和gitg_i^tgit（红外）。

4.2.1 掩码引导的特征图覆盖#

针对可见光分支BvB_vBv，提取第ttt阶段中间层特征fˉvt\bar{f}_{v}^{t}fˉvt，并获取红外分支的检测结果YiY_iYi；
根据YiY_iYi中的边界框生成掩码图MvM_vMv，边界框对应像素设为0，其余设为1，将MvM_vMv与fˉvt\bar{f}_{v}^{t}fˉvt相乘得到掩码特征图f^vt\hat{f}_{v}^{t}f^vt；
通过由3个3×3卷积构成的密集块编码器对f^vt\hat{f}_{v}^{t}f^vt进行编码，得到融合红外模态线索的特征gvtg_{v}^{t}gvt，编码公式为：

L1=C3×3(f^vt),L2=C3×3(Concat(L1,f^vt))gvt=C3×3(Concat(L1,L2,f^vt))\begin{aligned} & L_{1}=C_{3 × 3}\left(\hat{f}_{v}^{t}\right), L_{2}=C_{3 × 3}\left(Concat\left(L_{1}, \hat{f}_{v}^{t}\right)\right) \\ & g_{v}^{t}=C_{3 × 3}\left(Concat\left(L_{1}, L_{2}, \hat{f}_{v}^{t}\right)\right) \end{aligned}L1=C3×3(f^vt),L2=C3×3(Concat(L1,f^vt))gvt=C3×3(Concat(L1,L2,f^vt))

其中C3×3(⋅)C_{3×3}(\cdot)C3×3(⋅)表示3×3卷积操作，Concat(⋅)Concat(\cdot)Concat(⋅)表示通道维度的拼接操作。

红外分支的融合候选特征gitg_{i}^{t}git以相同方式生成，该步骤让未被掩码的区域聚焦于当前模态的车辆区域，掩码区域融入另一模态的车辆区域线索，实现跨模态互补信息的初步融合。

4.2.2 一致性约束的特征图恢复#

采用3个3×3卷积构成的解码器将编码特征gvtg_{v}^{t}gvt重构为可见光图像I^v\hat{I}_{v}I^v，重构公式为：

I^v=C3×3(C3×3(C3×3(gvt)))\hat{I}_{v}=C_{3 × 3}\left(C_{3 × 3}\left(C_{3 × 3}\left(g_{v}^{t}\right)\right)\right)I^v=C3×3(C3×3(C3×3(gvt)))

通过L2L_2L2损失约束重构图像I^v\hat{I}_{v}I^v与原始图像IvI_vIv的一致性，让掩码区域得到更多模型关注，确保编码特征包含更多另一模态的有效线索。

MRCM在可见光分支中可抑制红外模态的虚假目标特征，在红外分支中可增强前景区域特征，最终让各模态提取到更适合跨模态融合的特征。

4.3 状态空间融合模块（SSFM）#

SSFM用于实现跨模态特征的深度融合，核心是将MRCM输出的跨模态特征gvtg_v^tgvt、gitg_i^tgit映射到共享隐状态空间，通过Mamba的2-D选择性扫描（SS2D）捕捉空间长距离依赖，降低模态间差异，最终输出深度融合特征fmtf_m^tfmt。SSFM仅部署在特征提取器的最后三个阶段，生成fm3、fm4、fm5f_{m}^{3}、f_{m}^{4}、f_{m}^{5}fm3、fm4、fm5，兼顾融合效果与计算效率，具体流程：

4.3.1 特征投影与混合#

将MRCM输出的gvtg_{v}^{t}gvt和gitg_{i}^{t}git经归一化、线性层、深度可分离卷积（DWC）后，通过逐元素乘和加操作结合SiLU激活函数，生成混合特征D‾t\overline{D}^{t}Dt，公式为：

dvt=DWC(Linear(Norm(gvt)))dit=DWC(Linear(Norm(git)))D‾t=SiLU(dvt⊙dit⊕dvt⊕dit)\begin{aligned} & d_{v}^{t}=DWC\left(Linear\left(Norm\left(g_{v}^{t}\right)\right)\right) \\ & d_{i}^{t}=DWC\left(Linear\left(Norm\left(g_{i}^{t}\right)\right)\right) \\ & \overline{D}^{t}=SiLU\left(d_{v}^{t} \odot d_{i}^{t} \oplus d_{v}^{t} \oplus d_{i}^{t}\right) \end{aligned}dvt=DWC(Linear(Norm(gvt)))dit=DWC(Linear(Norm(git)))Dt=SiLU(dvt⊙dit⊕dvt⊕dit)

其中Norm(⋅)Norm(\cdot)Norm(⋅)为归一化层，Linear(⋅)Linear(\cdot)Linear(⋅)为线性层，⊙\odot⊙为逐元素乘法，⊕\oplus⊕为逐元素加法，SiLU为激活函数。

4.3.2 空间长距离依赖捕捉#

将混合特征D‾t\overline{D}^{t}Dt输入SS2D层（Mamba核心组件），捕捉空间维度的长距离依赖，再分别与可见光、红外模态的特征进行门控校准，得到重校准特征D‾vt\overline{D}_{v}^{t}Dvt和D‾it\overline{D}_{i}^{t}Dit，公式为：

D‾vt=Norm(SS2D(D‾t))⊙SiLU(Linear(Norm(gvt)))D‾it=Norm(SS2D(D‾t))⊙SiLU(Linear(Norm(git)))\begin{aligned} &\overline{D}_{v}^{t}=Norm\left(SS 2 D\left(\overline{D}^{t}\right)\right) \odot SiLU\left(Linear\left(Norm\left(g_{v}^{t}\right)\right)\right) \\ &\overline{D}_{i}^{t}=Norm\left(SS 2 D\left(\overline{D}^{t}\right)\right) \odot SiLU\left(Linear\left(Norm\left(g_{i}^{t}\right)\right)\right) \end{aligned}Dvt=Norm(SS2D(Dt))⊙SiLU(Linear(Norm(gvt)))Dit=Norm(SS2D(Dt))⊙SiLU(Linear(Norm(git)))

SS2D层先将图像块沿四个方向拉伸为独立序列，经S6状态空间模型处理后再聚合重构为2-D特征图，实现全空间的特征交互。

4.3.3 残差融合生成最终特征#

将重校准后的D‾vt\overline{D}_{v}^{t}Dvt和D‾it\overline{D}_{i}^{t}Dit投影回原始特征空间，结合残差连接与MRCM输出的原始特征gvtg_{v}^{t}gvt、gitg_{i}^{t}git融合，得到第ttt阶段的深度融合特征fmtf_{m}^{t}fmt，公式为：

fmt=Linear(D‾vt⊕D‾it)⊕gvt⊕gitf_{m}^{t}=Linear\left(\overline{D}_{v}^{t} \oplus \overline{D}_{i}^{t}\right) \oplus g_{v}^{t} \oplus g_{i}^{t}fmt=Linear(Dvt⊕Dit)⊕gvt⊕git

4.4 联合优化目标#

MGMF的总损失函数由可见光分支检测损失LvL_vLv、红外分支检测损失LiL_iLi、**融合分支检测损失LfL_fLf和MRCM正则化损失LmL_mLm**四部分构成，通过多损失联合优化实现跨模态特征的有效融合与检测精度的提升，总损失公式为：

Lall=λ1Lv+λ2Li+λ3Lf+βLm\mathcal{L}_{all }=\lambda_{1} \mathcal{L}_{v}+\lambda_{2} \mathcal{L}_{i}+\lambda_{3} \mathcal{L}_{f}+\beta \mathcal{L}_{m}Lall=λ1Lv+λ2Li+λ3Lf+βLm

其中λ1、λ2、λ3\lambda_1、\lambda_2、\lambda_3λ1、λ2、λ3为检测损失的权衡参数，β\betaβ为控制MRCM正则化损失重要性的超参数，实验中所有参数均设为1。

4.4.1 分支检测损失#

每个分支的检测损失均包含分类损失LclsL_{cls}Lcls和位置回归损失LlocL_{loc}Lloc，以可见光分支LvL_vLv为例，检测损失公式为：

Lv(c,u,tc,v,wv)=Lcls(c,u)+[c≥1]Lloc(tc,v,wrgb)\mathcal{L}_{v}\left(c, u, t^{c}, v, w_{v}\right)=\mathcal{L}_{cls}(c, u)+[c \geq 1] \mathcal{L}_{loc}\left(t^{c}, v, w_{rgb}\right)Lv(c,u,tc,v,wv)=Lcls(c,u)+[c≥1]Lloc(tc,v,wrgb)

其中：

ccc为模型预测的各类别概率，uuu为真实类别，tc⊇{xc,yc,hc,wc,θc}t^{c} \supseteq\{x^{c}, y^{c}, h^{c}, w^{c}, \theta^{c}\}tc⊇{xc,yc,hc,wc,θc}为预测的边界框位置信息，vvv为真实边界框回归目标；
[c≥1][c ≥1][c≥1]为艾弗森括号指示函数，c≥1c≥1c≥1时取1，否则取0；
Lcls\mathcal{L}_{cls}Lcls采用交叉熵损失，用于车辆类别判别；Lloc\mathcal{L}_{loc}Lloc采用带不确定性权重的L1L_1L1损失，用于边界框位置回归，公式为：

Lloc(tc,v,wv)=wv∑i∥hL1(tic−vi)∥1\mathcal{L}_{loc }\left(t^{c}, v, w_{v}\right)=w_{v} \sum_{i}\left\| h_{L 1}\left(t_{i}^{c}-v_{i}\right)\right\| _{1}Lloc(tc,v,wv)=wvi∑∥hL1(tic−vi)∥1

i∈{x,y,h,w,θ}i \in\{x, y, h, w, \theta\}i∈{x,y,h,w,θ}为边界框的5个位置维度，wvw_{v}wv为针对可见光模态的动态不确定性权重，根据图像亮度、模态间对齐度分为3种分配场景：

可见光目标缺失时，wv=0.1w_v=0.1wv=0.1；
可见光目标与红外目标未对齐（IoU<0.8）时，wv=T1×T2w_v=T_1 × T_2wv=T1×T2（T1T_1T1为图像平均亮度，T2T_2T2为IoU值）；
可见光目标与红外目标对齐时，wv=T1w_v=T_1wv=T1。

红外分支LiL_iLi和融合分支LfL_fLf的检测损失公式与LvL_vLv一致，仅将权重固定为1，解决了低光下可见光目标缺失、模态间特征未对齐导致的回归精度下降问题。

4.4.2 MRCM正则化损失#

采用L2L_2L2损失约束各阶段重构图像与原始图像的一致性，实现跨模态的一致性学习，强化MRCM的跨模态引导效果，正则化损失公式为：

Lm=∑t=1T∥Iv−I^vt∥2+∥Ii−I^it∥2\mathcal{L}_{m}=\sum_{t=1}^{T}\left\|I_{v}-\hat{I}_{v}^{t}\right\|_{2}+\left\|I_{i}-\hat{I}_{i}^{t}\right\|_{2}Lm=t=1∑TIv−I^vt2+Ii−I^it2

其中I^vt\hat{I}_{v}^{t}I^vt和I^it\hat{I}_{i}^{t}I^it分别为可见光、红外模态第ttt阶段的重构图像，TTT为特征提取器的总阶段数。

05 实验分析#

5.1 实验设置#

数据集：采用DroneVehicle数据集，为目前最大的无人机可见光-红外车辆检测数据集，包含28439对图像、953087个人工标注边界框，涵盖轿车、公交车、卡车、厢式货车、货运车5类车辆，按17990:1469:8980划分为训练、验证、测试集，图像包含不同场景和光照条件（昼夜全周期）；同时在M2M^2M2SODAI海事多模态检测数据集、LLVIP低光行人检测数据集上验证方法泛化性。
训练配置：基于PyTorch框架，单张RTX 3060 GPU训练，骨干网络为ResNetFPN（预训练于ResNet50），采用SGD优化器，训练12个epoch，学习率0.005，批次大小4，权重衰减0.0001，动量0.9；数据增强采用随机水平翻转（概率0.5）。
评价指标：采用COCO协议的**平均精度均值（mAP）**作为核心指标，包含mAP@.5（IoU=0.5）、mAP@.5:.95（IoU从0.5到0.95步长0.05）等细分指标。

5.2 SOTA对比实验#

在DroneVehicle数据集上，将MGMF与13种SOTA方法对比（10种单模态方法、3种可见光-红外跨模态方法），核心实验结论：

MGMF取得80.24%的mAP@.5，显著优于所有对比方法（次优方法mAP@.5仅72.6%），建立了无人机可见光-红外车辆检测的新SOTA基准；
单模态方法中，红外模态检测性能显著优于可见光模态（如ROITrans：红外59.2% vs 可见光47.9%），因数据集中包含大量夜间图像，可见光模态受低光环境影响严重，而红外模态具备全天候成像鲁棒性；
传统跨模态融合方法（UA-CMDet、TarDAL等）性能优于单模态方法，但因缺乏显式跨模态引导和深度融合，性能远低于MGMF，验证了MGMF融合策略的有效性；
MGMF在M2M^2M2SODAI海事多模态数据集、LLVIP低光行人检测数据集上均取得SOTA性能，证明了方法在跨模态目标检测任务中的强泛化性。

同时通过视觉检测结果对比，MGMF在低光、车辆遮挡场景下的检测效果更优，假阳性/假阴性数量远少于UA-CMDet等对比方法，甚至能检测出部分未在真值中标注的车辆。

5.3 消融实验#

为验证MGMF各模块的有效性，设计了融合模块阶段消融、MRCM+SSFM模块消融、特征可视化分析三组消融实验，所有实验均基于DroneVehicle数据集完成。

5.3.1 融合模块阶段消融#

为确定融合模块（MRCM+SSFM）的最佳部署阶段，在特征提取器的5个阶段分别移除融合模块，分析mAP@.5和推理时间的变化，核心结论：

移除前三个阶段的融合模块，检测精度仅轻微下降（mAP@.5最大下降0.20%），但推理速度显著提升（最快减少44ms），因早期阶段特征以空间细节为主，语义信息较少，对跨模态融合贡献有限；
移除后两个阶段的融合模块，检测精度大幅下降（移除第5阶段下降0.51%），因后阶段特征包含更丰富的语义信息，是跨模态融合的核心；
最终选择在特征提取器最后三个阶段部署融合模块，在检测精度损失可忽略的前提下，实现计算效率的提升。

5.3.2 MRCM和SSFM模块消融#

以简单特征拼接为基线模型，依次添加MRCM和SSFM，验证核心模块的有效性，同时将SSFM与坐标注意力、外部注意力等主流注意力机制对比，核心结论：

基线模型（特征拼接）的mAP@.5为72.2%，添加MRCM后提升至76.4%（+4.2%），验证了MRCM能有效提取适合融合的跨模态特征，增强互补信息的整合；
在MRCM基础上添加SSFM后，mAP@.5进一步提升至80.3%（+3.8%），验证了SSFM在隐状态空间的深度融合能有效降低模态差异，提升模型对跨模态相关性的感知；
SSFM与其他注意力机制对比，在参数量（+3.6M）、计算复杂度和**精度提升（+3.9%）**上均表现更优，证明了其在跨模态融合任务中的优越性。

5.3.3 特征可视化分析#

对融合模块处理前后的特征图进行可视化，结果显示：

原始单模态特征对车辆区域的关注不显著，背景干扰较大，特征区分度低；
经MRCM处理后的特征能显著聚焦于车辆区域，抑制背景干扰，实现跨模态线索的初步融合；
经SSFM处理后的特征进一步增强了车辆区域与背景区域的差异，让模型更易识别车辆目标，实现跨模态特征的深度交互。

5.4 方法局限性#

MGMF的参数量为1.22亿，推理帧率仅6.1 FPS，未达到实时检测要求，难以直接应用于无人机实时感知等对速度要求较高的场景；
模型在部分车辆类别上的检测精度略低于其他方法，因部分类别样本量较大，导致模型存在一定的类别偏置；
融合模块虽做了轻量化设计，但仍依赖ResNet50骨干网络，整体模型的计算开销仍有优化空间。

06 个人声明#

论文阅读 TIV 2024 CDC-YOLOFusion 利用跨尺度动态卷积融合实现可见光-红外目标检测

Mon, 11 May 2026 00:00:00 GMT

TIV 2024 | CDC-YOLOFusion：利用跨尺度动态卷积融合实现可见光-红外目标检测#

01 论文信息#

论文题目： CDC-YOLOFusion: Leveraging Cross-scale Dynamic Convolution Fusion for Visible-Infrared Object Detection
论文作者： Jinfu Liu，Qing Guo，Hongyu Zhang，等
发表单位： Jinfu Liu，Qing Guo，Hongyu Zhang ,湖南大学，华中科技大学等
发表会议\期刊： IEEE Transactions on Intelligent Vehicles（TIV），2024
论文链接： https://ieeexplore.ieee.org/document/10636773
代码链接： https://github.com/Morph-3800/CDC%20YOLOFusion

02 论文主要贡献#

本文围绕可见光-红外目标检测中特征融合适应性不足的问题展开，核心目标是让融合网络能够根据输入样本的跨模态差异动态调整特征提取方式，而不是依赖固定卷积堆叠进行简单融合。

从摘要和引言来看，论文的主要贡献可以概括为：一方面，它把跨模态局部信息交换引入训练过程，使模型更容易学习可见光与红外图像在局部区域中的相关性；另一方面，它把动态卷积用于多尺度双模态特征融合，使融合特征同时保留共同显著信息与模态差异信息。实验部分进一步说明，该思路能够嵌入多种检测流水线，并在 VEDAI、FLIR、LLVIP 等数据集上带来稳定性能提升。

03 论文创新点#

提出用于可见光-红外目标检测的“跨尺度动态卷积驱动 YOLO 融合（CDC-YOLOFusion）”网络，并引入跨模态数据交换（CDS）技术进行有效的双模态数据交换，生成能够捕捉局部区域跨模态相关性的增强数据。
设计跨尺度动态卷积融合（CDCF）模块，利用跨尺度特征分别增强各模态动态卷积核预测；所提出的差异注意力掩码用于探索模态间独特性并促进互补特征提取，从而获得更优的特征提取卷积核。
设计跨模态核交互损失（Cross-modal Kernel Interaction Loss），有效引导 CDCF 的核学习过程，使卷积核同时关注两种模态的共同显著特征与各自独特特征，以提取用于目标检测的显著双模态特征。

04 方法#

4.1 架构概述#

图2. 所提出的CDC-YOLOFusion的架构，由四个部分组成：跨模态数据交换（CDS）模块、特征提取骨干网络、跨尺度动态卷积融合（CDCF）模块和检测头。传统数据增强技术多关注单模态数据，而CDS旨在提高模型对模态差异的理解，促进跨模态相关性学习。其通过将红外图像中的局部块替换为可见光图像中的对应块，生成含混合信息的图像输入特征提取分支。

图 2 展示了我们提出的 CDC-YOLOFusion 的流程图，它扩展了 YOLO v5 架构，采用双分支 CSPDarknet 骨干网络分别提取多尺度的可见光和红外特征。值得注意的是，我们引入了两个新颖的组件来提高检测性能：首先，我们引入了跨模态数据交换（CDS）模块用于预处理输入图像。CDS 促进有效的双模态数据交换和信息互补，产生混合的双模态数据，鼓励模型更好地探索跨模态特征。其次，我们引入了跨尺度动态卷积融合（CDCF）模块来促进多尺度双模态特征融合。与传统的卷积操作不同，CDCF 采用从输入数据中自适应学习的动态卷积核来捕捉更有价值的信息。此外，我们设计了一种新颖的 “跨模态核交互” 损失，通过利用双模态核的固有特征分布来引导双模态核的学习，从而生成用于稳健特征提取的信息核。

4.2 跨模态数据交换（CDS）#

图3. 一个示例，用于说明传统数据增强与我们的跨模态数据交换之间的差异。

传统的数据增强技术，如裁剪（如图 3 所示），广泛应用于目标检测任务，有助于丰富训练数据集并增强模型的泛化能力。然而，现有的增强方法主要关注单模态数据，忽略了对跨模态增强技术的探索。相反，深入研究跨模态增强策略有望有效揭示不同模态之间的相关性，从而为特征提取网络提取稳健特征提供更好的指导。出于这一目的，我们引入了跨模态数据交换（CDS），旨在提高模型对模态差异的理解，并促进跨模态相关性的学习。图 3 展示了一个示例来说明 CDS 的效果，其中红外图像中的一个局部块被可见光图像中的对应块替换，从而生成一个混合信息的红外图像，随后将其输入到相应的特征提取分支以探索跨模态特征提取。

具体来说，给定一对高度为 H、宽度为 W 的可见光 - 红外图像IvI_{v}Iv、Iir∈RH×WI_{ir} \in \mathbb{R}^{H \times W}Iir∈RH×W，我们首先为它们分别构建两个交换掩码MvM_{v}Mv、Mir∈RH×WM_{ir} \in \mathbb{R}^{H \times W}Mir∈RH×W，其中两个掩码中的每个初始元素都设置为 0。接下来，我们将每个掩码划分为N×NN \times NN×N个局部区域，并随机选择 N 个区域作为交换候选，将交换候选中的元素重置为 1。因此，它生成两个交换掩码来指导跨模态数据交换，实现方式如下（见图 3）：

Imswap=Im⊙Mm+Im‾⊙(1−Mm)(1)I_{m}^{swap}=I_{m} \odot M_{m}+I_{\overline{m}} \odot\left(1-M_{m}\right) \tag{1}Imswap=Im⊙Mm+Im⊙(1−Mm)(1)

其中mmm、m‾∈{v,ir}\overline{m} \in\{v, ir\}m∈{v,ir}，⊙\odot⊙表示元素级乘法，ImswapI_{m}^{swap}Imswap表示通过 CDS 生成的图像。CDS 执行跨模态部分数据交换，生成同时包含两种模态信息的混合图像。因此，与通过破坏单模态数据进行的传统裁剪和马赛克数据增强操作相比，CDS 提供了更丰富的训练数据，同时有效保留了多模态图像的统一高级语义。它能够巧妙地捕捉局部区域内的跨模态相关性，促进更丰富的跨模态互补细节的吸收。这反过来又增强了网络在训练过程中的鲁棒性。

4.3 跨尺度动态卷积融合（CDCF）#

图4. 我们提出的跨尺度动态卷积融合（CDCF）模块的详细架构，该模块由两个组件组成：跨尺度特征增强（CSFE）模块和双动态卷积融合（DDCF）模块。

我们引入了跨尺度动态卷积融合（CDCF）模块，该模块通过利用每种模态数据的固有特征，独立学习适用于该模态数据的自适应核。图 4 展示了我们提出的 CDCF 模块的架构，它包括两个主要组件：跨尺度特征增强（CSFE）模块和双动态卷积融合（DDCF）模块。

4.4 跨尺度特征增强模块（CSFE）#

我们的方法没有直接拼接双模态特征，而是引入了跨尺度特征增强（CSFE）模块来生成增强的可见光和红外特征，用于预测动态卷积核。如图 4 所示，当给定第 l 层的一对可见光和红外特征TvT_{v}Tv、Tir∈RH×W×CT_{ir} \in \mathbb{R}^{H \times W \times C}Tir∈RH×W×C，以及 CDCF 生成的第 (l−1)(l-1)(l−1) 层的融合特征Tp∈R2H×2W×C/2T_{p} \in \mathbb{R}^{2H \times 2W \times C/2}Tp∈R2H×2W×C/2时，CSFE 首先使用 3×3 卷积核对TpT_{p}Tp进行下采样，以获得调整大小的融合特征Tp′∈RH×W×CT_{p'} \in \mathbb{R}^{H \times W \times C}Tp′∈RH×W×C。由于TpT_{p}Tp带来了更大尺度特征图提供的更丰富的特征，有助于通过跨尺度特征融合来指导当前层特征的增强。然后，我们分别对TvT_{v}Tv、TirT_{ir}Tir和Tp′T_{p'}Tp′采用 X 注意力和 Y 注意力机制。理论上，X/Y 注意力旨在探索高度 / 宽度与通道之间的复杂相关性，包括沿高度 / 宽度方向计算特征平均值，公式如下：

Ttx=1H∑0≤i<HTt(i,w)Tty=1W∑0≤j<WTt(h,j)(2)\begin{aligned} & T_{t}^{x}=\frac{1}{H} \sum_{0 \leq i<H} T_{t}(i, w) \\ & T_{t}^{y}=\frac{1}{W} \sum_{0 \leq j<W} T_{t}(h, j) \end{aligned} \tag{2}Ttx=H10≤i<H∑Tt(i,w)Tty=W10≤j<W∑Tt(h,j)(2)

其中t∈{p′,ir,v}t \in\{p', ir, v\}t∈{p′,ir,v}，w∈[1,W]w \in[1, W]w∈[1,W]，h∈[1,H]h \in[1, H]h∈[1,H]，Tt(i,j)T_{t}(i, j)Tt(i,j)表示位置[i,j][i, j][i,j]处的特征向量。因此，我们的方法为 X 注意力生成三个注意力特征图TvxT_{v}^{x}Tvx、TirxT_{ir}^{x}Tirx、Tp′x∈RH×1×CT_{p'}^{x} \in \mathbb{R}^{H \times 1 \times C}Tp′x∈RH×1×C，为 Y 注意力生成TvyT_{v}^{y}Tvy、TiryT_{ir}^{y}Tiry、Tp′y∈R1×W×CT_{p'}^{y} \in \mathbb{R}^{1 \times W \times C}Tp′y∈R1×W×C。与常用的自注意力机制相比，CSFE 中使用的跨尺度 X/Y 注意力能够更有效地探索相对位置信息和通道注意力信息之间的复杂相关性，同时仅略微增加计算和参数开销，在高度和宽度方向上产生显著的特征图，作为预测动态卷积核的指导。

接下来，对于 X 注意力和 Y 注意力特征TtxT_{t}^{x}Ttx和TtyT_{t}^{y}Tty，我们计算其 Gram 矩阵Gtx∈RH×HG_{t}^{x} \in \mathbb{R}^{H \times H}Gtx∈RH×H和Gty∈RW×WG_{t}^{y} \in \mathbb{R}^{W \times W}Gty∈RW×W，以获得特征图内的高度 / 宽度相关信息，然后将它们分别与TtxT_{t}^{x}Ttx和TtyT_{t}^{y}Tty相乘，丰富通道与高度 / 宽度之间的关系捕捉，公式如下：

Gtx=Ttx×(Ttx)T,Gty=Tty×(Tty)TT^tx=Gtx×Ttx,T^ty=Gty×Tty(3)\begin{gathered} G_{t}^{x}=T_{t}^{x} \times\left(T_{t}^{x}\right)^{T}, G_{t}^{y}=T_{t}^{y} \times\left(T_{t}^{y}\right)^{T} \\ \hat{T}_{t}^{x}=G_{t}^{x} \times T_{t}^{x}, \hat{T}_{t}^{y}=G_{t}^{y} \times T_{t}^{y} \end{gathered} \tag{3}Gtx=Ttx×(Ttx)T,Gty=Tty×(Tty)TT^tx=Gtx×Ttx,T^ty=Gty×Tty(3)

其中t∈{p′,ir,v}t \in\{p', ir, v\}t∈{p′,ir,v}，T^tx∈RH×1×C\hat{T}_{t}^{x} \in \mathbb{R}^{H \times 1 \times C}T^tx∈RH×1×C和T^ty∈R1×W×C\hat{T}_{t}^{y} \in \mathbb{R}^{1 \times W \times C}T^ty∈R1×W×C分别表示 X 和 Y 方向上的相关性增强注意力图。之后，我们利用跨尺度融合信息来增强每种模态，表示为：

T‾mx=C1([T^mx,T^p′x])T‾my=C2([T^my,T^p′y])(4)\begin{aligned} & \overline{T}_{m}^{x}=C_{1}\left(\left[\hat{T}_{m}^{x}, \hat{T}_{p'}^{x}\right]\right) \\ & \overline{T}_{m}^{y}=C_{2}\left(\left[\hat{T}_{m}^{y}, \hat{T}_{p'}^{y}\right]\right) \end{aligned} \tag{4}Tmx=C1([T^mx,T^p′x])Tmy=C2([T^my,T^p′y])(4)

其中m∈{ir,v}m \in\{ir, v\}m∈{ir,v}，C1C_{1}C1和C2C_{2}C2是两个卷积层，[] 表示拼接操作。T‾mx∈RH×1×C\overline{T}_{m}^{x} \in \mathbb{R}^{H \times 1 \times C}Tmx∈RH×1×C和T‾my∈R1×W×C\overline{T}_{m}^{y} \in \mathbb{R}^{1 \times W \times C}Tmy∈R1×W×C分别是 X 和 Y 方向上的跨尺度增强单模态特征图。为了使T‾mx\overline{T}_{m}^{x}Tmx和T‾my\overline{T}_{m}^{y}Tmy能够在两个方向上拼接以进行信息交互，我们将T‾mx\overline{T}_{m}^{x}Tmx重塑为T‾mx′∈R1×H×C\overline{T}_{m}^{x'} \in \mathbb{R}^{1 \times H \times C}Tmx′∈R1×H×C。然后，我们将它们拼接以实现信息交互，获得激活的注意力图Attm∈R1×(W+H)×CAtt_{m} \in \mathbb{R}^{1 \times (W+H) \times C}Attm∈R1×(W+H)×C，表示宽度、高度和通道中的显著特征图：

Attm=[Attmx′,Attmy]=g([T‾mx′,T‾my])(5)Att_{m}=\left[Att_{m}^{x'}, Att_{m}^{y}\right]=g\left(\left[\overline{T}_{m}^{x'}, \overline{T}_{m}^{y}\right]\right) \tag{5}Attm=[Attmx′,Attmy]=g([Tmx′,Tmy])(5)

其中g(⋅)g(·)g(⋅)是由卷积层、批归一化层和激活函数组成的函数。Attmx′∈R1×H×CAtt_{m}^{x'} \in \mathbb{R}^{1 \times H \times C}Attmx′∈R1×H×C和Attmy∈R1×W×CAtt_{m}^{y} \in \mathbb{R}^{1 \times W \times C}Attmy∈R1×W×C表示交互后宽度、高度和通道中的新显著特征图。然后我们将Attmx′Att_{m}^{x'}Attmx′重塑为Attmx∈RH×1×CAtt_{m}^{x} \in \mathbb{R}^{H \times 1 \times C}Attmx∈RH×1×C。最后，这两个注意力图作用于输入特征TmT_{m}Tm以获得增强特征EmE_{m}Em，表示为：

Em=Attmx⊙Attmy⊙(Tm+Tp′)+Tm(6)E_{m}=Att_{m}^{x} \odot Att_{m}^{y} \odot\left(T_{m}+T_{p'}\right)+T_{m} \tag{6}Em=Attmx⊙Attmy⊙(Tm+Tp′)+Tm(6)

4.5 双动态卷积融合模块（DDCF）#

给定一个高度为 H、宽度为 W、通道数为CinC_{in}Cin的输入特征x∈RH×W×Cinx \in \mathbb{R}^{H \times W \times C_{in}}x∈RH×W×Cin，以及 V 个卷积核K1,K2,...,KVK_{1}, K_{2}, ..., K_{V}K1,K2,...,KV，现有的动态卷积方法 [40] 从 X 中构建四个特征注意力掩码，包括空间注意力掩码αs∈RV×k×k\alpha_{s} \in \mathbb{R}^{V \times k \times k}αs∈RV×k×k、输入通道注意力掩码αc∈RV×Cin\alpha_{c} \in \mathbb{R}^{V \times C_{in}}αc∈RV×Cin、输出通道注意力掩码αf∈RV×Cout\alpha_{f} \in \mathbb{R}^{V \times C_{out}}αf∈RV×Cout和核注意力掩码αw∈RV\alpha_{w} \in \mathbb{R}^{V}αw∈RV，公式如下：

αt=ϕt(x)(7)\alpha_{t}=\phi_{t}(x) \tag{7}αt=ϕt(x)(7)

其中t∈{s,c,f,w}t \in\{s, c, f, w\}t∈{s,c,f,w}，ϕ\phiϕ表示由全局平均池化层（GAP）、全连接层（FC）、ReLU 激活函数和头部分支组成的序列操作。然后，将这些掩码应用于 V 个卷积核，得到聚合的动态卷积核 K，计算如下：

K=αw1⊙αf1⊙αc1⊙αs1⊙K1+⋯+αwV⊙αfV⊙αcV⊙αsV⊙KV(8)\begin{gathered} K=\alpha_{w_{1}} \odot \alpha_{f_{1}} \odot \alpha_{c_{1}} \odot \alpha_{s_{1}} \odot K_{1}+\cdots+ \\ \alpha_{w_{V}} \odot \alpha_{f_{V}} \odot \alpha_{c_{V}} \odot \alpha_{s_{V}} \odot K_{V} \end{gathered} \tag{8}K=αw1⊙αf1⊙αc1⊙αs1⊙K1+⋯+αwV⊙αfV⊙αcV⊙αsV⊙KV(8)

其中αtv\alpha_{t_{v}}αtv表示αt\alpha_{t}αt中的第 v 个元素。得到的动态卷积核K∈Rk×k×Cin×CoutK \in \mathbb{R}^{k \times k \times C_{in} \times C_{out}}K∈Rk×k×Cin×Cout可以通过探索各种注意力维度动态适应特征 X，从而帮助模型提取增强的目标检测特征。在此基础上，我们的方法进一步深入研究可见光和红外特征之间的差异，并引入特征差异注意力掩码αd\alpha_{d}αd。这一添加使我们的卷积核能够更好地探索模态间的独特性，并促进互补特征的提取。具体来说，给定一对输入的可见光和红外特征(Ev,Eir)(E_{v}, E_{ir})(Ev,Eir)，我们的方法首先采用模态差异提取网络生成差异注意力掩码αdv/ir∈RV×k×k\alpha_{d}^{v/ir} \in \mathbb{R}^{V \times k \times k}αdv/ir∈RV×k×k，表示为：

αdm=σ(hA(Em−Em‾)+hM(Em−Em‾))(9)\alpha_{d}^{m}=\sigma\left(h_{A}\left(E_{m}-E_{\overline{m}}\right)+h_{M}\left(E_{m}-E_{\overline{m}}\right)\right) \tag{9}αdm=σ(hA(Em−Em)+hM(Em−Em))(9)

其中mmm、m‾∈{v,ir}\overline{m} \in\{v, ir\}m∈{v,ir}，σ\sigmaσ表示 sigmoidsigmoidsigmoid 函数，hAh_{A}hA是由多层感知机（MLP）和全局最大池化层组成的网络，hMh_{M}hM是由 MLP 和全局平均池化层组成的网络，MLP 是由 1×1 卷积、ReLU 激活函数和另一个 1×1 卷积组成的独特感知机网络。因此，通过将掩码αd\alpha_{d}αd纳入公式（8），我们得到依赖于模态的动态卷积核KmK^{m}Km如下：

Km=αw1m⊙αf1m⊙αc1m⊙αs1m⊙αd1m⊙K1m+⋯+αwVm⊙αfVm⊙αcVm⊙αsVm⊙αdVm⊙KVm(10)\begin{array}{r} K^{m}=\alpha_{w_{1}}^{m} \odot \alpha_{f_{1}}^{m} \odot \alpha_{c_{1}}^{m} \odot \alpha_{s_{1}}^{m} \odot \alpha_{d_{1}}^{m} \odot K_{1}^{m}+\cdots+ \\ \alpha_{w_{V}}^{m} \odot \alpha_{f_{V}}^{m} \odot \alpha_{c_{V}}^{m} \odot \alpha_{s_{V}}^{m} \odot \alpha_{d_{V}}^{m} \odot K_{V}^{m} \end{array} \tag{10}Km=αw1m⊙αf1m⊙αc1m⊙αs1m⊙αd1m⊙K1m+⋯+αwVm⊙αfVm⊙αcVm⊙αsVm⊙αdVm⊙KVm(10)

其中αwvm\alpha_{w_{v}}^{m}αwvm、αfvm\alpha_{f_{v}}^{m}αfvm、αcvm\alpha_{c_{v}}^{m}αcvm、αsvm\alpha_{s_{v}}^{m}αsvm分别表示模态 m 上的核注意力掩码、输出通道注意力掩码、输入通道注意力掩码和空间注意力掩码中的第 v 个元素。具体来说，我们的方法将公式（6）中的EmE_{m}Em输入到公式（7）中以计算这些参数，包括空间注意力掩码αsm∈RV×k×k\alpha_{s}^{m} \in \mathbb{R}^{V \times k \times k}αsm∈RV×k×k、输入通道注意力掩码αcm∈RV×Cin\alpha_{c}^{m} \in \mathbb{R}^{V \times C_{in}}αcm∈RV×Cin、输出通道注意力掩码αfm∈RV×Cout\alpha_{f}^{m} \in \mathbb{R}^{V \times C_{out}}αfm∈RV×Cout、核注意力掩码αwm∈RV\alpha_{w}^{m} \in \mathbb{R}^{V}αwm∈RV和差异注意力掩码αdm∈RV×k×k\alpha_{d}^{m} \in \mathbb{R}^{V \times k \times k}αdm∈RV×k×k，上述注意力掩码沿第一维度分为 V 个子掩码，即αsvm∈RK×K\alpha_{s_{v}}^{m} \in \mathbb{R}^{K \times K}αsvm∈RK×K、αcvm∈RCin\alpha_{c_{v}}^{m} \in \mathbb{R}^{C_{in}}αcvm∈RCin、αfvm∈RCout\alpha_{f_{v}}^{m} \in \mathbb{R}^{C_{out}}αfvm∈RCout、αwvm∈R\alpha_{w_{v}}^{m} \in \mathbb{R}αwvm∈R和αdvm∈RK×K\alpha_{d_{v}}^{m} \in \mathbb{R}^{K \times K}αdvm∈RK×K。将来自五种注意力掩码的 V 个子掩码与 V 个卷积核聚合后，我们得到如公式（10）所示的动态卷积核KmK^{m}Km。接下来，我们将依赖于模态的动态卷积核KmK^{m}Km与相应的模态特征相乘，得到增强特征：

Fm=Em∗Km(11)F_{m}=E_{m} * K^{m} \tag{11}Fm=Em∗Km(11)

其中 * 表示卷积操作。最后，我们对两个卷积结果FirF_{ir}Fir和FvF_{v}Fv进行互补融合，它们包含模态属性和模态间可变性，确保融合结果FfF_{f}Ff包含模态共性和独特可变性。具体公式如下：

G^ir,G^v=Softmax([Fir,Fv])Ff=G^ir⊙Fir+Fir+G^v⊙Fv+Fv(12)\begin{gathered} \hat{G}_{ir}, \hat{G}_{v}=Softmax\left(\left[F_{ir}, F_{v}\right]\right) \\ F_{f}=\hat{G}_{ir} \odot F_{ir}+F_{ir}+\hat{G}_{v} \odot F_{v}+F_{v} \end{gathered} \tag{12}G^ir,G^v=Softmax([Fir,Fv])Ff=G^ir⊙Fir+Fir+G^v⊙Fv+Fv(12)

与从拼接的多模态特征生成动态卷积核相比，我们的方法采用增强的单模态特征作为生成动态卷积核KvK_{v}Kv和KirK_{ir}Kir的原始数据。这种方法最大限度地保留了不同模态输入数据中的独特特征，使核能够专注于特定于模态的特征。此外，差异特征注意力的引入使卷积核对模态间差异更加敏感，使它们能够选择性地提取差异特征以进行互补融合。

4.6 跨模态核交互损失(KIKIKI LossLossLoss)#

为了通过 CDCF 有效引导动态卷积核的生成，我们的方法采用监督学习，并引入了一种新颖的损失函数 “核交互损失（KIKIKI LossLossLoss）”。给定从不同模态中学习到的两个待学习核KvK_{v}Kv和KirK_{ir}Kir，我们的方法旨在开发能够捕捉两种模态的共同显著特征，同时识别每种模态中独特显著特征的核函数。这使得能够准确识别双模态数据中的互补特征。基于这一思想，我们的方法利用 Jensen-Shannon（JS）散度来衡量分布之间的差异。JS 散度评估两个分布之间的相似性，当它们相似时接近零，不相似时达到 1。通过利用这一散度度量，我们的方法计算KvK_{v}Kv和KirK_{ir}Kir之间的 JS 值，旨在最小化分布差异，以便两个核都能有效捕捉两种模态的共同特征，表示为：

Lc=Djs(Kv,Kir)(13)\mathcal{L}_{c}=D_{js}\left(K_{v}, K_{ir}\right) \tag{13}Lc=Djs(Kv,Kir)(13)

同时，我们的方法旨在让KvK_{v}Kv和KirK_{ir}Kir分别捕捉可见光和红外数据中的独特特征。我们使用两个核之间的差异来表示这种独特特征捕捉，记为Sv∣irS_{v|ir}Sv∣ir和Sir∣vS_{ir|v}Sir∣v，分别对应可见光和红外数据中的独特特征检测。这种关系表示为：

Sv∣ir=sign(Kv−Kir),Sir∣v=sign(Kir−Kv)(14)S_{v|ir}=sign\left(K_{v}-K_{ir}\right), S_{ir|v}=sign\left(K_{ir}-K_{v}\right) \tag{14}Sv∣ir=sign(Kv−Kir),Sir∣v=sign(Kir−Kv)(14)

其中sign(⋅)sign(·)sign(⋅)是符号函数，将所有负值设为零。因此，我们的方法期望Sv∣irS_{v|ir}Sv∣ir和Sir∣vS_{ir|v}Sir∣v表现出具有高 JS 值的不同分布，有效捕捉两种模态的独特特征。最终，我们的核交互损失LKIL_{KI}LKI公式如下：

LKI=μDjs(Kv,Kir)−(1−μ)Djs(Sv∣ir,Sir∣v)(15)\mathcal{L}_{KI}=\mu D_{js}\left(K_{v}, K_{ir}\right)-(1-\mu) D_{js}\left(S_{v|ir}, S_{ir|v}\right) \tag{15}LKI=μDjs(Kv,Kir)−(1−μ)Djs(Sv∣ir,Sir∣v)(15)

其中μ\muμ是平衡权重。LKIL_{KI}LKI要求学习到的动态卷积核捕捉共同的显著特征，同时关注每种模态的独特特征。这种双重关注有助于提取更全面的特征，从而提高模型的目标检测性能。

实现：所提出的跨尺度动态卷积融合模块在各种特征尺度上运行，生成多尺度融合特征，这些特征被输入到预测头以产生最终的检测结果。在训练过程中，我们使用由两个主要组件组成的复合损失函数：目标检测损失（包括边界框回归LbboxL_{bbox}Lbbox、目标分类LclsL_{cls}Lcls和目标置信度LobjL_{obj}Lobj）和 CDCFM 中的 KI 损失LKIL_{KI}LKI。最终的损失函数公式如下：

L=λLKI+Lbbox+Lcls+Lobj(16)\mathcal{L}=\lambda \mathcal{L}_{KI}+\mathcal{L}_{bbox}+\mathcal{L}_{cls}+\mathcal{L}_{obj} \tag{16}L=λLKI+Lbbox+Lcls+Lobj(16)

其中λ\lambdaλ是平衡权重。

05 实验分析#

5.1 数据集#

我们在 VEDAI 、FLIR 和 LLVIP 上进行实验，以评估我们的 CDC-YOLOFusion。

VEDAI：该航空数据集主要用于车辆检测，存在小目标尺寸、多方向性、光照和阴影变化、镜面反射及遮挡等挑战。提供九类严格对齐的可见光和红外图像对，含1250对两种分辨率（1024×1024和512×512）的图像对。我们使用更高分辨率，其中1089对用于训练，161对用于测试。
FLIR：为多光谱目标检测带来挑战，涵盖白天和黑夜条件下的三类（“人”“车”“自行车”）。原始数据集图像对未对齐，本研究使用[51]中的对齐版本，含5142对可见光-红外图像对，其中4129对用于训练，1013对用于测试。
LLVIP：该大规模行人数据集在低光环境下拍摄，多数图像处于极暗环境。所有可见光-红外图像对在空间和时间上严格对齐，含15488对图像，12025对用于训练，其余3463对用于测试。

5.2 设置#

我们的方法基于CSPDarknet53在YOLOv5架构上构建双分支特征提取骨干网络，分别提取多尺度的可见光和红外特征。在CDCF模块中，跨模态核交互损失LKIL_{KI}LKI中参数μ=0.6\mu=0.6μ=0.6。第一个CDCF层仅使用DDCF模块融合骨干网络特征；从第二层开始，CDCF在通过DDCF融合前使用CSFE增强特征。

训练在NVIDIA GeForce RTX A6000上进行，采用SGD优化器，批处理大小设为8，公式（16）中权重λ=0.5\lambda=0.5λ=0.5，初始学习率0.001，权重衰减0.0005，动量0.937。共训练500个epoch以确保模型良好收敛。

5.3 实验结果#

消融实验：检验CDS和CDCF模块的实用性，设计四种实验设置（见表1）。

第一种：排除CDS和CDCF，用“加法”融合原始对齐图像对训练骨干网络。
第二种：在CDC-YOLOFusion框架内，用元素级加法替代CDCF进行特征融合。
第三种：使用CDCF模块，但CDS数据交换概率为0。
第四种：同时使用CDS和CDCF。

表1 CDC-YOLOFusion在FLIR数据集上不同组件的性能比较

结果表明：

CDS能提升性能，mAP从38.9%升至40.9%，其局部区域交换策略帮助骨干网络学习跨模态相关性。
单独使用CDCF可显著提升mAP（+4.9%），归因于多尺度特征聚合和动态卷积机制，在LKIL_{KI}LKI指导下生成的卷积核专注于模态独特特征和共同特征。
两者结合性能最佳（mAP=44.7%），证明CDC-YOLOFusion有效性。

CDS的评估：评估CDS的图像处理策略及N×NN \times NN×N区域划分中NNN的影响（见表2）。

当N=10N=10N=10时，CDS性能最佳（mAP=44.7%），同NNN下比裁剪策略mAP高约0.5%，说明CDS增强了模型对模态差异的理解。
N=5N=5N=5时交换区域过小，难以提供足够跨模态知识；N=15N=15N=15时区域过大，导致原始数据信息丢失过多。

表2 FLIR数据集上CDS和裁剪策略在不同NNN下的性能比较

此外，评估CDS数据增强概率（见表3），概率为0.3时性能最佳。概率过高会破坏单模态信息，过低则无法提供足够跨模态知识。

表3 FLIR数据集上不同CDS触发概率(每个区域以概率 ppp 被交换)的性能比较

CDCF的评估：评估CDCF中CSFE和DDCF的作用（见表4）。

不使用DDCF时，用元素级加法替代融合。
使用DDCF时，对比是否采用差异特征注意力αd\alpha_{d}αd。

表4 FLIR数据集上CDCF模块不同组件的性能比较

结果显示：

单独使用CSFE，mAP提升1.4%，其跨尺度特征增强为动态卷积核生成提供丰富多尺度特征。
单独使用DDCF，mAP提升约2.5%，利用模态信息生成动态卷积核可关注跨模态特征；引入αd\alpha_{d}αd可进一步提升mAP约0.5%，增强捕捉模态间差异特征的能力。

图5展示CDCF模块效果，深红色表示显著特征，蓝色为背景特征。骨干网络初始特征TirT_{ir}Tir和TvT_{v}Tv差异明显，CDCF生成的动态卷积核细化特征后，FvF_{v}Fv和FirF_{ir}Fir特征分布相似，目标区域增强，噪声被抑制，融合特征FfF_{f}Ff指导准确检测。

CSFE中注意力机制评估：比较X/Y注意力与自注意力（见表5）。X/Y注意力以更少参数（153.6 M vs 204.2 M）和更快测试速度（65.1 ms vs 109.2 ms）实现更高精度，因其能以较低成本提供相对位置和通道信息。

表5 FLIR数据集上CSFE模块中X/Y注意力与自注意力的效果比较

DDCF中卷积核数量评估：评估聚合卷积核数量VVV的影响（见表6）。V=4V=4V=4时性能最佳，V<4V<4V<4时特征表示能力受限，V>4V>4V>4时精度稳定但参数增加。

表6 FLIR数据集上DDCF模块不同核数量VVV的性能比较

CDCF模块通用性评估：将CDCF集成到三种骨干网络（见表7），与基线融合方法（元素级加法）相比，在CFT、LRAF-Net和YOLO v5上分别获得2.9%、1.3%和4.9%的绝对增益，证明其在CNN和Transformer-based骨干网络上的稳健性。

表7 FLIR数据集上CDCF模块集成到不同骨干网络的性能比较

KI损失的评估：评估公式（15）中权重μ\muμ的影响（见表8），μ=0.6\mu=0.6μ=0.6时性能最佳（mAP=44.7%）。μ\muμ过小，动态卷积核忽略共同特征；μ\muμ过大，忽略独特特征，均导致性能下降。

表8 公式（15）中不同μ\muμ值下DDCF模块在FLIR数据集上的性能趋势

评估公式（16）中权重λ\lambdaλ的影响（见表9），λ=0.5\lambda=0.5λ=0.5时性能最佳（mAP=44.7%）。λ\lambdaλ过小，引导卷积核能力弱；λ\lambdaλ过大，掩盖目标检测损失，均导致性能下降。

表9 公式（16）中不同λ\lambdaλ值下DDCF模块在FLIR数据集上的性能趋势

5.4 与最先进方法的比较#

将CDC-YOLOFusion与单模态和多模态检测器在三个数据集上比较（表10-12）。

单模态中，红外检测器通常优于可见光检测器，因夜间可见光失效而红外可提供目标特征。
多模态方法因融合两种特征性能更优，CDC-YOLOFusion表现最佳，mAP提升约2%-3%，原因在于：CDS提供跨模态特征；CDCF生成含模态特定和共同特征的动态卷积核；KI损失约束提取共同和独特特征。

表10 VEDAI数据集上的性能比较

表11 FLIR数据集上的性能比较

表12 LLVIP数据集上的性能比较

表13比较模型参数和推理时间，CDC-YOLOFusion在参数（153.6 M）和推理时间（65.1 ms）上平衡良好，优于LRAF-Net等方法。

表13 FLIR数据集上多模态检测方法的参数和测试时间比较

图6-8展示检测结果示例，CDC-YOLOFusion在小目标检测、易混淆目标识别、密集及遮挡场景中表现优异，因CSFE利用跨尺度特征、CDS和DDCF提供模态相关信息、KI损失引导特征提取。

06 个人声明#

论文阅读 IEEE 2022 CLFNet Contrastive Learning for Infrared and Visible Image Fusion Network

Mon, 11 May 2026 00:00:00 GMT

IEEE 2022 | Contrastive Learning for Infrared and Visible Image Fusion Network#

01 论文信息#

论文题目： Contrastive Learning for Infrared and Visible Image Fusion Network
论文作者： Jian Zhang，Yong Ma，Fang Chen，等
发表单位： Jian Zhang，Yong Ma，Fang Chen，火箭军工程大学等
发表会议\期刊： IEEE Transactions / IEEE Xplore，2022
论文链接： https://ieeexplore.ieee.org/document/9880929?denied=
代码链接：https://github.com/zzj-dyj/CLF-Net

02 论文主要贡献#

本文关注红外与可见光图像融合中“既要保留红外显著目标，又要保留可见光纹理细节”的平衡问题，并将对比学习引入无监督图像融合训练。

结合摘要和引言，论文的主要贡献可概括为：它通过局部 patch 级别的对比约束，让融合图像在不同区域自适应选择更相似、更有用的源图像特征；同时结合结构相似性损失，保证输出图像在深层语义表征和浅层结构细节上都与源图像保持一致。实验结果表明，该训练方式能够提升融合图像的视觉质量、纹理保留和跨数据集泛化能力。

03 论文创新点#

将噪声对比估计（NCE）框架引入图像融合任务，以最大化融合图像与源图像之间的互信息（MI）。
构建无监督对比学习框架，促使融合图像选择性保留不同源图像中最相似的特征；并基于深度表征设计鲁棒的对比损失，引导网络自适应提取与重建特征。
大量实验表明，所提方法在定性与定量分析上相较现有先进方法取得更优性能。

04 方法#

4.1 网络架构#

CLF-Net 是一个简洁的端到端架构，主要包含两部分：

特征提取网络 (Encoder)：

双路输入：包含红外编码器和可见光编码器。
结构：由 4 个 ResBlock（残差块）组成。
特点：为了保留细节，步长设为 1，没有下采样，全程保持图像分辨率不变。
激活函数：LeakyReLULeakyReLULeakyReLU。

特征重建网络 (Decoder)：

输入：将两路编码器的深层特征直接拼接。
结构：同样由 4 个 ResBlock 组成。
输出：最后一个 ResBlock 采用 tanhtanhtanh 激活函数替代 leakyReLUleaky ReLU leakyReLU激活函数，确保融合图像与源图像的取值范围一致。

4.2 NCE框架#

基于 NCE 思想并引入互信息（MI）概念，研究者提出一种新形式的对比损失函数 ——InfoNCE 。具体而言，假设存在一个编码后的查询样本（query）与一组编码后的样本集{k1−,k2−,...,kN−}\{k_1^-, k_2^-, ..., k_N^-\}{k1−,k2−,...,kN−}（包含 1 个正样本与 N 个负样本），查询样本、正样本与 N 个负样本分别映射为 K 维向量q,k+∈RKq, k^+ \in \mathbb{R}^Kq,k+∈RK与k−∈RN×Kk^- \in \mathbb{R}^{N×K}k−∈RN×K（其中kn−∈RKk_n^- \in \mathbb{R}^Kkn−∈RK表示第 n 个负样本）。当查询样本与正样本k+k^+k+相似、与所有负样本k−k^-k−不相似时，InfoNCE 损失值最小。相似度通过 L2 归一化后的查询样本与其他样本的点积衡量，结果经温度参数 τ\tauτ 缩放后作为对数几率（logits）。InfoNCE 损失定义如下：

l(q,k+,k−)=−log⁡[exp⁡(q⋅k+/τ)exp⁡(q⋅k+/τ)+∑n=1Nexp⁡(q⋅kn−/τ)]l(q, k^+, k^-) = -\log [\frac{\exp(q \cdot k^+ / \tau)}{\exp(q \cdot k^+ / \tau) + \sum_{n=1}^{N} \exp(q \cdot k_n^- / \tau)}]l(q,k+,k−)=−log[exp(q⋅k+/τ)+∑n=1Nexp(q⋅kn−/τ)exp(q⋅k+/τ)]

4.3 自适应块级对比学习(patchNCE)#

样本采样：从融合图像中随机采样一个 patch，从红外图像与可见光图像的同一位置选取正样本 patch（即图中绿色、红色与蓝色框）；从红外图像与可见光图像的其他位置随机选取 N 个负样本 patch（即图中黄色与橙色框）；
特征编码：复用红外编码器与可见光编码器，并添加两层多层感知机（MLP）网络，将源图像与融合图像任意空间位置的 patch 编码为特征向量。例如，融合图像与源图像的正样本 patch 分别编码为特征向量 query、pirp_{ir}pir与pvip_{vi}pvi；
相似度计算与损失计算：计算 query 与pirp_{ir}pir、query 与pvip_{vi}pvi的相似度，保留相似度最高的 pair 计算 InfoNCE 损失。需注意的是，用于计算 InfoNCE 损失的正负样本均来自同一编码器编码后的源图像与融合图像

4.4 损失函数#

本节讨论结合 SSIM 损失与 patchNCE 损失的总损失函数计算过程，该总损失函数通过无监督学习引导 CNN 网络寻找最优参数。其中，SSIM 损失主要关注图像本身的结构特征，patchNCE 损失主要关注图像的深层特征。

（1）SSIM 损失 结合图像亮度、对比度与结构信息衡量图像质量，任意两幅图像的 SSIM 定义如下：

SSIM(A,B)=(2μAμB+C1)(2σAB+C2)(μA2+μB2+C1)(σA2+σB2+C2)(2)SSIM(A, B) = \frac{(2\mu_A \mu_B + C_1)(2\sigma_{AB} + C_2)}{(\mu_A^2 + \mu_B^2 + C_1)(\sigma_A^2 + \sigma_B^2 + C_2)} \tag{2}SSIM(A,B)=(μA2+μB2+C1)(σA2+σB2+C2)(2μAμB+C1)(2σAB+C2)(2)

式中，C1=1×10−4C_1=1×10^{-4}C1=1×10−4，C2=9×10−4C_2=9×10^{-4}C2=9×10−4，将 SSIM 损失定义如下：

E(I∣W)=1m×n∑i=1m×nPi(3)E(I | W) = \frac{1}{m \times n} \sum_{i=1}^{m \times n} P_i \tag{3}E(I∣W)=m×n1i=1∑m×nPi(3)Score(If,Iir,Ivi∣W)={SSIM(If,Iir∣W)若 E(Iir∣W)>E(Ivi∣W)SSIM(If,Ivi∣W)若 E(Iir∣W)≤E(Ivi∣W)(4)Score(I_f, I_{ir}, I_{vi} | W) = \begin{cases} SSIM(I_f, I_{ir} | W) & \text{若 } E(I_{ir} | W) > E(I_{vi} | W) \\ SSIM(I_f, I_{vi} | W) & \text{若 } E(I_{ir} | W) \leq E(I_{vi} | W) \end{cases} \tag{4}Score(If,Iir,Ivi∣W)={SSIM(If,Iir∣W)SSIM(If,Ivi∣W)若 E(Iir∣W)>E(Ivi∣W)若 E(Iir∣W)≤E(Ivi∣W)(4)LSSIM=1−1N∑W=1NScore(If,Iir,Ivi∣W)(5)L_{SSIM} = 1 - \frac{1}{N} \sum_{W=1}^{N} Score(I_f, I_{ir}, I_{vi} | W) \tag{5}LSSIM=1−N1W=1∑NScore(If,Iir,Ivi∣W)(5)

式中，W表示从图像左上角到右下角、步长为 1 的滑动窗口；PiP_iPi表示第 i 个像素值；m与n表示滑动窗口大小（本文设为 16×16）；N表示单幅图像中滑动窗口的数量。SSIM 损失基于局部窗口内像素的平均强度，既能保留红外图像的显著目标，又能保留可见光图像的亮区与显著纹理；同时，SSIM 损失利用图像结构的浅层特征，确保输入与输出的结构一致性。

（2）patchNCE 损失 对比损失构建过程如下：首先，利用图像融合任务中使用的两个编码器EirE_{ir}Eir与EviE_{vi}Evi，将特征图通过一个小型神经网络投影头H（两层 MLP）；红外图像与可见光图像通过对应编码器编码，融合图像通过两个编码器编码，得到 4 个特征序列：

{zir=H(Eir(Iir))zvi=H(Evi(Ivi))zfir=H(Eir(If))zfvi=H(Evi(If))(6)\begin{aligned} &\begin{cases} z_{ir} = H(E_{ir}(I_{ir})) \\ z_{vi} = H(E_{vi}(I_{vi})) \\ z_{f_{ir}} = H(E_{ir}(I_f)) \\ z_{f_{vi}} = H(E_{vi}(I_f)) \end{cases} \end{aligned} \qquad (6)⎩⎨⎧zir=H(Eir(Iir))zvi=H(Evi(Ivi))zfir=H(Eir(If))zfvi=H(Evi(If))(6)

设 s∈{1,…,S}s \in \{1, \ldots, S\}s∈{1,…,S}（SSS 表示从最后一层图像特征层采样的空间位置数量），对于图像特征层的任意特定空间位置，将该位置的 patch 特征记为 zs∈RCz^s \in \mathbb{R}^Czs∈RC（CCC 为通道数），同一特征层的其余特征记为 zS/s∈R(S−1)×Cz^{S/s} \in \mathbb{R}^{(S-1)\times C}zS/s∈R(S−1)×C。如图 2 所示，任意特定空间位置的 patchNCE 损失如式（7）所示，对比损失如式（8）所示：

lpatchNCEs(Zs)={l(zfirs,zirs,zirS/s)若 (zfirs⋅zirs)>(zfvis⋅zvis)l(zfvis,zvis,zviS/s)若 (zfirs⋅zirs)≤(zfvis⋅zvis)(7)l_{\mathrm{patchNCE}}^s(Z^s) = \begin{cases} l(z_{f_{ir}}^s, z_{ir}^s, z_{ir}^{S/s}) & \text{若 } (z_{f_{ir}}^s \cdot z_{ir}^s) > (z_{f_{vi}}^s \cdot z_{vi}^s) \\[4pt] l(z_{f_{vi}}^s, z_{vi}^s, z_{vi}^{S/s}) & \text{若 } (z_{f_{ir}}^s \cdot z_{ir}^s) \leq (z_{f_{vi}}^s \cdot z_{vi}^s) \end{cases} \qquad (7)lpatchNCEs(Zs)=⎩⎨⎧l(zfirs,zirs,zirS/s)l(zfvis,zvis,zviS/s)若 (zfirs⋅zirs)>(zfvis⋅zvis)若 (zfirs⋅zirs)≤(zfvis⋅zvis)(7)LpatchNCE=Ex∼X∑s=1SlpatchNCEs(Zs)(8)L_{\mathrm{patchNCE}} = \mathbb{E}_{x \sim X} \sum_{s=1}^{S} l_{\mathrm{patchNCE}}^s(Z^s) \quad (8)LpatchNCE=Ex∼Xs=1∑SlpatchNCEs(Zs)(8)

式中，ZsZ^sZs是集合{zf_irs,zf_vis,zirs,zvis}\{z_{f\_ir}^s, z_{f\_vi}^s, z_{ir}^s, z_{vi}^s\}{zf_irs,zf_vis,zirs,zvis}的统称。patchNCE 损失聚焦编码器提取的深层表征，随着训练过程推进，该损失可有效调整编码器与投影头，使融合图像保留源图像中最相似的部分。

（3）总损失函数基于上述两种损失函数：

L=λ1LpatchNCE+λ2LSSIM(9)L = \lambda_1 L_{patchNCE} + \lambda_2 L_{SSIM} \tag{9}L=λ1LpatchNCE+λ2LSSIM(9)

式中，λ1\lambda_1λ1与λ2\lambda_2λ2为超参数，用于平衡两种损失函数的权重。总体而言，SSIM 损失确保输入与输出的结构一致性，patchNCE 损失确保输入与输出的深层特征一致性，两种损失函数互补，共同引导网络取得理想的融合效果。

05 实验分析#

本节首先详细说明实验设置（包括数据集、评价指标、训练细节与超参数讨论）；然后将所提方法与 9 种主流方法（DenseFuse、RFN-Nest 、FusionGAN 、GANMcC 、IFCNN 、PMGI 、U2Fusion 、STDFusionNet 、IFSepR ）在 TNO 数据集、RoadScene 数据集、医学图像与多焦点图像上进行对比；随后通过消融实验与效率评估实验进一步验证所提方法性能；最后讨论自适应 patch 级对比学习框架中的负样本选择策略。

5.1 实验设置#

（1）数据集 所有训练与测试数据均来自 TNO 数据集与 RoadScene 数据集：

TNO 数据集：主要包含各类军事相关场景，是红外 - 可见光图像融合任务中最常用的数据集，包含 60 对红外 - 可见光图像对与 3 组视频序列截图；
RoadScene 数据集：基于 FLIR 视频发布，包含大量道路场景（如道路、车辆、行人），共 221 对红外 - 可见光图像对。

（2）评价指标 融合性能评价包括主观评价与客观评价：主观评价：基于人类视觉感知，通常包含红外显著目标与丰富纹理信息的融合图像效果最优；客观评价：通过定量指标衡量融合性能，本文选取 6 种主流指标：熵（EN）：基于信息论衡量融合图像的信息含量；互信息（MI）：衡量源图像与融合图像的相关性；视觉信息保真度（VIF）：通过计算图像失真程度衡量融合结果的信息保真度，与人类视觉系统一致性高；标准差（SD）：基于统计概念反映融合图像的像素分布与对比度；平均梯度（AG）：量化融合图像的梯度信息；空间频率（SF）：衡量融合图像的梯度分布，AG 与 SF 均反映图像细节与纹理信息。

（3）训练细节 采用 TNO 数据集训练模型：选取 20 对图像对，通过裁剪扩充训练数据；采用 128×128 滑动窗口将图像裁剪为小图像块，滑动步长设为 32，最终得到 4404 对图像块；从 TNO 数据集选取 20 对图像对进行对比实验；为充分验证模型泛化能力，从 RoadScene 数据集选取 20 对图像对进行泛化实验。

所有源图像先归一化至 [-1, 1] 范围；MLP 结构参考 BYOL ，包含输出维度为 2048 的线性层、批归一化层、LeakyReLU 激活层，以及输出维度为 256 的最终线性层。

训练参数设置如下：批次大小（batch size）=4，最大训练轮次（max epoch）=20，学习率 = 2×10⁻³，温度参数(\tau)=0.07；算法基于 PyTorch 平台实现，所有实验在 NVIDIA GeForce RTX 2070 Super GPU 与 Intel i7-10875H CPU 上完成。

（4）训练超参数讨论 部分超参数直接影响模型最终性能，包括式（7）中的采样数量S与式（9）中的(\lambda_1)、(\lambda_2)。需注意，采样数量 S 与负样本数量 N 相关：正样本来自某一源图像的一个 patch，负样本既来自同一源图像的其他 patch，也来自同一训练批次中其他源图像的 patch，因此负样本数量(N=S-1+(B-1)×S)（B为批次大小）。

从定量指标与单轮次训练时间两方面分析不同超参数选择的影响，结果如表 1 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。损失函数中(L_{SSIM})权重过低会导致融合图像对比度低、质量差；权重过高则会导致可见光细节一定程度丢失。

由表 1 可知，(\lambda_1/\lambda_2)的不同比例选择对定量指标有直接影响：当(\lambda_1/\lambda_2>1)时，MI、VIF、SD 指标更优，表明(L_{patchNCE})更有助于提升融合图像对比度，使其更符合人类视觉效果；当(\lambda_1/\lambda_2<1)时，EN、AG、SF 指标更优，表明融合图像包含更多纹理细节。这一结果表明：即使(L_{patchNCE})权重较低，也能弥补(L_{SSIM})的不足，保留可见光细节，这一点在消融实验中也得到验证。因此，为结合两种损失函数的优势，本文将超参数 (\lambda_1) 与 (\lambda_2) 均设为 1。此外，由表 1 可知，随着采样数量S增加，训练时间显著增加，过多采样会加重训练效率与设备负担；从定量指标来看，采样数量过低或过高均会导致模型性能下降：采样数量过少会使模型无法有效区分正负样本，过多则易导致负样本中包含更多与正样本相似的样本（例如，在热红外目标上采集多个样本，这些样本实际可视为同一类，若将其多数作为负样本会影响模型性能）。因此，本文选取超参数(S=200)。

5.2 对比实验#

为全面分析所提方法性能，在 TNO 数据集上将 CLF-Net 与 8 种方法进行对比。

（1）定性结果

为直观对比不同算法性能，从 TNO 数据集选取 4 组典型图像对（bench、Nato_camp_1811、Kaptein_1123、2_men_in_front_of_house），定性对比结果如图 3 - 图 6 所示。在图 3 与图 4 中，选取显著目标（红色框标注）并在右下角放大，便于对比。

如图 3 所示：DenseFuse 丢失红外目标信息，未捕捉到明显热辐射目标；NestFuse、IFCNN、PMGI、U2Fusion 虽能捕捉到较明显热辐射目标，但均受可见光图像噪声干扰（其中 U2Fusion 受干扰最严重）；FusionGAN、GANMcC 能捕捉到高对比度显著目标，但目标边缘模糊，影响目标识别；STDFusionNet 与 CLF-Net 能捕捉到质量最优的红外显著目标，且 CLF-Net 的显著目标边缘更清晰，更贴近红外图像。

图 4 中，所提方法在显著目标融合方面仍表现最优。

在图 5 与图 6 中，除选取显著目标（红色框标注）并在右下角放大外，还选取背景区域进行分析。如图 5 所示：首先，在显著目标方面，CLF-Net 保留充足信息，得到边缘清晰、对比度高的红外目标；其次，在可见光图像地面背景区域（绿色框标注），DenseFuse、NestFuse、IFCNN、STDFusionNet、CLF-Net 均能保留纹理信息；但对于图像中其他背景（如天空，蓝色框标注），5 种算法表现不同 ——CLF-Net 受热红外信息干扰最小，得到与可见光图像天空一致的明亮天空。

（2）定量结果

从 TNO 数据集选取 20 对图像对，对所提方法与 8 种算法进行定量分析，6 种通用定量指标结果如图 7 与表 2 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。

在 6 项指标中，所提方法在 EN、VIF、SD 指标上表现最优（尤其在 VIF 指标上优势显著）；在 MI、AG、SF 指标上表现相当：MI 指标除 STDFusionNet 外，所提方法优于其他算法；AG 指标略逊于 U2Fusion 与 IFCNN；SF 指标仅微弱落后于 IFCNN。

如图 7 所示，所提方法在几乎所有图像对的 VIF 指标上均取得最高值，表明所提算法具有更优的人类视觉效果，与定性分析结果一致；EN 值越大，融合图像包含信息越多，CLF-Net 融合图像的信息含量最大；SD 指标表现最优，表明融合结果对比度高，同样与定性分析结果一致；MI 值越大，源图像向融合图像的信息传递越多，表明所提方法保留了红外与可见光图像的大量信息；SF 与 AG 均反映融合图像的细节与纹理，尽管所提方法在这两项指标上并非最优，但仍能保证融合图像包含充足梯度信息。

5.3 RoadScene 数据集泛化实验#

为验证所提方法的泛化能力，在 RoadScene 数据集上将 CLF-Net 与 8 种方法进行对比。

（1）定性结果

从 RoadScene 数据集选取 4 组典型图像对进行分析，如图 8 - 图 11 所示，用红色框标注道路场景中的典型显著目标（车辆、行人）。与其他方法相比，CLF-Net 生成的融合图像中，显著目标具有清晰的边缘轮廓与最高对比度，最大化保留了红外图像中的热目标。由于红外图像独特的成像方式，无论昼夜，红外图像中的天空始终呈暗色，因此难以从红外图像判断时间或天气。在图 8、图 10 与图 11 中，场景均拍摄于白天，但除 IFCNN、STDFusionNet、CLF-Net 外，其他方法的融合图像难以区分昼夜；其中 STDFusionNet 与 CLF-Net 表现最优，且 CLF-Net 的天空背景更明亮，更贴近可见光图像。此外，用绿色框标注树木、横幅、墙上文字等背景区域，对比可知所提方法保留了可见光图像最丰富的细节纹理信息。图 10 中需注意，阳光导致相机拍摄的可见光图像存在轻微过曝光，细节模糊，但所提方法生成的融合图像有效降低了过曝光影响。

（2）定量结果

从 RoadScene 数据集选取 20 对图像对进行定量评价，结果如图 12 与表 3 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。具体而言，所提方法在 EN、MI、VIF、AG、SF 指标上均取得最高平均值；在 SD 指标上，所提算法与 NestFuse、STDFusionNet 性能接近，仅微弱落后。

5.4 医学图像泛化实验#

本节在医学图像上对比不同图像融合方法，实验所用医学图像来自http://www.med.harvard.edu/aanlib/ ，共 24 对。

（1）定性结果

选取 MR-T1 与 MR-T2 图像作为源图像：MR-T1 包含明亮的颅骨特征，MR-T2 包含丰富的纹理信息。从数据集中选取两组典型图像对，如图 13 与图 14 所示，用红色框标注图 13 中 MR-T1 的显著区域与图 14 中 MR-T2 的纹理细节。如图 13 所示，不同融合算法对 MR-T1 中明亮颅骨特征的保留效果存在差异，其中 STDFusionNet 与 CLF-Net 对明亮颅骨区域的保留效果最优；IFSepR 生成的图像存在一定失真，但包含丰富纹理细节；对于标注的显著区域，RFN-Nest 与 FusionGAN 几乎丢失该区域特征，而 IFCNN、PMGI、CLF-Net 能很好地保留显著区域特征，更贴近源图像。图 14 中，颅骨明亮区域的融合效果分析与图 13 一致；此外，对于眼眶区域（MR-T2 比 MR-T1 更亮），仅 GANMcC、IFCNN、STDFusionNet、CLF-Net 能较好保留 MR-T2 的亮度；与图 13 相比，图 14 的 MR-T2 图像包含更丰富有用的纹理信息，DenseFuse、FusionGAN、GANMcC、PMGI 保留的纹理信息较少，而 IFCNN、U2Fusion、STDFusionNet、IFSepR、CLF-Net 保留的纹理信息更多。

（2）定量结果

定量对比结果如表 4 与图 17 所示。AG 与 SF 反映图像纹理信息，IFSepR、CLF-Net、IFCNN 在这两项指标上位列前三，其次是 U2Fusion 与 STDFusionNet，表明这些算法能更好保留图像中丰富的纹理信息，与定性分析一致；在 VIF 指标上，CLF-Net、IFCNN、PMGI 位列前三，表明这些算法生成的图像更符合人类视觉效果；此外，IFSepR 的 VIF 指标最低，这与其图像失真相关；所提算法在 EN 与 MI 指标上同样表现优异，表明其具有较强的信息传递能力。医学图像融合任务与红外 - 可见光图像融合任务存在一定相似性，基于上述定性与定量分析，所提方法在医学图像融合任务中具有良好的应用潜力。

5.5 多焦点图像泛化实验#

本节在多焦点图像融合领域评价所提方法，测试所用多焦点图像来自 https://github.com/sametaymaz/Multi-focus-Image1032 Fusion-Dataset，包含 36 对不同场景的图像对。

（1）定性结果

源图像来自同一图像，但不同非重叠区域存在模糊。从数据集中选取两组典型图像对，如图 15 与图 16 所示。从整体融合效果来看，PMGI 融合结果失真严重，包含大量噪声；IFSepR 能融合模糊区域，但天空区域存在失真；RFN-Nest、FusionGAN、GANMcC、STDFusionNet 对模糊区域的融合性能较差，主要表现为难以清晰识别模糊文字；IFCNN、U2Fusion、DenseFuse 能保留模糊区域细节，文字清晰可见；CLF-Net 在一定程度上保留了模糊区域细节，文字可辨认。图 16 中，IFCNN、U2Fusion、IFSepR 对模糊区域细节特征的保留效果最优，最贴近源图像；DenseFuse、CLF-Net 也能较好保留充足纹理细节；RFN-Nest、FusionGAN、STDFusionNet 几乎无法分辨模糊细节。

（2）定量结果

多焦点图像融合的定量对比结果如表 5 与图 18 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。U2Fusion 在 AG 与 SF 指标上位列第一，表明其保留了丰富的细节纹理信息；IFCNN 在 VIF 指标上表现最优，生成的图像更贴近人类视觉；所提算法在 EN、AG、SF 指标上位列第二，在 VIF 指标上位列第三，表明其在多焦点图像融合中具有竞争力。与红外 - 可见光图像融合相比，多焦点图像融合策略存在差异：对于源图像中的模糊区域，多焦点融合图像更倾向于保留单一源图像中对应的清晰部分。因此，部分在红外 - 可见光图像融合中表现优异的算法，在多焦点图像融合中性能较差。但本文提出的基于对比学习的算法同样倾向于保留局部区域信息，即保留源图像中相似度最高的区域，因此所提方法在多焦点图像融合中仍具有较强的应用潜力。相较于红外 - 可见光图像融合，所提方法在医学图像与多焦点图像融合中的结果略逊。未来可从两方面深入研究：一方面，采用特定训练集使模型更具针对性；另一方面，结合医学图像与多焦点图像的特点，引入新模块优化模型。

5.6 消融实验#

在模型中，除引入 SSIM 损失函数外，核心是基于对比学习框架设计的损失函数 ——patchNCE 损失。两种损失函数共同引导 CNN 网络探索最优参数：patchNCE 损失从深层特征层面对比源图像与融合图像，引导网络充分保留红外图像的显著目标与可见光图像的细节纹理。

为验证 patchNCE 损失的有效性，进行相关消融实验：将参数(\lambda_1)设为 0 以移除 patchNCE 损失，仅采用 SSIM 损失训练网络。

消融实验结果如图 19 与表 6 所示（红色表示最优结果）。如图 19 (d) 所示，仅使用 SSIM 损失时，模型虽能实现红外 - 可见光图像融合，但在背景纹理信息融合方面仍存在缺陷；为直观对比有无 patchNCE 损失的融合图像差异，对两幅图像进行差值运算并反转结果，如图 19 (e) 所示 —— 图像越暗，表明两幅融合图像的差异越大。图 19 (e) 显示，整体背景区域与显著目标边缘存在大量暗区，表明 patchNCE 损失弥补了大量背景纹理信息与显著目标边缘信息。

此外，定量对比结果如表 6 所示：与无 patchNCE 损失的 CLF-Net 相比，所提方法在所有指标上均显著提升，尤其在 AG 与 SF 指标上提升明显，表明所提方法生成的融合图像具有更丰富的梯度与纹理信息，与前文分析一致。

5.7 效率与复杂度评估实验#

对于图像融合任务，模型生成效率也是评价模型性能的重要指标，可通过运行时间直观评估。在 TNO 与 RoadScene 数据集上测试 9 种不同算法（含所提算法）的运行时间均值与标准差，结果如表 7 所示（红色表示最优结果，蓝色表示次优结果，粗体表示第三优结果）。运行时间均值反映模型综合运行效率，标准差反映模型对不同分辨率源图像融合的稳健性。结果表明，除 IFCNN 外，所提方法优于大多数算法，表明 CLF-Net 在运行效率评价中具有竞争力。

此外，测试模型参数数量：结果显示，与其他对比算法相比，CLF-Net 的参数数量较少，仅略高于 PMGI，表明所提网络具有轻量化特点。

5.8 扩展实验#

本节讨论自适应 patch 级对比学习框架中的负样本选择策略，以 “从红外编码器得到的融合图像中选取 query、从红外图像中选取正样本” 为例，负样本选取存在三种可能策略：

策略 1：从可见光编码器编码的可见光图像中选取；

策略 2：从红外编码器编码的可见光图像中选取；

策略 3：从红外图像的其余区域选取（本文采用的策略）。

对比测试结果如表 8 所示（红色表示最优结果）。由表 8 可知，本文提出的策略 3 在所有指标上均表现最优，原因分析如下：

策略 1：不同编码器提取的特征不一致，导致从可见光编码器获取的负样本与从红外编码器获取的 query 差异显著，训练初期对比损失值即维持在较低水平，无法对网络参数优化起到有效引导作用；

策略 2：正负 patch 通过同一编码器编码，虽能确保正负 patch 处于同一空间，但红外编码器具有特定功能，通过红外编码器获取可见光图像特征无实际意义，因此训练初期正负样本仍存在显著差异；此外，策略 2 存在大量计算冗余，这一点从单轮次训练时间也可看出；

策略 3：从同一源图像的其余区域选取负样本，既能保证正负样本处于同一特征空间，又能有效区分正负样本，对网络训练起到有效引导作用。

06 个人声明#

论文阅读 IEEE TPAMI 2025 Probing Synergistic High-Order Interaction for Multi-Modal Image Fusion

Mon, 11 May 2026 00:00:00 GMT

TPAMI 2025 | Probing Synergistic High-Order Interaction for Multi-Modal Image Fusion#

01 论文信息#

论文题目： Probing Synergistic High-Order Interaction for Multi-Modal Image Fusion
论文作者： Man Zhou，Naishan Zheng，Xuanhua He，Danfeng Hong，Jocelyn Chanussot
发表单位： Man Zhou（中国科学院空天信息创新研究院）；Naishan Zheng、Xuanhua He（中国科学技术大学）；Danfeng Hong（中国科学院空天信息创新研究院、中国科学院大学）；Jocelyn Chanussot（Inria、CNRS、格勒诺布尔理工学院）
发表会议\期刊： IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2025（Vol. 47, No. 2, February 2025）
论文链接：https://ieeexplore.ieee.org/document/10706703
代码链接： https://github.com/zheng980629/SHIP

02 论文主要贡献#

本文针对多模态图像融合中现有方法主要建模低阶或局部交互、难以充分挖掘多源模态协同关系的问题，系统研究了空间与通道两个维度的高阶交互。

结合摘要和引言，论文的主要贡献可概括为：它把多模态融合从常见的二阶注意力关系扩展到可迭代的高阶空间和通道关系建模，使模型能够在细粒度空间结构和全局统计依赖上同时聚合互补信息；扩展版 SHIP++ 进一步增强了跨阶信息利用和注意力演化能力。实验结果覆盖红外-可见光融合与全色锐化两类任务，证明高阶交互机制能提升融合质量和跨任务泛化性。

03 论文创新点#

首次在多模态图像融合中探索高阶交互；通过在空间与通道维度引入高阶交互，提出协同高阶交互范式（SHIP），用于研究多模态之间的协同相关性。
该范式深入挖掘涉及空间细粒度信息与全局统计信息的高阶交互，协同聚合互补信息，并区分多个源模态之间的相互依赖关系。
通过定量与定性实验，证明所提出的 SHIP++ 在多模态图像融合任务中的优越性。

04 方法#

4.1 整体框架#

SHIP的整体框架以交替执行空间和通道高阶交互为核心，通过L次迭代完成多模态特征的协同聚合与依赖区分，整体流程适用于红外与可见光图像融合、全色锐化两大任务，仅在输入模态和最终输出层存在细微差异。

特征提取：对不同模态的输入图像分别通过独立的卷积层提取浅层模态感知特征FRF_RFR和FVF_VFV；
高阶交互迭代：将提取的特征输入SHIP核心模块，交替执行N阶空间高阶交互和N阶通道高阶交互，共进行L次迭代，充分挖掘多模态间的空间细粒度关联和全局统计关联；
图像重建：将完成高阶交互的融合特征投影回图像空间，生成最终的融合图像。

整体范式的数学表达为：

红外与可见光图像融合：IF=SHIPL(ψ(IR),ϕ(IV))I_{\mathcal{F}}=SHIP_{L}\left(\psi\left(I_{\mathcal{R}}\right), \phi\left(I_{\mathcal{V}}\right)\right)IF=SHIPL(ψ(IR),ϕ(IV))
全色锐化：IF=SHIPL(ψ(IP),ϕ(IM))+IMI_{F}=SHIP_{L}(\psi(I_{P}), \phi(I_{M}))+I_{M}IF=SHIPL(ψ(IP),ϕ(IM))+IM

其中ψ(⋅)\psi(\cdot)ψ(⋅)和ϕ(⋅)\phi(\cdot)ϕ(⋅)为特征提取器，L为SHIP迭代次数，IR/IVI_R/I_VIR/IV为红外/可见光图像，IP/IMI_P/I_MIP/IM为全色/多光谱图像。

4.2 高阶空间交互#

高阶空间交互的设计核心是将传统Transformer的二阶空间交互扩展为任意阶（N阶），同时通过频域变换降低计算复杂度，解决传统级联自注意力仅生成多二阶交互、计算开销大的问题，分为重新审视自注意力、等效高效形式、高阶形式探究三部分。

4.2.1 重新审视自注意力（传统二阶交互的局限）#

Transformer的自注意力机制是二阶空间交互的典型实现，其通过查询（Q）、键（K）、值（V）的矩阵乘法捕捉特征间的空间关联，对于VIF任务，Q/K/V的生成公式为：

Q=FVWQ,K=FRWK,V=FRWVQ=F_{\mathcal{V}} W^{Q}, K=F_{\mathcal{R}} W^{K}, V=F_{\mathcal{R}} W^{V}Q=FVWQ,K=FRWK,V=FRWV

其中，WQ、WK、WVW^Q、W^K、W^VWQ、WK、WV为线性变换矩阵，分别将可见光特征FVF_VFV、红外特征FRF_RFR投影到查询、键、值空间。

自注意力的二阶空间交互实现公式为：

OS((FV)2)=FVS1=softmax(Q⊗KTdk)⊗V=A⊗V\mathcal{O}_{S}\left(\left(F_{\mathcal{V}}\right)^{2}\right)=F_{\mathcal{V}_{S}}^{1}=softmax\left(\frac{Q \otimes K^{T}}{\sqrt{d_{k}}}\right) \otimes V=A \otimes VOS((FV)2)=FVS1=softmax(dkQ⊗KT)⊗V=A⊗V

其中，dkd_kdk为键K的维度，⊗\otimes⊗为点积操作，A∈RHW×HWA \in \mathbb{R}^{HW ×HW}A∈RHW×HW为空间相关矩阵，OS((FV)2)\mathcal{O}_{S}\left(\left(F_{\mathcal{V}}\right)^{2}\right)OS((FV)2)表示捕捉到FVF_VFV二阶空间交互的输出特征。

核心局限：①矩阵乘法为二次时间复杂度，直接级联会带来巨大计算开销；②级联自注意力仅能生成多个二阶交互，无法实现真正的高阶建模，难以挖掘深层空间关联。

4.2.2 等效高效形式（频域变换降低计算复杂度）#

利用卷积定理（空间域的相关/卷积操作 ≡ 频域的哈达玛积操作），将自注意力中的矩阵点积转化为频域逐元素乘法，大幅降低计算复杂度，同时保持空间关联捕捉的有效性。

第一步：将模态特征FV、FRF_V、F_RFV、FR通过快速傅里叶变换（FFT）映射到频域，计算频域相关矩阵AAA：

A=F−1(F(FVWQ)⊙F(FRWK)‾)A=\mathcal{F}^{-1}\left(\mathcal{F}\left(F_{\mathcal{V}} W^{Q}\right) \odot \overline{\mathcal{F}\left(F_{\mathcal{R}} W^{K}\right)}\right)A=F−1(F(FVWQ)⊙F(FRWK))

其中，F(⋅)\mathcal{F}(\cdot)F(⋅)为FFT变换，F−1(⋅)\mathcal{F}^{-1}(\cdot)F−1(⋅)为逆FFT变换，⊙\odot⊙为哈达玛积（逐元素乘法），F(⋅)‾\overline{\mathcal{F}(\cdot)}F(⋅)为频域特征的共轭转置。

第二步：通过层归一化（Norm）和哈达玛积得到二阶空间交互的等效高效特征：

OS((FV)2)=FVS1=Norm(A)⊙(FRWV)\mathcal {O}_{S}\left( (F_{\mathcal {V}})^{2}\right) =F_{\mathcal {V}_{S}}^{1}=Norm(A)\odot \left( F_{\mathcal {R}}W^{V}\right)OS((FV)2)=FVS1=Norm(A)⊙(FRWV)

该形式将矩阵乘法的二次复杂度转化为FFT的O(HWlog(HW))O(HWlog(HW))O(HWlog(HW))复杂度，在高分辨率特征处理中计算效率提升显著。

4.2.3 高阶形式探究（N阶空间交互的实现）#

在频域等效形式的基础上，通过迭代聚合互补信息将二阶空间交互扩展为任意N阶，实现真正的高阶空间建模，核心公式为：

OS((FVi−1)j)=FVSji=Norm(FVSj−1iWQji)⊙(FRSj−1iWVji)\mathcal{O}_{S}\left(\left(F_{\mathcal{V}}^{i-1}\right)^{j}\right)=F_{\mathcal{V}_{S}^{j}}^{i}=Norm\left(F_{\mathcal{V}_{S}^{j-1}}^{i} W^{Q_{j}^{i}}\right) \odot\left(F_{\mathcal{R}_{S}^{j-1}}^{i} W^{V_{j}^{i}}\right)OS((FVi−1)j)=FVSji=Norm(FVSj−1iWQji)⊙(FRSj−1iWVji)FVSj−1i=Norm(FVSj−2iWQj−1i),FRSj−1i=FRSj−2iWVj−1iF_{\mathcal{V}_{S}^{j-1}}^{i}=Norm\left(F_{\mathcal{V}_{S}^{j-2}}^{i} W^{Q_{j-1}^{i}}\right), F_{\mathcal{R}_{S}^{j-1}}^{i}=F_{\mathcal{R}_{S}^{j-2}}^{i} W^{V_{j-1}^{i}}FVSj−1i=Norm(FVSj−2iWQj−1i),FRSj−1i=FRSj−2iWVj−1i

其中，2≤j≤N2 ≤j ≤N2≤j≤N（j为当前阶数），1≤i≤L1 ≤i ≤L1≤i≤L（i为当前迭代次数），WQji、WVjiW^{Q_{j}^{i}}、W^{V_{j}^{i}}WQji、WVji为第i次迭代、第j阶的线性变换矩阵。

传统级联自注意力的特征演化仅为多二阶交互：

FV→OS((FV)2)→FVS1→OS((FVS1)2)→...→OS((FVSL−1)2)→FVSLF_{\mathcal{V}} \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}}\right)^{2}\right) \to F_{\mathcal{V}_{S}}^{1} \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{\mathcal{S}}}^{1}\right)^{2}\right) \to ... \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{S}}^{L-1}\right)^{2}\right) \to F_{\mathcal{V}_{S}}^{L}FV→OS((FV)2)→FVS1→OS((FVS1)2)→...→OS((FVSL−1)2)→FVSL

而SHIP的高阶空间交互为每次迭代均实现N阶交互：

FV→OS((FV)N)→FVS1→OS((FVS1)N)→...→OS((FVSL−1)N)→FVSLF_{\mathcal{V}} \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}}\right)^{N}\right) \to F_{\mathcal{V}_{\mathcal{S}}}^{1} \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{\mathcal{S}}}^{1}\right)^{N}\right) \to ... \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{S}}^{L-1}\right)^{N}\right) \to F_{\mathcal{V}_{\mathcal{S}}}^{L}FV→OS((FV)N)→FVS1→OS((FVS1)N)→...→OS((FVSL−1)N)→FVSL

核心优势：不同阶数的空间交互能捕捉不同粒度的互补特征模式，高阶特征能更精准地突出显著目标，提升特征表示的多样性。

4.3 高阶通道交互#

高阶通道交互以Squeeze-and-Excitation (SE)块为基础，将SE块基于一阶全局统计（均值）的一阶通道交互扩展为N阶高阶形式，实现对多模态全局统计层面深层依赖的挖掘，分为重新审视SE块、高阶形式探究两部分。

4.3.1 重新审视SE块（传统一阶通道交互的局限）#

SE块是一阶通道交互的典型实现，其通过全局均值池化提取一阶统计特征，实现通道响应的自适应校准，对于VIF任务的第i次空间高阶交互输出特征，SE块的实现公式为：

Zi=1H×W∑x=1H∑y=1WFi(x,y)Z^{i}=\frac{1}{H × W} \sum_{x=1}^{H} \sum_{y=1}^{W} F^{i}(x, y)Zi=H×W1x=1∑Hy=1∑WFi(x,y)OC((Fi)1)=FCi=σ(WZ1iZi)⋅Fi\mathcal {O}_{C}\left( \left( F^{i}\right) ^{1}\right) =F_{C}^{i}=\sigma \left( W^{Z_{1}^{i}}Z^{i}\right) \cdot F^{i}OC((Fi)1)=FCi=σ(WZ1iZi)⋅Fi

其中，Fi=concat[FVSi,FRSi]F^{i}=concat[F_{V_{S}}^{i}, F_{R_{S}}^{i}]Fi=concat[FVSi,FRSi]为第i次空间交互后的双模态特征拼接结果，ZiZ^iZi为一阶全局统计特征（均值），σ(⋅)\sigma(\cdot)σ(⋅)为Sigmoid激活函数，WZ1iW^{Z_{1}^{i}}WZ1i包含两层线性变换+ReLU激活，⋅\cdot⋅为逐元素乘法，OC((Fi)1)\mathcal {O}_{C}\left( \left( F^{i}\right) ^{1}\right)OC((Fi)1)为一阶通道交互的输出特征。

核心局限：仅基于一阶统计（均值）捕捉通道浅层依赖，无法挖掘多模态间基于高阶全局统计的深层通道关联，对模态间依赖的辨别能力不足。

4.3.2 高阶形式探究（N阶通道交互的实现）#

在SE块的基础上，通过迭代计算高阶统计特征和通道校准，将一阶通道交互扩展为N阶高阶形式，实现对多模态深层通道依赖的捕捉，核心公式为：

OC((Fi)j)=FCji=σ(WZjiZj−1i)⋅(WFjiFj−1i)\mathcal {O}_{C}\left( \left( F^{i}\right) ^{j}\right) =F_{C^{j}}^{i}=\sigma \left( W^{Z_{j}^{i}}Z_{j-1}^{i}\right) \cdot \left( W^{F_{j}^{i}}F_{j-1}^{i}\right)OC((Fi)j)=FCji=σ(WZjiZj−1i)⋅(WFjiFj−1i)Zj−1i=σ(WFj−1iZj−2i),Fj−1i=WFj−1iFj−2iZ_{j-1}^{i}=\sigma\left(W^{F_{j-1}^{i}} Z_{j-2}^{i}\right), F_{j-1}^{i}=W^{F_{j-1}^{i}} F_{j-2}^{i}Zj−1i=σ(WFj−1iZj−2i),Fj−1i=WFj−1iFj−2i

其中，2≤j≤N2 ≤j ≤N2≤j≤N（j为当前阶数），1≤i≤L1 ≤i ≤L1≤i≤L（i为当前迭代次数），WZji、WFjiW^{Z_{j}^{i}}、W^{F_{j}^{i}}WZji、WFji为第i次迭代、第j阶的线性变换矩阵，Zj−1iZ_{j-1}^{i}Zj−1i为第j-1阶全局统计特征，Fj−1iF_{j-1}^{i}Fj−1i为第j-1阶通道校准特征。

最终，通过卷积层将N阶通道交互的输出特征FCiF_{C}^{i}FCi整合为融合模态特征FvciF_{v_{c}}^{i}Fvci，进入下一次迭代的空间高阶交互。

4.3.3 空间-通道高阶交互链#

通过L次迭代的N阶空间+通道高阶交互，形成完整的双维度高阶交互链，实现多模态特征的逐层优化，核心公式为：

FV→OS((FV)N)→OC((FVS1)N)→OS((FVS1)N)→OC((FVS2)N)→...→OS((FVCL−1)N)→OC((FVSL)N)F_{\mathcal{V}} \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}}\right)^{N}\right) \to \mathcal{O}_{C}\left(\left(F_{\mathcal{V}_{S}}^{1}\right)^{N}\right) \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{\mathcal{S}}}^{1}\right)^{N}\right) \to \mathcal{O}_{C}\left(\left(F_{\mathcal{V}_{S}}^{2}\right)^{N}\right) \to ... \to \mathcal{O}_{S}\left(\left(F_{\mathcal{V}_{C}}^{L-1}\right)^{N}\right) \to \mathcal{O}_{C}\left(\left(F_{\mathcal{V}_{S}}^{L}\right)^{N}\right)FV→OS((FV)N)→OC((FVS1)N)→OS((FVS1)N)→OC((FVS2)N)→...→OS((FVCL−1)N)→OC((FVSL)N)

4.4 SHIP++的核心改进模块#

SHIP++在SHIP基础上，针对主模态信息丢失、不同阶数特征互补、注意力图精准性不足三大问题，设计**残差信息记忆（RIM）、跨阶信息整合（COII）、跨阶注意力演化（COAE）**三大核心机制，进一步提升跨模态信息交互能力，所有机制均适配VIF和全色锐化两大任务。

4.4.1 残差信息记忆（Residual Information Memorizing, RIM）#

设计背景：VIF中的可见光图像、全色锐化中的多光谱图像为主模态，包含任务所需的核心信息，但传统迭代过程中主模态特征易被覆盖，导致细节丢失。 核心思路：通过残差连接将主模态原始特征与迭代过程中的特征融合，在每次迭代中保留主模态关键信息。 数学公式：

FVsji−1←Conv(FVsji−1+FV)F_{\mathcal{V}_{s}^{j}}^{i-1} \leftarrow Conv\left(F_{\mathcal{V}_{s}^{j}}^{i-1}+F_{\mathcal{V}}\right)FVsji−1←Conv(FVsji−1+FV)

其中，FVsji−1F_{\mathcal{V}_{s}^{j}}^{i-1}FVsji−1为第i-1次迭代、第j阶的主模态特征，FVF_VFV为主模态原始特征，Conv为卷积层（用于特征融合与维度匹配）。

4.4.2 跨阶信息整合（Cross-Order Information Integration, COII）#

设计背景：不同阶数的空间高阶交互能捕捉多样化的互补特征模式（Fig.5），单独使用某一阶特征会损失信息丰富度。 核心思路：将同一迭代中所有阶数的空间高阶特征进行拼接与卷积融合，整合多样化互补特征，生成更具信息量的融合特征。 数学公式：

FVsNi←Conv(concat[FVs1i,...,FVsNi])F_{\mathcal{V}_{s}^{N}}^{i} \leftarrow Conv\left(concat\left[F_{\mathcal{V}_{s}^{1}}^{i}, ..., F_{\mathcal{V}_{s}^{N}}^{i}\right]\right)FVsNi←Conv(concat[FVs1i,...,FVsNi])

其中，FVs1i∼FVsNiF_{\mathcal{V}_{s}^{1}}^{i} \sim F_{\mathcal{V}_{s}^{N}}^{i}FVs1i∼FVsNi为第i次迭代中1~N阶的空间高阶特征，concat为通道维度拼接，Conv为卷积层（用于特征整合）。

4.4.3 跨阶注意力演化（Cross-Order Attention Evolving, COAE）#

设计背景：传统注意力图各层独立学习，无知识共享，浅层注意力无法引导深层注意力，导致深层注意力对关键特征的捕捉精度不足。 核心思路：借鉴注意力演化机制，通过残差连接实现不同阶数/层注意力图的知识共享，让浅层注意力引导深层注意力的学习，提升注意力图的精准性。 数学公式：

Aji=Conv(concat[Aj−1i,FVSj−1iWQji])A_{j}^{i}=Conv\left(concat\left[A_{j-1}^{i}, F_{\mathcal{V}_{S}^{j-1}}^{i} W^{Q_{j}^{i}}\right]\right)Aji=Conv(concat[Aj−1i,FVSj−1iWQji])Aji←Norm(Aji+FVSj−1iWQji)A_{j}^{i} \leftarrow Norm\left(A_{j}^{i}+F_{\mathcal{V}_{S}^{j-1}}^{i} W^{Q_{j}^{i}}\right)Aji←Norm(Aji+FVSj−1iWQji)

其中，AjiA_{j}^{i}Aji为第i次迭代、第j阶的注意力图，Aj−1iA_{j-1}^{i}Aj−1i为第j-1阶的注意力图，FVSj−1iWQjiF_{\mathcal{V}_{S}^{j-1}}^{i} W^{Q_{j}^{i}}FVSj−1iWQji为当前阶的查询特征，concat为通道拼接，Norm为层归一化。

核心效果：注意力图从浅层到深层逐步精准，能更清晰地突出多模态的关键特征（如VIF中的行人/车辆、全色锐化中的地物纹理）。

4.5 损失函数设计#

针对VIF和全色锐化两大任务的核心需求，设计任务专属的损失函数，引导模型学习贴合任务特性的融合特征，避免通用损失函数的局限性。

4.5.1 全色锐化任务：L1损失#

任务需求：提升融合图像的空间分辨率和光谱保真度，让融合图像尽可能接近真实高分辨率多光谱图像（GT）。 损失公式：

Lspa=∥IF−GT∥1\mathcal{L}_{spa }=\left\| I_{F}-G T\right\| _{1}Lspa=∥IF−GT∥1

其中，IFI_FIF为网络输出的融合图像，GT为真实高分辨率多光谱图像，∥⋅∥1\|\cdot\|_1∥⋅∥1为L1范数（像素级误差）。

4.5.2 红外与可见光融合（VIF）任务：强度损失+梯度损失#

任务需求：同时保留红外图像的显著目标和可见光图像的精细纹理，融合图像符合人类视觉感知。 整体损失：L=Lint+λLgraL=L_{int }+\lambda L_{gra }L=Lint+λLgra，其中λ\lambdaλ为权衡参数，平衡强度损失和梯度损失的权重。

4.5.2.1 （1）显著性感知的强度损失（LintL_{int}Lint）#

核心思路：基于红外/可见光图像的显著性图设计加权系数，让融合图像更贴合双模态的显著区域，突出红外目标的同时保留可见光的亮度特征。 损失公式：

Lint=∥(ωV∘IV+ωR∘IR)−IF∥1\mathcal{L}_{int }=\left\| \left(\omega_{\mathcal{V}} \circ I_{\mathcal{V}}+\omega_{\mathcal{R}} \circ I_{\mathcal{R}}\right)-I_{\mathcal{F}}\right\| _{1}Lint=∥(ωV∘IV+ωR∘IR)−IF∥1

其中，ωV、ωR\omega_V、\omega_RωV、ωR为可见光/红外图像的加权图，∘\circ∘为逐元素乘法，∥⋅∥1\|\cdot\|_1∥⋅∥1为L1范数；加权图由显著性矩阵S计算：ωV=SV/(SV+SR)\omega_{V}=S_{V} /(S_{V}+S_{R})ωV=SV/(SV+SR)，ωR=1−ωV\omega_{R}=1-\omega_{V}ωR=1−ωV，S由[72]的显著性算法生成。

4.5.2.2 （2）最大梯度纹理损失（LgraL_{gra}Lgra）#

核心思路：图像梯度代表纹理细节，通过Sobel算子计算双模态的梯度图，让融合图像的梯度图聚合双模态的最大梯度信息，保留最丰富的纹理细节。 损失公式：

Lgra=1HW∥∇IF−max(∇IV,∇IR)∥1\mathcal{L}_{gra }=\frac{1}{HW}\left\| \nabla I_{F}-max \left(\nabla I_{V}, \nabla I_{R}\right)\right\| _{1}Lgra=HW1∥∇IF−max(∇IV,∇IR)∥1

其中，∇\nabla∇为Sobel算子的梯度计算操作，max(⋅)max(\cdot)max(⋅)为逐元素取最大值，HW为图像像素总数，∥⋅∥1\|\cdot\|_1∥⋅∥1为L1范数。

05 实验分析#

论文在红外与可见光图像融合（VIF）和全色锐化（pan-sharpening）两大任务上开展了全面的实验验证，包括SOTA方法对比、超参数消融实验、模块消融实验，采用定量指标+定性可视化+下游任务验证的方式，全方位验证SHIP/SHIP++的性能，并深入分析各模块/超参数的作用机理。

5.1 红外与可见光图像融合（VIF）实验#

5.1.1 实验设置#

数据集：
- 训练集：M3FD（4200对配对图像，3900对训练，300对官方测试）；
- 跨数据集测试集：RoadScene、TNO（各随机选取25对，验证模型泛化性）；
评价指标（所有指标值越高，融合效果越好）：空间频率（SF）、互信息（MI）、视觉信息保真度（VIF）、平均梯度（AG）、QabfQ_{abf}Qabf（边缘保持）、特征互信息（FMI）、SCD（显著目标保持）；
实现细节： PyTorch框架、NVIDIA GTX 3090 GPU、Adam优化器（β1=0.9，β2=0.99\beta_{1}=0.9，\beta_{2}=0.99β1=0.9，β2=0.99）、30K迭代、批次大小8、初始学习率1×10−41×10^{-4}1×10−4（每5K迭代衰减0.5）、特征补丁大小128×128。

5.1.2 SOTA对比分析#

将SHIP/SHIP++与11种SOTA方法对比：DDcGAN、DenseFuse、AUIF、DIDFuse、ReCoNet、SDNet、TarDAL、U2Fusion、UMFusion、LRRNet、TIM，从定量指标、定性可视化、下游任务三方面验证性能优势。

5.1.2.1 （1）定量结果#

SHIP++在M3FD、RoadScene、TNO三个数据集的所有7项评价指标上均取得最优结果，核心优势体现在：

MI/FMI指标显著高于其他方法：说明SHIP++能更充分地整合红外/可见光的互补信息，融合图像包含更丰富的多模态特征；
SF/AG/QabfQ_{abf}Qabf指标最优：证明SHIP++能更好地保留可见光的精细纹理和边缘特征，融合图像的空间细节更丰富；
VIF指标最高：表明融合图像的视觉质量更优、失真更小，更符合人类视觉感知；
SCD指标最低（最优）：说明SHIP++能更精准地保留红外图像的显著目标（如车辆、行人）。

5.1.2.2 （2）定性结果#

SHIP++的融合图像实现了「红外显著目标+可见光精细纹理」的完美平衡，核心优势：

显著目标突出：红外图像中的车辆、行人对比度高、轮廓清晰；
纹理细节丰富：可见光图像中的树叶、建筑、路面纹理保留完整；
视觉效果自然：无亮度失衡、模糊、伪影等问题。

对比其他方法的不足：

DenseFuse/SDNet/U2Fusion：无法有效突出红外显著目标，融合图像对比度低；
DDcGAN/ReCoNet：可见光纹理捕捉不足，融合图像模糊，存在伪影；
DIDFuse：能捕捉红外热特征，但亮度偏低，视觉效果差。

5.1.2.3 （3）下游任务验证（目标检测）#

以FCOS为目标检测模型，在M3FD融合结果上进行目标检测（检测类别：灯、汽车、公交车、摩托车、卡车、行人），SHIP++的mAP指标达0.488，显著高于所有SOTA方法，证明其融合图像能为下游计算机视觉任务提供更有效的特征信息，具有实际应用价值。

5.1.3 消融实验#

在M3FD数据集上开展消融实验，探究阶数N、迭代数L、空间-通道维度对模型性能的影响，确定最优超参数，并验证双维度交互的必要性。

5.1.3.1 （1）阶数N与迭代数L的消融#

阶数N：模型性能随N增加逐步提升，N=5时性能趋于稳定（继续增加N无明显提升，且增加计算成本）；不同N的特征可视化显示，阶数越高，显著目标的特征响应越强。
迭代数L：性能随L增加先提升后下降，L=3为最优；L过大时，梯度传播困难，导致SF/AG等纹理指标下降；不同L的定性结果显示，L越多，显著目标的轮廓越精准。
【插入Fig.12 迭代数L消融的定性结果图】【插入Fig.14 迭代数L消融的定量曲线图】

5.1.3.2 （2）空间-通道维度的消融#

验证空间/通道高阶交互的必要性和执行顺序的鲁棒性，设置4种配置：①空间-通道（默认）；②通道-空间；③无空间；④无通道，核心结论：

双维度交互缺一不可：移除空间/通道任一维度，模型性能显著下降（SF/MI/VIF等指标大幅降低），定性结果显示融合图像亮度失衡、细节丢失；
执行顺序鲁棒：空间-通道/通道-空间的执行顺序对性能影响极小，验证了SHIP高阶交互机制的鲁棒性。

5.2 全色锐化（pan-sharpening）实验#

5.2.1 实验设置#

数据集：Worldview-II、Worldview-III、高分2号（Gaofen2），包含全分辨率测试集（验证模型在真实高分辨率场景的泛化性）；
评价指标：
- 越高越好：PSNR（峰值信噪比）、SSIM（结构相似性）、SCC（相关系数）、QNR（综合质量）；
- 越低越好：SAM（光谱角映射）、ERGAS（相对无维全局误差）、DλD_\lambdaDλ（光谱失真）、DSD_SDS（空间失真）；
实现细节： Adam优化器、1000轮训练、批次大小4、初始学习率5×10−45×10^{-4}5×10−4（200轮后衰减0.5）；因无真实标签，采用Wald协议构建训练数据集（将高分辨率MS图像下采样为LRMS，作为模型输入）；PAN补丁大小128×128，MS补丁大小32×32。

5.2.2 SOTA对比分析#

将SHIP/SHIP++与传统方法（SFIM、GS、Brovey、IHS、GFPCA）和深度学习SOTA方法（PNN、PANNet、MSDCNN、SRPPNN、GPPNN、INNformer、MutNet、SFINet、GSFL、CANL）对比，核心结论：

5.2.2.1 （1）定量结果#

SHIP++在三个卫星数据集的所有评价指标上均实现最优，核心优势：

PSNR/SSIM/SCC/QNR指标最高：说明SHIP++的融合图像空间分辨率高、结构相似性好，与真实标签的贴合度最高；
SAM/ERGAS/DλD_\lambdaDλ/DSD_SDS指标最低：证明SHIP++能有效降低光谱失真和空间失真，实现「高空间分辨率+高光谱保真度」的双重目标；
全分辨率场景（高分2号）：QNR指标达0.8493，显著优于其他方法，验证了模型在真实高分辨率遥感场景的强泛化性。

5.2.2.2 （2）定性结果#

SHIP++的全色锐化结果无光谱偏移、空间纹理清晰，与真实标签的MSE残差最小（残差图为浅蓝，代表误差低）；而其他方法存在明显问题：

传统方法（GS/Brovey/IHS）：光谱失真严重，存在颜色偏移；
深度学习方法（PNN/PANNet/SFINet）：空间纹理模糊，MSE残差图为深黄/红，代表误差高。

5.3 SHIP++模块消融实验#

在VIF的M3FD数据集和全色锐化的Worldview-II数据集上，对SHIP++的RIM、COII、COAE三大模块开展消融实验，验证各模块的有效性，核心结论：

三大模块均为性能提升的关键：移除任一模块，模型性能均会显著下降，且三大模块的协同作用能实现性能的叠加提升；
残差信息记忆（RIM）：移除后主模态关键信息丢失，融合图像细节模糊、亮度失衡；
跨阶信息整合（COII）：移除后无法整合不同阶数的互补特征，特征表示能力下降，融合图像的信息丰富度降低；
跨阶注意力演化（COAE）：移除后注意力图无知识共享，浅层无法引导深层，注意力图对关键特征的捕捉精度下降，显著目标/纹理细节丢失。

5.4 实验核心结论#

SHIP/SHIP++在VIF和全色锐化两大任务上均显著优于SOTA方法，证明了双维度高阶交互建模的有效性；
高阶交互能捕捉多样化的互补特征模式，提升融合特征的丰富度和表示能力；
SHIP++的三大模块针对性解决了传统迭代的核心问题，是性能提升的关键，且模块间具有协同效应；
模型在跨数据集、全分辨率场景下均表现出强泛化性，具有实际应用价值。

06 个人声明#

07#

整体思想为什么是这样？这样做有什么好处？怎么能实现好效果

4.4.1 残差信息记忆（Residual Information Memorizing, RIM）#

FVsji−1←Conv(FVsji−1+FV)F_{\mathcal{V}_{s}^{j}}^{i-1} \leftarrow Conv\left(F_{\mathcal{V}_{s}^{j}}^{i-1}+F_{\mathcal{V}}\right)FVsji−1←Conv(FVsji−1+FV)

其中，FVsji−1F_{\mathcal{V}_{s}^{j}}^{i-1}FVsji−1为第i-1次迭代、第j阶的主模态特征，FVF_VFV为主模态原始特征，Conv为卷积层（用于特征融合与维度匹配）。

4.4.2 跨阶信息整合（Cross-Order Information Integration, COII）#

4.4.3 跨阶注意力演化（Cross-Order Attention Evolving, COAE）#

核心效果：注意力图从浅层到深层逐步精准，能更清晰地突出多模态的关键特征（如VIF中的行人/车辆、全色锐化中的地物纹理）。

4.5 损失函数设计#

针对VIF和全色锐化两大任务的核心需求，设计任务专属的损失函数，引导模型学习贴合任务特性的融合特征，避免通用损失函数的局限性。

4.5.1 全色锐化任务：L1损失#

任务需求：提升融合图像的空间分辨率和光谱保真度，让融合图像尽可能接近真实高分辨率多光谱图像（GT）。 损失公式：

Lspa=∥IF−GT∥1\mathcal{L}_{spa }=\left\| I_{F}-G T\right\| _{1}Lspa=∥IF−GT∥1

其中，IFI_FIF为网络输出的融合图像，GT为真实高分辨率多光谱图像，∥⋅∥1\|\cdot\|_1∥⋅∥1为L1范数（像素级误差）。

4.5.2 红外与可见光融合（VIF）任务：强度损失+梯度损失#

（1）显著性感知的强度损失（LintL_{int}Lint）#

（2）最大梯度纹理损失（LgraL_{gra}Lgra）#

Lgra=1HW∥∇IF−max(∇IV,∇IR)∥1\mathcal{L}_{gra }=\frac{1}{HW}\left\| \nabla I_{F}-max \left(\nabla I_{V}, \nabla I_{R}\right)\right\| _{1}Lgra=HW1∥∇IF−max(∇IV,∇IR)∥1

其中，∇\nabla∇为Sobel算子的梯度计算操作，max(⋅)max(\cdot)max(⋅)为逐元素取最大值，HW为图像像素总数，∥⋅∥1\|\cdot\|_1∥⋅∥1为L1范数。

05 实验分析#

5.1 红外与可见光图像融合（VIF）实验#

5.1.1 实验设置#

数据集：
- 训练集：M3FD（4200对配对图像，3900对训练，300对官方测试）；
- 跨数据集测试集：RoadScene、TNO（各随机选取25对，验证模型泛化性）；
评价指标（所有指标值越高，融合效果越好）：空间频率（SF）、互信息（MI）、视觉信息保真度（VIF）、平均梯度（AG）、QabfQ_{abf}Qabf（边缘保持）、特征互信息（FMI）、SCD（显著目标保持）；
实现细节： PyTorch框架、NVIDIA GTX 3090 GPU、Adam优化器（β1=0.9，β2=0.99\beta_{1}=0.9，\beta_{2}=0.99β1=0.9，β2=0.99）、30K迭代、批次大小8、初始学习率1×10−41×10^{-4}1×10−4（每5K迭代衰减0.5）、特征补丁大小128×128。

5.1.2 SOTA对比分析#

（1）定量结果#

SHIP++在M3FD、RoadScene、TNO三个数据集的所有7项评价指标上均取得最优结果，核心优势体现在：

MI/FMI指标显著高于其他方法：说明SHIP++能更充分地整合红外/可见光的互补信息，融合图像包含更丰富的多模态特征；
SF/AG/QabfQ_{abf}Qabf指标最优：证明SHIP++能更好地保留可见光的精细纹理和边缘特征，融合图像的空间细节更丰富；
VIF指标最高：表明融合图像的视觉质量更优、失真更小，更符合人类视觉感知；
SCD指标最低（最优）：说明SHIP++能更精准地保留红外图像的显著目标（如车辆、行人）。

（2）定性结果#

SHIP++的融合图像实现了「红外显著目标+可见光精细纹理」的完美平衡，核心优势：

显著目标突出：红外图像中的车辆、行人对比度高、轮廓清晰；
纹理细节丰富：可见光图像中的树叶、建筑、路面纹理保留完整；
视觉效果自然：无亮度失衡、模糊、伪影等问题。

对比其他方法的不足：

DenseFuse/SDNet/U2Fusion：无法有效突出红外显著目标，融合图像对比度低；
DDcGAN/ReCoNet：可见光纹理捕捉不足，融合图像模糊，存在伪影；
DIDFuse：能捕捉红外热特征，但亮度偏低，视觉效果差。

（3）下游任务验证（目标检测）#

5.1.3 消融实验#

在M3FD数据集上开展消融实验，探究阶数N、迭代数L、空间-通道维度对模型性能的影响，确定最优超参数，并验证双维度交互的必要性。

（1）阶数N与迭代数L的消融#

阶数N：模型性能随N增加逐步提升，N=5时性能趋于稳定（继续增加N无明显提升，且增加计算成本）；不同N的特征可视化显示，阶数越高，显著目标的特征响应越强。
迭代数L：性能随L增加先提升后下降，L=3为最优；L过大时，梯度传播困难，导致SF/AG等纹理指标下降；不同L的定性结果显示，L越多，显著目标的轮廓越精准。
【插入Fig.12 迭代数L消融的定性结果图】【插入Fig.14 迭代数L消融的定量曲线图】

（2）空间-通道维度的消融#

验证空间/通道高阶交互的必要性和执行顺序的鲁棒性，设置4种配置：①空间-通道（默认）；②通道-空间；③无空间；④无通道，核心结论：

双维度交互缺一不可：移除空间/通道任一维度，模型性能显著下降（SF/MI/VIF等指标大幅降低），定性结果显示融合图像亮度失衡、细节丢失；
执行顺序鲁棒：空间-通道/通道-空间的执行顺序对性能影响极小，验证了SHIP高阶交互机制的鲁棒性。

5.2 全色锐化（pan-sharpening）实验#

5.2.1 实验设置#

数据集：Worldview-II、Worldview-III、高分2号（Gaofen2），包含全分辨率测试集（验证模型在真实高分辨率场景的泛化性）；
评价指标：
- 越高越好：PSNR（峰值信噪比）、SSIM（结构相似性）、SCC（相关系数）、QNR（综合质量）；
- 越低越好：SAM（光谱角映射）、ERGAS（相对无维全局误差）、DλD_\lambdaDλ（光谱失真）、DSD_SDS（空间失真）；
实现细节： Adam优化器、1000轮训练、批次大小4、初始学习率5×10−45×10^{-4}5×10−4（200轮后衰减0.5）；因无真实标签，采用Wald协议构建训练数据集（将高分辨率MS图像下采样为LRMS，作为模型输入）；PAN补丁大小128×128，MS补丁大小32×32。

5.2.2 SOTA对比分析#

（1）定量结果#

SHIP++在三个卫星数据集的所有评价指标上均实现最优，核心优势：

PSNR/SSIM/SCC/QNR指标最高：说明SHIP++的融合图像空间分辨率高、结构相似性好，与真实标签的贴合度最高；
SAM/ERGAS/DλD_\lambdaDλ/DSD_SDS指标最低：证明SHIP++能有效降低光谱失真和空间失真，实现「高空间分辨率+高光谱保真度」的双重目标；
全分辨率场景（高分2号）：QNR指标达0.8493，显著优于其他方法，验证了模型在真实高分辨率遥感场景的强泛化性。

（2）定性结果#

SHIP++的全色锐化结果无光谱偏移、空间纹理清晰，与真实标签的MSE残差最小（残差图为浅蓝，代表误差低）；而其他方法存在明显问题：

传统方法（GS/Brovey/IHS）：光谱失真严重，存在颜色偏移；
深度学习方法（PNN/PANNet/SFINet）：空间纹理模糊，MSE残差图为深黄/红，代表误差高。

5.3 SHIP++模块消融实验#

在VIF的M3FD数据集和全色锐化的Worldview-II数据集上，对SHIP++的RIM、COII、COAE三大模块开展消融实验，验证各模块的有效性，核心结论：

三大模块均为性能提升的关键：移除任一模块，模型性能均会显著下降，且三大模块的协同作用能实现性能的叠加提升；
残差信息记忆（RIM）：移除后主模态关键信息丢失，融合图像细节模糊、亮度失衡；
跨阶信息整合（COII）：移除后无法整合不同阶数的互补特征，特征表示能力下降，融合图像的信息丰富度降低；
跨阶注意力演化（COAE）：移除后注意力图无知识共享，浅层无法引导深层，注意力图对关键特征的捕捉精度下降，显著目标/纹理细节丢失。

5.4 实验核心结论#

SHIP/SHIP++在VIF和全色锐化两大任务上均显著优于SOTA方法，证明了双维度高阶交互建模的有效性；
高阶交互能捕捉多样化的互补特征模式，提升融合特征的丰富度和表示能力；
SHIP++的三大模块针对性解决了传统迭代的核心问题，是性能提升的关键，且模块间具有协同效应；
模型在跨数据集、全分辨率场景下均表现出强泛化性，具有实际应用价值。