论文阅读 arXiv 2025 IRDFusion 基于迭代关系图差异引导的多光谱目标检测特征融合方法

4.1 整体框架#

模型首先采用双分支骨干网络分别从 RGB 与红外模态提取特征，再通过所提 IRDFusion 模块渐进式融合跨模态特征。IRDFusion 通过放大跨模态差异并将其作为引导信号，逐步引导融合过程，提升特征表示质量。融合后的特征经简单特征金字塔（SFP） 颈部处理，送入 Transformer 编码器，最终输入 Co-DETR 的多个并行检测头。检测头设计与 Double-Co-DETR 保持一致。

IRDFusion 模块拟议示意图说明：红色数据流为 DFFM 模块。本场景下，LN&D 指层归一化与丢弃层（Dropout）；MLP&LN 指多层感知机层（MLP layer）后接层归一化；λ、β 与 µ 均为可学习参数。Flat&PE 指将特征图整理为序列（展平）并添加位置编码信息；WF表示加权融合（weighted fusion）；Reshape 指将序列重新转换为特征图。

4.2 互特征精炼模块（MFRM）#

互特征精炼模块（MFRM）旨在增强两种模态的特征表示，提升跨模态一致性与判别能力。其核心思路是：在 Transformer 结构中，利用单模态的自注意力矩阵与两种模态的加权值（Value）特征交互，放大跨模态表示，生成更具信息量的融合特征。

1.特征投影与注意力计算：两种模态的特征（RGB 或红外）首先通过不同权重矩阵投影，生成查询（Query）、键（Key）、值（Value）矩阵，计算每种模态的注意力矩阵。公式如下：

其中，$F_i$表示 RGB 或红外模态的输入特征；$Q_i$、$K_i$、$V_i$分别为查询、键、值矩阵；$W_i^q$、$W_i^k$、$W_i^v$为线性变换权重矩阵；$A_i$为注意力矩阵；$d$为特征维度。

2.跨模态值特征融合：以 RGB 分支为例，通过引入红外分支的 Value 向量$V_t$，整合红外模态信息 —— 将 RGB 分支的注意力矩阵应用于红外 Value 向量，使模型在 RGB 分支关注的空间区域内强调红外线索，有效增强两种模态间的信息交互与融合。公式如下：

其中，

$V_{f\_s}$

、$V_{f\_t}$分别为 RGB 与红外模态的融合 Value 特征。

3.自适应融合权重：在 Value 向量融合过程中，引入可学习参数 $\lambda$，使模型根据输入数据特性自适应调整融合过程，提升稳健性。公式如下：

其中，$λ_i$为模态融合权重，由可学习向量$λ_{q1}$、$λ_{q2}$、$λ_{k1}$、$λ_{k2}$与初始权重$λ_{init}$控制。$i,j$ 表示 $s/t$ 的一种，即当 $i$ 为 $s$ 时，$j$ 即为 $t$

4.跨模态放大特征生成：最终，基于融合后的 Value 特征，生成跨模态放大特征。公式如下：

其中，$F_i^′$为最终融合特征；$MLP$、$LN$分别表示多层感知机与层归一化。

4.3 差异特征反馈模块（DFFM）#

以 RGB 分支为例，DFFM 的流程如下： 1.计算跨模态差异特征：引入可学习参数$β$，自适应控制红外模态对 RGB 模态的差异贡献，计算两种模态的差异特征； 2.差异特征反馈：对差异特征进行加权处理后反馈至 RGB 特征，放大跨模态差异信号，引导 MFRM 从另一模态提取判别线索； 3.迭代优化：通过迭代反馈，逐步增强互补信息、过滤冗余噪声，生成更稳健的自适应跨模态表示。

数学公式如下（以 RGB 分支为例）：

其中，$\alpha$、$\beta$、$\mu$ 为可学习参数；$F_{\mathrm{dif},v}^{(k)}$ 表示第 $k$ 次迭代中红外模态相对于 RGB 模态的差异特征；$F_i^{(k)}$ 表示 MFRM 第 $k$ 次迭代的输出特征；$F_i^{(k+1)}$ 表示 MFRM 第 $(k+1)$ 次迭代的输入特征。

4.4 整合为迭代关系图差异引导框架#

为实现稳健的特征学习，本文将 MFRM 与 DFFM 整合到统一框架中，正式构建为迭代关系图差异引导特征融合框架（IRDFusion）。

以 RGB 模态为例，跨模态差异特征 $F_{v-t}$ 以渐进方式反馈，精炼 $F_v^{(k+1)}$（$k$ 表示迭代次数），公式如下：

需注意，在 RGB 分支的特征精炼过程中，红外图像特征 $F_t$ 保持固定。

4.5 损失函数#

本文采用 CoDetr 损失进行训练，该损失函数整合多个组件，优化分类与定位性能：

• 主检测头（CoDINOHead）：采用质量焦点损失（Quality Focal Loss）处理类别不平衡问题，同时使用 L1 损失优化边界框回归、GIoU 损失优化定位精度。

• 辅助检测头：CoDetr 包含三个辅助检测头：

  1. RPN 头：采用交叉熵损失进行目标-背景分类，L1 损失精炼边界框候选；
  2. ROI 头：采用交叉熵损失进行类别预测，GIoU 损失提升边界框回归精度；
  3. Bbox 头：采用焦点损失（Focal Loss）进行分类，GIoU 损失进行回归，交叉熵损失进行中心度预测。

5.1 实验细节#

本文基于 Double-Co-DETR 框架开展实验，所有实验在 PyTorch 环境下进行，硬件配置为 Intel i7-9700 CPU、64GB 内存、Nvidia RTX 3090 GPU（24GB 显存）。图像输入尺寸设为 640×640，数据增强采用 Double-Co-DETR 的 v1 版本，其余设置与原文保持一致。

最终实验中，FLIR 与 LLVIP 数据集训练 12 轮（epoch），M³FD 数据集训练 36 轮；消融实验以 NiNfusion 为基准，所有实验训练 12 轮，批次大小（batch size）设为 1，参数设置保持一致。

5.2 数据集与评价指标#

5.3 数据集#

FLIR：高质量多光谱目标检测数据集，包含成对红外与 RGB 图像，主要用于自动驾驶与监控场景，标注类别包括“人”“车”“自行车”，适合红外与可见光跨模态融合研究。

LLVIP：聚焦弱光条件下的行人检测，包含成对 RGB 与红外图像，专门用于低光照环境下的多模态数据融合方法研究。

M³FD：包含 4200 对红外与可见光对齐图像，采集于不同光照、季节、天气环境，涵盖自动驾驶与道路监控中的 6 类典型目标，按 8:2 比例划分训练集与测试集。

5.4 评价指标#

采用 COCO 标准的 平均精度均值（mAP） 评估目标检测模型：

• mAP：计算所有类别在 IoU 阈值 0.5–0.95（步长 0.05）下的平均 AP，综合评估检测精度与定位精度；
• mAP50：IoU = 0.5 时的平均 AP，关注“足够重叠”的检测效果；
• mAP75：IoU = 0.75 时的平均 AP，对定位精度要求更严格。

5.5 对比试验#

1. FLIR 数据集：

本文方法在 mAP50 上取得最优成绩（88.3%），mAP75 上相比基准模型提升 3.5%，超过 DAMSDet 1.7%，证明在低 IoU 阈值下的检测能力更优；mAP75 与整体 mAP 比基准模型分别提升 4.0% 与 3.8%，表明在严格评价标准下仍具备稳健性能。

2. LLVIP 数据集：

从表中看出，本文方法在所有三项指标上均取得最优性能：mAP50、mAP75、整体 mAP 相比基准模型分别提升 0.4%、2.4%、1.4%，相比 DAMSDet 分别提升 0.5%、4.0%、1.3%。这些提升证明 IRDFusion 在行人检测中的有效性。

3. M³FD 数据集：

如表所示，本文方法在所有指标上均取得最高性能：mAP 与最优模型持平（61.9%），mAP50 提升 2.8%；相比基准模型，两项指标均提升 3.7%。

5.6 消融实验#

5.7 不同模块的贡献#

MFRM 模块：单独引入 MFRM 后，“自行车”和“人”类别的各项指标显著提升，其中“自行车”的 mAP50 提升 4.4%，原因是该类目标在单一模态中特征不突出，MFRM 通过融合双模态互补特征强化了目标表示。但“汽车”类别指标略有下降（mAP50 降低 0.2%），推测是 RGB 与红外模态中目标轮廓附近的背景边缘被误放大，导致定位精度下降。总体而言，MFRM 使 mAP50、mAP75、mAP 分别提升 1.5%、2.0%、1.7%，验证了其核心有效性。

DFFM 模块：单独引入 DFFM 后，模型整体性能显著提升，“自行车”类别获益最大（mAP50 提升 6.6%、mAP75 提升 3.7%、mAP 提升 5.2%），“人”类别 mAP75 提升 8.6%。这表明 DFFM 对双模态中视觉模糊或特征薄弱的目标具有强优化作用，能精准强化关键特征、抑制冗余信息。

MFRM + DFFM 模块：两模块联合使用时，模型性能达到最优，mAP50、mAP75、mAP 较基线分别提升 3.5%、4.0%、3.8%。说明 MFRM 侧重放大并整合弱有效特征，DFFM 侧重引导融合过程、抑制干扰，二者形成互补，共同优化跨模态融合效果。

5.8 迭代次数的影响#

• 模型在第 4 次迭代时 mAP50 达到最优（88.3%）；尽管部分类别在不同迭代次数下达到性能峰值，但差异较小，因此将 4 次迭代设为所有实验的标准设置。
• 迭代次数过少时（如 1–2 次），冗余特征未被充分抑制，差异特征反馈不足，无法有效消除两种模态中的冗余或噪声信息，降低模型整合有效跨模态特征的能力。
• 迭代次数过多时（如 5–6 次），性能下降——差异特征逐渐减弱，模态间交互引入负面影响（如背景噪声放大），模型过度强调差异特征而牺牲特征整合效果，破坏整体融合质量。

5.9 失败案例#

如图所示，IRDFusion 在检测“小尺寸、严重遮挡目标”时存在局限：

此类条件下，模态共享特征（如轮廓、空间布局）与差异特征（如颜色或热对比度）均变得难以区分，导致 MFRM 无法准确捕捉跨模态线索，DFFM 难以通过差异反馈提取互补信息；最终融合特征表示减弱，偶尔出现假阳性与漏检。未来需探索“多尺度特征增强策略”或“动态可变形注意力机制”，增强跨模态特征交互，提升严重遮挡场景下的检测性能。

5.10 局限性#

如表所示，引入 IRDFusion 模块后：

• YOLO 框架：检测速度显著下降（FPS 从 45.3 降至 17.0），参数从 75.4M 增至 134.0M，GFLOP 从 91.0 增至 122.8；
• CoDetr 框架：速度下降相对较小（FPS 从 3.6 降至 3.1），但参数与 GFLOP 大幅增加（参数 +25M，GFLOP 从 944.9 增至 1213.5）。

这可能源于 IRDFusion 模块中的迭代过程；此外，CoDetr 采用 ViT 作为骨干网络，基准模型已具备大量参数与高计算量，需消耗大量计算资源。尽管 IRDFusion 提升检测精度，但高计算成本限制了其在边缘设备上的实时部署。