论文阅读 TGRS 2024 Mask-Guided Mamba Fusion for Drone-Based Visible-Infrared Vehicle Detection

4.2.1 掩码引导的特征图覆盖#

1. 针对可见光分支$B_v$，提取第$t$阶段中间层特征$\bar{f}_{v}^{t}$，并获取红外分支的检测结果$Y_i$；
2. 根据$Y_i$中的边界框生成掩码图$M_v$，边界框对应像素设为0，其余设为1，将$M_v$与$\bar{f}_{v}^{t}$相乘得到掩码特征图$\hat{f}_{v}^{t}$；
3. 通过由3个3×3卷积构成的密集块编码器对$\hat{f}_{v}^{t}$进行编码，得到融合红外模态线索的特征$g_{v}^{t}$，编码公式为：

其中$C_{3×3}(\cdot)$表示3×3卷积操作，$Concat(\cdot)$表示通道维度的拼接操作。

红外分支的融合候选特征$g_{i}^{t}$以相同方式生成，该步骤让未被掩码的区域聚焦于当前模态的车辆区域，掩码区域融入另一模态的车辆区域线索，实现跨模态互补信息的初步融合。

4.2.2 一致性约束的特征图恢复#

1. 采用3个3×3卷积构成的解码器将编码特征$g_{v}^{t}$重构为可见光图像$\hat{I}_{v}$，重构公式为：

2. 通过$L_2$损失约束重构图像$\hat{I}_{v}$与原始图像$I_v$的一致性，让掩码区域得到更多模型关注，确保编码特征包含更多另一模态的有效线索。

MRCM在可见光分支中可抑制红外模态的虚假目标特征，在红外分支中可增强前景区域特征，最终让各模态提取到更适合跨模态融合的特征。

4.3.1 特征投影与混合#

将MRCM输出的$g_{v}^{t}$和$g_{i}^{t}$经归一化、线性层、深度可分离卷积（DWC）后，通过逐元素乘和加操作结合SiLU激活函数，生成混合特征$\overline{D}^{t}$，公式为：

其中$Norm(\cdot)$为归一化层，$Linear(\cdot)$为线性层，$\odot$为逐元素乘法，$\oplus$为逐元素加法，SiLU为激活函数。

4.3.2 空间长距离依赖捕捉#

将混合特征$\overline{D}^{t}$输入SS2D层（Mamba核心组件），捕捉空间维度的长距离依赖，再分别与可见光、红外模态的特征进行门控校准，得到重校准特征$\overline{D}_{v}^{t}$和$\overline{D}_{i}^{t}$，公式为：

SS2D层先将图像块沿四个方向拉伸为独立序列，经S6状态空间模型处理后再聚合重构为2-D特征图，实现全空间的特征交互。

4.3.3 残差融合生成最终特征#

将重校准后的$\overline{D}_{v}^{t}$和$\overline{D}_{i}^{t}$投影回原始特征空间，结合残差连接与MRCM输出的原始特征$g_{v}^{t}$、$g_{i}^{t}$融合，得到第$t$阶段的深度融合特征$f_{m}^{t}$，公式为：

4.4.1 分支检测损失#

每个分支的检测损失均包含分类损失$L_{cls}$和位置回归损失$L_{loc}$，以可见光分支$L_v$为例，检测损失公式为：

其中：

• $c$为模型预测的各类别概率，$u$为真实类别，$t^{c} \supseteq\{x^{c}, y^{c}, h^{c}, w^{c}, \theta^{c}\}$为预测的边界框位置信息，$v$为真实边界框回归目标；
• $[c ≥1]$为艾弗森括号指示函数，$c≥1$时取1，否则取0；
• $\mathcal{L}_{cls}$采用交叉熵损失，用于车辆类别判别；$\mathcal{L}_{loc}$采用带不确定性权重的$L_1$损失，用于边界框位置回归，公式为：

$i \in\{x, y, h, w, \theta\}$为边界框的5个位置维度，$w_{v}$为针对可见光模态的动态不确定性权重，根据图像亮度、模态间对齐度分为3种分配场景：

1. 可见光目标缺失时，$w_v=0.1$；
2. 可见光目标与红外目标未对齐（IoU<0.8）时，$w_v=T_1 × T_2$（$T_1$为图像平均亮度，$T_2$为IoU值）；
3. 可见光目标与红外目标对齐时，$w_v=T_1$。

红外分支$L_i$和融合分支$L_f$的检测损失公式与$L_v$一致，仅将权重固定为1，解决了低光下可见光目标缺失、模态间特征未对齐导致的回归精度下降问题。

4.4.2 MRCM正则化损失#

采用$L_2$损失约束各阶段重构图像与原始图像的一致性，实现跨模态的一致性学习，强化MRCM的跨模态引导效果，正则化损失公式为：

其中$\hat{I}_{v}^{t}$和$\hat{I}_{i}^{t}$分别为可见光、红外模态第$t$阶段的重构图像，$T$为特征提取器的总阶段数。

5.3.1 融合模块阶段消融#

为确定融合模块（MRCM+SSFM）的最佳部署阶段，在特征提取器的5个阶段分别移除融合模块，分析[email protected]和推理时间的变化，核心结论：

1. 移除前三个阶段的融合模块，检测精度仅轻微下降（[email protected]最大下降0.20%），但推理速度显著提升（最快减少44ms），因早期阶段特征以空间细节为主，语义信息较少，对跨模态融合贡献有限；
2. 移除后两个阶段的融合模块，检测精度大幅下降（移除第5阶段下降0.51%），因后阶段特征包含更丰富的语义信息，是跨模态融合的核心；
3. 最终选择在特征提取器最后三个阶段部署融合模块，在检测精度损失可忽略的前提下，实现计算效率的提升。

5.3.2 MRCM和SSFM模块消融#

以简单特征拼接为基线模型，依次添加MRCM和SSFM，验证核心模块的有效性，同时将SSFM与坐标注意力、外部注意力等主流注意力机制对比，核心结论：

1. 基线模型（特征拼接）的[email protected]为72.2%，添加MRCM后提升至76.4%（+4.2%），验证了MRCM能有效提取适合融合的跨模态特征，增强互补信息的整合；
2. 在MRCM基础上添加SSFM后，[email protected]进一步提升至80.3%（+3.8%），验证了SSFM在隐状态空间的深度融合能有效降低模态差异，提升模型对跨模态相关性的感知；
3. SSFM与其他注意力机制对比，在参数量（+3.6M）、计算复杂度和**精度提升（+3.9%）**上均表现更优，证明了其在跨模态融合任务中的优越性。

5.3.3 特征可视化分析#

对融合模块处理前后的特征图进行可视化，结果显示：

1. 原始单模态特征对车辆区域的关注不显著，背景干扰较大，特征区分度低；
2. 经MRCM处理后的特征能显著聚焦于车辆区域，抑制背景干扰，实现跨模态线索的初步融合；
3. 经SSFM处理后的特征进一步增强了车辆区域与背景区域的差异，让模型更易识别车辆目标，实现跨模态特征的深度交互。