论文阅读 2024 TIP RGBT Tracking via Challenge-Based Appearance Disentanglement and Interaction

TIP 2024 | RGBT Tracking via Challenge-Based Appearance Disentanglement and Interaction#

01 论文信息#

论文题目： RGBT Tracking via Challenge Based Appearance Disentanglement and Interaction
论文作者： Lei Liu，Chenglong Li，Yun Xiao，Ruizhe Ruan，Ming Tang
发表单位： Lei Liu（大连理工大学等），Chenglong Li（安徽大学等），Yun Xiao，Ruizhe Ruan，Ming Tang；
发表会议\期刊： IEEE Transactions on Image Processing（TIP），2024
论文链接： https://ieeexplore.ieee.org/document/10460420/
代码链接： https://github.com/liulei970507/CAT-TIP

02 论文主要贡献#

本文面向 RGBT 跟踪中目标外观在不同挑战条件下表现不一致的问题，强调不能把所有挑战都交给同一种分支结构处理，而应根据挑战类型拆分并定制外观表示。

结合摘要和引言，论文的主要贡献可概括为：它将 RGBT 跟踪中的挑战划分为模态共享与模态专属两类，并围绕这些挑战学习不同的目标外观表示；同时通过跨模态交互和自动生成训练样本缓解训练数据不足与挑战标签模糊问题。实验结果显示，该策略在多个 RGBT 跟踪基准上提升了复杂场景下的定位稳定性和鲁棒性。

03 论文创新点#

设计了一种基于新型挑战基网络的有效深度学习框架，通过模态共享和模态专属挑战属性执行目标外观表示的解耦与交互，即使在 RGBT 跟踪训练数据不足的情况下也能工作。
根据不同挑战属性的性质，开发不同结构来建模目标外观并学习鲁棒目标表示；这些结构以残差信息形式分层并行嵌入骨干网络，参数量少且高效有效。
提出针对不同挑战属性的训练数据生成策略，减少人工标注工作量并消除标签歧义。
在四个 RGBT 跟踪基准数据集上进行大量实验，结果表明该方法相较当前最优方法取得有竞争力的性能。

04 方法#

CAT++的核心框架是基于挑战的外观解耦与交互网络，整体流程为：裁剪前一帧跟踪结果周围的搜索区域→输入解耦与交互网络学习不同挑战下的目标表示→RoI Align提取目标特征→全连接层分类器判别前景/背景，得到最终跟踪结果。

方法主要包含四大核心模块：基于挑战的外观解耦模块、指导交互模块（GIM）、聚合交互模块（AIM）、训练数据生成策略，同时设计了四阶段训练算法和在线跟踪流程。

4.1 整体网络架构#

CAT++的网络架构由三部分组成：

双流CNN骨干网络：分别提取RGB和热红外模态的特征，基于VGG-M修改，移除第二层最大池化、最后一层引入膨胀卷积（膨胀率3），提升高分辨率特征提取能力；
基于挑战的外观解耦模块：5个挑战分支（3个参数共享分支+2个参数独立分支），针对不同挑战特性定制网络结构；
基于挑战的外观交互模块：包含指导交互模块（GIM）和聚合交互模块（AIM），实现跨模态特征增强和多挑战表示融合。

网络的核心设计是将挑战分支以残差形式分层并行嵌入骨干网络的每一层卷积层，仅需少量参数即可学习不同挑战下的目标表示，解决了训练数据不足的问题。

4.2 基于挑战的外观解耦模块#

该模块是CAT++的核心创新之一，为5类挑战设计专属的分支结构，并根据模态共享/专属特性，将分支分为参数共享分支和参数独立分支：

参数共享分支：针对模态共享挑战（OCC、LR、SA），RGB和热红外模态共用一套卷积参数，捕捉跨模态的协同信息；
参数独立分支：针对模态专属挑战（IV、TC），RGB和热红外模态使用独立卷积参数，捕捉各模态的异质信息。

每个分支均由基础挑战分支（BCB） +挑战专属模块组成，BCB为轻量级卷积块，在骨干网络不同层有不同设计（BCB1/BCB2/BCB3），以适配不同层级的特征特性。

4.2.1 模态共享挑战分支设计#

4.2.1.1 （1）遮挡分支（OCC）#

遮挡会导致目标外观信息缺失，核心解决思路是让每个特征通道响应目标的不同局部区域，并自适应加权有效通道，核心为空间正则化损失+通道注意力模块：

4.2.1.1.1 ① 空间正则化损失#

通过滤波器正交损失 $L_{filter}$ 和响应正交损失 $L_{response}$ 两个多样性损失，鼓励不同卷积滤波器响应目标的不同局部区域，公式如下：

L_{filter}=\sum_{i \neq j}\left|\sum_{p} \frac{<w_{i}^{p}, w_{j}^{p}>}{\left\| w_{i}^{p}\right\| _{F}\left\| w_{j}^{p}\right\| _{F}}\right|

其中： $w_{i}^{p}$ 表示卷积滤波器 $w_i$ 在空间位置 $p$ 的列向量（3×3卷积核的 $p \in \{1,2,...,9\}$ ）， $<\cdot,\cdot>$ 为内积， $\|\cdot\|_F$ 为Frobenius范数。该损失强制不同卷积滤波器正交，使其关注目标的不同局部区域。

L_{response}=\sum_{i \neq j}\left\| \frac{<f_{i}, f_{j}>}{\left\| f_{i}\right\| _{F}\left\| f_{j}\right\| _{F}}\right\| ^{2}

其中： $f_i$ 表示第 $i$ 个卷积滤波器的响应（即特征的第 $i$ 个通道）。该损失直接惩罚不同滤波器响应的相关性，进一步增强特征通道的多样性。

4.2.1.1.2 ② 通道注意力模块#

对空间正则化后的特征，设计通道注意力模块生成权重，抑制遮挡区域的噪声通道，步骤为：

对输入特征 $F$ 做平均池化和最大池化，生成空间上下文描述子 $F_{avg}$ 和 $F_{max}$ ；
用两层1×1卷积生成通道注意力权重 $W_{avg}$ 和 $W_{max}$ （中间加ReLU非线性变换）；
逐元素求和+Sigmoid激活得到最终通道注意力权重 $F_c$ ；
特征 $F$ 与 $F_c$ 逐元素相乘，得到遮挡挑战下的目标表示。

4.2.1.2 （2）低分辨率分支（LR）#

低分辨率导致目标精细细节丢失，核心解决思路是多尺度特征捕捉+自适应融合：

基础挑战分支提取通用特征；
设计多尺度模块（MSM），通过1×1、3×3、5×5不同感受野的卷积分支捕捉多尺度特征（对应padding为0、1、2，保证输入输出分辨率一致）；
引入集成层（1×1卷积+LRN归一化）自适应融合多尺度特征，缓解特征传递过程中的退化问题。

4.2.1.3 （3）相似外观分支（SA）#

相似外观/背景杂波会导致目标与背景混淆，核心解决思路是空间注意力抑制干扰区域，空间注意力模块为核心，公式为：

F_{s}=\sigma\left(f^{k × k}\left( \text{Concatenate} \left(F_{avg }, F_{max }\right)\right)\right) \tag{3}

其中：

$\sigma$ 为Sigmoid激活函数，将注意力权重归一化到[0,1]；
$f^{k×k}$ 为 $k×k$ 的卷积层，用于生成空间注意力权重， $k$ 在骨干网络第1/2/3层分别设为7/5/3；
$\text{Concatenate}$ 为拼接操作，将平均池化 $F_{avg}$ 和最大池化 $F_{max}$ 的结果在通道维度拼接；
$F_{avg}$ 和 $F_{max}$ 为输入特征 $F$ 沿通道轴做平均/最大池化后的空间上下文描述子。

最终输入特征 $F$ 与空间注意力权重 $F_s$ 逐元素相乘，抑制相似干扰区域的特征响应，提升目标判别性。

4.2.2 模态专属挑战分支设计#

针对光照变化（IV）和热交叉（TC），设计参数独立的基础挑战分支分别建模各模态的特征，同时引入指导交互模块（GIM） 实现跨模态特征增强——利用高质量模态的判别特征指导低质量模态的特征学习，提升弱模态的表示能力：

光照变化（IV）：RGB模态为弱模态，热红外模态为高质量模态，用热红外特征增强RGB特征；
热交叉（TC）：热红外模态为弱模态，RGB模态为高质量模态，用RGB特征增强热红外特征。

4.3 交互模块设计#

4.3.1 指导交互模块（GIM）#

现有跨模态特征传递方法（如FiLM）存在两大缺陷：无法处理空间信息、易传递噪声信息。CAT++提出的GIM针对这两个问题做了改进，核心由逐点特征缩放/偏移和门控机制组成：

逐点特征缩放/偏移：用1×1卷积从高质量模态提取判别信息，对低质量模态特征做特征级的缩放和偏移，保留空间信息（区别于FiLM的通道级缩放/偏移）；
门控机制：通过1×1卷积+Sigmoid激活生成门控权重，公式类似空间注意力，抑制噪声信息在特征传递中的传播，仅保留有效判别信息。

GIM实现了跨模态的互补信息传递，同时避免了噪声干扰，显著提升了弱模态的特征判别性。

4.3.2 聚合交互模块（AIM）#

跟踪过程是挑战无关的——单帧可能同时存在多种挑战，因此需要将5个挑战分支的表示融合为一个统一的、更具判别性的目标表示。

AIM的核心设计：

采用拼接操作融合所有挑战分支的特征，避免加法操作导致的特征差异分散；
用1×1卷积进行特征自适应提取+维度降维，在保证效率的同时，生成适配挑战无关跟踪过程的目标表示；
融合后的特征以残差形式聚合到骨干网络的特征中，实现分层特征增强，残差连接公式为：

F_{backbone}^{l+1} = F_{backbone}^l + F_{AIM}^l

其中： $F_{backbone}^l$ 为骨干网络第 $l$ 层的原始特征， $F_{AIM}^l$ 为AIM融合后的第 $l$ 层挑战特征。

4.4 训练数据生成策略#

现有RGBT数据集的挑战标注存在标签缺失、标注模糊、数据分布不均衡三大问题（如缺少低分辨率、相似外观的帧级标注，手动标注耗时耗力）。为解决这些问题，作者设计了针对5类挑战的自动化训练数据生成策略，无需手动标注，且生成的数据多样化、标签无歧义，具体生成方式如下：

遮挡数据：在RGB和热红外图像的相同位置随机生成矩形遮挡框，框的颜色为目标区域的平均颜色，模拟部分/完全遮挡；
低分辨率数据：根据目标尺寸自适应缩小整幅图像，RGB和热红外模态缩放量一致；
相似外观数据：从同序列其他帧裁剪目标区域，经椒盐噪声、高斯模糊、旋转等变换后，粘贴到当前帧目标周围，模拟相似干扰物；
光照变化数据：对RGB模态做伽马校正（伽马值 $\gamma$ 随机选 $[0.1,0.7]$ 模拟低光照， $[1.5,4]$ 模拟高光照），伽马校正公式为：

I_{out} = I_{in}^\gamma

其中 $I_{in}$ 为原始RGB图像像素值（归一化到[0,1]）， $I_{out}$ 为伽马校正后的像素值； 5. 热交叉数据：对热红外模态做均值滤波（滤波器尺寸随机选 $[1,10]$ ），降低其判别性，模拟热交叉场景。

4.5 四阶段训练算法#

为了有效训练各模块，同时避免训练过程中的参数干扰，作者设计了四阶段渐进式训练策略，每阶段冻结其他模块参数，仅训练目标模块，训练基础均为SGD优化器，损失函数采用Softmax交叉熵损失+实例嵌入损失（参考RTMDNet），核心训练参数：

基础学习率：0.0001，动量：0.9，权重衰减：0.0005；
训练轮数：基础模型1000轮，后续模块与基础模型一致。

四阶段训练流程：

阶段1：训练基线跟踪器：训练双流CNN骨干网络+三层全连接分类器，骨干网络用ImageNet预训练的VGG-M初始化，全连接层随机初始化；
阶段2：训练所有挑战分支：冻结基线模型参数，逐一训练5个挑战分支（移除GIM），使用对应挑战的生成数据；
阶段3：训练指导交互模块（GIM）：冻结基线模型和挑战分支参数，训练GIM，实现跨模态特征增强；
阶段4：训练聚合交互模块（AIM）+微调全连接层：冻结前序所有参数，训练AIM，全连接层用更小的学习率（0.00001） 微调，适配融合后的挑战表示。

4.6 在线跟踪流程#

CAT++的在线跟踪流程基于RT-MDNet改进，分为初始化和逐帧跟踪两步，同时引入短时更新和长时更新适配目标外观变化，核心阈值与采样规则：

初始化（第一帧）：
- 替换最后一层全连接层，用500正样本（IoU>0.7）+5000负样本（IoU<0.5） 微调三层全连接层（50轮）；
- 采样1000个IoU>0.6的样本训练边界框回归器，优化跟踪框定位精度；
逐帧跟踪：
- 在前一帧跟踪结果周围采样256个候选区域，经网络前向传播得到跟踪分数，取Top-5候选区域的平均位置作为初始跟踪结果；
- 若跟踪分数 $>0$ ，判定跟踪成功，用边界框回归器优化跟踪框，并随机采样20正+100负样本用于在线更新；
- 若跟踪分数 $<0$ ，判定跟踪失败，执行短时更新（用最近20帧样本训练15轮），同时每10帧执行长时更新（用最近100帧样本训练15轮），快速适配目标外观变化。

05 实验分析#

作者在四大RGBT跟踪基准数据集（GTOT、RGBT210、RGBT234、LasHeR）上进行了全面实验，验证了CAT++的性能，其中LasHeR是目前最大的RGBT数据集（1224对视频，146.96万帧）。

5.1 实验设置#

评价指标：采用最大精度率（PR）、最大成功率（SR） 作为核心指标，LasHeR额外引入归一化精度率（NPR） 解决目标尺寸对PR的影响，指标计算规则：
- PR：跟踪结果中心与真实框中心距离小于阈值的帧占比（GTOT阈值5像素，其余数据集20像素）；
- SR：跟踪结果与真实框IoU大于阈值的帧占比，取曲线下面积为最终值；
- NPR：将PR的距离阈值归一化到真实框尺寸，解决小目标PR偏低问题。
对比方法：分为三类——属性基方法（CAT、ADRNet、APFNet）、CNN基方法（RT-MDNet+RGBT、DMCNet、LANet等13种）、Transformer基方法（TBSI、ViPT、CMD等7种）；
实现细节：GTOT测试时用RGBT234+生成数据训练，其余数据集测试时用GTOT+生成数据训练，验证方法在小样本训练下的有效性。

5.2 定量对比结果#

5.2.1 与属性基方法对比#

CAT++在四大数据集上全面超越CAT、ADRNet、APFNet：

相比CAT，GTOT/ RGBT210/ RGBT234的PR/SR分别提升2.6%/1.6%、3.0%/2.8%、3.6%/3.1%，LasHeR的PR/NPR/SR提升5.9%/4.9%/4.2%；
相比ADRNet/APFNet，RGBT210/RGBT234的PR/SR均有显著提升，仅在部分数据集的SR上略有落后，但PR/NPR优势明显，证明CAT++的目标定位精度更高。

5.2.2 与CNN基方法对比#

CAT++在小样本训练下（仅用GTOT的50个视频），全面超越13种CNN基方法，相比基线RT-MDNet+RGBT，四大数据集的PR/SR均提升7%以上；即使与使用LasHeR训练集（979个视频）的SOTA方法LANet相比，CAT++在RGBT210/RGBT234上的PR仍有显著提升，证明了基于挑战的解耦建模的有效性。

5.2.3 与Transformer基方法对比#

Transformer基方法依赖大规模预训练数据（如LaSOT、GOT-10K）和LasHeR训练集，参数规模达3.5亿，而CAT++仅用ImageNet预训练+GTOT小样本，参数仅9000万。尽管如此，CAT++在GTOT/RGBT234上取得了与Transformer基方法相当的性能，在RGBT210上的PR也有优势，实现了性能与训练数据规模的良好平衡。

5.3 挑战属性级性能分析#

在RGBT234的12类挑战子集上，CAT++在遮挡、低分辨率、热交叉、形变、快速运动等核心挑战上取得前2的性能，其中形变（DEF）、快速运动（FM）的PR/SR分别提升1.7%/0.2%、3.3%/2.5%，显著优于DMCNet、APFNet等SOTA方法，证明CAT++对不同挑战的建模能力均优于现有方法。

5.4 消融实验#

作者通过大量消融实验验证了各模块的有效性，核心结论如下：

挑战分支的有效性：单个挑战分支在对应挑战子集上均取得最优性能，相比基线RT-MDNet+RGBT，各挑战子集的PR/SR均提升2%以上；多分支融合后性能进一步提升，能有效处理多挑战共存的场景；
指导交互模块（GIM）的有效性：替换GIM为简单求和/FiLM/无门控GIM，性能均显著下降，证明GIM的空间信息保留和门控噪声抑制设计的必要性；
分层设计的有效性：将挑战分支嵌入骨干网络的所有卷积层（分层），比嵌入单/两层的性能更高，证明分层残差嵌入能充分利用不同层级的特征，提升挑战表示的判别性；
Transformer的潜力：在RoI Align后引入跨Transformer实现跨模态交互，性能略有提升（RGBT234的PR/SR达84.5%/59.3%），证明Transformer在跨模态融合中的潜力，为后续研究提供方向。

06 个人声明#

本文为作者对原论文的学习笔记与心得分享，受个人学识与理解所限，文中对论文内容的解读或有不够周全之处，一切以原论文正式表述为准。本文仅用于学术交流与传播，内容均由作者独立整理完成，不代表本公众号立场。如文中所涉文字、图片等内容存在版权争议，请及时与作者联系，作者将在第一时间核实并妥善处理。

音乐

音乐