一种基于模态差异补偿的RGBT目标跟踪方法技术

本发明专利技术公开了一种基于模态差异补偿的RGBT目标跟踪方法，包括：(1)一个用于单模态图像特征提取的双流CNN主干网络，其中一个流用于RGB图像，另一个流用于红外图像；(2)一个模态差异补偿模块，用于补偿单模态RGB和红外图像的差异信息，以及多模态RGB

【技术实现步骤摘要】
一种基于模态差异补偿的RGBT目标跟踪方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于模态差异补偿的RGBT目标跟踪方法。

技术介绍

[0002]目标跟踪是指在第一帧图像中指定感兴趣目标后，在后续的视频序列中逐帧地标记出目标位置和尺度信息，一般以矩形框进行标定。作为计算机视觉研究领域中的一个重要任务和研究分支，目标跟踪技术在无人驾驶、社区安防、环境监测、智能交通监控等民用领域以及战场动态分析、军事武器精确制导、无人机侦察、反导系统等军事领域具有十分重要的作用和价值。
[0003]随着深度神经网络的快速发展，基于可见光的目标跟踪技术已经取得了重要突破。可见光图像可以捕获丰富的目标信息，如颜色、纹理、边界等内容。但是由于成像原理的限制，可见光图像很容易受到环境的影响，以至于基于可见光的目标跟踪方法在可见度低、光照复杂、恶劣天气等场景下鲁棒性较低。
[0004]近年来，为了提高复杂场景下的目标跟踪性能，一些研究人员尝试应用多模态数据进行目标跟踪，如配准的可见光
‑
红外(RGB
‑
T)图像和可见光
‑
深度(RGB
‑
D)图像。其中，红外图像是根据物体的热辐射而成像，虽然缺乏目标颜色、纹理和形状信息且存在热交叉等专属挑战因素，但是对光照变化不敏感，具有较强的穿透雾霾的能力，与可见光图像形成了强烈的互补优势。因此，RGBT目标跟踪受到越来越多的关注。
[0005]与RGB跟踪相比，RGBT跟踪器能够在具有挑战性的环境中实现强大的跟踪性能。到目前为止，研究员们已经提出了许多RGBT跟踪器。早期的RGBT跟踪器都是基于手工特征而提出的。这些方法不能很好地适应具有挑战性的环境，如剧烈的外观变化、杂乱的背景、目标的快速运动和遮挡。受卷积神经网络(CNN)在RGB跟踪中成功应用的启发，最近几年的工作都趋向于使用CNN来提高RGBT跟踪器的性能。由于深度CNN具有强大的特征提取和表示能力，这些最新的RGB
‑
T跟踪器通常明显优于传统的跟踪器。最新的RGB
‑
T跟踪器通常使用双流网络结构来学习每个模态的特征并通过一些级联、像素级相加和模态权重等融合策略对可见光特征和红外特征进行融合以获得更鲁棒的目标表示。另外也有一些跟踪器通过通用适配器、模态适配器和实例适配器等三种适配器来提取不同的特征表示以充分利用RGB和红外模态的互补优势。
[0006]虽然这些算法在RGBT跟踪取得了巨大的成功，但是这些算法忽略了由于不同成像机制导致的RGB和红外图像之间的模态差异，这将导致跨模态互补信息利用不足，从而影响后续的跟踪性能。此外，这些跟踪方法通常利用融合后的RGBT跨模态特征来预测最终结果。由于RGB和红外数据具有很强的互补优势，因此融合的跨模态特征通常可以比单模态特征(如RGB特征或红外特征)推断出更好的预测。然而，在热交叉或强光照等极端条件下，融合的跨模态特征可能不如单模态特征可靠。

技术实现思路

[0007]针对可见光与红外图像的目标跟踪中跨模态信息利用问题，本专利技术提供了一种基于模态差异补偿的RGBT目标跟踪方法，利用模态间的差异信息实现模态间互补信息的交互与融合以充分利用两种模态的互补优势，并且同时结合单模态特征以提高目标跟踪算法的精确性和鲁棒性。
[0008]本专利技术采用如下技术方案来实现的：
[0009]一种基于模态差异补偿的RGBT目标跟踪方法，包括如下步骤：
[0010]步骤1：构建双流CNN主干网络；
[0011]步骤2：构建模态差异补偿模块；
[0012]步骤2.1：模态差异补偿模块采用补偿再融合的策略，首先分别补偿两种模态的差异信息，然后通过元素求和的方式融合补偿后的RGB和补偿后的红外特征；
[0013]步骤2.2：分别以差异特征F
r
‑
t
和F
t
‑
r
作为输入，采用两个结构相同的权值生成网络生成差异特征权重W
r
‑
t
和W
t
‑
r
，权值生成网络同时使用空间权值图和通道权值图来获取更多的补偿信息；
[0014]步骤2.3：在获得差异特征权重图W
r
‑
t
(W
t
‑
r
)之后，补偿后的RGB特征和补偿后的红外特征通过跨模态残差连接获得，即：
[0015][0016][0017]补偿后的RGB特征除了原始的单模态RGB特征F
rgb
外，还包含红外模态特有特征；同样的，如公式(7)所示，补偿后的红外特征包含RGB模态特有特征以及原始的单模态红外特性F
t
；通过对补偿后的RGB特征和补偿后的红外特征进行相加融合，得到最终融合的跨模态RGBT特征F
rgbt
∈R
C
×
H
×
W
，即：
[0018][0019]步骤3：构建特征选择模块；
[0020]基于注意机制的特征选择模块进一步自适应地选择高鉴别性的跨模态和单模态特征以提高RGBT跟踪性能；特征选择模块通过三个步骤充分选择所有模态特征的高鉴别性特征，模态特征包括跨模态RGBT特征、原始单模态RGB特征和原始单模态红外特征；
[0021]步骤3.1：所有模态特征融合，目的是从跨模态RGBT特征、原始单模态RGB特征和原始单模态红外特征中获取更多的信息；
[0022]步骤3.2：通道级的特征选择，旨在增强与目标相关的类别的特征，抑制无用的特征；
[0023]步骤3.3：空间级特征选择，旨在增强目标空间位置的权重，抑制远离目标的位置；步骤4：构建判别模型预测跟踪网络；
[0024]判别模型预测跟踪网络分别以模板图像特征和待检测图像特征为输入，并进行多任务输出：分类得分图，IoU预测；其中，分类得分图是通过待检测图像特征和滤波器f相计算而获得，滤波器f包括由一个卷积层以及一个精确的ROI池化组成的模型初始化器和通过
最速下降求解最终模型的模型优化器，模型滤波器f是通过在模型初始化器使用初始训练集中的多个样本来求解，IoU预测是预测图像的深度特征和候选边界框特征之间的IoU，然后通过最大化IoU预测来进行边界框估计；
[0025]步骤5：构建基于边界定位的二次回归网络：
[0026]基于边界定位的二次回归网络目的是对步骤4得到的IoU预测结果进行二次回归以获得更精确的目标框，基于边界定位的二次回归网络能够有效地细化IoUNet预测器的初始估计，并显著提高跟踪性能；
[0027]基于边界定位的二次回归网络使用以下两个步骤来进一步提高目标跟踪性能；
[0028]步骤5.1：基于边界定位的二次回归网络利用目标特征表示与搜索特征表示之间的互相关对边界框估计中心进行重新调整，得到目标在中心的重新调整边界框估计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态差异补偿的RGBT目标跟踪方法，其特征在于，包括如下步骤：步骤1：构建双流CNN主干网络；步骤2：构建模态差异补偿模块；步骤2.1：模态差异补偿模块采用补偿再融合的策略，首先分别补偿两种模态的差异信息，然后通过元素求和的方式融合补偿后的RGB和补偿后的红外特征；步骤2.2：分别以差异特征F
r
‑
t
和F
t
‑
r
作为输入，采用两个结构相同的权值生成网络生成差异特征权重W
r
‑
t
和W
t
‑
r
，权值生成网络同时使用空间权值图和通道权值图来获取更多的补偿信息；步骤2.3：在获得差异特征权重图W
v
‑
t
(W
t
‑
r
)之后，补偿后的RGB特征和补偿后的红外特征通过跨模态残差连接获得，即：通过跨模态残差连接获得，即：补偿后的RGB特征除了原始的单模态RGB特征F
rgb
外，还包含红外模态特有特征；同样的，如公式(7)所示，补偿后的红外特征包含RGB模态特有特征以及原始的单模态红外特性F
t
；通过对补偿后的RGB特征和补偿后的红外特征进行相加融合，得到最终融合的跨模态RGBT特征F
rgbt
∈R
C
×
H
×
W
，即：步骤3：构建特征选择模块；基于注意机制的特征选择模块进一步自适应地选择高鉴别性的跨模态和单模态特征以提高RGBT跟踪性能；特征选择模块通过三个步骤充分选择所有模态特征的高鉴别性特征，模态特征包括跨模态RGBT特征、原始单模态RGB特征和原始单模态红外特征；步骤3.1：所有模态特征融合，目的是从跨模态RGBT特征、原始单模态RGB特征和原始单模态红外特征中获取更多的信息；步骤3.2：通道级的特征选择，旨在增强与目标相关的类别的特征，抑制无用的特征；步骤3.3：空间级特征选择，旨在增强目标空间位置的权重，抑制远离目标的位置；步骤4：构建判别模型预测跟踪网络；判别模型预测跟踪网络分别以模板图像特征和待检测图像特征为输入，并进行多任务输出：分类得分图，IoU预测；其中，分类得分图是通过待检测图像特征和滤波器f相计算而获得，滤波器f包括由一个卷积层以及一个精确的ROI池化组成的模型初始化器和通过最速下降求解最终模型的模型优化器，模型滤波器f是通过在模型初始化器使用初始训练集中的多个样本来求解，IoU预测是预测图像的深度特征和候选边界框特征之间的IoU，然后通过最大化IoU预测来进行边界框估计；步骤5：构建基于边界定位的二次回归网络：基于边界定位的二次回归网络目的是对步骤4得到的IoU预测结果进行二次回归以获得更精确的目标框，基于边界定位的二次回归网络能够有效地细化IoUNet预测器的初始估计，并显著提高跟踪性能；基于边界定位的二次回归网络使用以下两个步骤来进一步提高目标跟踪性能；步骤5.1：基于边界定位的二次回归网络利用目标特征表示与搜索特征表示之间的互
相关对边界框估计中心进行重新调整，得到目标在中心的重新调整边界框估计；步骤5.2：对于步骤5.1得到的搜索特征F
p
采用边界定位方案提高定位精度，分别对每一条边界使用分类器进行定位同时使用回归器预测目标边界位置与真值之间的偏移；步骤6：两阶段训练；步骤6.1：在训练数据集上，对步骤4中的判别模型预测跟踪网络，采用监督学习机制，分别通过最小化鉴别学习损失函数和均方误差损失函数，完成算法网络训练，得到判别模型预测跟踪网络模型参数；步骤6.2：加载所述步骤6.1中的网络参数并进行冻结，在训练数据集上单独对步骤5中的基于边界定位的二次回归网络进行监督学习，通过最小化均方误差损失函数，获得训练好的网络；步骤7：目标跟踪：将所述网络集成为在线跟踪器，对可见光与红外视频数据进行跟踪；步骤7.1：给定带有注释的第一帧，通过平移、旋转和模糊对第一帧进行数据增强，得到一个包含15个样本的初始训练集；步骤7.2：以初始训练集图像和下一帧图像为输入，利用步骤1的双流CNN主干网络、步骤2的模态差异补偿模块和步骤3的特征选择模块分别获得模板融合特征和待检测融合特征；步骤7.3：以模板融合特征和待检测融合特征为输入，通过步骤4的判别模型预测跟踪网络获得初始框；步骤7.4：以模板融合特征、待检测融合特征以及扩展的初始框为输入，通过步骤5的基于边界定位的二次回归网络对初始框进行二次回归以获得更精确的目标矩形边框；步骤7.5：重复步骤7.2
‑
7.4，逐帧迭代计算图像中目标位置以及边框，实现RGBT目标连续跟踪；步骤7.6：每20帧后进行初始训练集更新，获得新的模板特征，然后继续步骤7.5。2.根据权利要求1所述的一种基于模态差异补偿的RGBT目标跟踪方法，其特征在于，步骤1中，双流CNNNN主干网络采用两个结构相同但参数不同的ResNet50，两个ResNet50主干网络分别输入RGB图像和红外图像，分别输出RGB单模态特征F
rgb
和红外单模态特征F
t
，双流CNN主干网络采用孪生结构分别提取模板图像双流特征和待检测图像的双流特征3.根据权利要求2所述的一种基于模态差异补偿的RGBT目标跟踪方法，其特征在于，步骤2.1中，模态差异补偿模块通过单模态RGB特征F
rgb
∈R
C
×
H
×
W
减去单模态红外特征F
t
∈R
C
×
H
×
W
以获得差异特征F
r
‑
t
∈R
C
×
H
×
W
，同时通过单模态红外特征F
t
∈R
C
×
H
×
W
减去单模态RGB特征F
rgb
∈R
C
×
H
×
W
以获得差异特征F
t
‑
r
∈R
C
×
H
×
W
，即：F
r
‑
t
＝(F
rgb
‑
F
t
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)F
t
‑
r
＝(F
t
‑
F
rgb
)
ꢀꢀꢀꢀ
(2)其中，差异特征F
r
‑
t
∈R
C
×
H
×
W
表示RGB模态特异性特征表示；差异特征F
t
‑
r
∈R
C
×
H
×
W
表示红外模态特异性特征表示。4.根据权利要求3所述的一种基于模态差异补偿的RGBT目标跟踪方法，其特征在于，步骤2.2中，空间权重图S
r
‑
t
∈R1×
H
×
W
是通过卷积层和一个sigmoid函数生成以反映RGB和红外
模态在空间位置上的差异信息；这里的卷积层是由一个卷积核为3
×
3的卷积操作、批归一化层、ReLu激活函数组成；空间权重图S
r
‑
t
∈R1×
H
×
W
和S
t
‑
r

【专利技术属性】
技术研发人员：张强，刘雪茹，金国强，张天路，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：