一种面向弱配准数据的可见光热红外视觉跟踪方法技术

一种面向弱配准数据的可见光热红外视觉跟踪方法，属于计算机视觉技术领域，解决多模态跟踪器对配准数据的依赖的问题；本发明专利技术的方法引入渐进式特征配准模块实现模态特征级配准，配准后的多模态特征进一步通过transformer融合模块实现特征融合，利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；本发明专利技术的方法可以在不依赖严格配准的多模态数据下挖掘可见光和热红外模态的互补信息，有效实现了可见光和热红外之间的模态互补，进一步提高多模态目标跟踪的准确率。踪的准确率。踪的准确率。

【技术实现步骤摘要】
一种面向弱配准数据的可见光热红外视觉跟踪方法


[0001]本专利技术属于计算机视觉
，涉及一种面向弱配准数据的可见光热红外视觉跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域中的基本任务之一，其目的是在给定视频序列初始帧目标大小和位置的情况下，预测后续帧中该目标的大小和位置。近些年，目标跟踪技术取得了巨大的突破和发展，并且已经广泛运用到智能交通、无人驾驶和医疗影像等领域。可见光数据在极端光照、雨雪雾等恶劣条件下的可靠性大大降低，进而影响跟踪器的性能。为了弥补可见光数据的不足，近年来一些研究者通过引入热红外模态开展了多模态跟踪的相关研究，以实现全天时全天候条件下的鲁棒视觉跟踪性能。为了训练先进的多模态跟踪器，需要准备配准的多模态数据。现有多模态跟踪器依赖配准的多模态数据进行训练和测试，然而可见光和热红外数据是由不同传感器捕捉的，为了得到配准的多模态数据需要进行耗时耗力的手工配准过程，配准多模态数据的获取问题严重限制了多模态跟踪的发展；其次，现有多模态跟踪器无法挖掘弱配准数据的多模态互补优势。

技术实现思路

[0003]本专利技术的目的在于如何设计一种面向弱配准数据的可见光热红外视觉跟踪方法，以解决多模态跟踪器对配准数据的依赖的问题。
[0004]本专利技术是通过以下技术方案解决上述技术问题的：
[0005]一种面向弱配准数据的可见光热红外视觉跟踪方法，采用的网络模型包括：特征提取网络、渐进式特征融配准模块、transformer融合模块以及模型预测器；所述的特征提取网络用于提取可见光和热红外的多模态特征；所述的渐进式特征融配准模块，利用弱配准图像对预测单应性矩阵，用以扭曲热红外模态特征以实现热红外模态特征向可见光模态特征的配准；所述的transformer融合模块，由多头注意力机制组成，用于融合配准后的多模态特征；所述的模型预测器，由模型预测模块和调制向量模块组成，用于利用融合的多模态特征进行最后的跟踪结果预测；
[0006]所述的跟踪方法包括以下步骤：
[0007]步骤一：在初始帧或上一帧结果目标周围生成搜索区域，并提取搜索区域的多模态特征；
[0008]步骤二：将特征提取网络提取的多模态特征利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准，同时更新单应性矩阵；
[0009]步骤三：将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合；
[0010]步骤四：利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图
特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；
[0011]步骤五：跟踪下一帧。
[0012]进一步地，步骤二中所述的利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准的方法如下：首先根据主单应性矩阵H
M
利用空间转换网络STN实现热红外模态特征向可见光模态特征的粗配准，将可见光特征与粗配准的热红外特征在通道维度上拼接送给单应性估计模块估计次单应性矩阵H
R
，所述的单应性估计模块由残差模块、全局平均池化、全连接层以及直接线性变换依次连接组成；再使用空间转换网络STN实现热红外模态的细配准，并对预测的次单应性矩阵H
R
进行监督，损失函数如下：
[0013][0014]其中，L
M
为单应性损失函数，H
T
代表监督信号量矩阵，n代表单应性矩阵的维度，为次单应性矩阵的第i行、第j列的元素，为监督信号量矩阵的第i行、第j列的元素。
[0015]进一步地，步骤二中所述的更新单应性矩阵的方法如下：根据预测的次单应性矩阵H
R
更新主单应性矩阵H
M
的值，其公式如下：
[0016][0017]其中，为更新后的主单应性矩阵。
[0018]进一步地，步骤三中所述的将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合的方法具体如下：将配准后的可见光模态特征F
RGB
和热红外模态F
T
作为transformer融合模块的输入，以F
RGB
结合位置编码作为Query集，以F
RGB
连接F
T
结合位置编码作为Key集，以F
RCB
连接F
T
作为Value，进行多头自注意力操作，并通过残差相加，再经过前馈神经网络以及归一化操作获得热红外可见光融合模态特征。
[0019]进一步地，步骤四中所述的最优的预测模型的计算方法如下：
[0020]将训练集的特征S
train
特征输入到初始化的模型预测模块中得到预测模型f，利用预测模型f在测试集的特征S
test
上进行损失计算，公式如下：
[0021][0022]其中，s代表测试集的样本M
test
的预测得分值，z代表样本标签值，T代表前景和背景，l(s，z)为损失计算函数；
[0023]对每次迭代的损失都做约束，利用Hing
‑
like损失函数进行优化，公式如下：
[0024][0025]其中，L
cls
为目标位置的分类损失，N
iter
代表迭代次数，z
c
代表样本标签值作为目标c的高斯函数，x为输入的搜索区域特征，f
i
为第i次迭代取得的预测模型。
[0026]进一步地，步骤四中所述的通过调制向量模块进行包围框的选取的方法如下：
[0027]利用调制向量模块预测的包围框与真值包围框的均方误差大小进行模型训练，公式如下：
[0028][0029]其中，L
bb
为目标边界框回归损失，IOU
P
为预测包围框与真值的交并比，IOU
T
为真实包围框与真值的交并比；
[0030]最终的优化损失函数L
tot
为单应性损失、目标位置的分类损失和目标边界框回归损失的加权和，公式如下：
[0031]L
tot
＝αL
M
+βL
cls
+L
bb
[0032]其中，α和β均为超参数。
[0033]本专利技术的优点在于：
[0034]本专利技术的方法针对多模态数据存在天然偏移扭曲，实现配准又需要耗费大量人力的特点，引入渐进式特征配准模块实现模态特征级配准，首先按照第一帧或上一帧的目标位置计算单应性矩阵，实现热红外图像特征向可见光图像特征的粗配准，再将可见光特征和粗配准的热红外特征按通道维度拼接后送给单应性估计子网络，预测出两个模态特征的次单应性变换矩阵，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，采用的网络模型包括：特征提取网络、渐进式特征融配准模块、transformer融合模块以及模型预测器；所述的特征提取网络用于提取可见光和热红外的多模态特征；所述的渐进式特征融配准模块，利用弱配准图像对预测单应性矩阵，用以扭曲热红外模态特征以实现热红外模态特征向可见光模态特征的配准；所述的transformer融合模块，由多头注意力机制组成，用于融合配准后的多模态特征；所述的模型预测器，由模型预测模块和调制向量模块组成，用于利用融合的多模态特征进行最后的跟踪结果预测；所述的跟踪方法包括以下步骤：步骤一：在初始帧或上一帧结果目标周围生成搜索区域，并提取搜索区域的多模态特征；步骤二：将特征提取网络提取的多模态特征利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准，同时更新单应性矩阵；步骤三：将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合；步骤四：利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；步骤五：跟踪下一帧。2.根据权利要求1所述的一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，步骤二中所述的利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准的方法如下：首先根据主单应性矩阵H
M
利用空间转换网络STN实现热红外模态特征向可见光模态特征的粗配准，将可见光特征与粗配准的热红外特征在通道维度上拼接送给单应性估计模块估计次单应性矩阵H
R
，所述的单应性估计模块由残差模块、全局平均池化、全连接层以及直接线性变换依次连接组成；再使用空间转换网络STN实现热红外模态的细配准，并对预测的次单应性矩阵H
R
进行监督，损失函数如下：其中，L
M
为单应性损失函数，H
T
代表监督信号量矩阵，n代表单应性矩阵的维度，为次单应性矩阵的第i行、第j列的元素，为监督信号量矩阵的第i行、第j列的元素。3.根据权利要求2所述的一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，步骤二中所述的更新单应性矩阵的方法如下：根据预测的次单应性矩阵H
R
更新主单应性矩阵H
M
的值，其公式如下：其中，为更新后的主单应性矩阵。4.根据权...

【专利技术属性】
技术研发人员：李成龙，沈庆，刘磊，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：