一种面向弱配准数据的可见光热红外视觉跟踪方法技术

一种面向弱配准数据的可见光热红外视觉跟踪方法，属于计算机视觉技术领域，解决多模态跟踪器对配准数据的依赖的问题；本发明专利技术的方法引入渐进式特征配准模块实现模态特征级配准，配准后的多模态特征进一步通过transformer融合模块实现特征融合，利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；本发明专利技术的方法可以在不依赖严格配准的多模态数据下挖掘可见光和热红外模态的互补信息，有效实现了可见光和热红外之间的模态互补，进一步提高多模态目标跟踪的准确率。踪的准确率。踪的准确率。

【技术实现步骤摘要】
一种面向弱配准数据的可见光热红外视觉跟踪方法


[0001]本专利技术属于计算机视觉
，涉及一种面向弱配准数据的可见光热红外视觉跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域中的基本任务之一，其目的是在给定视频序列初始帧目标大小和位置的情况下，预测后续帧中该目标的大小和位置。近些年，目标跟踪技术取得了巨大的突破和发展，并且已经广泛运用到智能交通、无人驾驶和医疗影像等领域。可见光数据在极端光照、雨雪雾等恶劣条件下的可靠性大大降低，进而影响跟踪器的性能。为了弥补可见光数据的不足，近年来一些研究者通过引入热红外模态开展了多模态跟踪的相关研究，以实现全天时全天候条件下的鲁棒视觉跟踪性能。为了训练先进的多模态跟踪器，需要准备配准的多模态数据。现有多模态跟踪器依赖配准的多模态数据进行训练和测试，然而可见光和热红外数据是由不同传感器捕捉的，为了得到配准的多模态数据需要进行耗时耗力的手工配准过程，配准多模态数据的获取问题严重限制了多模态跟踪的发展；其次，现有多模态跟踪器无法挖掘弱配准数据的多模态互补优势。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，采用的网络模型包括：特征提取网络、渐进式特征融配准模块、transformer融合模块以及模型预测器；所述的特征提取网络用于提取可见光和热红外的多模态特征；所述的渐进式特征融配准模块，利用弱配准图像对预测单应性矩阵，用以扭曲热红外模态特征以实现热红外模态特征向可见光模态特征的配准；所述的transformer融合模块，由多头注意力机制组成，用于融合配准后的多模态特征；所述的模型预测器，由模型预测模块和调制向量模块组成，用于利用融合的多模态特征进行最后的跟踪结果预测；所述的跟踪方法包括以下步骤：步骤一：在初始帧或上一帧结果目标周围生成搜索区域，并提取搜索区域的多模态特征；步骤二：将特征提取网络提取的多模态特征利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准，同时更新单应性矩阵；步骤三：将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合；步骤四：利用融合特征输入到模型预测器取得当前帧的最优的预测模型，与全图特征进行卷积操作以获得得分权重图，响应值高的位置则代表目标的预测位置，同时通过调制向量模块进行包围框的选取，完成对当前帧目标的准确定位；步骤五：跟踪下一帧。2.根据权利要求1所述的一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，步骤二中所述的利用渐进式特征配准模块进行特征粗配准，同时预测单应性矩阵，进而实现热红外特征向可见光特征的细配准的方法如下：首先根据主单应性矩阵H
M
利用空间转换网络STN实现热红外模态特征向可见光模态特征的粗配准，将可见光特征与粗配准的热红外特征在通道维度上拼接送给单应性估计模块估计次单应性矩阵H
R
，所述的单应性估计模块由残差模块、全局平均池化、全连接层以及直接线性变换依次连接组成；再使用空间转换网络STN实现热红外模态的细配准，并对预测的次单应性矩阵H
R
进行监督，损失函数如下：其中，L
M
为单应性损失函数，H
T
代表监督信号量矩阵，n代表单应性矩阵的维度，为次单应性矩阵的第i行、第j列的元素，为监督信号量矩阵的第i行、第j列的元素。3.根据权利要求2所述的一种面向弱配准数据的可见光热红外视觉跟踪方法，其特征在于，步骤二中所述的更新单应性矩阵的方法如下：根据预测的次单应性矩阵H
R
更新主单应性矩阵H
M
的值，其公式如下：其中，为更新后的主单应性矩阵。4.根据权...

【专利技术属性】
技术研发人员：李成龙，沈庆，刘磊，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：