一种基于可见光引导的多注意力RGBT目标跟踪方法技术

本发明专利技术属于扩展目标跟踪技术领域，具体涉及一种基于可见光引导的多注意力RGBT目标跟踪方法。本发明专利技术提出了非对称可见光引导的双向融合网络，利用可见光特征丰富红外特征的信息，引导两个模态的融合，完成模态的交互，减少目标跟踪任务精度的损失。此外为了使目标跟踪网络具有尺度感知和空间感知的能力，设计了基于目标关注的串联多角度动态模块，关注目标的大小变化、边缘模糊等问题，完成尺度感知和空间感知任务。然后采用Transformer对模板图像和搜索图像的特征进行相关性计算，对模板特征和搜索特征进行全局关联。最后通过分类回归组合对目标的位置和目标的大小进行预测。

【技术实现步骤摘要】

本专利技术属于扩展目标跟踪，具体涉及一种基于可见光引导的多注意力rgbt目标跟踪方法。

技术介绍

1、rgbt目标跟踪技术是指一种利用红外图像和可见光图像两者的互补信息实现多模态融合的目标跟踪技术。检验目标跟踪算法性能的一项重要的指标就是目标跟踪精度和跟踪速度。而在很多应用场景中，目标跟踪算法的精度比速度更为重要，如在安防监控中跟踪嫌疑人员的轨迹、在天网系统中追踪嫌疑车辆等。但在传统的以孪生网络为架构的跟踪算法中，由于特征提取和相关计算是独立的计算单元，导致主干网络交互不足，两个模态的信息在特征提取的时候无法实现充分互补融合，导致无法很好的获取关键特征，最终导致跟踪精度的损失。

技术实现思路

1、本专利技术以提高目标跟踪精度为主要目标，提出一种基于可见光引导的多注意力rgbt目标跟踪方法。本专利技术采用残差网络提取特征，引入非对称可见光引导的双向融合，通过可见光特征来丰富红外特征的信息，引导两个模态的融合，完成模态的交互；此外，针对交互不足的问题，将transformer应用于相关响应中，对模板特征和搜索特征本文档来自技高网...

【技术保护点】

1.一种基于可见光引导的多注意力RGBT目标跟踪方法，其特征在于，包括以下步骤：

【技术特征摘要】

1.一种基于可见光引导的多注意力rgbt...

【专利技术属性】
技术研发人员：廖阔，陆婉莜，陈思情，黄际彦，沈晓峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：