【技术实现步骤摘要】
基于多阶段注意力机制的RGBT无人机目标跟踪方法及系统
[0001]本专利技术涉及计算机视觉目标跟踪
，尤其是一种基于多阶段注意力机制的RGBT无人机目标跟踪方法及系统。
技术介绍
[0002]目标跟踪旨在一视频序列中定位目标位置，是计算机视觉领域中的一个关键任务，其广泛应用于自动驾驶、环境监测、安保监控等。当前随着无人机的广泛使用，通过目标跟踪实现对无人机状态的感知也变得愈发重要。目前大部分目标跟踪器和目标跟踪数据集大多聚焦于通用物体的目标跟踪，如人体、汽车等大尺度目标上。以孪生模型为基础的跟踪方法，以共享权重的方式将模板图像和待跟踪图像建立联系。它通常包含三个主要步骤：首先我们对输入的两张图像（模板图像和搜索图像）进行特征提取操作，使用共享权重的骨干模型来提取他们各自的特征。由于骨干模型是共享权重的，因此两张图像的相同目标将会产生相似的响应。随后，使用相关操作在搜索帧中定位和模板帧目标相似的区域。
[0003]而无人机由于目标运动模糊、快速运动、低分辨率以及背景复杂等因素，倘若单一模态（可见光或红外）将通用...
【技术保护点】
【技术特征摘要】
1.基于多阶段注意力机制的RGBT无人机目标跟踪方法，其特征在于，该方法具体为：步骤S1：构建训练、评估数据集，选取公开的GOT10K、OTB100和Anti
‑
UAV中划分数据，用于模型训练和测试；步骤S2：构建目标跟踪模型；步骤S3：训练离线模型，加载预训练模型swin
‑
transformer，使用AdamW算法训练目标跟踪模型，直至损失收敛；步骤S4：执行在线跟踪，读取视频序列并获取视频中的第一帧作为模板图像，对标注区域进行裁剪获取初始目标，对后续序列，进行步骤S2中目标跟踪模型，最终完成整个序列跟踪。2.如权利要求1所述的基于多阶段注意力机制的RGBT无人机目标跟踪方法，其特征在于，所述步骤S1中，将传统可见光数据集作为预训练数据集，针对无人机特定目标，使用Anti
‑
UAV数据集进行更进一步的训练；将热成像和可见光图像两种模态的无人机图像作为所述方法的输入。3.如权利要求1所述的基于多阶段注意力机制的RGBT无人机目标跟踪方法，其特征在于，所述步骤S2中，目标跟踪模型包括特征提取模块、多层次特征融合模块、互相关模块、目标分类器、目标定位器，具体如下：步骤S2.1：构建共享权重的双分支特征提取模块，利用swin
‑
transformer作为预训练主干模型，输出其最后一层特征；步骤S2.2：构建多层次特征融合模块，针对步骤S2.1所提取的特征图，以双分支三阶段来进行特征融合，以交叉查询的方式提高模型对多模态之间的信息的利用，引导一个模态向另一个模态查询隐含特征；步骤S2.3：构建互相关模块，利用注意力机制，实现模板图像与搜索图像之间的交叉感知；步骤S2.4：构建目标分类器，目标分类器由三层全连接层构成，最终输出为一个维度为1024*2的向量；步骤S2.5：构建目标定位器，目标定位器由三层全连接组成，输出维度为1024*4，分别目标框的归一化坐标。4.如权利要求3所述的基于多阶段注意力机制的RGBT无人机目标跟踪方法，其特征在于，所述步骤S2.2中，在特征融合的第一个阶段，使用自注意力机制以增强模型对目标区域的感知能力，公式如下：公式如下：上式中，X表示由特征提取模块之后所得到的特征，表示特征经嵌入层的输出，FFN表示三层带残差的全连接函数，表示第一阶段的输出；MultiHead函数表示多头注意力函数，公式如下：公式如下：
在上式的Q，K和V分别表示查询、键和值，均经过1
×
1卷积进行变维，表示尺度因子，表示第i个单个注意力函数输出，表示多头注意力拼接的权重矩阵，n...
【专利技术属性】
技术研发人员：张志豪，王珺，赵健，张博，戴华东，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。