一种基于掩码预训练的无人机目标跟踪方法技术

本发明专利技术公开一种基于掩码预训练的无人机目标跟踪方法，包括以下步骤：步骤1，从数据集中采样图像对并进行图像增强构成训练数据集；步骤2，创建基于掩码预训练的无人机目标跟踪网络模型；步骤3，对基于掩码预训练的无人机目标跟踪网络模型进行基于掩码重建的预训练；步骤4，对于步骤3预训练好的基于掩码预训练无人机目标跟踪网络模型，移除解码器和掩码重建任务后进行再训练；步骤5，将待跟踪视频输入到步骤4训练好的基于掩码预训练的无人机目标跟踪网络模型，得到跟踪结果。本发明专利技术能够在保持跟踪精度的同时降低模型复杂度，很好地提升跟踪速度。速度。速度。

【技术实现步骤摘要】
一种基于掩码预训练的无人机目标跟踪方法


[0001]本专利技术属于无人机目标跟踪
，一种基于掩码预训练的无人机目标跟踪方法。

技术介绍

[0002]视觉目标跟踪是计算机视觉领域中一个极具吸引力的研究方向，其目的是在给定某视频初始帧中目标位置的情况下，对视频中的目标进行特征提取，根据提取到的目标特征来预测未来时间帧中目标的位置，从而完成对目标的跟踪任务。无人机作为一种新兴的遥感平台，凭借其体积小和操作简单等优势，近年来受到越来越多的关注。在智能化趋势的大背景下，基于无人机的目标跟踪受到人们的青睐，并逐渐应用于民用和军事领域。
[0003]无人机目标跟踪与地面目标跟踪相比，无人机视角下的目标主要有尺寸小、背景干扰严重、目标尺度变化大等特点，且无人机在飞行过程中容易出现相机抖动和飞行速度变化，造成目标出现模糊和形变等情况。除此之外，无人机跟踪处理平台大多都是计算资源有限的移动平台，无法完成复杂网络模型的实时处理。因此设计一个网络模型简单且鲁棒的无人机目标跟踪算法具有十分重要的意义。
[0004]随着深度学习的发展，目标跟踪领域取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于掩码预训练的无人机目标跟踪方法，其特征在于，包括以下步骤：步骤1，从数据集中采样图像对并进行图像增强构成训练数据集；步骤2，创建基于掩码预训练的无人机目标跟踪网络模型；步骤3，对基于掩码预训练的无人机目标跟踪网络模型进行基于掩码重建的预训练；步骤4，对于步骤3预训练好的基于掩码预训练无人机目标跟踪网络模型，移除解码器和掩码重建任务后进行再训练；步骤5，将待跟踪视频输入到步骤4训练好的基于掩码预训练的无人机目标跟踪网络模型，得到跟踪结果。2.如权利要求1所述的一种基于掩码预训练的无人机目标跟踪方法，其特征在于，所述步骤1中的图像对包括从视频数据集TrackingNet、LaSOT和GOT10k中同一个视频中采样两帧图像构成的图像对，还包括COCO数据集中原始图像采用平移或亮度抖动来生成图像对。3.如权利要求1所述的一种基于掩码预训练的无人机目标跟踪方法，其特征在于，步骤2中所述基于掩码预训练的无人机目标跟踪网络模型包括利用Vision Transformer构建编码器和解码器，所述编码器输出与所述解码器输入连接，所述解码器输出端连接边界框预测头。4.如权利要求3所述的一种基于掩码预训练的无人机目标跟踪方法，其特征在于，所述边界框预测头包括依次连接的分类头和回归头，所述分类头和回归头均由3个卷积块构建而成。5.如权利要求3或4所述的一种基于掩码预训练的无人机目标跟踪方法，其特征在于，所述步骤3.1，对训练数据集中的图像对，每个图像对中一个图像作为模板图像，另一个图像作为搜索图像；以目标为中心对两张图像进行一定尺度的裁剪，其中若模板图像裁剪为x*x大小，则搜索图像裁剪为2x*2x大小；步骤3.2，分别将模板图像和搜索图像分割成不相重叠且大小相同的图像块，得到模板图像块序列S
T
和搜索图像块序列S
S
；步骤3.3，分别对模板图像块序列S
T
和搜索图像块序列S
S
进行一定比例的随机掩码，将掩码的图像块从序列中移除，得到掩码后的图像块序列S
′
T
、S
′
S
以及掩码标记mask
token
，然后将S
′
T
和S
′
S
拼接在一起得到图像块序列S
′
x
；步骤3.4，将拼接后的图像块序列S
′
x
送入编码器，通过Transformer中的自注意力机制构建图像块之间的关系，得到编码后的图像块序列S
encoder
，其中注意力计算公式如...

【专利技术属性】
技术研发人员：梁继民，牟剑，卫晨，郑洋，郭开泰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：