一种无人机跟踪方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种无人机跟踪方法、装置及计算机可读存储介质，包括如下具体步骤：获取训练样本；搭建网络架构；利用训练集训练出最优网络模型，并微调参数；利用最优网络模型对待跟踪视频序列中的目标进行跟踪，获取跟踪结果。本发明专利技术以ResNet50为主干网络，利用逐层特征融合网络自上而下地融合深卷积层的语义信息和浅卷积层的结构信息，从而有效应对相似物干扰和目标的外观变化问题，并通过注意力模块提高模型对目标的关注度，削弱模型对背景的关注度，缓解被跟踪目标受到背景干扰的问题，进而提高了无人机跟踪的成功率和准确度。而提高了无人机跟踪的成功率和准确度。而提高了无人机跟踪的成功率和准确度。

【技术实现步骤摘要】
一种无人机跟踪方法、装置和计算机可读存储介质


[0001]本专利技术属于单目标跟踪
，尤其涉及一种无人机跟踪方法、装置和计算机可读存储介质。

技术介绍

[0002]无人机被广泛应用于视频监控、人机交互、军事行动等领域，无人机跟踪技术的成功可以促进其他图像理解任务的发展。但无人机跟踪也面临着背景杂乱、尺度变化、相似物干扰、低分辨率等严峻挑战。
[0003]无人机跟踪算法主要分为两类：一类是基于相关滤波的方法，该类方法具有较高的跟踪效率，但不能有效地应对一些复杂的无人机场景中所面临的挑战；另一类是深度学习领域中基于孪生网络的方法，该类方法将相似性学习的概念引入单目标跟踪领域，它将目标跟踪看成模板匹配的任务而不是传统的分类任务，在目标跟踪过程中不需要更新模板，从而大大提高了跟踪速度，同时采用深度特征代替手工特征，所以基于孪生网络的无人机跟踪方法取得了速度和精度的良好的平衡，该类方法逐渐成为单目标跟踪领域的主流技术。
[0004]然而，大部分基于孪生网络的算法都直接利用特征提取网络提取的最后一个卷积层的特征，或者对多个卷积层的特征简单组合。深层特征中包含更多的语义信息，有利于目标的定位，能够自适应目标的外观变化，但对于相似物体的辨别能力较弱，浅层特征中包含更多的颜色、纹理等空间细节信息，有利于将目标从相似物种区分出来，但当目标的外观发生剧烈变化时，容易跟踪失败。因此，有效融合深层特征和浅层特征可以在缓解相似物干扰的同时自适应目标的外观变化。

技术实现思路

[0005]针对以上问题，本专利技术提供了一种无人机跟踪方法、装置和计算机可读存储介质，通过改进的特征金字塔网络逐层融合深卷积层的语义信息和浅层卷积层的结构信息，从而有效应对相似物干扰和目标的外观变化问题，并通过注意力模块提高模型对目标的关注度，削弱对背景的关注度，防止被跟踪目标受到背景的干扰。
[0006]本专利技术通过以下技术方案来实现上述目的：
[0007]第一方面，本专利技术提供一种无人机跟踪方法，包括：
[0008]S1、获取got10K数据集作为训练集，对训练集进行预处理，得到训练样本。
[0009]进一步地，S1具体包括：
[0010]S11、裁剪数据集，获取图像对：将模板图像和搜索图像分别以目标为中心进行裁剪，接着对图像进行仿射变换得到图像对；
[0011]S12、将got10K数据集信息写入json文件：读取got10K的train，val文件夹，将图像尺寸、目标框以及路径等信息嵌入到一个复合字典中，将字典保存为json文件。
[0012]S2、搭建网络结构。
[0013]进一步地，S2具体包括：
[0014]S21、搭建特征提取网络：本专利技术使用ResNet50作为主干网络；
[0015]S22、搭建逐层特征融合网络：逐层融合ResNet50最后三层卷积层的特征；
[0016]S23、搭建特征增强网络；
[0017]进一步地，S23具体包括包括：
[0018]S231、搜索分支的注意力模块包含3个子模块：通道注意力模块、空间注意力模块和交叉注意力模块，采用的结合方式是先将通道注意力模块与空间注意力模块串联再与交叉注意力模块并联；
[0019]S232、模板分支的注意力模块包含2个子模块：通道注意力模块和空间注意力模块，这两个模块的作用同搜索分支的一样；
[0020]S24、计算模板分支与搜索分支的相似度：将两个分支提取到的第三层、第四层和第五层的卷积特征分别进行深度互相关操作，得到三个互相关响应图，将三个互相关响应图在通道维度上进行拼接，随后利用卷积操作降低响应图的通道数，减小计算量；
[0021]S25、搭建分类与回归网络：该网络由分类分支、中心度分支和回归分支组成，分类分支用来预测每个像素点的类别，中心度分支用来剔除远离目标中心的低质量的目标边界框，回归分支用于计算目标边界框。
[0022]S3、训练网络模型，优化网络参数，得到最优网络模型。
[0023]进一步地，S3具体包括：
[0024]S31、将裁剪好的模板分支图像和搜索分支图像输入到搭建好的网络中，获取到分类响应图、中心度响应度和回归响应图，从三个响应图中解码出目标的位置和尺度信息；
[0025]S32、计算三个分支的损失函数：分类损失L
cls
、中心度损失L
cen
、回归损失L
reg
；
[0026]S33、总的损失函数为三个分支损失函数的加权和：
[0027]L＝L
cls
+λ1L
cen
+λ2L
reg
；
[0028]S34、优化网络参数：采用随机梯度下降法不断地进行反向传播直至损失函数达到最小，从而确定网络模型的最优参数。
[0029]S4、利用S3所述最优网络模型对待跟踪视频序列中的目标进行跟踪，预测视频序列中待跟踪目标的位置和尺度信息。
[0030]进一步地，S4具体包括：
[0031]S41、获取待跟踪的视频序列；
[0032]S42、视频序列第一帧中的目标区域作为模板分支的输入，在后续帧中以上一帧预测的目标位置为中心框选搜索区域，并作为搜索分支的输入；
[0033]S43、将模板图像和搜索图像输入到搭建好的网络中，并利用训练好的模型进行目标位置信息和尺度信息的预测，获得跟踪结果；
[0034]第二方面，本专利技术提供一种无人机跟踪装置300，所述装置包括：
[0035]视频序列获取模块301：用于获取无人机跟踪方法所使用的视频序列；
[0036]网络搭建模块302：用于搭建无人机跟踪方法的网络架构；
[0037]训练模块303：用于确定无人机跟踪方法的最优网络模型；
[0038]跟踪模块304：利用最优网络模型对待跟踪视频序列进行跟踪，确定待跟踪目标的位置信息和尺度信息。
[0039]作为一个专利技术构思，本专利技术还提供了一种计算机可读存储介质，其存储有程序，该程序被配置为用于执行本专利技术方法的步骤。
[0040]与现有技术相比，本专利技术的有益效果在于：提出了一个逐层的特征融合模块，使模型集成了深层卷积层的语义和浅层卷积层的结构信息，从而有效应对相似物干扰和目标的外观变化问题；设计了一个有效的注意力模块，该模块使模型能够有效地区分目标和背景，从而更准确地确定目标的中心。
附图说明
[0041]为了更清楚地说明本专利技术实施例的技术方案，下面对实施例中使用的附图作简单地介绍。
[0042]图1为本专利技术实施方式的无人机跟踪方法的流程图；
[0043]图2为本专利技术实施方式的无人机跟踪方法的网络架构图；
[0044]图3为本专利技术实施方式的无人机跟踪装置结构组成示意图。
具体实施方式
[0045]以下结合附图对本专利技术做进一步的解释说明。
[0046]图1是本专利技术的无人机跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机跟踪方法，其特征在于，包括以下步骤：S1、获取got10K数据集为训练集，预处理got10K数据集，得到训练样本；S2、搭建网络结构；S3、训练网络模型，优化网络参数，得到最优网络模型；S4、利用S3所述最优网络模型对待跟踪视频序列中的目标进行跟踪，预测视频序列中待跟踪目标的位置和尺度信息，获取跟踪结果。2.根据权利要求1所述的一种无人机跟踪方法，其特征在于，所述S1具体包括：S11、裁剪数据集，获取图像对：将模板图像和搜索图像分别以目标为中心进行裁剪，接着对图像进行仿射变换后得到图像对；S12、将got10K数据集信息写入json文件：读取got10K的train，val文件夹，将图像的尺度、目标框以及路径等信息层层嵌入到一个复合字典中，将字典保存为json文件。3.根据权利要求1所述的一种无人机跟踪方法，其特征在于，所述S2具体包括：S21、搭建特征提取网络，本发明使用ResNet50作为主干网络；S22、搭建逐层特征融合网络：逐层融合ResNet50后三层卷积层的特征；S23、搭建特征增强网络：包括搭建搜索分支的注意力模块和模板分支的注意力模块，其中搜索分支的注意力模块由通道注意力模块、空间注意力模块和交叉注意力模块组成，模板分支的注意力模块由通道注意力模块和空间注意力模块组成；S24、计算模板分支与搜索分支的相似度：将两个分支提取到的第三层、第四层和第五层的卷积特征分别进行深度互相关操作，得到三个互相关响应图，将三个互相关响应图在通道维度上进行拼接，随后利用卷积操作降低响应图的通道数，减小计算量；S25、搭建分类与回归网络：该网络由分类分支、中心度分支和回归分支组成,分类分支用来预测每个像素点的类别，中心度分支用来剔除远离目标中心的低质量的目标边界框，回归分支用于计算目标边界框。4.根据...

【专利技术属性】
技术研发人员：付小雁，刘红红，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：