一种注意力增强的无人机航拍目标跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种注意力增强的无人机航拍目标跟踪方法和装置，涉及图像跟踪技术领域，包括：获取无人机航拍视频，将无人机航拍视频的初始帧和当前帧输入基于IResNet网络构建的孪生跟踪网络中模板分支和搜索分支，分别从IResNet网络的layer2、layer3和layer4三个卷积块输出三组模板分支特征图和搜索分支权特征图，利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融合，利用加权融合的结果跟踪当前帧中的目标。该方法可以对目标分类，增强对目标的表征能力。增强对目标的表征能力。增强对目标的表征能力。

【技术实现步骤摘要】
一种注意力增强的无人机航拍目标跟踪方法和装置


[0001]本专利技术涉及图像跟踪
，更具体的涉及一种注意力增强的无人机航拍目标跟踪方法和装置。

技术介绍

[0002]目标跟踪的主要任务是在给定目标第一帧后，对后续帧中出现的该目标进行持续不断的定位跟踪。在无人机对目标的跟踪过程中，视频图像经数据链系统传输至地面站显示，操纵手通过操纵杆及其他指令控制稳定无人机平台和摄像系统搜索侦察目标，当感兴趣的目标出现在画面上时，选择感兴趣目标，地面计算机会提取该目标的一系列特征，并将其作为模板。计算机通过计算模板图像与后续图像的相似度，来确认后续图像中感兴趣目标的位置信息，实现对目标的持续跟踪。
[0003]相较于地面平台，无人机视角下目标尺寸相对较小，目标包含的像素点较少，并且无人机飞行过程中容易出现相机抖动和飞行速度变化，造成目标模糊和形变等问题，都对跟踪算法的能力有着更高的要求。
[0004]传统的跟踪算法跟踪速度较快，但使用的是手工设计的特征来表示目标，对目标的表征能力不足，跟踪精度难以提升。大部分的孪生跟踪算法为了追求跟踪精度，使用一系列繁琐复杂的操作，忽略了对跟踪速度的要求，但跟踪速度不满足实时性难以部署到无人机平台上。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术第一方面提出一种注意力增强的无人机航拍目标跟踪方法，包括：
[0006]获取无人机航拍视频；
[0007]将无人机航拍视频的初始帧和当前帧输入基于IResNet网络构建的孪生跟踪网络中模板分支和搜索分支，分别从IResNet网络的layer2、layer3和layer4三个卷积块输出三组模板分支特征图和搜索分支权特征图，所述IResNet网络是基于ResNet50网络分别构建孪生跟踪网络的模板分支和搜索分支，并在模板分支和搜索分支的layer1上的最后一个bottleneck的投影映射上增加硬下采样，将硬下采样和通道数为256、卷积核为1乘1的残差模块的软下采样相加，然后在IResNet网络的每个Bottleneck后面增加一个简单注意力模块，所述硬下采样包括串联的步长为2、大小为3乘3的最大池化层和步长为1、卷积核为1乘1的卷积层；
[0008]利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融合，利用加权融合的结果跟踪当前帧中的目标。
[0009]进一步，利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融
合，利用加权融合的结果跟踪当前帧中的目标，包括：
[0010]在模板分支和搜索分支的layer2、layer3和layer4的多个不同深度卷积块之间的区域建议网络中输入模板分支特征图和搜索分支特征图；
[0011]利用预先定义尺度和大小不同的k个锚框完成对搜索分支特征图的目标的多尺度估计；
[0012]模板分支特征图当作卷积核，与搜索分支特征图进行卷积运算，分别获得模板分支特征图和搜索分支特征图的回归响应图和分类响应图；
[0013]将模板分支特征图和搜索分支特征图输出的两个回归响应图进行深度互相关运算，获得回归结果；
[0014]将模板分支特征图和搜索分支特征图输出的两个分类响应图进行深度互相关运算，获得分类结果；
[0015]获取分类结果的目标值最大值所处位置作为目标的预测位置输出；
[0016]在回归结果中获取预测位置对应的预测边界框，作为目标的预测框输出。
[0017]本专利技术另一方面还提供一种注意力增强的无人机航拍目标跟踪装置，包括：
[0018]获取模块，用于获取无人机航拍视频；
[0019]处理模块，用于将无人机航拍视频的初始帧和当前帧输入基于IResNet网络构建的孪生跟踪网络中模板分支和搜索分支，分别从IResNet网络的layer2、layer3和layer4三个卷积块输出三组模板分支特征图和搜索分支权特征图，所述IResNet网络是基于ResNet50网络分别构建孪生跟踪网络的模板分支和搜索分支，并在模板分支和搜索分支的layer1上的最后一个bottleneck的投影映射上增加硬下采样，将硬下采样和通道数为256、卷积核为1乘1的残差模块的软下采样相加，然后在IResNet网络的每个Bottleneck后面增加一个简单注意力模块，所述硬下采样包括串联的步长为2、大小为3乘3的最大池化层和步长为1、卷积核为1乘1的卷积层；
[0020]输出模块，用于利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融合，利用加权融合的结果跟踪当前帧中的目标。
[0021]本专利技术另一方面还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面任一项所述的注意力增强的无人机航拍目标跟踪方法。
[0022]本专利技术另一方面还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面任一项所述的注意力增强的无人机航拍目标跟踪方法。
[0023]本专利技术实施例提供一种注意力增强的无人机航拍目标跟踪方法和装置，与现有技术相比，其有益效果如下：
[0024]1)融合两种下采样方式，设计了IResNet深层特征提取网络，软采样保留了目标的背景信息，有助于定位，硬采样利用最大池化寻找最大激活值，有助于目标分类，增强对目标的表征能力。
[0025]2)为了从深层特征中筛选跟踪目标的特征，增加了无参数的简单注意力模块SimAM，提升了算法的辨别能力和抗干扰能力，有效解决无人机跟踪过程中出现的相似物干扰、运动模糊和部分遮挡等情况
[0026]3)在不同特征层上使用多层RPN，深层语义信息和浅层细节信息的结合使用，有助于目标分类和定位，使用RPN模块代替传统尺度估计方法，更准确地定位目标，并针对无人机跟踪目标特点，重新分配融合权重，对于尺度变化情况，有很好的适应能力，同时速度达到37.5FPS、满足实时性要求。
附图说明
[0027]为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其它附图。
[0028]图1为本专利技术实施例提供的一种注意力增强的无人机航拍目标跟踪方法的流程图；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注意力增强的无人机航拍目标跟踪方法，其特征在于，包括：获取无人机航拍视频；将无人机航拍视频的初始帧和当前帧输入基于IResNet网络构建的孪生跟踪网络中模板分支和搜索分支，分别从IResNet网络的layer2、layer3和layer4三个卷积块输出三组模板分支特征图和搜索分支权特征图，所述IResNet网络是基于ResNet50网络分别构建孪生跟踪网络的模板分支和搜索分支，并在模板分支和搜索分支的layer1上的最后一个bottleneck的投影映射上增加硬下采样，将硬下采样和通道数为256、卷积核为1乘1的残差模块的软下采样相加，然后在IResNet网络的每个Bottleneck后面增加一个简单注意力模块，所述硬下采样包括串联的步长为2、大小为3乘3的最大池化层和步长为1、卷积核为1乘1的卷积层；利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融合，利用加权融合的结果跟踪当前帧中的目标。2.如权利要求1所述的一种注意力增强的无人机航拍目标跟踪方法，其特征在于，所述利用设置于模板分支和搜索分支的layer2、layer3和layer4之间的多个不同深度卷积块的区域建议网络，对三组模板分支特征图和搜索分支特征图进行加权融合，利用加权融合的结果跟踪当前帧中的目标，包括：在模板分支和搜索分支的layer2、layer3和layer4的多个不同深度卷积块之间的区域建议网络中输入模板分支特征图和搜索分支特征图；利用预先定义尺度和大小不同的k个锚框完成对搜索分支特征图的目标的多尺度估计；模板分支特征图当作卷积核，与搜索分支特征图进行卷积运算，分别获得模板分支特征图和搜索分支特征图的回归响应图和分类响应图；将模板分支特征图和搜索分支特征图输出的两个回归响应图进行深度互相关运算，获得回归结果；将模板分支特征图和搜索分支特征图输出的两个分类响应图进行深度互相关运算，获...

【专利技术属性】
技术研发人员：金国栋，薛远亮，谭力宁，高晶，龙江雄，田思远，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：