一种低空飞行器视角的目标跟踪方法技术

本发明专利技术涉及一种低空飞行器视角的目标跟踪方法，针对航空目标跟踪数据特点分析，设计特定状况下的特征提取与特征匹配的网络框架。同时在目标跟踪过程中，当移动目标发生短时的前景遮挡现象时，通过遮挡前的窗口下目标移动轨迹的计算，通过保持目标物体在遮挡下的位置估计，实现遮挡后准确的目标再跟踪。通过对低空飞行器视角的时空序列数据的分析，设计适应于其数据特点的骨干网络，得到耦合度低，丰富的目标空间和语义信息。在目标特征和模板特征的匹配过程中采用注意力机制来强化目标与模板的相似度，减少背景干扰，同时通过两层的特征融合进一步保证跟踪的准确。征融合进一步保证跟踪的准确。征融合进一步保证跟踪的准确。

【技术实现步骤摘要】
一种低空飞行器视角的目标跟踪方法


[0001]本专利技术属于人工智能、光电工程、计算机视觉、目标跟踪
，涉及一种低空飞行器视角的目标跟踪方法。

技术介绍

[0002]人工智能产业已全面渗透到人类社会的各行各业,并深刻改变着人们的工作方式和生活习惯。其中计算机视觉是使用计算机及相关设备对生物视觉的一种模拟技术，视觉系统的建模需要光电工程等技术的指导。计算机视觉技术中目标跟踪有着广泛的应用，目标跟踪是在影像序列中持续定位选定对象的过程，是计算机视觉领域的一个重要研究课题，单目标跟踪作为目标跟踪的一个重要研究方向，单目标跟踪任务通过初始几帧给定目标的前提下，完成对后续的目标定位过程。跟踪模型分为生成式模型和判别式模型，根据跟踪的结果实时更新模板信息，通过适当的模板更新策略可以在很大程度上提高跟踪器的精度和鲁棒性。
[0003]低空飞行器(如无人机、低空载人飞行器)视角下的目标跟踪在军事战略打击与防御、无人机定位、边境巡查、交通控制等方面有着广泛的应用。由于目标跟踪是在影像序列中持续定位选定对象的过程，可以理解为时间序列上的目标识别行为，目标跟踪任务中会由于完全不同的目标和约束条件产生了一系列的难点问题，除了其他计算机视觉任务中常见的一些挑战，如不同视点下的物体、光照、类内变化等，航空视角下目标跟踪的挑战还包括但不限于以下几个方面:物体的旋转和缩放变化(如小物体)，物体的精确定位，物体的密集和遮挡检测，检测速度等。同时航空单目标跟踪是在时间序列上特定单目标的持续定位过程，因此面临的难点问题还包括长期跟踪的误差累积，类内相似目标的干扰导致跟踪漂移，跟踪过程中遮挡导致的跟踪失败问题，以及尺度变化下的目标精确跟踪等，这些难点问题也推动了航空单目标跟踪算法的研究。本专利技术聚焦于低空飞行器视角的目标跟踪中的难点问题，通过设计网络框架、改良目标搜索策略，制定模板更新方法来提出一套精确精准的低空飞行器视角的目标跟踪方案。
[0004]基于孪生网络的单目标跟踪算法特点是使用共享权重的网络对目标和搜索域进行特征提取，简化了目标跟踪的特征处理，提高了跟踪速度。其大致流程是针对目标模板和搜索域的特征提取，通过对深度特征的交互，完成对目标位置及大小的估计任务。Bertinetto等人在文献“L.Bertinetto,J.Valmadre,J.Henriques,A.Vedaldi,and P.Torr,“Fully
‑
Convolutional Siamese Networks for Object Tracking,”in Proc.European Conference on Computer Vision,2016,pp.850
‑
865.”中提出了一种简单高效的单目标跟踪算法，一方面在特征提取的骨干网络部分使用的是全卷积网络，另一方面在相似性度量方面使用了简单的互相关操作，很大程度上提高了目标跟踪的精度与速度。然而，复杂的背景变化对局部目标特征带来了干扰，依靠单一的互相关操作会影响目标特征匹配的准确率。
[0005]目标跟踪的搜索策略分为局部搜索策略和全局搜索策略，局部搜索策略为根据上
一帧目标的位置信息，对本帧的局部内进行目标的搜索跟踪。Wang等人在文献“B.Li,W.Wu,Q.Wang,F.Zhang,J.Xing,and J.Yan,“SiamRPN++:Evolution of Siamese Visual Tracking with Very Deep Networks,”in Proc.IEEE Conference on Computer Vision and Pattern Recognition,2019,pp.4277
‑
4286.”提出了一种简单并有效的采样策略来打破空间不变性的限制，提出了跨层特征聚合结构来聚合多尺度的特征图。然而，由于方法遵循了局部性假设在跟踪目标丢失后的无法重新跟踪目标，因此这些跟踪方法只会在局部进行检测，导致了不适用于长期跟踪的要求。全局搜索策略为直接对本帧进行全局的目标的搜索跟踪。Huang等人在文献“L.Huang,X.Zhao,and K.Huang,“GlobalTrack:A Simple and Strong Baseline for Long
‑
Term Tracking,”in Proc.AAAI Conference on Artificial Intelligence,2020,pp.11037
‑
11044.”中消除局部位置假设，提出了一种基于two
‑
stage的全局实例搜索的跟踪器，可以在任意位置和比例尺上搜索目标，从而避免长期跟踪过程中的累积误差，然而，全局搜索策略带来的问题就是模型处理时间慢，实时响应不强。

技术实现思路

[0006]要解决的技术问题
[0007]为了避免现有技术的不足之处，本专利技术提出一种低空飞行器视角的目标跟踪方法，主要缓解现有方法在短时遮挡下的目标跟踪丢失问题，同时提高低空飞行器视角的目标跟踪的准确率与精度。
[0008]本专利技术的目的在于改善以下几个方面。
[0009]1、现有的航空目标跟踪方法在短时遮挡后的目标丢失。
[0010]2、基于低空飞行器的目标跟踪方法在目标的特征有效的提取挖掘。
[0011]3、低空飞行器视角的目标跟踪方法目标特征与模板特征匹配的精确度。
[0012]4、低空飞行器视角的目标跟踪方法分别在目标端和追踪端的移动会造成物体位置的不确定。
[0013]技术方案
[0014]一种低空飞行器视角的目标跟踪方法，其特征在于步骤如下：
[0015]步骤1：利用无人机采集真实场景下的数据，在虚拟场景下的模拟低空飞行器视角的目标跟踪数据，最后在darklabel上进行数据的标注，建立真实虚拟的航空遥感数据集；
[0016]步骤2：对孪生网络最后两个卷积块的总步长修改降为8，在每个卷积块输出上添加额外的1
×
1卷积层来将特征通道降低为256；
[0017]以利用现有通用的目标跟踪数据集作为网络模型的训练数据，改进后的孪生网络的输入为目标模板和当前搜索帧的RGB图像，得到目标模板和搜索帧的特征图；
[0018]步骤3：将孪生骨干网络提取到的目标模板和当前帧的特征图进行压缩处理转换为一维表征，然后通过位置嵌入编码得到q，k；不进行处理的一维表征信息为v，输入特征融合模块在目标与模板的匹配阶段进行特征的加强；
[0019]所述特征融合模块分为时间的特征融合和空间的特征融合，具体为：
[0020]将前一帧目标模板特征图与当前帧目标模板信息输入到第一Transformer结构中，，其中当前帧目标模板信息输入到Transformer的decoder模块，将前一帧的目标模板特征的k，v随后输入进行特征匹配；
[0021]将当前搜索帧特征图与前一搜索帧特征图信息输入到第二Transformer本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低空飞行器视角的目标跟踪方法，其特征在于步骤如下：步骤1：利用无人机采集真实场景下的数据，在虚拟场景下的模拟低空飞行器视角的目标跟踪数据，最后在darklabel上进行数据的标注，建立真实虚拟的航空遥感数据集；步骤2：对孪生网络最后两个卷积块的总步长修改降为8，在每个卷积块输出上添加额外的1
×
1卷积层来将特征通道降低为256；以利用现有通用的目标跟踪数据集作为网络模型的训练数据，改进后的孪生网络的输入为目标模板和当前搜索帧的RGB图像，得到目标模板和搜索帧的特征图；步骤3：将孪生骨干网络提取到的目标模板和当前帧的特征图进行压缩处理转换为一维表征，然后通过位置嵌入编码得到q，k；不进行处理的一维表征信息为v，输入特征融合模块在目标与模板的匹配阶段进行特征的加强；所述特征融合模块分为时间的特征融合和空间的特征融合，具体为：将前一帧目标模板特征图与当前帧目标模板信息输入到第一Transformer结构中，，其中当前帧目标模板信息输入到Transformer的decoder模块，将前一帧的目标模板特征的k，v随后输入进行特征匹配；将当前搜索帧特征图与前一搜索帧特征图信息输入到第二Transformer结构中，其中当前搜索帧特征图输入到Transformer的decoder模块，将前一搜索帧特征图信息的k，v随后输入进行特征匹配；将当前搜索帧特征图与当前帧目标模板信息到第三Transformer结构中，其中当前帧目标模板信息输入到Transformer的encoder模块，当前搜索帧特征图输入到Transformer的decoder模块，进行特征匹配；将第一Transformer结构融合后的信息与第二Transformer结构融合后的信息输入第一多头交叉注意力模块融合，再与第二Transformer结构融合后的信息输入第一求和正则化模块融合，输入第一前馈神经网络融合；第一前馈神经网络的输出与第...

【专利技术属性】
技术研发人员：李学龙，刘康，晁超超，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：