一种无人机目标跟踪预测方法及系统技术方案

本发明专利技术提供一种无人机目标跟踪预测方法及系统，包括：利用AT

【技术实现步骤摘要】
一种无人机目标跟踪预测方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种无人机目标跟踪预测方法及系统。

技术介绍

[0002]无人机目标跟踪是一项极其重要的计算机视觉任务，旨在给出初始帧的跟踪目标信息后，对后续帧的目标位置和状态进行跟踪和预测，是无人机相关行业中的关键技术。
[0003]近年来，研究学者为提高无人机目标跟踪的精度和鲁棒性付出了大量的努力，尽管这些问题已经在限制性甚至非限制性环境下取得了一定的突破，然而，由于空中平台的有限功率限制了计算资源，因此不可避免地引入了一些特殊挑战，例如运动模糊、遮挡以及追踪效率和性能无法得到有力保证等，使得无人机目标跟踪任务仍然具有很大的挑战。空中平台使得无人机目标跟踪无法部署最先进的方法，而无人机目标跟踪也因为空中的特殊挑战而变得难以高效实现。近年来，无锚框的孪生网络跟踪算法已经成为解决无人机目标跟踪一系列问题的主流方法，尽管这类方法已经取得了不同程度的成功，然而，由于此类方法并没有将连续帧之间固有的时间上下文之间的关联性融入到目标跟踪的过程中，使得这些方法很难感知到目标物体的运动信息，并且由于计算资源受限，对于无人机目标跟踪来说，无法有效地对目标跟踪准确度和有限的资源进行平衡，也使得无人机目标跟踪的精度和鲁棒性有所下降。
[0004]因此，需要提出一种新的无人机目标跟踪预测方法。

技术实现思路

[0005]本专利技术提供一种无人机目标跟踪预测方法及系统，用以解决现有技术中无人机目标跟踪没有将连续帧之间固有的时间上下文之间关联性融入目标跟踪，使得无人机目标跟踪的精度和鲁棒性不足的缺陷。
[0006]第一方面，本专利技术提供一种无人机目标跟踪预测方法，包括：
[0007]获取无人机采集的初始帧目标位置，利用AT
‑
ResNet18网络对所述初始帧目标位置进行特征提取得到初始特征，将所述初始特征作为模板特征；
[0008]获取无人机采集的任一当前帧目标位置，利用AT
‑
ResNet18网络对所述任一当前帧目标位置进行特征提取得到当前帧特征，将所述当前帧特征与所述模板特征进行互相关操作得到当前帧相似度图；
[0009]将所述当前帧相似度图进行卷积之后，与所述任一当前帧目标位置的上一帧时间先验知识共同输入AT
‑
Trans进行编码，得到当前帧时间先验知识；
[0010]将所述当前帧时间先验知识与所述当前帧相似度图进行卷积之后共同输入AT
‑
Trans进行解码，得到当前帧增强相似度图；
[0011]对所述当前帧增强相似度图进行分类和回归，得到当前帧最终目标预测结果。
[0012]根据本专利技术提供的一种无人机目标跟踪预测方法，AT
‑
ResNet18网络包括由
ResNet18网络构成的骨干网络backbone，所述骨干网络backbone用于特征提取，将所述ResNet18网络的最后两层卷积层替换为时序自适应卷积TAdaConv层；
[0013]采用基于最小样本数量mini
‑
batch的适应性矩估计Adam算法作为所述AT
‑
ResNet18网络的优化策略。
[0014]根据本专利技术提供的一种无人机目标跟踪预测方法，将所述ResNet18网络的最后两层卷积层替换为TAdaConv层，包括：
[0015]获取所述任一当前帧目标位置t的输入特征X
t
；
[0016]对所述输入特征X
t
进行全局平均池化后得到当前帧描述符
[0017][0018]其中GAP为全局池化操作；
[0019]确定的前L
‑
1帧的帧描述符L为帧总数；
[0020]将所述当前帧描述符与前L
‑
1帧的帧描述符进行连接，得到时间上下文队列X
p
∈
L
×
C
：
[0021][0022]其中Cat为拼接操作，R为向量空间，C为特征通道数；
[0023]对所述当前帧描述符分别进行两次一维卷积，得到时间卷积核和偏置值卷积核
[0024][0025][0026]其中φ
w
和φ
b
分别代表了生成和的一维卷积操作；
[0027]将φ
w
和φ
b
的权重初始化为0，得到时间权重可学习参数W和偏置值可学习参数b；
[0028]由时间卷积核和时间权重可学习参数W得到卷积过程中的时间权重W
t
：
[0029][0030]由偏置值卷积核和偏置值可学习参数b得到卷积过程中的偏置值b
t
：
[0031][0032]将卷积过程中的时间权重W
t
与所述输入特征X
t
进行卷积，加上卷积过程中的偏置值b
t
，得到所述输入特征X
t
的输出特征
[0033][0034]根据本专利技术提供的一种无人机目标跟踪预测方法，将所述当前帧描述符与前L
‑
1帧的帧描述符进行连接，得到时间上下文队列X
p
∈
L
×
C
，还包括：
[0035]若确定所述任一当前帧目标位置t≤L
‑
1，则采用第一帧的帧描述符对时间上
下文队列X
p
进行填充。
[0036]根据本专利技术提供的一种无人机目标跟踪预测方法，将所述当前帧相似度图进行卷积之后，与所述任一当前帧目标位置的上一帧时间先验知识共同输入AT
‑
Trans进行编码，得到当前帧时间先验知识，包括：
[0037]将所述当前帧相似度图R
t
进行卷积得到F
t
，将F
t
作为多头注意力层的键Key和值Value，将所述上一帧时间先验知识作为多头注意力层的查询Query，得到第t帧叠加的多头注意力层的输出
[0038][0039][0040]其中Norm表示层归一化操作，MultiHead表示多头注意层操作；
[0041]将第一层多头注意力层的输出依次进行卷积和全局平均池化，再通过前馈神经网络得到校准因子α：
[0042][0043]其中φ表示一个卷积层；
[0044]由第一层多头注意力层的输出第t帧叠加的多头注意力层的输出和校准因子α得到过滤后的时间信息F
tf
：
[0045][0046]根据时间信息F
tf
得到当前第t帧的时间先验知识
[0047][0048]根据本专利技术提供的一种无人机目标跟踪预测方法，对所述当前帧相似度图R
t
中的初始帧相似度图R0进行卷积，得到初始帧时间先验知识
[0049][0050]其中φ
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机目标跟踪预测方法，其特征在于，包括：获取无人机采集的初始帧目标位置，利用自适应时间残差AT
‑
ResNet18网络对所述初始帧目标位置进行特征提取得到初始特征，将所述初始特征作为模板特征；获取无人机采集的任一当前帧目标位置，利用AT
‑
ResNet18网络对所述任一当前帧目标位置进行特征提取得到当前帧特征，将所述当前帧特征与所述模板特征进行互相关操作得到当前帧相似度图；将所述当前帧相似度图进行卷积之后，与所述任一当前帧目标位置的上一帧时间先验知识共同输入自适应时间变换器AT
‑
Trans进行编码，得到当前帧时间先验知识；将所述当前帧时间先验知识与所述当前帧相似度图进行卷积之后共同输入AT
‑
Trans进行解码，得到当前帧增强相似度图；对所述当前帧增强相似度图进行分类和回归，得到当前帧最终目标预测结果。2.根据权利要求1所述的无人机目标跟踪预测方法，其特征在于，AT
‑
ResNet18网络包括由ResNet18网络构成的骨干网络backbone，所述骨干网络backbone用于特征提取，将所述ResNet18网络的最后两层卷积层替换为时序自适应卷积TAdaConv层；采用基于最小样本数量mini
‑
batch的适应性矩估计Adam算法作为所述AT
‑
ResNet18网络的优化策略。3.根据权利要求2所述的无人机目标跟踪预测方法，其特征在于，将所述ResNet18网络的最后两层卷积层替换为TAdaConv层，包括：获取所述任一当前帧目标位置t的输入特征X
t
；对所述输入特征X
t
进行全局平均池化后得到当前帧描述符进行全局平均池化后得到当前帧描述符其中GAP为全局池化操作；确定的前L
‑
1帧的帧描述符L为帧总数；将所述当前帧描述符与前L
‑
1帧的帧描述符进行连接，得到时间上下文队列X
p
∈
L
×
C
：其中Cat为拼接操作，R为向量空间，C为特征通道数；对所述当前帧描述符分别进行两次一维卷积，得到时间卷积核和偏置值卷积核和偏置值卷积核和偏置值卷积核其中φ
w
和φ
b
分别代表了生成和的一维卷积操作；将φ
w
和φ
b
的权重初始化为0，得到时间权重可学习参数W和偏置值可学习参数b；由时间卷积核和时间权重可学习参数W得到卷积过程中的时间权重W
t
：
由偏置值卷积核和偏置值可学习参数b得到卷积过程中的偏置值b
t
：将卷积过程中的时间权重W
t
与所述输入特征X
t
进行卷积，加上卷积过程中的偏置值b
t
，得到所述输入特征X
t
的输出特征的输出特征4.根据权利要求3所述的无人机目标跟踪预测方法，其特征在于，将所述当前帧描述符与前L
‑
1帧的帧描述符进行连接，得到时间上下文队列X
p
∈
L
×
C
，还包括：若确定所述任一当前帧目标位置t≤L

【专利技术属性】
技术研发人员：李晶，游宇航，刘天鹏，宋北航，廉乐知，叶伟健，
申请(专利权)人：武汉大学，
类型：发明
国别省市：