无人机目标跟踪场景下引入自注意力机制的抗遮挡单目标跟踪制造技术

针对无人机场景下当跟踪目标出现相似干扰物遮挡时目标跟踪容易出现跟踪漂移的问题，本发明专利技术基于相关滤波目标跟踪算法提出了一种具有抗遮挡能力的跟踪算法。首先，使用相关滤波算法计算得到响应分数图，在响应分数图中选择多个候选点作为当前帧的候选目标，然后在图像中提取相应候选点的HOG特征和位置特征并使用自注意力机制进行特征加强得到特征描述子，最后将当前的帧候选点的特征描述子与前一帧候选点的特征描述子进行匹配，通过最大化匹配总分数找到最优匹配，将该最优匹配中与目标点相匹配的特征点位置作为当前目标位置。通过测试，此算法在OTB100和UAV123数据集上都的跟踪性能相较于其他类似算法有一定的提升。性能相较于其他类似算法有一定的提升。性能相较于其他类似算法有一定的提升。

【技术实现步骤摘要】
无人机目标跟踪场景下引入自注意力机制的抗遮挡单目标跟踪


[0001]本专利技术涉及计算机视觉领域，主要用于无人机对指定目标的长时间稳定跟踪。

技术介绍

[0002]近年来，随着计算机视觉的快速发展和无人机的广泛应用，基于无人机的目标跟踪技术引起了广泛的研究热潮。随着无人机可靠性的提高，无人机已经能够可靠的执行多种工作强度大而且重复度高的空中任务，而无人机目标跟踪在航拍，侦察，搜救等方而都其有无可比拟的优势。目前，无人机场景下的目标跟踪大多运用的是基于雷达及红外的目标检测跟踪技术，但是由于雷达及红外设备易受到干扰的特点，这种方法在一些特定的条件下无法对目标进行正确的检测和跟踪，而通过视频采集信息则不会出现这些问题，同时视频采集设备可以更好的适应环境，且具有很强的稳定性。因此采用基于视频的目标跟踪系统，能够较好地适应无人机场景下对运动目标完成检测和跟踪。

技术实现思路

[0003]专利技术目的：针对目标跟踪中的遮挡问题，目前的跟踪算法主要从以下几个方面对跟踪模型进行改进：1)调整模板更新策略，2)调整模型学习策略，3)增加训练样本。虽然在一定程度上这些方法能够有效的提高跟踪精度，但是当目标遮挡程度较为严重或者场景中出现相似目标遮挡时，目标的可判别特征减少，干扰噪声增多，此时基于外观的跟踪模型将难以识别目标从而导致跟踪失败。因此仅从提高模型判别能力的角度解决遮挡问题具有一定的局限性。
[0004]针对这一问题我们提出了一种抗遮挡的目标跟踪模型，通过对干扰目标的短暂跟踪来规避干扰。我们在基于外观的跟踪模型基础上使用多模板匹配策略定位目标，同时，为了提高匹配精度与准确率我们还使用自注意力机制来加强所提取的候选特征描述。
[0005]技术方案：为实现上述技术效果，本专利技术提出的技术方案为：
附图说明
[0006]图1引入自注意力机制的特征学习模型
[0007]图2是抗遮挡模型算法流程
具体实施方式
[0008]下面结合附图对本专利技术作更进一步的说明。
[0009]图1为引入自注意力机制的特征学习模型，首先，提取候选点处的特征和位置信息，将特征和位置信息进行编码得到向量。将编码后的特征作为自注意力模块的输入，同时在计算候选点的加强特征时将候选点作为query其他候选点作为key，注意力网络首先计算query与每个key的关联性，然后将关联性作为每个value的权重，最后各个权重与value的
乘积相加得到输出。(权重参数W
q
，W
k
，W
v
通过训练得到)
[0010]图2为算法流程图，首先使用基础相关滤波跟踪模型生成响应图，然后再利用所生成的响应图定位候选点，对每个候选点利用所对应的图像特征与自注意力模块生成特征描述，最后通过找到前后两帧之间的候选点集合的最优匹配来定位目标位置。
[0011]以上所述仅是本专利技术的优选实施方式，应当指出：对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用自注意力机制加强候选点的特征描述：受到人类视觉系统可以从复杂的场景中高效地找到重要区域的启发，注意力机制被引入到计算机视觉系统中。目前注意力机制已经在计算机视觉的各种任务(如：图像识别，图像视觉，三维视觉等)中取得了巨大的成功。自注意力机制时注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征内部的相关性。广义的注意力机制假定输入为Query，使用键值对(Key，Value)的形式存储上下文，注意力机制可以表示为寻找到Query到键值对(key，value)上的映射函数。自注意力机制的特殊点在于Query，Key，Value三者相等，即计算自身与自身的相似度再和自身相乘。自注意力机制能够有效的表征特征集内部的相关性。此算法将自注意力机制应用于候选点的特征描述的生成，利用同一帧中提取的候选点集之间特征和位置结构的相关性来加强候选点的特征描述从而提高匹配的准确度，而匹配的准确度直接影响着算法的跟踪性能。无人机目标跟踪场景下引入自注意力机制的一种抗遮挡算法，包括基础跟踪部分，候选点特征描述生成部分以及目标定位部分。其重点在于候选点特征描述生成部分，此算法步骤：(1)基础跟踪模型：本文选择相关滤波模型作为基础的跟踪模型，我们的基础跟踪模型参考了KCF目标跟踪算法并调整了其模型更新策略。模型首先利用第一帧人为给定的目标区域的图像特征训练目标模板。具体过程为：首先在第一帧图像的目标位置处截取目标大小的2.5倍的图像区域，然后对该区域的图像进行线性插值将其大小调整成固定大小并进行循环移位提取HOG特征生成31维的特征向量。最后使用所提取的目标特征向量训练目标的相关滤波器模板：式中y表示中心在目标位置的高斯标签，x1表示第一帧输入图像目标区域的HOG特征图，k(x1，x1)表示第一帧输入图像的HOG特征图与其自身的核相关运算。W1表示第一帧输入图像中目标的相关滤波模板，λ表示正则化参数。正常情况下，在后续跟踪中，使用当前输入图像帧搜索区域内所提取到的HOG特征更新相关滤波模板，更新公式如公式(2)所示。其中ρ表示相关滤波器模板更新参数，α
t
表示第t帧的相关滤波模板，α
t
‑1表示上一帧的相关滤波器模板相关滤波跟踪模型通过计算前后两帧的相关性来定位目标，在上一帧所定位到的目标位置提取目标大小2.5倍的区域，使用双线性插值缩放到固定大小并循环移位提取HOG特征得到特征模板W
t
‑1，且在第一帧中W1与α1相等。将该区域的图像特征与目标模板进行点乘运算得到响应分数图如公式(3)所示，并使用当前检测到的目标位置的HOG特征更新特征模板，更新公式如公式(4)所示。f(x
t
)＝k(x
t
，W
t
‑1)
·
α
t
‑1ꢀꢀꢀꢀ
(3)W
t
＝(1
‑
ρ)W
t
‑1+ρx
t
ꢀꢀꢀꢀ
(4)传统的相关滤波模型在每一帧更新相关滤波模板，然而当目标出现遮挡时所提取的目标特征可信度低，此时使用该特征更新模板则会导致误差累积从而降低模板的鲁棒性。因
此我们使用有策略的模板更新方式代替传统的每一帧都更新的更新方式。我们引入旁瓣比(PSR)评价在每一帧计算得到的响应分数图。计算公式如公式(5)所示。式中g
max
为响应分数图的峰值响应，μ和σ分别为响应置信图中去除峰值后的均值和方差。该值越小代表响应分数图震荡程度越大，场景中的干扰程度越大，那么目标被遮挡的可能性越大。因此，当响应分数图的PSR值小于某一阈值时则不更新相关滤波模板。当响应分数图的PSR值大于该阈值时使用在当前跟踪帧中所检测到的目标位置上处提取的图像特征向量更新相关滤波模板。(2)候选目标点的生成与特征描述对于输入图像首先使用相关滤波跟踪模型生成响应置信图，使用5x5大小的滑动窗口在生成的响应置信图中以1为步长从左至右，从上至下滑动，提取窗口内的局部最大值将该最大值位置所映射到的原图像上的位置作为候选目标点位置。由于搜索域的限制，所提取的候选点位置距离较近，外观特征也比较相似，此时HOG特征不能很好的表达候选点的特异性，而候选点特征描述力度不足则会导致匹配失败的概率增大，因此增强候选点的特征描述是提高匹配成功率的关键。考虑到候选点并不是孤立存在的每个候选点都与其他候选点有着一定的特征或者位置方面的关联，而自注意力机制能够学习不同向量之间的关联。因此本文采用自注意力机制来加强候选点的特征描述，利用每个候选点与其他候选点的相关性来加强该候选点的特异性。特征学习模型如图1所示。首先，提取候选点a＝{a1，a2，...，a
n
}处的HOG特征x1至x
n
和位置信息d1至d
n
，将HOG特征和位置特征进行编码(Encode)得到特征向量a
′
＝{a
′
i
，a
′2，...，a
′
n
}。编码过程为a
′
i
＝x
i
+conv(d
i
)，其中conv(
·
)为对
·
进行1x1卷积，用于对d
i
升维，保证x
i
与d
i
维数相同。将编码后的特征a
...

【专利技术属性】
技术研发人员：郑洪源，张彦凡，陈珍，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：