一种目标认知的无锚框孪生网络跟踪算法制造技术

本发明专利技术公开了一种目标认知的无锚框孪生网络跟踪算法，包括将输入的初始帧目标模版图像和当前帧搜索区域图像首先经过孪生主干网络提取深度特征；降低提取到的深度特征的通道维度；分别经过三个平行的空洞卷积层得到不同尺度的特征，输入到目标认知注意力块中进行信息交互，学习目标认知特征；将输出的特征分别进行深度互相关操作得到响应图，再进行自适应权重聚合；通过分类回归子网络进行分类预测和边界框预测。本发明专利技术促进孪生网络中模板分支与搜索分支的信息交互，提升算法的准确性和鲁棒性，弥补了基于无锚框和基于锚框的孪生网络跟踪器之间的差距，并降低跟踪过程中相似干扰物的影响，提高对目标对象的识别能力。提高对目标对象的识别能力。提高对目标对象的识别能力。

【技术实现步骤摘要】
一种目标认知的无锚框孪生网络跟踪算法


[0001]本专利技术涉及孪生网络跟踪算法
，特别是一种目标认知的无锚框孪生网络跟踪算法。

技术介绍

[0002]基于锚框的孪生网络跟踪算法在过去的几年间取得了很大的进展，提高了目标状态估计的准确性，促进了跟踪领域的蓬勃发展。然而，这些算法对锚框相关的超参数非常敏感，往往需要仔细设计并调整后才能获得较高的性能。同时还增加了许多额外的计算量，给跟踪算法的实时性带来负担。因此，为了消除预先定义的锚框集合，研究者们受目标检测领域中基于无锚框的检测算法启发，提出许多基于无锚框的跟踪算法，如SiamCAR、SiamBAN和Ocean等。这些算法直接对每个候选目标中心点进行分类，并直接回归目标边界框中每个点到目标边界框四条边的距离。
[0003]虽然离线无锚框的孪生网络跟踪算法非常简洁快速，并在不少数据集上取得了很有前景的结果，但是在一些数据集上的准确性仍逊色于基于锚框的跟踪算法。在目标检测领域，许多改进的无锚框检测器弥补了跟基于锚框的检测器之间的差距，得到了广泛的研究。但是在视觉目标跟踪领域，这种情况目前还没有得到充分研究。此外，基于无锚框和基于锚框的孪生网络跟踪算法都存在同样的问题，那就是目标模板和搜索区域特征的提取在相关操作之前是不相交的，导致模板分支与搜索分支的相互非常有限，限制了跟踪算法在复杂场景下的准确性和鲁棒性。由于孪生网络参数离线训练完后在推理阶段保持不变，没有进行在线更新，因此在目标外观形变或尺度变化的情况下对目标的状态估计不够准确。

技术实现思路
r/>[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述和/或现有的目标认知的无锚框孪生网络跟踪算法中存在的问题，提出了本专利技术。
[0006]因此，本专利技术所要解决的问题在于如何提供一种目标认知的无锚框孪生网络跟踪算法。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：一种目标认知的无锚框孪生网络跟踪算法，其包括将输入的初始帧目标模版图像和当前帧搜索区域图像首先经过孪生主干网络提取深度特征；
[0008]降低提取到的深度特征的通道维度；
[0009]分别经过三个平行的空洞卷积层得到不同尺度的特征，输入到目标认知注意力块中进行信息交互，学习目标认知特征；
[0010]将输出的特征分别进行深度互相关操作得到响应图，再进行自适应权重聚合；
[0011]通过分类回归子网络进行分类预测和边界框预测，其中依托于提出的边界框优化得到更加准确的边界框预测结果。
[0012]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述深度特征包括目标模版特征和搜索区域特征，所述目标模版特征提供具有判别性的特征表示，所述搜索区域特征学习与类别无关的目标信息。
[0013]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述目标认知注意力块包括以前面特征编码过程中得到的一对卷积特征作为输入，输出一个经过交叉空间注意力增强的特征对，其中将输入特征对中的模版特征记作将搜索区域特征记作包括如下步骤：
[0014]分别对Z和X使用一个1
×
1卷积降低通道维度生成和其中C'＝C/2，h为向量的高度，w为向量的宽度，C'为降低通道维度后特征向量的通道数，C表示输入特征向量的通道数；
[0015]将和送入两个平行的分支以生成逐像素的空间交叉注意力图。
[0016]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述自适应权重聚合包括如下步骤：
[0017]对每个响应图分别使用不同的1
×
1卷积和Sigmoid函数来生成相应的融合权重图；
[0018]加权融合所有的响应图，通过如下公式表示：
[0019][0020]其中，Ω
i
表示第i个融合权重图，和σ分别表示1
×
1卷积和Sigmoid函数，S
i
表示i个响应图。
[0021]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述边界框优化的获得方式为通过直接预测偏移量和距离缩放因子，包括如下步骤：
[0022]对于回归图中的每个位置，首先预测一个初始边界框B
′
(l
′
,t
′
,r
′
,b
′
)；
[0023]根据回归图和预测的初始边界框计算偏移量，使用可变形卷积层获得边界框对齐的特征；
[0024]使用对齐的特征预测四个距离缩放因子ΔB(Δl,Δt,Δr,Δb)；
[0025]将其应用于初始边界框生成优化后的边界框B(l,t,r,b)，并通过如下公式表示：
[0026]B(l,t,r,b)＝(Δl
×
l
′
,Δt
×
t
′
,Δr
×
r
′
,Δb
×
b
′
)
[0027]其中，l、t、r和b分别表示目标中心点到目标边界框左边、上边、右边和下边的距离。
[0028]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述分类回归包括通过最大过滤模块来实现回归分支对分类分支的定向交互和指导。
[0029]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述最大过滤模块作用在最终的回归特征图上，包括如下步骤：
[0030]采用核为3
×
3的卷积层和最大池化层得到特定的特征图；
[0031]将得到的特定的特征图将与输入的最终回归图相加，并输入到组归一化和激活函数中；
[0032]选择出相邻区域中的最大激活值来滤除相似物体的干扰。
[0033]作为本专利技术所述目标认知的无锚框孪生网络跟踪算法的一种优选方案，其中：所述最大过滤模块作用在最终的回归特征图上还包括如下步骤：
[0034]在激活图上进一步使用一个单通道的3
×
3卷积层和Sigmoid函数来得到一个新的分类图；
[0035]将新的分类图与原始分类图相乘以灌输从回归分支到分类分支的指导，通过如下公式表示：
[0036][0037]其中，F
r
表示最终用于回归的特征图，F
cls
和F
c
′
ls
分别表示原始分类图和经过最大过滤模块增强后的最终分类图；和分别表示不同的3
×
3卷积层，δ和σ分别表示GN+ReLU和Sigmoid函数。
[0038]作为本专利技术所述目标认知的无锚框孪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标认知的无锚框孪生网络跟踪算法，其特征在于：包括，将输入的初始帧目标模版图像和当前帧搜索区域图像首先经过孪生主干网络提取深度特征；降低提取到的深度特征的通道维度；分别经过三个平行的空洞卷积层得到不同尺度的特征，输入到目标认知注意力块中进行信息交互，学习目标认知特征；将输出的特征分别进行深度互相关操作得到响应图，再进行自适应权重聚合；通过分类回归子网络进行分类预测和边界框预测，其中依托于提出的边界框优化得到更加准确的边界框预测结果。2.如权利要求1所述的目标认知的无锚框孪生网络跟踪算法，其特征在于：所述深度特征包括目标模版特征和搜索区域特征，所述目标模版特征提供具有判别性的特征表示，所述搜索区域特征学习与类别无关的目标信息。3.如权利要求2所述的目标认知的无锚框孪生网络跟踪算法，其特征在于：所述目标认知注意力块包括以前面特征编码过程中得到的一对卷积特征作为输入，输出一个经过交叉空间注意力增强的特征对，其中将输入特征对中的模版特征记作将搜索区域特征记作包括如下步骤：分别对Z和X使用一个1
×
1卷积降低通道维度生成和其中C'＝C/2，h为向量的高度，w为向量的宽度，C'为降低通道维度后特征向量的通道数，C表示输入特征向量的通道数；将和送入两个平行的分支以生成逐像素的空间交叉注意力图。4.如权利要求3所述的目标认知的无锚框孪生网络跟踪算法，其特征在于：所述自适应权重聚合包括如下步骤：对每个响应图分别使用不同的1
×
1卷积和Sigmoid函数来生成相应的融合权重图；加权融合所有的响应图，通过如下公式表示：其中，Ω
i
表示第i个融合权重图，和σ分别表示1
×
1卷积和Sigmoid函数；S
i
表示i个响应图。5.如权利要求4所述的目标认知的无锚框孪生网络跟踪算法，其特征在于：所述边界框优化的获得方式为通过直接预测偏移量和距离缩放因子，包括如下步骤：对于回归图中的每个位置，首先预测一个初始边界框B
′
(l
′
,t
′
,r
′
,b
′
)；根据回归图和预测的初始边界框计算偏移量，使用可变形卷积层获得边界框对齐的特征；使用对齐的特征预测四个距离缩放因子ΔB(Δl,Δt,Δr,Δb)；将其应用于初始边界框生成优化后的边界框B(l,t,r,b)，并通过如下...

【专利技术属性】
技术研发人员：宋晓宁，江英杰，冯振华，
申请(专利权)人：第图苏州生物科技有限公司，
类型：发明
国别省市：