一种基于通道注意力和时空感知的单目标跟踪方法及跟踪系统技术方案

本发明专利技术公开了一种基于通道注意力和时空感知的单目标跟踪方法及跟踪系统，方法包括如下步骤：输入模板图像与搜索区域图像，通过两支权值共享的RepVGG骨干网络分别提取两者的分层特征；通过基于通道注意力机制的融合模型对两特征图进行自注意力和交叉注意力的特征交融；通过分类分支、边框回归分支以及中心度回归分支完成对目标的跟踪预测；通过阈值判断完成模板的实时更新，将后续帧的时间信息加入到融合网络中，从而实现完整的目标跟踪；展示跟踪性能。系统包括：特征提取模块、特征融合模块、跟踪预测模块和性能展示模块；本发明专利技术让模版特征随时空变化自适应地增强其完备性，从而提高跟踪的鲁棒性。提高跟踪的鲁棒性。提高跟踪的鲁棒性。

【技术实现步骤摘要】
一种基于通道注意力和时空感知的单目标跟踪方法及跟踪系统


[0001]本专利技术涉及深度学习目标跟踪
，尤其是一种基于通道注意力和时空感知的单目标跟踪方法及跟踪系统。

技术介绍

[0002]单目标视频跟踪是计算机视觉领域的重要研究内容，在视频监控、智慧交通、机场场面监视等应用领域中扮演着非常重要的角色。目标跟踪会将跟踪物的初始位置状态作为参考，旨在后续帧中准确的预测出目标的状态参数。在实际场景中，由于目标运动、背景和光照变化以及遮挡等因素的影响，目标跟踪的性能会受到限制。
[0003]现有方法中基于注意力机制的融合方法通过模板与搜索区域特征图之间的自注意力和交叉注意力机制有效提升了两者之间的语义相关性，但不同通道特征往往对特征通道赋予相同的权重，没有充分考虑不同通道对跟踪任务不同的贡献度。
[0004]现有工作大多未采用在线更新模版策略。但在实际跟踪任务中，目标外观变化通常比较明显，且在运动过程中会存在干扰物遮挡，光照变化，甚至目标消失又在后续的视频帧中出现等等复杂情况，仅仅使用单一的初始帧作为模版，则无法很好地应对以上复杂的变化，从而可能导致目标跟踪的漂移甚至丢失。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种基于通道注意力和时空感知的单目标跟踪方法及跟踪系统，让模版特征随时空变化自适应地增强其完备性，从而提高跟踪的鲁棒性。
[0006]为解决上述技术问题，本专利技术提供一种基于通道注意力和时空感知的单目标跟踪方法，包括如下步骤：
[0007]步骤1、输入模板图像与搜索区域图像，通过两支权值共享的RepVGG骨干网络分别提取两者的分层特征；
[0008]步骤2、通过基于通道注意力机制的融合模型对两特征图进行自注意力和交叉注意力的特征交融；
[0009]步骤3、通过分类分支、边框回归分支以及中心度回归分支完成对目标的跟踪预测；
[0010]步骤4、通过阈值判断完成模板的实时更新，将后续帧的时间信息加入到融合网络中，从而实现完整的目标跟踪；
[0011]步骤5、展示跟踪性能。
[0012]优选的，步骤1中，通过两支权值共享的RepVGG骨干网络分别提取两者的分层特征，首先将模板图像与搜索区域图像对送入RepVGG骨干网络提取特征，分别在第三层输出模板特征、在第五层输出搜索区域特征以保证其尺度相同，再将两组输出经1
×
1卷积核将
通道数调整为256。
[0013]优选的，步骤2中，通过基于通道注意力机制的融合模型对两特征图进行自注意力和交叉注意力的特征交融具体包括如下步骤：
[0014]步骤21、输入序列模板特征，通过自注意力模块进行特征增强，以充分将模板特征的各部分像素进行关联；
[0015]步骤22、接收搜索特征作为一部分的输入，接收来自模板特征部分的输出作为另一部分的输入，通过交叉注意力模块计算两部分的交叉注意力，交叉注意力模块与自注意力模块的计算公式相同，只是输入不同；
[0016]步骤23、将交叉注意力模块的结果输入给在长、宽两个维度的全局最大池化层和平均池化层，之后将两个池化输出再送入一个参数共享的MLP层进行通道之间的关系学习，得到的结果相加之后送入sigmoid函数激活，就能得到通道注意力权值。
[0017]优选的，步骤21中，充分将模板特征的各部分像素进行关联：
[0018][0019]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
[0020]MultiHead(Q,K,V)＝Concat(head1,head2…
head
n
)W
o
[0021]其中head
i
代表第i个多头注意力输出，W
iQ
,W
iK
,W
iV
分别代表第i个头的查询、键、值变化矩阵，Q,K,V分别代表第i个头的查询、键、值矩阵，将多个多头注意力结果进行拼接，再进行一次线性变换W
o
得到最后的输出结果。
[0022]优选的，步骤23中，再将特征图尺寸还原以保持尺寸匹配，通道注意力模块的计算表达为：
[0023]Chn＝δ(MLP(AvgPool(M))+MLP(MaxPool(M)))
[0024]＝δ(w1(w0M
avg
))+w1(w0(M
max
)))
[0025]其中，δ代表sigmoid激活函数，AvgPool代表平均池化操作，平均池化输出结果用M
avg
表示，MaxPool代表最大池化操作，输出结果用M
max
表示，w1,w0分别代表MLP中的两层卷积层。
[0026]优选的，步骤3中，通过分类分支、边框回归分支以及中心度回归分支完成对目标的跟踪预测具体包括如下步骤：
[0027]步骤31、预测头通过不同卷积层将信息交融后特征图映射到预测头网络中的分类分支Cls、中心度分支Ctr、回归分支Reg三个不同空间进而实现精准预测；
[0028]步骤32、计算目标总损失。
[0029]优选的，步骤32中，L
cls
为分类损失，L
ctr
为中心度损失，L
reg
为回归损失，N为样本数目，N
pos
为正样本数量，x和y表示输出特征图坐标，p
x,y
与为正负样本标签和预测值，c
x,y
与为中心度标签和预测值，g
x,y
与分别表示真实边框位置和预测边框位置，分类损失采用二分类Focal
‑
Loss，中心度分支采用交叉熵损失，回归分支采用GIoU
‑
Loss，总损失计算表达为：
[0030][0031]优选的，步骤4中，通过阈值判断完成模板的实时更新，将后续帧的时间信息加入到融合网络中，从而实现完整的目标跟踪具体包括如下步骤：
[0032]步骤41、引入置信度τ和置信度阈值S，当目前帧序列序号k和更新区间T满足判断条件：
[0033]τ＞S∩T|k
[0034]即当置信度τ大于置信度阈值S，并且当前的图片序号k能够整除更新区间T时，则更新模板，反之则不更新模板，更新表达式为：
[0035][0036]其中的输入特征均为满足Transformer条件的序列特征，假设满足条件更新，则需要更新的模板为当前帧特征T
i
与之前累积的特征直接相加所得，当没有累积特征时，就是第一帧的模板特征T0；
[0037]步骤42、将更新后的模板序列化后加入到融合网络中，从而实现完整的目标跟踪。
[0038]优选的，步骤41中，对于置信度阈值S取0.7，且更新间隔T取120帧时，跟踪器性能达到最优。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力和时空感知的单目标跟踪方法，其特征在于，包括如下步骤：步骤1、输入模板图像与搜索区域图像，通过两支权值共享的RepVGG骨干网络分别提取两者的分层特征；步骤2、通过基于通道注意力机制的融合模型对两特征图进行自注意力和交叉注意力的特征交融；步骤3、通过分类分支、边框回归分支以及中心度回归分支完成对目标的跟踪预测；步骤4、通过阈值判断完成模板的实时更新，将后续帧的时间信息加入到融合网络中，从而实现完整的目标跟踪；步骤5、展示跟踪性能。2.如权利要求1所述的基于通道注意力和时空感知的单目标跟踪方法，其特征在于，步骤1中，通过两支权值共享的RepVGG骨干网络分别提取两者的分层特征，首先将模板图像与搜索区域图像对送入RepVGG骨干网络提取特征，分别在第三层输出模板特征、在第五层输出搜索区域特征以保证其尺度相同，再将两组输出经1
×
1卷积核将通道数调整为256。3.如权利要求1所述的基于通道注意力和时空感知的单目标跟踪方法，其特征在于，步骤2中，通过基于通道注意力机制的融合模型对两特征图进行自注意力和交叉注意力的特征交融具体包括如下步骤：步骤21、输入序列模板特征，通过自注意力模块进行特征增强，以充分将模板特征的各部分像素进行关联；步骤22、接收搜索特征作为一部分的输入，接收来自模板特征部分的输出作为另一部分的输入，通过交叉注意力模块计算两部分的交叉注意力，交叉注意力模块与自注意力模块的计算公式相同，只是输入不同；步骤23、将交叉注意力模块的结果输入给在长、宽两个维度的全局最大池化层和平均池化层，之后将两个池化输出再送入一个参数共享的MLP层进行通道之间的关系学习，得到的结果相加之后送入sigmoid函数激活，就能得到通道注意力权值。4.如权利要求3所述的基于通道注意力和时空感知的单目标跟踪方法，其特征在于，步骤21中，充分将模板特征的各部分像素进行关联：head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)MultiHead(Q,K,V)＝Concat(head1,head2…
head
n
)W
o
其中head
i
代表第i个多头注意力输出，W
iQ
,W
iK
,W
iV
分别代表第i个头的查询、键、值变化矩阵，Q,K,V分别代表第i个头的查询、键、值矩阵，将多个多头注意力结果进行拼接，再进行一次线性变换W
o
得到最后的输出结果。5.如权利要求3所述的基于通道注意力和时空感知的单目标跟踪方法，其特征在于，步骤23中，再将特征图尺寸还原以保持尺寸匹配，通道注意力模块的计算表达为：Chn＝δ(MLP(AvgPool(M))+MLP(MaxPool(M)))＝δ(w1(w0M
avg
))+w1(w0(M
max
)))其中，δ代表sigmoi...

【专利技术属性】
技术研发人员：钱小燕，朱新瑞，陶旭东，马英洲，李智昱，杨镇源，施俞洲，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：