视觉目标跟踪方法、装置制造方法及图纸

本发明专利技术涉及一种视觉目标跟踪方法、装置、电子设备和计算机可读存储介质。该方法包括：构造目标网络模型，其中，该目标网络模型包括多个阶段，该多个阶段中的每个阶段使用独立的注意力变换模块，该目标网络模型包括的模板分支和搜索分支共享相同的网络权重；根据该目标网络模型进行目标跟踪。通过本发明专利技术实施例，解决了相关技术中已有网络模型在进行目标外观表征时仅依赖于卷积模型，从而难以对搜索区域内的全局信息的相关性进行建模，从而限制了跟踪算法在复杂场景下的泛化性的技术问题，达到了提高目标跟踪精度的技术效果。了提高目标跟踪精度的技术效果。了提高目标跟踪精度的技术效果。

【技术实现步骤摘要】
视觉目标跟踪方法、装置


[0001]本专利技术涉及深度神经网络在计算机视觉方面的应用领域，尤其涉及一种视觉目标跟踪方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]视觉目标跟踪是计算机视觉中最关键的组成部分之一。随着电子设备和人工智能的不断改进，视觉目标跟踪已被广泛应用于众多领域，包括精确制导和搜救任务等机器环境，以及智能交通监控等监视环境。近年来，受图像分类和目标检测的启发，深度神经网络成为大多数视觉目标跟踪器的基本组成部分。其中，基于孪生网络的跟踪算法通过在大量的模板和测试对上进行训练，以学习模板和搜索区域之间的相似性，从而具有较高的跟踪性能。
[0003]邱守猛,谷宇章,袁泽强(《基于双分支孪生网络的目标跟踪》，计算机工程与应用，2021，57(24)：135
‑
143)针对已有的基于孪生网络的目标跟踪模型中忽视了目标内部和轮廓处的区别以及采用固定模板空间结构的局限性，提出一种双分支孪生网络视觉跟踪算法。利用双分支结构考虑目标内部区域和轮廓处的表征需求差异。此外，提出了一种改进的逐像素相关模块，有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉目标跟踪方法，其特征在于，包括：构造目标网络模型，其中，所述目标网络模型包括多个阶段，所述多个阶段中的每个阶段使用独立的注意力变换模块，所述目标网络模型包括的模板分支和搜索分支共享相同的网络权重；根据所述目标网络模型进行目标跟踪。2.根据权利要求1所述的目标跟踪方法，其特征在于，所述注意力变换模块通过以下公式(1)实现：式(1)实现：式(1)实现：式(1)实现：其中，z
in
为所述注意力变换模块的输入编码；z
out
为所述注意力变换模块的输出编码；Norm为标准化操作；C
(u,v)
(X)为二维循环移位操作，表示对矩阵X进行u阶向上和v阶向左循环移位；FFN为前馈神经网络传递，由两层全连接神经网络构成；MSA为自注意力提取操作。3.根据权利要求1所述的目标跟踪方法，其特征在于，所述MSA通过以下公式(2)确定：其中，d为输入编码z的通道数；q＝LR
q
(z),k＝LR
k
(z),v＝LR
v
(z)；LR
q
，LR
k
，LR
v
为对应的线性变换网络。4.根据权利要求1所述的目标跟踪方法，其特征在于，在根据所述目标网络模型进行目标跟踪之前，所述方法还包括：对所述目标网络模型进行训练；其中，对所述目标网络模型进行训练包括重复执行以下步骤，直至实际训练次数达到预先设定的训练次数N
batch
：在训练集中随机取出N
train
对样本，其中，所述样本包括模板样本和测试样本，所述模板样本中目标在图像块的中心位置，所述测试样本中目标位于任意位置；将所述N
train
对样本作为所述目标网络模型的输入，并根据所述目标网络模型输出的预测响应图和真实响应图的差值得到网络损失；根据所述网络损失，更新所述目标网络模型的参数。5.根据权利要求1所述的目标跟踪方法，其特征在于，根据所述目标网络模型进行目标跟踪包括：给定序列图像I
k
(k＝1,2,
…
,n)中的第一帧I1，以及目标的初始矩形框B1；以所述目标的初始矩形框B1为中心，裁剪出大小为所述B1大小的N
t
倍的图像块，并调整所述图像块的尺寸为224
×
224
×
3，作为模板区域；使用所述目标网络模型，在所述模板区域提取模板特征编码；在第二帧及后续的每一帧中，以当前帧的上一帧目标的位置为中心，选...

【专利技术属性】
技术研发人员：张科，王无为，苏雨，王靖宇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：