一种基于时空约束与可学习特征匹配的快速目标跟踪方法技术

本发明专利技术公开了一种基于时空约束与可学习特征匹配的快速目标跟踪方法，公开了一种基于孪生网络结构，采用时空约束机制与可学习特征匹配策略的快速目标跟踪方法。通过设置时序约束分支与空间约束分支分别捕捉并融合随时序变化的目标外观高维特征表示与限制空间搜索尺度，降低跟踪算法计算量并缓解目标因自身运动与环境变化所导致的自身视觉特征的变化。本发明专利技术通过设置可学习特征匹配模块完成特征匹配任务，相比于主流的无参互相关方法能够更好地从训练数据中学习正负样本分布并提升跟踪效果。本发明专利技术提出的跟踪方法具有良好的跟踪准确度与较高的运算速度，能够部署在运算资源受限的嵌入式平台，能完成准确的视觉目标跟踪任务。务。务。

【技术实现步骤摘要】
一种基于时空约束与可学习特征匹配的快速目标跟踪方法


[0001]本专利技术涉及计算机视觉目标跟踪
，具体涉及一种基于时空约束与可学习特征匹配的快速目标跟踪方法。

技术介绍

[0002]目标跟踪方法旨在在连续的视频帧序列中，依据在初始帧中指定目标区域，提取目标视觉特征，并在后续帧序列对标定目标的位置、形状、大小等外观状态做出预测。
[0003]现有技术中曾提出了一种新的全卷积孪生网络作为基本结构的目标跟踪算法。在siamFC的网络结构中，具有两个权值共享的分支。在此将resize后的原图像成为x，搜索目标称为z，将他们分别输入两个分支，经过同样的特征提取计算操作分别生成22x22x128与6x6x128的特征图。再将后者在前者中做卷积运算生成响应图，其标定了目标在原始图像x中的位置。
[0004]现有技术中还有采用GradNet网络的方法，GradNet方法是基于SiamFC所衍生出来的孪生跟踪网络，都需要采用模板帧来进行跟踪。模板的一个坏处就是一旦目标发生了很大的形变或严重遮挡，这个时候仍借助模板去跟踪目标的精度会大大降低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空约束与可学习特征匹配的快速目标跟踪方法，其特征在于，包括如下步骤：S1、特征提取：在初始帧中给定目标初始位置Loc1，根据目标初始位置Loc1裁剪出目标区域Z1，并通过共享权重的骨干网络MobileNetv2分别提取搜索图像X1与跟踪目标Z1的深度特征，得到搜索区域融合特征图F
X1
和跟踪目标Z1的融合特征向量F
Z1
；S2、可学习特征匹配：将搜索区域融合特征图F
X1
和跟踪目标Z1的融合特征向量F
Z1
分别输入至两个独立的卷积层进行特征映射，并在通道维度拼接，得到的中间相似图SimilarMap
concat
，将中间相似图输入至降维层，输出得到最终的相似图SimilarMap；S3、注意力提取：包括空间注意力提取和通道注意力提取，具体为使用一张掩码Mask完成，通过学习训练，让深度神经网络学习到需要关注的区域与通道，得到带有空间、通道注意力的相似图SM
att
；S4、位置预测：根据带有空间、通道注意力的相似图SM
att
，采用分类分支与回归分支网络分别计算目标
‑
背景的前后景分类概率以及回归计算目标所处位置的边框；S5、采用时空约束分支并更新模板直至跟踪结束：时空约束包括时序约束分支与空间约束分支；具体是采用时序约束分支捕捉并融合随时序变化的目标外观高维特征表示，采用空间约束分支根据前序跟踪结果约束空间层面的搜索尺度，更新模板直至跟踪结束。2.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法，其特征在于：所述步骤S1特征提取的具体步骤包括如下：S11、尺寸调整：调整搜索图像X1与跟踪目标Z1的尺寸大小，使其能够被输入进网络，调整后的X1与Z1尺寸分别为255
×
255
×
3与127
×
127
×
3；S12、多尺度特征图尺寸平衡：通过控制骨干网络MobileNetv2中的卷积参数，将不同尺度的规范为同一尺寸的中间特征图输出，输出搜索图像X1与跟踪目标Z1在骨干网络卷积层第3、5、7层的中间特征图集分别为M
X
＝{M
X1
，M
X2
，M
X3
}和M
Z
＝{M
Z1
，M
Z2
，M
Z3
}，每个特征图集中的中间特征图具有相同的尺寸；S13、多尺度特征图融合：将步骤S12中输出的特征图集M
X
与M
Z
分别进行融合，分别得到搜索区域融合特征图F
X1
和跟踪目标Z1的融合特征向量F
Z1
。3.根据权利要求2所述的基于时空约束与可学习特征匹配的快速目标跟踪方法，其特征在于：所述步骤S13多尺度特征图融合的具体步骤包括：S131、对于特征图集M
X
，首先将其在通道维度上进行拼接，拼接后的特征图记作F
X_concat
，尺寸为31
×
31
×
768，再将F
X_concat
输入进反卷积层进行降维，然后通过批量归一化与Relu层，得到降维后的搜索区域融合特征图F
X1
，尺寸为31
×
31
×
256；S132、对于特征图集M
Z
，首先将其在通道维度上进行拼接，拼接后的特征图记作F
Z_concat
，尺寸为15
×
15
×
768，再将F
Z_concat
输入进反卷积层进行降维，然后通过批量归一化与激活层，得到降维后的搜索区域融合特征图F
Z_fusion
，该特征图尺寸为15
×
15
×
256；随后将F
Z_fusion
依次输入进特征编码器、ROI_Align层与空间调整层，最后得到表征跟踪目标Z1的融合特征向量F
Z1
，向量尺寸为1
×1×
256。4.根据权利要求1所述的基于时空约束与可学习特征匹配的快速目标跟踪方法，其特征在于：所述步骤S2中两个独立的卷积层和降维层都具有256个1x1大小的卷积核；所述中间相似图SimilarMap
c...

【专利技术属性】
技术研发人员：刘启和，武哲纬，周世杰，邱士林，张准，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：