基于空间-通道互相关和中心度引导的孪生目标跟踪方法技术

本发明专利技术公开了一种基于空间

【技术实现步骤摘要】
基于空间
‑
通道互相关和中心度引导的孪生目标跟踪方法


[0001]本专利技术涉及计算机视觉目标跟踪
，尤其涉及一种基于空间
‑
通道互相关和中心度引导的孪生目标跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉的一项基本任务，目标跟踪融合了来自机器学习、优化和图像处理等多个领域的知识，在自动监控、车辆导航、机器人传感、人机交互和增强实现等领域有着广泛的应用。虽然目标跟踪已经取得了长足的进展，但是复杂多变的实际场景中存在着光照变化、遮挡、快速运动、形变、尺度变化和相似物体干扰等诸多因素的影响，鲁棒视觉跟踪仍具有很大的挑战性。
[0003]近年来，基于孪生网络的深度跟踪器在精度和速度之间取得了较好的平衡，比如SiamFC、SiamRPN、DaSiamRPN、SiamRPN++、SiamCAR等，但仍然存在许多不足之处：SiamFC使用的是简单的naive correlation操作，它本质上是一个卷积操作，直接将模版特征作为卷积核与搜索特征进行互相关操作，最后得到的特征图通道数为1；SiamRPN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间
‑
通道互相关和中心度引导的孪生目标跟踪方法，其特征在于，包括以下步骤：S1、获取图像中的模板和搜索区域；S2、分别将所述模板和搜索区域送入深度特征提取网络进行特征提取，得到模板特征和搜索区域特征分别为和宽度
×
长度
×
通道数大小分别为Hz
×
Wz
×
C，Hx
×
Wx
×
C；S3、将所述模板特征和搜索区域特征分别送入两个空间
‑
通道互相关模块，得到适用于分类子网络的特征图R1和适用于回归子网络的特征图R2；S4、将所述特征图R1送入分类子网络得到分类图，将所述特征图R2送入回归子网络得到中心度图和回归图；S5、通过损失函数优化所述步骤S3
‑
S4，根据优化后所述分类图、中心度图和回归图得到预测的目标边界框；所述步骤S3包括：S31、将所述模板特征从空间维度上分割成包括Hz
×
Wz个小核的空间核K1，每个小核的大小为1
×1×
C；将所述模板特征从通道维度上分割成包括C个小核的通道核K2，每个小核的大小为1
×1×
HzWz；S32、将所述搜索区域特征与所述空间核K1进行逐像素的互相关操作，得到特征图F1：
★
表示逐像素互相关；S33、将所述特征图F1与所述通道核K2进行逐像素的互相关操作，得到特征图F2：F2＝F1
★
K2；S34、将所述特征图F1和特征图F2拼接，进行1
×
1卷积降维，送入热插拔模块SE
‑
block；S35、所述步骤S31
‑
S34重复进行两次，分别得到大小均为Hz
×
Wz
×
C的适用于分类子网络的特征图R1和适用于回归子网络的特征图R2。2.根据权利要求1所述的基于空间
‑
通道互相关和中心度引导的孪生目标跟踪方法，其特征在于，所述步骤S1中，所述模板为将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出指定像素大小的图像；所述搜索区域为在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出指定大小的图像。3.根据权利要求1所述的基于空间
‑
通道互相关和中心度引导的孪生目标跟踪方法，其特征在于，所述步骤S4包括：S41、将所述特征图R1送入分类子网络，所述分类子网络为CNN网络，只有一个分类分支，输出一个分类图分类图每个点预测的是该点位置是前景和背景的可能性。S42、将所述特征图R2送入回归子网络，所述回归子网络为CNN网络，包括一个中心度分支和一个边界框回归分支，分别输出中心度图和回归图中心图每个点预测的是该位置是目标中心的可能性，回归图每个点预测的是该点离边界框上下左右的距离。4.根据权利要求1所述的基于空间<...

【专利技术属性】
技术研发人员：张建明，何宇凡，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：