基于可变形卷积和模板更新的孪生网络目标跟踪的方法技术

本发明专利技术公开了一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，首次将可变形卷积网络和模板更新策略结合。采用可变形卷积学习特征数据在不同方向上的自适应偏移量，以增强骨干网络的特征提取能力。此外，深层特征虽语义信息丰富，但缺少位置信息，通过多层可变形互相关融合以提高定位精度。最后，提出了一种高置信度模板更新策略，即每隔固定帧计算一次响应图的峰值旁瓣比和最大值，以此为依据，采用加权的方式融合特征以更新模板。既保证了有效更新，也防止遮挡等特殊情况下更新模板。本发明专利技术提出了一种全新的端到端的深度模型，有效提升了方案跟踪性能。

【技术实现步骤摘要】
基于可变形卷积和模板更新的孪生网络目标跟踪的方法
本专利技术涉及一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，属于计算机视觉的目标跟踪

技术介绍
目标跟踪广泛应用在视频分析、智能交通、虚拟现实等领域，其核心任务是给定目标在视频第一帧初始位置后，自动估计后续帧中目标的位置。但跟踪过程中容易受到遮挡、模糊、形变、光照变化等一系列复杂因素的干扰，因此，设计一个可以在现实复杂场景下稳定高效运行的跟踪方法是十分具有研究与实用价值的。目前，现有的跟踪算法大致可以分为两大类。一类将相关滤波的思想应用到跟踪领域，提出了误差最小平方和滤波器目标跟踪算法：将跟踪器模板的求解由时域复杂运算转换为傅里叶域点乘计算，计算量大大减少，跟踪器速度得到飞跃性提升。虽然这种算法在速度上很快，但是精度并不理想。另一类，为了取得精度与速度之间的平衡，基于深度学习的孪生网络跟踪算法逐渐流行。孪生网络主要由特征提取过程中共享参数的模板分支与搜索分支组成。利用相似性学习的方法，提出了全卷积孪生网络跟踪算法，通过计算目标模板与搜索区域深度特征之间的相似值，将跟踪问本文档来自技高网...

【技术保护点】
1.一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：包括如下步骤：/n步骤S1，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w

【技术特征摘要】
1.一种基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：包括如下步骤：
步骤S1，将数据集或摄像头捕捉画面的第一帧图像以目标为中心裁剪出127×127×3大小的图像作为模板图像，在跟踪过程中第i+1帧以第i帧目标位置为中心裁剪出255×255×3大小的图像作为搜索图像，将模板图像数据与搜索图像数据分别输入到模板分支与搜索分支中，分别得到模板特征数据w1与搜索特征数据x；
步骤S2，将模板特征数据w1与搜索特征数据x输入到可变形卷积网络中，学习各个特征数据在不同方向上的自适应偏移量，输出模板偏移核与搜索偏移特征，将模板偏移核和搜索偏移特征分别进行互相关得到偏移图c；
步骤S3，将模板特征数据w1与搜索特征数据x与偏移图c经过可变形互相关得到最终响应图；
步骤S4，每隔固定帧计算第i帧最终响应图的旁瓣峰值比和第1到i帧最终响应图旁瓣峰值比的最大值，将旁瓣峰值比、旁瓣峰值比的最大值均与历史旁瓣峰值比进行比较，如果前两者均大于历史旁瓣峰值比，则进行模板更新；
步骤S5，当模板被判定更新时，第i+1帧以第i帧图像获取目标为中心截取127×127×3大小的图像，图像通过模板分支模板提取出的新的特征数据，将新的特征数据与第一帧模板特征数据进行加权融合取代原模板特征数据，成为新的模板用于目标跟踪。


2.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：步骤S1中模板分支和搜索分支在分别提取特征数据的过程中共享参数，其中特征提取过程，如公式(1)所示：



其中，I是输入图像矩阵，I((xa,ya),(xb,yb))为I的子矩阵，以(xa,ya)和(xb,yb)为子矩阵的左上角与右下角的直角坐标系的坐标，k为提取特征数据的步长，f(·)为特征提取函数。


3.根据权利要求1所述的基于可变形卷积和模板更新的孪生网络目标跟踪的方法，其特征在于：步骤S2的具体步骤如下：
2-1：使用规则网格在搜索特征数据x上采样得到采样值；
2-2：将模板数据特征w1作为卷积核w加权采样值总和，得到偏移图c；
规则网格计算公式如下：



定义了一个膨胀为1，填充为0的k×k大...

【专利技术属性】
技术研发人员：卢先领，刘如浩，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32