前景信息引导型孪生卷积神经网络目标跟踪方法及装置制造方法及图纸

本发明专利技术涉及规划领域，具体涉及一种前景信息引导型孪生卷积神经网络目标跟踪方法及装置。该方法及装置采用改进后的残差网络对浅层网络进行代替，得到语义信息量更高的深度特征；采用采样策略来提高正样本对中的挑战因素；将模板图像、搜索区域图像和填充图像分别输入到模板分支、搜索区域分支和引导分支中提取特征，并在各分支输出的特征张量间进行深度互相关计算，在计算中对前景信息运用填充损失计算方式来改进损失函数；在改进后损失函数的基础上引用填充损失，并引导网络模型完成训练。该方法及装置至少解决了现有目标跟踪方法抗干扰因素弱的技术问题。抗干扰因素弱的技术问题。抗干扰因素弱的技术问题。

【技术实现步骤摘要】
前景信息引导型孪生卷积神经网络目标跟踪方法及装置


[0001]本专利技术涉及目标跟踪
，具体而言，涉及一种前景信息引导型孪生卷积神经网络目标跟踪方法及装置。

技术介绍

[0002]作为计算机视觉领域最重要的研究方向之一，目标跟踪一直都受到学者们的广泛关注。通过给定图像中任意一个物体的边界框信息，目标跟踪方法的目的就是在后续图像中对其进行精确定位。虽然目标跟踪方法在近些年已经得到了极大地提升，并被广泛应用于许多先进领域当中。但是由于复杂场景下遮挡、光照变化和相似背景干扰等因素的影响，目标跟踪任务仍然充满了挑战。
[0003]近几年，基于孪生卷积神经网络的目标跟踪方法以其均衡的准确性、鲁棒性和实时性获得了较多的关注。该类方法通过学习一个精确、鲁棒的相似度量函数，实现深度特征之间的精确匹配，从而精准、有效地定位目标。其中，Bertinetto等人提出的SiamFC跟踪方法尤为引人注目。其首次利用全卷积网络来提取模板和搜索区域的深度特征，并将输出的深度特征运用交叉相关计算一次性得到匹配后的响应图。该方法不仅在跟踪性能上表现优异，在运行速度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，包括以下步骤：采用改进后的残差网络对浅层网络进行代替，得到语义信息量更高的深度特征；采用采样策略来提高正样本对中的挑战因素；将模板图像、搜索区域图像和填充图像分别输入到模板分支、搜索区域分支和引导分支中提取特征，并在各分支输出的特征张量间进行深度互相关计算，在计算中对前景信息运用填充损失计算方式来改进损失函数；在改进后损失函数的基础上引用填充损失，并引导网络模型完成训练。2.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述方法还包括步骤：在跟踪阶段，将模板图像和搜索区域图像分别输入到模板分支与搜索区域分支中提取特征；利用两个分支输出的特征张量进行交叉相关计算，从而获得最终的响应图；在得到的响应图中寻找最大峰值，并映射到搜索区域图像中确定目标的精确位置。3.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采用改进后的残差网络对浅层网络进行代替包括：改进后的网络，将残差网络中最后的两个卷积块的步长改为1，并在网络最后加入卷积核尺寸为1
×
1的卷积层以减少输出的维度。4.根据权利要求1所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采用采样策略来提高正样本对中的挑战因素包括：采样策略利用人工设计的遮挡掩膜来增加正样本对在遮挡干扰下的数量；采样策略采用旋转和错切映射组合的随机仿射变换来模拟目标的形变。5.根据权利要求4所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采样策略利用人工设计的遮挡掩膜来增加正样本对在遮挡干扰下的数量包括：在网络模型的离线训练阶段，采样策略将正样本对中的模板图像视为需要扩充的对象；根据模板图像中的目标信息得到目标的实际大小W
×
H；在得到目标大小后，根据该信息生成预先设计好方向的遮挡掩膜，并将掩膜的尺寸固定为W/2
×
H/2；同时每种遮挡掩膜都将其覆盖的图像像素进行去除，以此来模拟跟踪过程中的遮挡干扰并提高在应对遮挡时的鲁棒性。6.根据权利要求4所述的前景信息引导型孪生卷积神经网络目标跟踪方法，其特征在于，所述采样策略采用旋转和错切映射组合的随机仿射变换来模拟目标的形变包括：当给定模板图像后，采样策略将模板图像进行范围在θ＝
±
30
°
角度内的旋转；同时模板图像会被进行X和Y方向上的错切映射，两个方向上的映射角度范围分别为φ＝
±
25
°
和ψ＝
±
25
°
；上述的两种变换进行随机的组合，从而构成采样策略中采用的随机仿射变...

【专利技术属性】
技术研发人员：李荅群，王成龙，陈小林，吴志佳，王博，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：