一种基于多重注意力机制的无锚框跟踪方法及其系统技术方案

本发明专利技术涉及一种基于多重注意力机制的无锚框跟踪方法及其系统；本发明专利技术先分析跟踪任务得到目标模板与搜索区域，再提取目标模板与搜索区域的深浅层特征，然后采用多重注意力机制提升搜索区域特征显著性，再采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图，最后采用无锚框的跟踪方法根据响应图预测目标位置；本发明专利技术利用多重注意力机制增强网络对前景与背景的区分，提高算法在应对遮挡、目标旋转以及相似物体等干扰情况下的鲁棒性，以此解决现有在应对遮挡、相似目标及目标旋转等干扰时出现跟踪漂移导致任务失败的问题。跟踪漂移导致任务失败的问题。跟踪漂移导致任务失败的问题。

【技术实现步骤摘要】
一种基于多重注意力机制的无锚框跟踪方法及其系统


[0001]本专利技术涉及图像处理
，特别涉及了一种基于多重注意力机制的无锚框跟踪方法及其系统。

技术介绍

[0002]目标跟踪作为一项重要的计算机视觉任务，广泛应用于如智能视频监控、自动驾驶等领域；目标跟踪技术是指将跟踪任务感兴趣的目标确定为目标模板，分析目标与背景信息，实时并准确评估目标的位置与尺度等运动状态信息，为后续任务提供可靠依据。
[0003]现有的跟踪方法可划分为生成式模型或判别式模型，生成式模型，比如，光流法和Meanshift法在出现光照变化、尺度变化、相似物体干扰情况下鲁棒性较差；判别式模型可分为基于相关滤波算法以及基于孪生神经网络算法，基于相关滤波算法中，KCF算法将目标跟踪任务从图像匹配问题转化成区分目标与背景的分类问题，利用循环矩阵扩大样本容量的同时规避矩阵逆运算，增强算法的准确性。
[0004]目前主流的单目标跟踪方法从特征提取，正负样本比例、边界框回归等各方面对SiamRPN进行改良，但锚框机制为了解决不同尺度与长宽比的任务引入许多超参数，即使在大量调参的同时仍然难以处理物体形变与姿态变化较大的问题，以SiamFC++为代表的无锚框方法的两个分支相互独立，无法在计算过程中完成信息交互导致丢失大量可用信息，同时存在中心漂移现象从而降低了跟踪任务的准确性以及鲁棒性。

技术实现思路

[0005]本专利技术主要解决的技术问题是提供了一种基于多重注意力机制的无锚框跟踪方法，其利用多重注意力机制增强网络对前景与背景的区分，提高算法在应对遮挡、目标旋转以及相似物体等干扰情况下的鲁棒性，以此解决现有在应对遮挡、相似目标及目标旋转等干扰时出现跟踪漂移导致任务失败的问题；还提供了一种基于多重注意力机制的无锚框跟踪系统。
[0006]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于多重注意力机制的无锚框跟踪方法，其中，包括如下步骤：
[0007]步骤S1、分析跟踪任务得到目标模板与搜索区域；
[0008]步骤S2、提取目标模板与搜索区域的深浅层特征；
[0009]步骤S3、采用多重注意力机制提升搜索区域的特征显著性，多重注意力机制包括自注意力机制与互注意力机制，自注意力机制通过空间注意力和通道注意力串行方法学习空间位置的上下文信息，通过互注意力机制进行目标模板与搜索区域的信息交互提升搜索区域的特征显著性；
[0010]步骤S4、采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图；
[0011]步骤S5、采用无锚框的跟踪方法根据响应图预测目标位置。
[0012]作为本专利技术的一种改进，在步骤S3内，通过互注意力机制挖掘特征之间的潜联系在信息。
[0013]作为本专利技术的进一步改进，在步骤S1内，根据已有视频库或利用摄像头实时采集得到图像序列，进而分析跟踪任务获得目标模板，以目标中心位置为中心将1.5倍于目标大小的图像区域作为搜索区域。
[0014]作为本专利技术的更进一步改进，在步骤S2内，分别将目标模板与搜索区域送入相同的ResNet特征提取网络中得到浅层特征与深层特征，将浅层特征与深层特征进行信息融合。
[0015]作为本专利技术的更进一步改进，在步骤S4内，将多重注意力机制结果做逐通道卷积生成对应通道数的结果，然后采用逐点卷积将不同通道在相同空间位置的特征信息进行结合，完成目标模板在搜索区域上的响应图。
[0016]作为本专利技术的更进一步改进，在步骤S5内，应用分类回归网络将跟踪任务分解为两个子任务。
[0017]作为本专利技术的更进一步改进，在步骤S5内，对每一个子任务进行分类判断，预测目标的边界框位置与大小。
[0018]作为本专利技术的更进一步改进，对两个子任务进行训练，训练学习网络区分前景与背景的能力及网络确定目标边界框的能力。
[0019]作为本专利技术的更进一步改进，在分类回归网络中对实际跟踪任务进行跟踪，确定目标的中心位置。
[0020]一种基于多重注意力机制的无锚框跟踪系统，其中，包括：
[0021]分析模块，用于分析跟踪任务得到目标模板与搜索区域；
[0022]提取模块，用于提取目标模板与搜索区域的深浅层特征；
[0023]提升模块，用于采用多重注意力机制提升搜索区域的特征显著性；
[0024]融合模块，用于对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图；
[0025]预测模块，用于根据响应图预测目标位置。
[0026]本专利技术的有益效果是：与现有技术相比，本专利技术先分析跟踪任务得到目标模板与搜索区域，再提取目标模板与搜索区域的深浅层特征，然后采用多重注意力机制提升搜索区域特征显著性，再采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图，最后采用无锚框的跟踪方法根据响应图预测目标位置；本专利技术利用多重注意力机制增强网络对前景与背景的区分，提高算法在应对遮挡、目标旋转以及相似物体等干扰情况下的鲁棒性，以此解决现有在应对遮挡、相似目标及目标旋转等干扰时出现跟踪漂移导致任务失败的问题。
附图说明
[0027]图1为本专利技术的基于多重注意力机制的无锚框跟踪方法的步骤框图；
[0028]图2为本专利技术的网络模型结构示意图；
[0029]图3为本专利技术与现有主流跟踪算法在GOT
‑
10K大型公开数据集上精度对比示意图。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0031]请参照图1至图3，本专利技术一种基于多重注意力机制的无锚框跟踪方法，包括如下步骤：
[0032]步骤S1、分析跟踪任务得到目标模板与搜索区域；
[0033]步骤S2、提取目标模板与搜索区域的深浅层特征；
[0034]步骤S3、采用多重注意力机制提升搜索区域的特征显著性，多重注意力机制包括自注意力机制与互注意力机制，自注意力机制通过空间注意力和通道注意力串行方法学习空间位置的上下文信息，通过互注意力机制进行目标模板与搜索区域的信息交互提升搜索区域的特征显著性；
[0035]步骤S4、采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图；
[0036]步骤S5、采用无锚框的跟踪方法根据响应图预测目标位置。
[0037]在本专利技术内，先分析跟踪任务得到目标模板与搜索区域，再提取目标模板与搜索区域的深浅层特征，然后采用多重注意力机制提升搜索区域特征显著性，再采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图，最后采用无锚框的跟踪方法根据响应图预测目标位置；本专利技术利用多重注意力机制增强网络对前景与背景的区分，提高算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重注意力机制的无锚框跟踪方法，其特征在于，包括如下步骤：步骤S1、分析跟踪任务得到目标模板与搜索区域；步骤S2、提取目标模板与搜索区域的深浅层特征；步骤S3、采用多重注意力机制提升搜索区域的特征显著性，多重注意力机制包括自注意力机制与互注意力机制，自注意力机制通过空间注意力和通道注意力串行方法学习空间位置的上下文信息，通过互注意力机制进行目标模板与搜索区域的信息交互提升搜索区域的特征显著性；步骤S4、采用深度可分离互相关方法对搜索区域的特征信息进行结合，从而得到目标模板在搜索区域上的响应图；步骤S5、采用无锚框的跟踪方法根据响应图预测目标位置。2.根据权利要求1所述的一种基于多重注意力机制的无锚框跟踪方法，其特征在于，在步骤S3内，通过互注意力机制挖掘特征之间的潜联系在信息。3.根据权利要求2所述的一种基于多重注意力机制的无锚框跟踪方法，其特征在于，在步骤S1内，根据已有视频库或利用摄像头实时采集得到图像序列，进而分析跟踪任务获得目标模板，以目标中心位置为中心将1.5倍于目标大小的图像区域作为搜索区域。4.根据权利要求3所述的一种基于多重注意力机制的无锚框跟踪方法，其特征在于，在步骤S2内，分别将目标模板与搜索区域送入相同的ResNet特征提取网络中得到浅层特征与深层特征，将浅层特征与深层特征进行信息融合。5.根据权利要...

【专利技术属性】
技术研发人员：刘晶红，邓安平，陈琪琪，王宣，左羽佳，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：