基于上下文自注意力学习深度网络的目标跟踪方法与系统技术方案

本发明专利技术提出一种基于上下文自注意力学习深度网络的目标跟踪方法与系统，所述方法包括：基于卷积神经网络模型与上下文自注意力学习模块，构建得到特征提取网络模型；利用区域建议网络分别对提取后的目标模板图像特征和搜索区域图像特征在分类分支和回归分支上分别进行特征融合深度卷积计算，得到对应的相似度得分图，最后将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。在本发明专利技术中，通过重构所得到的特征提取网络，可增强模板分支与搜索分支的全局信息表示能力和自注意力学习能力，有利于区域建议网络的分类回归分支的相似度计算，最终实现更加精确的跟踪。最终实现更加精确的跟踪。最终实现更加精确的跟踪。

【技术实现步骤摘要】
基于上下文自注意力学习深度网络的目标跟踪方法与系统


[0001]本专利技术涉及计算机视觉与图像处理
，特别涉及一种基于上下文自注意力学习深度网络的目标跟踪方法与系统。

技术介绍

[0002]在计算机视觉领域中，目标跟踪通过在连续的视频图像序列中对目标的表观和运动信息进行建模以定位跟踪目标的位置。目前，目标跟踪在智能视频监控、无人驾驶、医疗诊断以及虚拟现实等视觉领域中有着广泛应用。
[0003]在实际跟踪过程中，跟踪算法面临着尺度变化、运动模糊、目标旋转、外部环境的光照变化以及相似背景干扰等因素的影响。随着目标跟踪技术的发展，基于深度学习的跟踪算法提高了跟踪性能，但是计算代价高。近年来，基于孪生神经网络的目标跟踪表现出良好的跟踪性能，尤其是在平衡跟踪速度和精确度方面，受到了国内外研究人员的广泛关注。
[0004]基于孪生网络的目标跟踪算法，虽然双分支孪生网络在目标跟踪方向得到了很好的应用，但是部分的视觉跟踪算法模型的鲁棒性与精确度均不是很理想。基于此，有必要提出一种基于上下文自注意力学习深度网络的目标跟踪方法与系统，以解决上述技术问题。

技术实现思路

[0005]鉴于上述状况，本专利技术的主要目的是为了解决现有技术中，部分的视觉跟踪算法模型的鲁棒性与精确度均不是很理想的问题。
[0006]本专利技术实施例提出一种基于上下文自注意力学习深度网络的目标跟踪方法，其中，所述方法包括如下步骤：步骤一、在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成，并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征；步骤二、通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息，通过所述上下文自注意力学习模块，结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息，将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息，所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中，利用输入键之间的上下文信息来指导动态注意力矩阵的学习，以增强目标特征表示能力；步骤三：利用大规模数据集，对所述特征提取网络模型进行预训练，并结合区域建议网络对所述特征提取网络模型的参数进行调整；步骤四：利用预训练后的所述特征提取网络模型，在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征，并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中；
步骤五：利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算，以得到对应的相似度得分图；步骤六：根据所述相似度得分图，将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。
[0007]本专利技术提出一种基于上下文自注意力学习深度网络的目标跟踪方法与系统，首先在孪生网络框架下，基于卷积神经网络模型与上下文自注意力学习模块，构建得到特征提取网络模型；其中，上下文自注意力学习模块用于提取目标全局上下文信息以进一步得到更加精确的目标表观信息，特征提取网络模型用于分别提取目标模板图像特征和搜索区域图像特征；然后，利用区域建议网络分别对提取后的目标模板图像特征和搜索区域图像特征在分类分支和回归分支上分别进行特征融合深度卷积计算，得到对应的相似度得分图，最后将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。在本专利技术中，通过重构所得到的特征提取网络，可增强模板分支与搜索分支的全局信息表示能力和自注意力学习能力，有利于区域建议网络的分类回归分支的相似度计算，最终实现更加精确的跟踪。
[0008]本专利技术还提出一种基于上下文自注意力学习深度网络的目标跟踪系统，其中，应用如上所述的基于上下文自注意力学习深度网络的目标跟踪方法，所述系统包括：模型构建模块，用于：在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成，并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征；第一提取模块，用于：通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息，通过所述上下文自注意力学习模块，结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息，将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息，所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中，利用输入键之间的上下文信息来指导动态注意力矩阵的学习，以增强目标特征表示能力；预训练模块，用于：利用大规模数据集，对所述特征提取网络模型进行预训练，并结合区域建议网络对所述特征提取网络模型的参数进行调整；第二提取模块，用于：利用预训练后的所述特征提取网络模型，在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征，并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中；卷积计算模块，用于：利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算，以得到对应的相似度得分图；
目标跟踪模块，用于：根据所述相似度得分图，将最大相似度得分值对应的相似度得分图确定为跟踪定位目标。
[0009]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。
附图说明
[0010]图1为本专利技术提出的基于上下文自注意力学习深度网络的目标跟踪方法的流程图；图2为本专利技术的特征提取网络的结构图；图3为本专利技术的原理框架图；图4为本专利技术提出的基于上下文自注意力学习深度网络的目标跟踪系统的结构示意图。
具体实施方式
[0011]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0012]参照下面的描述和附图，将清楚本专利技术的实施例的这些和其他方面。在这些描述和附图中，具体公开了本专利技术的实施例中的一些特定实施方式，来表示实施本专利技术的实施例的原理的一些方式，但是应当理解，本专利技术的实施例的范围不受此限制。相反，本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0013]请参阅图1，本专利技术提出一种基于上下文自注意力学习深度网络的目标跟踪方法，其中，所述方法包括如下步骤：S101、在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤一、在孪生网络框架下，基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型，所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成，并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征；步骤二、通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息，通过所述上下文自注意力学习模块，结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息，将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息，所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中，利用输入键之间的上下文信息来指导动态注意力矩阵的学习，以增强目标特征表示能力；步骤三：利用大规模数据集，对所述特征提取网络模型进行预训练，并结合区域建议网络对所述特征提取网络模型的参数进行调整；步骤四：利用预训练后的所述特征提取网络模型，在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征，并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中；步骤五：利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算，以得到对应的相似度得分图；步骤六：根据所述相似度得分图，将最大相似度得分值对应的相似度得分图确定为跟踪定位目标；在所述步骤二中，在所述上下文自注意力学习模块中，目标特征图表示为；其中，表示实数矩阵，表示目标特征图的高度，表示目标特征图的宽度，表示目标特征图的通道数；目标特征图的键表示为：；目标特征图的查询表示为：；目标特征图的值表示为：；其中，表示卷积操作，表示所输入的嵌入矩阵；所述上下文自注意力学习模块提取得到的目标特征图的方法包括如下步骤：对所有相邻的键进行卷积，用于使得键有效捕获相邻键之间的上下文信息，
对应的公式表示为：；其中，表示卷积权重，表示局部相邻键之间的静态上下文信息；将局部相邻键之间的静态上下文信息与查询进行拼接，通过两个连续的卷积得到注意力矩阵，对应的公式表示为：；其中，表示拼接操作，表示带有ReLU激活函数的权重系数，表示不带有激活函数的权重系数，表示基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵；将基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵与自注意力机制中所有值进行聚集以得到目标特征图的上下文表示，对应的计算公式表示为：；将目标特征图的上下文表示与局部相邻键之间的静态上下文信息进行融合，以得到通过上下文自注意力学习模块后的特征图，对应的计算公式表示为：；其中，表示融合操作。2.根据权利要求1所述的基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，在所述步骤五中，利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征，在分类分支和回归分支上分别进行特征融合深度卷积计算的步骤中，进行深度卷积计算的公式表示为：；；其中，表示跟踪目标的分类特征图，表示模板分支的分类特征图，表示搜索分支的分类特征图，表示跟踪目标的回归特征图，表示模板分支的回归特征图，表示搜索分支的回归特征图，表示深度卷积计算。3.根据权利要求2所述的基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，在计算得到了分类特征图与回归特征图之后，所述方法还包括：
将分类特征图与回归特征图分别进行加权求和，对应的公式表示为：；；其中，表示目标特征分类分数特征图，表示第个卷积块分类特征图的深度卷积结果的权重，表示第个卷积块分类特征图的深度卷积结果，表示目标特征回归分数特征图，表示第个卷积块回归特征图的深度卷积结果的权重，表示第个卷积块回归特征图的深度卷积的结果。4.根据权利要求3所述的基于上下文自注意力学习深度网络的目标跟踪方法，其特征在于，目标特征分类分数特征图通过三个卷积块分别经过区域建议网络得到，且具有两个通道；目标特征回归分数特征图通过三个卷积块分别经过区域建议网络得到，且具有四个通道。5.一种基于上下文自注意力学习深度网络的目标跟踪系统...

【专利技术属性】
技术研发人员：王员云，张文双，王军，秦永，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：