基于自适应区域选择特征融合方法、目标跟踪方法及系统技术方案

本公开涉及目标跟踪技术领域，提出了基于自适应区域选择特征融合方法、目标跟踪方法及系统，针对模板特征和搜索特征分别设计了两组区域预测器，提取模板前景区域特征与搜索目标潜在区域特征，并提出了特征提取与自适应区域选择特征融合网络，在特征提取过程中将复杂的注意力机制限制在两组特征图的目标区域范围内，提升Transformer目标跟踪网络的跟踪效率，并且保持了优秀的跟踪性能。并且保持了优秀的跟踪性能。并且保持了优秀的跟踪性能。

【技术实现步骤摘要】
基于自适应区域选择特征融合方法、目标跟踪方法及系统


[0001]本公开涉及目标跟踪相关
，具体的说，是涉及一种基于自适应区域选择特征融合方法、目标跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]Transformer网络在计算机视觉任务中的初期应用主要以插入模块的形式进行辅助，与卷积神经网络相结合，用以补充图像特征的全局信息。然而，随着视觉Transformer架构的不断研究，越来越多的工作开始探索Transformer代替卷积神经网络成为计算机视觉任务通用骨干网络的可能性，并且展现了不错的效果，其在图像分类等基础任务中表现优异。在目标跟踪领域中也已经涌现出基于Transformer重新搭建骨干网络进行特征提取，在特征提取阶段引入模板特征和搜索特征之间的相关性计算，这种方法能够提取特定于相应的跟踪目标的特征图，捕获更多属于目标的判别性信息，因此取得了出色的跟踪效果。
[0004]专利技术人发现，在目标跟踪领域，采用Transformer进行特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应区域选择特征融合方法，其特征在于，包括如下步骤：获取待处理的模板特征图，采用自适应前景区域选择与池化方法，提取模板前景目标区域特征；获取待处理的搜索特征图，采用搜索特征自适应目标潜在区域选择方法，得到搜索目标潜在区域特征；针对模板前景目标区域特征和搜索目标潜在区域特征，对模板特征和搜索特征进行特征提取过程中，在模板特征图和搜索特征图的目标区域范围内进行双重注意力操作，得到融合后的特征。2.如权利要求1所述的基于自适应区域选择特征融合方法，其特征在于，模板特征自适应前景区域选择与池化，包括如下步骤：通过设置角点预测网络预测模板区域中的目标边界框的左上和右下两个角点，获得目标前景区域范围；通过预测边框的长宽比自适应调节池化比例，采用积分均值池化操作，提取设定数量和大小的前景区域模板特征。3.如权利要求2所述的基于自适应区域选择特征融合方法，其特征在于：实现模板特征自适应前景区域选择与池化的方法，具体包括如下步骤：通过全卷积网络conv提取模板特征图的空间信息，通过设置的多层卷积层逐层降低特征图的维度，得到单通道一维模板特征图；对得到的一维特征图进行空间维度归一化，生成目标包围框角点热力图；通过计算热力图的概率分布期望值，预测角点坐标；根据预测角点得到的目标区域对模板特征，采用积分均值池化操作进行池化提取；或者，自适应目标长宽比的池化比例选择方法：预设多个池化比例，根据前景区域长宽比，选择与前景区域长宽比的比例最接近的池化比例。4.如权利要求1所述的基于自适应区域选择特征融合方法，其特征在于：搜索特征自适应目标潜在区域选择方法，包括如下步骤：通过全卷积网络对搜索特征图上目标可能存在的位置进行预测；根据预测目标位置，对目标位置坐标取整，按照目标位置在搜索特征图的上的位置，自适应设定目标潜在范围，选择搜索特征子图。5.如权利要求1所述的基于自适应区域选择特征融合方法，其特征在于，双重注意力操作为：针对模板前景目标区域特征和搜索目标潜在区域特征两组特征图，分别基于自我注意力进行自身目标信息关注的同时，将两组特征图的嵌入特征序列进行交叉注意力操作。6.如权利要求1所述的基于自适应区域选择特征融合方法，其特征在于，针对模板前景目标区域特征和搜索目标潜在区域特征，在两组特征图的目标区域范围内进行双重注意力操作，得到融合后的特征，其中，特征融合的方法步骤如下：获取将模板特征图和搜索特征图进行卷积嵌入提取特征后的嵌入序列，将获取的序列特征重新分为两组特征，并重塑为2D特征图；在重塑后的每组2D特征图上在不同的维度空间进行深度可分离卷积，获得不同维度空间的特征映射矩阵：query矩阵、key矩阵和value矩阵，其中针对key矩阵和value矩阵进行下采样；
将卷积映射模块得到的不同维度空间对应...

【专利技术属性】
技术研发人员：马昕，于江磊，魏子重，段强，李锐，姜凯，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：