基于多尺度层次化特征表示的目标跟踪方法与系统技术方案

本发明专利技术提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，所述方法包括：对输入图像数据进行增强以得到搜索区域图像；通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块；将目标模板图像集与搜索区域图像输入到孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；将模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；将模板特征与编码特征映射在同一特征空间中，将搜索特征与模板融合特征输入至解码器，以实现鲁棒的目标跟踪。跟踪。跟踪。

【技术实现步骤摘要】
基于多尺度层次化特征表示的目标跟踪方法与系统


[0001]本专利技术涉及计算机视觉与图像处理
，特别涉及一种基于多尺度层次化特征表示的目标跟踪方法与系统。

技术介绍

[0002]视觉跟踪是计算机视觉的一个基础研究任务，其目的是估计视频序列中每一帧目标的状态。视觉跟踪具有广泛的实际应用，如智能驾驶、人机交互以及视频监控等。目前，由于一些具有挑战性的因素的影响，如形变、光照变化以及运动模糊等因素，导致实现高质量的视觉跟踪仍然是一个亟待解决的问题。
[0003]卷积神经网络在特征学习方面具有优越的性能，基于卷积神经网络的强大特征表示，基于孪生神经网络的跟踪器被提出并实现了最先进的跟踪性能。首先，基于孪生神经网络的跟踪器在模板分支与搜索分支上分别提取相应的特征，以得到特征图。然后，跟踪器利用互相关来计算两个分支的相似性。因此，孪生主干网络和相关操作在跟踪器中扮演着重要的角色。
[0004]尽管这些跟踪器在跟踪性能上取得了很大的进步，但仍然存在一些不足:（1）、传统的卷积神经网络是通过带有预设大小的卷积核的主干网络来提取输入图像的特征。当模板目标的尺度发生剧烈变化时，模板特征可能会包含一些背景信息或丢失一些前景信息，导致跟踪过程中发生漂移。（2）、相关运算是一种线性融合方式，用于计算模板与搜索区域之间的相似度。因此，相关操作容易丢失语义信息，陷入局部最优。此外，相关操作不能捕获模板和搜索分支之间复杂的非线性交互。
[0005]基于此，有必要提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，以解决上述技术问题。

技术实现思路

[0006]鉴于上述状况，本专利技术的主要目的是为了提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，以解决上述技术问题。
[0007]本专利技术实施例提出一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述方法包括如下步骤：步骤一、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；步骤二、在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
步骤三、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；步骤四、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；步骤五、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；步骤六、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
[0008]本专利技术提出一种基于多尺度层次化特征表示的目标跟踪方法，首先通过一个有效的特征识别器模块生成三维注意图，该三维注意图用于关注重要元素的位置与内容；并在实际应用中通过动态调整目标特征的权重，以获得强大的目标特征；此外，将特征识别器模块嵌入在不同的卷积块上，以构建得到层次化特征提取模块，从而提高层次化特征提取网络的表示能力；在此基础上，再构建一个多尺度特征融合网络，通过交叉注意力机制实现模板特征与编码特征的特征融合，从而得到较强的图像特征。本专利技术提出的基于多尺度层次化特征表示的目标跟踪方法，由于有效融合了模板特征与编码特征，因此可有效规避因模板特征中背景信息丢失时发生的跟踪漂移的问题；此外，也可有效捕获模板特征与搜索特征之间的非线性交互，提高了跟踪效果。所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在所述步骤二中，所述特征识别器模块的操作方法包括如下步骤：对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图，其中对每个通道而言，通过可学习尺度变化参数进行批处理归一层；根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图；通过特征识别器模块对所述模板特征与所述搜索特征，使用两个3
×
3大小的扩张卷积用来扩大感受野，然后将经过扩张卷积处理后的所述模板特征与所述搜索特征，通过一个1
×
1大小的卷积将所述模板特征与所述搜索特征缩减得到空间特征图；根据所述通道特征图与所述空间特征图计算得到三维注意图。
[0009]所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：其中，表示第个通道的批处理归一层的输出特征，表示第个通道的
可学习尺度变化参数，表示第个通道的批处理归一化运算，表示批处理归一层中可学习的位移变换参数，表示第个通道的批处理归一层的输入特征，表示平均值，表示变化值，表示数值稳定性的正值。
[0010]所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图的步骤中，所述通道特征图的公式表示为：获得一个通道特征图的步骤中，所述通道特征图的公式表示为：其中，表示通道特征图，表示阈值函数，表示平均池化操作，表示批处理归一化操作，表示输入特征，表示权重矩阵，表示输入特征中第行第列位置的特征张量，，表示第行的缩放因子值，表示第列的缩放因子值。
[0011]所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述空间特征图的公式表示为：其中，表示空间特征图，表示可学习尺度变换参数矩阵，表示一个1
×
1的卷积运算，表示第一个3
×
3的卷积运算，表示第二个3
×
3的卷积运算，表示空间分支中的可学习尺度变化参数。
[0012]所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述三维注意图对应的公式表示为： 其中，表示三维注意图，表示sigmoid函数；
其中，表示特征识别器模块的输出特征，表示输入特征，表示局部矩阵乘法。
[0013]所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述特征识别器模块对应的损失函数表示为：其中，表示损失函数值，表示损失函数，表示特征识别器模块的预测函数，表示特征识别器模块的权重，表示针对的惩罚函数，表示针对的惩罚函数，表示用于平衡和的罚量，表示空间分支中的可学习尺度变化参数，表示通道分支中的可学习尺度变化参数。
[0014]所述一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤一、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；步骤二、在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；步骤三、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；步骤四、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；步骤五、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；步骤六、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。2.根据权利要求1所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，在所述步骤二中，所述特征识别器模块的操作方法包括如下步骤：对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图，其中对每个通道而言，通过可学习尺度变化参数进行批处理归一层；根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图；通过特征识别器模块对所述模板特征与所述搜索特征，使用两个3
×
3大小的扩张卷积用来扩大感受野，然后将经过扩张卷积处理后的所述模板特征与所述搜索特征，通过一个1
×
1大小的卷积将所述模板特征与所述搜索特征缩减得到空间特征图；根据通道特征图与空间特征图计算得到三维注意图。3.根据权利要求2所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：于，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：其中，表示第个通道的批处理归一层的输出特征，表示第个通道的可学习
尺度变化参数，表示第个通道的批处理归一化运算，表示批处理归一层中可学习的位移变换参数，表示第个通道的批处理归一层的输入特征，表示平均值，表示变化值，表示数值稳定性的正值。4.根据权利要求3所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，在根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图的步骤中，所述通道特征图的公式表示为：特征权重值以获得一个通道特征图的步骤中，所述通道特征图的公式表示为：其中，表示通道特征图，表示阈值函数，表示平均池化操作，表示批处理归一化操作，表示输入特征，表示权重矩阵，表示输入特征中第行第列位置的特征张量，，表示第行的缩放因子值，表示第列的缩放因子值。5.根据权利要求4所述的一种基于多尺度层次化特...

【专利技术属性】
技术研发人员：王军，尹鹏，王员云，汪胜前，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：