基于残差分层注意力和相关性滤波器的目标跟踪方法及系统技术方案

本公开提出了一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。本公开使用端到端训练的卷积神经网络，并将相关性滤波器作为网络中的层，实现了对运动目标进行实时的目标跟踪。而且，通过残差分层注意力学习，能够获得更有效、鲁棒的卷积目标特征，显著提升了目标跟踪的泛化能力。此外，多上下文相关性滤波层实现了以联合的方式对上下文进行感知和对回归目标进行自适应，显著提升了目标跟踪的判别能力。

Target tracking method and system based on residual layer attention and correlation filter

This disclosure proposes a target tracking method and system based on residual layer attention and correlation filter. The present disclosure uses end-to-end trained convolutional neural networks and takes correlation filters as layers in the network to achieve real-time target tracking for moving objects. Moreover, through residual layer attention learning, more effective and robust convolutional target features can be obtained, which significantly improves the generalization ability of target tracking. In addition, multi-context correlation filter layer realizes context sensing and adaptive to regression targets in a joint way, which significantly improves the discriminant ability of target tracking.

【技术实现步骤摘要】
基于残差分层注意力和相关性滤波器的目标跟踪方法及系统
本公开涉及一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。对一个运动的目标进行目标跟踪是计算机视觉的重要分支和研究热点，并在许多领域，如运动事件检测、视频监控、生物视觉等，应用广泛。然而，由于跟踪过程中经常出现的外形变化、光照变化、遮挡、背景干扰等问题，目标跟踪仍是一个极具挑战性的课题。近年来，基于相关性滤波器的目标跟踪方法引起了广泛的关注，发展迅速。这类方法能够达到较高的跟踪精度，同时具有较快的处理速度。在跟踪过程中，上下文信息包含了许多重要的前景和背景线索，这些信息有助于提升目标定位的准确性。然而，基于相关性滤波器的目标跟踪方法通常是不能进行上下文感知的；部分这类方法尽管利用了跟踪过程中的上下文信息，但由于每一帧的搜索区域仅包含少量的上下文区域，且用于减弱边界效应的余弦窗会进一步减少这类方法中搜索区域包含的上下文信息。在最近五年中，深度网络和机器学习的相关方法和技术逐渐被应用到目标跟踪中，大大提高了目标跟踪的性能。这类方法与传统的目标跟踪方法相比，其跟踪精确度和跟踪成功率都有显著的提升。然而，许多基于深度学习的目标跟踪方法采用的是像VGG或Alexnet等预先训练的网络，之后再叠加上其它已有的跟踪方法，很难满足目标跟踪实时性要求，没有真正地进行端到端的网络训练，以及充分发挥深度网络的优势。
技术实现思路
本公开为了解决上述问题，提出了一种基于残差分层注意力和相关性滤波器的目标跟踪方法及系统。本公开使用端到端训练的卷积神经网络，并将相关性滤波器作为网络中的层，实现了对运动目标进行实时的目标跟踪。而且，通过残差分层注意力学习，能够获得更有效、鲁棒的卷积目标特征，显著提升了目标跟踪的泛化能力。此外，多上下文相关性滤波层实现了以联合的方式对上下文进行感知和对回归目标进行自适应，显著提升了目标跟踪的判别能力。根据一些实施例，本公开采用如下技术方案：一种基于残差分层注意力和相关性滤波器的目标跟踪方法，包括以下步骤：(1)读取当前帧图像，获取目标在前一帧图像中的位置和尺度，进而确定当前帧中的测试样本；(2)将测试样本输入到训练后的卷积神经网络，获得测试样本的卷积特征，将所述特征输入至多上下文相关性滤波层，通过模型参数，获得网络响应，并确定目标在当前帧的位置和尺度；(3)根据目标在当前帧的位置和尺度，获取训练样本，将所述训练样本输入卷积神经网络和残差分层注意力模块，获得含有注意力信息的训练样本特征；(4)根据目标在当前帧的位置，提取转变样本，将其输入卷积神经网络，基于转变样本的网络响应，获得自适应的回归目标，之后，提取上下文样本，获得上下文样本特征，并根据含有注意力信息的训练样本特征和自适应的回归目标，得到含有多上下文信息的滤波器参数；(5)利用获得的滤波器参数，对原有的模型参数进行更新。作为进一步的限定，所述方法还包括步骤(6)，更新至下一帧图像，不断进行步骤(1)-(5)的迭代，直到所有图像处理完成。作为进一步的限定，所述步骤(1)中，选定目标在当前帧的测试样本的确定过程包括：在当前帧图像中以上一帧目标位置为中心，提取出尺度N倍于上一帧目标尺度的图像片，N大于1，并将图像片调整至指定像素，作为当前帧的测试样本。作为进一步的限定，所述步骤(2)中，卷积神经网络的结构包括：采用VGG-16网络第一层卷积层和第二层卷积层的结构，并去除所有池化层；将以上卷积层复制为对称的孪生网络结构，使该网络具有两个结构一致的训练分支和测试分支；在网络训练分支的卷积层之后加入具有三层池化层的Hourglass结构，作为该网络的残差分层注意力模块；网络的最后一层为多上下文相关性滤波层，该层的输入为注意力模块的输出和测试分支的输出。作为进一步的限定，所述步骤(2)中，采用训练数据集对端到端的卷积神经网络进行预训练。作为更进一步的限定，所述步骤(2)中，预训练的具体过程包括：对训练数据进行预处理，每隔若干帧提取一对图像帧，以大于目标大小的范围提取出图像片，并调整图像片的大小至设定像素，作为训练网络的样本；采用随机梯度下降法训练网络；对不含残差分层注意力模块的卷积神经网络进行多次使用完整数据集的迭代训练；将残差分层注意力模块加入深度卷积网络，并固定卷积网络中已训练的层，进行多次使用完整数据集的迭代训练。作为进一步的限定，所述步骤(2)中，将测试样本输入网络的测试分支，经过两层卷积层，得到测试样本的特征。作为进一步的限定，所述步骤(2)中，确定目标在当前帧的位置和尺度包括：将测试样本特征输入多上下文相关性滤波层，并根据模型参数，计算网络响应值；在跟踪阶段，将提取多个不同尺度的图像片，处理为测试样本，获得它们的特征和网络响应，目标在当前帧的尺度和位置分别为取得网络响应最大值的测试样本中目标的尺度和最大响应值对应的位置。作为进一步的限定，所述步骤(3)中，获得训练样本的具体过程包括：在当前帧图像中，以当前帧中的目标位置为中心，提取出尺度N倍于当前目标尺度的图像片，N大于1，并将图像片调整至指定像素，作为目标在当前帧图像的训练样本。作为进一步的限定，所述步骤(3)中，获得含有注意力信息的训练样本特征的具体过程包括：将训练样本x0输入网络训练分支中的卷积层，得到输出P(x0)；之后，将P(x0)输入至残差分层注意力模块，获得含有注意力信息的训练样本特征：Q(x0)＝∑uMu(x0)*P(x0)+P(x0)其中，*表示Hadamard按通道相乘，M(x0)表示注意力模块生成的注意力分布图，u表示注意力模块中上采样层的个数，Q(x0)表示将会被输入至多上下文滤波层的带有注意力信息的训练样本特征。作为进一步的限定，所述步骤(4)中，获得自适应的回归目标，具体如下：以设定点为中心，提取若干个转变样本，转变样本的尺度与训练样本的尺度一致，并构建一个中心位置和尺度与训练样本的中心位置和尺度一致的限制矩阵，其元素的初始值为0；将转变样本输入至网络测试分支，获得转变样本的特征，并得到网络响应图，取每个响应图中心位置的值作为限制矩阵对应位置的值；根据已知限制矩阵中元素的值，基于高斯分布，计算剩余元素的值，最终得到能够反映目标分布和目标运动的限制矩阵；根据限制矩阵，得到自适应的回归目标，它与限制矩阵服从噪声模型。作为进一步的限定，所述步骤(4)中，获得含有多上下文信息的滤波器参数的具体过程包括：以设定点为中心，提取上下文样本，上下文样本的尺度与训练样本一致，并将上下文样本输入至网络测试分支，得到上下文样本的特征；在训练阶段，根据包含注意力的训练样本特征，上下文样本的特征和自适应回归目标中的限制矩阵，获得滤波器参数。在一个或多个实施方式中，一种基于残差分层注意力和相关性滤波器的目标跟踪系统，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于残差分层注意力和相关性滤波器的目标跟踪的方法。在一个或多个实施方式中，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述的基于残差分层注意力和相关性滤波器的目标跟踪系统方法。与现有技术本文档来自技高网...

【技术保护点】
1.一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：包括以下步骤：(1)读取当前帧图像，获取目标在前一帧图像中的位置和尺度，进而确定当前帧中的测试样本；(2)将测试样本输入到训练后的卷积神经网络，获得测试样本的卷积特征，将所述特征输入至多上下文相关性滤波层，通过模型参数，获得网络响应，并确定目标在当前帧的位置和尺度；(3)根据目标在当前帧的位置和尺度，获取训练样本，将所述训练样本输入卷积神经网络和残差分层注意力模块，获得含有注意力信息的训练样本特征；(4)根据目标在当前帧的位置，提取转变样本，将其输入卷积神经网络，基于转变样本的网络响应，获得自适应的回归目标，之后，提取上下文样本，获得上下文样本特征，并根据含有注意力信息的训练样本特征和自适应的回归目标，得到含有多上下文信息的滤波器参数；(5)利用获得的滤波器参数，对原有的模型参数进行更新。

【技术特征摘要】
1.一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：包括以下步骤：(1)读取当前帧图像，获取目标在前一帧图像中的位置和尺度，进而确定当前帧中的测试样本；(2)将测试样本输入到训练后的卷积神经网络，获得测试样本的卷积特征，将所述特征输入至多上下文相关性滤波层，通过模型参数，获得网络响应，并确定目标在当前帧的位置和尺度；(3)根据目标在当前帧的位置和尺度，获取训练样本，将所述训练样本输入卷积神经网络和残差分层注意力模块，获得含有注意力信息的训练样本特征；(4)根据目标在当前帧的位置，提取转变样本，将其输入卷积神经网络，基于转变样本的网络响应，获得自适应的回归目标，之后，提取上下文样本，获得上下文样本特征，并根据含有注意力信息的训练样本特征和自适应的回归目标，得到含有多上下文信息的滤波器参数；(5)利用获得的滤波器参数，对原有的模型参数进行更新。2.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：还包括步骤(6)，更新至下一帧图像，不断进行步骤(1)-(5)的迭代，直到所有图像处理完成。3.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(1)中，选定目标在当前帧的测试样本的确定过程包括：在当前帧图像中以上一帧目标位置为中心，提取出尺度N倍于上一帧目标尺度的图像片，N大于1，并将图像片调整至指定像素，作为当前帧的测试样本。4.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，卷积神经网络的结构包括：采用VGG-16网络第一层卷积层和第二层卷积层的结构，并去除所有池化层；将以上卷积层复制为对称的孪生网络结构，使该网络具有两个结构一致的训练分支和测试分支；在网络训练分支的卷积层之后加入具有三层池化层的Hourglass结构，作为该网络的残差分层注意力模块；网络的最后一层为多上下文相关性滤波层，该层的输入为注意力模块的输出和测试分支的输出。5.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，采用训练数据集对端到端的卷积神经网络进行预训练；预训练的具体过程包括：对训练数据进行预处理，每隔若干帧提取一对图像帧，以大于目标大小的范围提取出图像片，并调整图像片的大小至设定像素，作为训练网络的样本；采用随机梯度下降法训练网络；对不含残差分层注意力模块的卷积神经网络进行多次使用完整数据集的迭代训练；将残差分层注意力模块加入深度卷积网络，并固定卷积网络中已训练的层，进行多次使用完整数据集的迭代训练。6.如权利要求1所述的一种基于残差分层注意力和相关性滤波器的目标跟踪方法，其特征是：所述步骤(2)中，将测试样本输...

【专利技术属性】
技术研发人员：马昕，黄文慧，宋锐，荣学文，田国会，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37