基于自适应时间与序列化时空特征的目标跟踪方法与系统技术方案

本发明专利技术提出一种基于自适应时间与序列化时空特征的目标跟踪方法与系统，首先在双分支跟踪网络框架下，基于深度卷积神经网络和自适应时间模块，构建得到特征提取网络；在提取目标特征的基础上，目标模板分支特征通过序列化时空特征模块得到增强的目标模板特征信息；将该特征信息输入到模型预测器，通过模型预测器得到适应性卷积核；搜索区域分支特征经过特征提取网络与卷积核进行卷积，得到融合之后的得分图，即进一步实现目标跟踪。在本发明专利技术中，通过重构基于自适应时间特征表示与序列化时空特征模块进行特征融合，从而提高了给定的目标图像和搜索区域图像的特征融合的性能，最终实现更加精确的目标跟踪。更加精确的目标跟踪。更加精确的目标跟踪。

【技术实现步骤摘要】
基于自适应时间与序列化时空特征的目标跟踪方法与系统


[0001]本专利技术涉及机器学习与计算机视觉
，特别涉及一种基于自适应时间与序列化时空特征的目标跟踪方法与系统。

技术介绍

[0002]计算机视觉指的是利用计算机来模拟人的视觉机理获取并处理信息，在计算机视觉领域中，目标跟踪是一个重要课题和研究热点。目标跟踪通过在连续的视频图像序列中对目标的表观和运动信息进行建模，定位跟踪目标的位置，在此基础上实现对运动目标的行为分析和理解，以便完成更高级的任务。目标跟踪在智能视频监控、无人驾驶以及虚拟现实等视觉领域中有着广泛的应用。尽管目标跟踪算法的研究取得了很大的进展，但是由于跟踪目标的自身变化以及背景因素等带来的挑战，跟踪算法难以较好地鉴别目标和周围的背景，容易发生跟踪漂移。目标自身变化带来的挑战主要包括尺度变化、运动模糊与目标旋转等；除了目标自身变化带来的挑战，背景因素的影响也较为显著，主要包括遮挡、光照变化以及相似背景干扰等。
[0003]在目前的目标跟踪研究领域中，目标跟踪技术可以分为两大类：基于相关滤波的跟踪技术以及基于深度学习的跟踪技术。在基于相关滤波的跟踪器中，跟踪器运行速度快，但是跟踪的准确性有待提高；基于深度学习的跟踪器提高了跟踪性能，对跟踪器的研究任务有了很大的推进。在基于深度学习的跟踪器中，双分支目标跟踪器已成为研究热点。利用深度学习建立全新的双分支跟踪框架。基于深度学习的目标跟踪方法主要是利用深度特征强大的表征能力、双分支目标的特征融合能力以及对目标位置的定位，来对复杂场景中的目标进行实时跟踪。
[0004]目前研究中的部分目标跟踪算法，对连续帧的局部目标位置信息和目标特征的全局上下文依赖信息提取、目标模板分支的基于序列化时空特征的特征增强能力有待提高，跟踪鲁棒性不是很理想。在复杂场景中，由于缺少连续帧的时态信息，无法很好地处理挑战环境中跟踪漂移以及跟踪背景复杂等挑战因素所带来的影响。

技术实现思路

[0005]鉴于上述状况，本专利技术的主要目的是为了提出一种基于自适应时间与序列化时空特征的目标跟踪方法与系统，以解决上述技术问题。
[0006]本专利技术实施例提出一种基于自适应时间与序列化时空特征的目标跟踪方法，其中，所述方法包括如下步骤：步骤一、在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；步骤二、在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层
提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；步骤三、在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；步骤四、利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；步骤五、目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；步骤六、搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；步骤七、确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
[0007]本专利技术提出一种基于自适应时间与序列化时空特征的目标跟踪方法，首先在双分支跟踪网络框架下，基于深度卷积神经网络和自适应时间模块，构建得到特征提取网络，其中自适应时间模块的局部分支突出了目标的位置信息，全局分支突出了全局关联信息表示；然后，在提取目标特征的基础上，目标模板分支特征通过序列化时空特征模块得到增强的目标模板特征信息；将该特征信息输入到模型预测器，通过模型预测器得到适应性卷积核；搜索区域分支特征经过特征提取网络与卷积核进行卷积，得到融合之后的得分图，即进一步实现目标跟踪。在本专利技术中，通过重构基于自适应时间特征表示与序列化时空特征模块进行特征融合，从而提高了给定的目标图像和搜索区域图像的特征融合的性能，最终实现更加精确的目标跟踪。
[0008]本专利技术还提出一种基于自适应时间与序列化时空特征的目标跟踪系统，其中，所述系统包括：网络构建模块，用于：在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；特征提取模块，用于：在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；特征引入模块，用于：在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列
化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；特征训练模块，用于：利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；预测迭代模块，用于：目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；特征融合模块，用于：搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；目标跟踪模块，用于：确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
[0009]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。
附图说明
[0010]图1为本专利技术提出的基于自适应时间与序列化时空特征的目标跟踪方法的流程图；图2为本专利技术中自适应时间特征表示模块的结构示意图；图3为本专利技术提出的基于自适应时间与序列化时空特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤一、在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；步骤二、在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；步骤三、在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；步骤四、利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；步骤五、目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；步骤六、搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；步骤七、确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。2.根据权利要求1所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，在所述步骤二中，在所述局部分支中，存在如下步骤：使用全局空间平均池化对第一层卷积层卷积后的特征进行压缩以得到局部位置重要性特征图；对所述局部位置重要性特征图进行第一次卷积以得到第一卷积特征；将所述第一卷积特征进行二次卷积，利用函数进行激活，并经过一个维度变换函数后得到适应性位置敏感权重图；将第一层卷积层卷积后的特征与适应性位置敏感权重图进行逐元素相乘操作以得到突出目标位置特征；其中，，表示实数矩阵，表示特征的通道数量最大值，表示连续的视频帧数最大值，表示特征图的高度最大值，表示特征图的宽度最大值，
表示特征的通道数量的取值，表示连续的视频帧数的取值，表示特征图的高度取值，表示特征图的宽度取值。3.根据权利要求2所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，局部位置重要性特征图的计算公式表示为：第一卷积特征的计算公式表示为：其中，表示非线性操作，表示一次卷积操作。4.根据权利要求3所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，适应性位置敏感权重图的计算公式表示为：其中，表示维度变换函数操作，表示函数，；所述突出目标位置特征的计算公式表示为：其中，表示逐元素相乘操作。5.根据权利要求4所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，全局分支由全连接层经RELU操作与softmax操作组成，在所述全局分支中，存在如下步骤：将所述局部分支中得到的局部位置重要性特征图，经第一个全连接层后，利用RELU函数对特征进行激活以得到激活全连接层特征之后的结果特征；将所述激活全连接层特征之后的结果特征，再经过全局分支中的第二个全连接层，再进行softmax操作以得到全局上下文信息的自适应卷积核；基于所述突出目标位置特征与所述全局上下文信息的自适应卷积核，计算得到自适应时间特征表示。6.根据权利要求5所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，所述激活全连接层特征之后的结果特征的计算公式表示为：其中，表示激活全连接层特征之后的结果特征，表示全局分支中的RELU函数，
表示全连接操作，表示第一全连接层权重系数；全局上下文信息的自适应卷积核的计算公式表示为：其中，表示全局上下文信息的自适应卷积核，表示归一化处理，表示第二全连接层权重系数；自适应时间特征表示的计算...

【专利技术属性】
技术研发人员：王员云，张文双，王军，刘坤龙，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：