一种基于三分支神经网络的目标追踪方法技术

一种基于三分支神经网络的目标追踪方法，属于计算机视觉技术领域。视觉目标跟踪属于视频分析，作为计算机视觉领域的一个重要分支，它的基本任务是根据给定的目标在初始帧的位置信息，预测目标在视频序列中的位置、区域以及运动轨迹。针对视觉目标追踪的精度低和速度慢，易受遮挡、背景混淆、尺寸变化、剧烈的表观变化、光照变化等影响。提出了一种基于三分支神经网络的目标追踪方法。与传统视觉目标追踪技术不同的是：利用三分支神经网络对目标进行追踪能够对目标有鲁棒性高的表示能力，可以应对目标表观的显著变化，对背景有更好的区分性，同时能有效地避免算法的漂移。在追踪速度也远远超过其他算法。

A Target Tracking Method Based on Three-Branch Neural Network

A target tracking method based on three-branch neural network belongs to the field of computer vision technology. Visual target tracking belongs to video analysis. As an important branch of computer vision, its basic task is to predict the position, region and trajectory of the target in the video sequence according to the position information of the given target in the initial frame. For the low accuracy and slow speed of visual target tracking, it is vulnerable to occlusion, background confusion, size changes, drastic changes in appearance, light changes and so on. A target tracking method based on three-branch neural network is proposed. Different from the traditional visual target tracking technology, the three-branch neural network can express the target robustly, cope with the significant changes in the appearance of the target, distinguish the background better, and effectively avoid the drift of the algorithm. The tracking speed is much faster than other algorithms.

【技术实现步骤摘要】
一种基于三分支神经网络的目标追踪方法
本专利技术属于计算机视觉
，具体涉及一种基于三分支神经网络的目标追踪方法。
技术介绍
视觉目标跟踪属于视频分析，作为计算机视觉领域的一个重要分支，它的基本任务是根据给定的目标在初始帧的位置信息，预测目标在视频序列中的位置、区域以及运动轨迹，从而更进一步地在运动目标识别和分类的基础上完成目标运动姿态的识别、运动趋势预测和异常行为检测等高级视觉任务。追踪器如何在拥有较高的鲁棒性的同时拥有较为准确的识别能力，既能应对目标自身表观的变化还能应对复杂的背景和遮挡，是当前追踪技术面临的主要难题。诸多追踪算法并没有在丢失目标之后重新找回目标的能力，一旦在追踪过程中丢失目标将无法继续准确地追踪，从而无法达到长时间场景下的追踪。当前机器视觉目标追踪技术主要可分为两类：使用深度卷积特征方法和使用深度回归网络方法。前者在已有的目标追踪框架中，使用在图像分类任务的数据集上预训练得到的深度卷积神经网络提取到的特征。后者离线训练一个端到端的深度回归卷积网络或递归神经网络。基于深度卷积网络的目标追踪算法可以有效地利用海量的视频资源提高其准确度，但是深度卷积网络在线训练过程需要强劲的硬件资源和较长的训练时间，使得传统的基于深度卷积网络的目标追踪算法很难在现有的硬件资源设备上达到实时的效果。当前目标追踪领域面临的主要难题有：遮挡、背景混淆、尺寸变化、剧烈的表观变化、光照变化等。
技术实现思路
本专利技术的目的在于提供一种基于三分支神经网络的目标追踪方法，本专利技术提出了三分支目标追踪网络用于提高视觉目标追踪的精度和速度；鲁棒性高、识别性强，足以应对现实应用中存在的各种具有挑战性的真实环境，解决传统视觉目标追踪精度低、速度慢等问题。本专利技术的目的是这样实现的：一种基于三分支神经网络的目标追踪方法，包括如下步骤：步骤1：目标初始化，设计训练样例以供表观建模；步骤2：目标表观建模，进行多层级卷积背景表观建模；步骤3：目标状态搜索，训练三分支神经网络；步骤4：目标状态更新，利用反馈机制更新目标模型；步骤5：目标模型优化，重复步骤2、步骤3、步骤4，直到步骤3中loss0达到最小，整体模型达到最优；步骤6：目标追踪结果展示，显示目标下一步的位置和大小。所述步骤1中设计训练样例以供表观建模具体步骤为步骤(1.1)在t时刻在第t-1帧中，以目标当前时刻所在区域的中心点c＝(cx,cy)为中心，目标的尺寸宽和高(w,h)为大小，截取目标区域作为目标区域；步骤(1.2)在t-1时刻，在第t-1帧图片中，以当前时刻目标的位置c＝(cx,cy)为中心点，以k2倍目标尺寸(w,h)为大小截取图片作为背景区域，并将其中的目标区域使用整张图像的像素矩阵填充；步骤(1.3)在t时刻，在第t中以目标在第t-1帧的位置为中心点，以k2倍目标尺寸(w,h)的大小截取图片作为搜索区域。所述步骤2中目标表观建模具体步骤为步骤(2.1)利用处理好的数据集进行表观建模，对网络进行端到端的训练，使得网络具备捕捉视频序列中时间上下文关系；步骤(2.2)分别使用深度神经网络高层和低层的卷积特征训练了两个核相关滤波器；使用高层特征的滤波器从语义等级识别目标，使用低层特征的滤波器从细节纹理等级识别目标，通过综合使用多层卷积特征，并在线学习各个卷积特征的权重，对目标和背景的表观进行精确的建模。步骤3中对目标位置的预测具体步骤为步骤(3.1)搜索区域图片ps、背景区域图片pB和目标区域图片pT，三者独立地作为输入传递到三个分支网络φS、φB和φT；步骤(3.2)使用分支网络φS和φB的输出作为输入学习目标相似性度量函数该函数比较目标φT和搜索区域φS的每一个窗口，与目标φT相似度较大窗口将被赋予较大的分数，与目标φT相似度较小的窗口将被赋予较小的分数，搜索最大的得分窗口，并将其作为所预测的目标位置；步骤(3.3)同分支网络φS和φT的输出作为输入学习背景相似性度量函数该函数匹配搜索区域和背景区域，预测目标所在的窗口，该窗口包括目标的位置信息和尺寸信息，通过加权组合目标相似性度量函数得到的位置信息和背景相似性度量函数得到的位置信息，得到最终目标的位置信息，函数得到的尺寸信息作为最终目标的尺寸信息；步骤(3.4)学习目标和目标之间的相似性度量函数和背景与背景之间的相似性度量函数，计算损失函数loss1，loss2和loss0，前两个分别用来优化度量函数，第三个用来融合前两者的损失，平衡相似性度量函数和对目标预测作出的贡献。所述步骤(3.4)中损失函数loss1为均值逻辑回归损失，计算公式为式中D为搜索区域中候选窗口集合，y1[u]∈{+1,-1}为每个候选窗口的真实标签，该标签根据候选窗口中心点与目标窗口中心点的距离设定；v1是一个二维矩阵，其中的每一个元素为搜索区域中每个候选窗口与目标之间的相似度度量得分；损失函数loss2为均方差损失，计算公式为式中v2＝f2(s,b)＝g2(φ(s),φ(b))，f2为三层全连接网络拟合背景与背景之间的上下文转换函数，g2(s,b)为相似性度量函数；损失函数loss0为网络最终的损失函数，计算公式为式中w[1]、w[2]分别是loss1和loss2的权重。所述步骤4中利用反馈机制的目标模型更新策略为通过分析相关响应图的特点和追踪结果的置信度之间的关系，发现目标模板与搜索区域的响应图谱中的峰值和波动，显示追踪结果的置信度；所述步骤4中响应图谱的计算方法计算置信度C，根据置信度C的大小决定是否进行模板更新，置信度C的计算公式为式中Fmax和Fmin分别是响应图的最大值和最小值，u′＝u|Fmax为响应值取得最大值的位置。所述步骤6中目标追踪结果展示具体步骤为步骤(6.1)输入为目标在第一帧中的位置，尺寸，视频序列和置信度均值初始值；步骤(6.2)首先根据t-1帧，截取搜索区域的St和背景区域Bt-1；步骤(6.3)令St′←φs(St)，Bt′←φB(Bt)，步骤(6.4)计算当前预测的置信度C；步骤(6.5)计算球的所有历史预测的置信度均值Cmean，判断是否C≥Cmean；步骤(6.6)根据预测结果post和sizet截取新的目标Tt；提取Tt得到Tt′；之后T←Tt；步骤(6.7)输出目标在后续帧中的位置和尺寸。本专利技术有益效果在于：(1)提出一种基于三分支神经网络的目标追踪方法，提高了视觉目标追踪的精度和速度；(2)本专利技术鲁棒性高和识别性强，足以应对现实应用中存在的各种具有挑战性的真实环境。(3)利用三分支神经网络对目标进行追踪能够对目标有鲁棒性高的表示能力，可以应对目标表观的显著变化，对背景有更好的区分性，同时能有效地避免算法的漂移。附图说明图1为本专利技术方法流程图；图2为训练样例组生成示意图；图3为多层级卷积特征示意图；图4为三分支网络结构图；图5为波峰响应分析图；图6为视觉单目标追踪基本框架。具体实施方式下面结合附图对本专利技术做更进一步描述。为解决传统视觉目标追踪精度低、速度慢等问题，本专利技术的目的在于提出一种基于三分支神经网络的目标追踪方法。为了达到上述技术目的，本专利技术提出一种基于三分支神经网络的目标追踪方法，正如图1所示，视觉单目标追踪算法的建立基本可以分为6个步骤：目标初始化、目标表观建模、目标状态搜索、目标本文档来自技高网...

【技术保护点】
1.一种基于三分支神经网络的目标追踪方法，其特征在于，包括：(1)目标初始化，设计训练样例以供表观建模；(2)目标表观建模，进行多层级卷积背景表观建模；(3)目标状态搜索，训练三分支神经网络；(4)目标状态更新，利用反馈机制更新目标模型；(5)目标模型优化，重复步骤2、步骤3、步骤4，直到步骤3中loss0达到最小，整体模型达到最优；(6)目标追踪结果展示，显示目标下一步的位置和大小。

【技术特征摘要】
1.一种基于三分支神经网络的目标追踪方法，其特征在于，包括：(1)目标初始化，设计训练样例以供表观建模；(2)目标表观建模，进行多层级卷积背景表观建模；(3)目标状态搜索，训练三分支神经网络；(4)目标状态更新，利用反馈机制更新目标模型；(5)目标模型优化，重复步骤2、步骤3、步骤4，直到步骤3中loss0达到最小，整体模型达到最优；(6)目标追踪结果展示，显示目标下一步的位置和大小。2.根据权利要求1所述的一种基于三分支神经网络的目标追踪方法，其特征在于：所述步骤(1)中设计训练样例以供表观建模具体步骤为(1.1)在t时刻在第t-1帧中，以目标当前时刻所在区域的中心点c＝(cx,cy)为中心，目标的尺寸宽和高(w,h)为大小，截取目标区域作为目标区域；(1.2)在t-1时刻，在第t-1帧图片中，以当前时刻目标的位置c＝(cx,cy)为中心点，以k2倍目标尺寸(w,h)为大小截取图片作为背景区域，并将其中的目标区域使用整张图像的像素矩阵填充；(1.3)在t时刻，在第t中以目标在第t-1帧的位置为中心点，以k2倍目标尺寸(w,h)的大小截取图片作为搜索区域。3.根据权利要求1所述的一种基于三分支神经网络的目标追踪方法，其特征在于：所述步骤(2)中目标表观建模具体步骤为(2.1)利用处理好的数据集进行表观建模，对网络进行端到端的训练，使得网络具备捕捉视频序列中时间上下文关系；(2.2)分别使用深度神经网络高层和低层的卷积特征训练了两个核相关滤波器；使用高层特征的滤波器从语义等级识别目标，使用低层特征的滤波器从细节纹理等级识别目标，通过综合使用多层卷积特征，并在线学习各个卷积特征的权重，对目标和背景的表观进行精确的建模。4.根据权利要求1所述的一种基于三分支神经网络的目标追踪方法，其特征在于：所述步骤(3)中对目标位置的预测具体步骤为(3.1)搜索区域图片ps、背景区域图片pB和目标区域图片pT，三者独立地作为输入传递到三个分支网络φS、φB和φT；步骤(3.2)使用分支网络φS和φB的输出作为输入学习目标相似性度量函数该函数比较目标φT和搜索区域φS的每一个窗口，与目标φT相似度大窗口将被赋予大的分数，与目标φT相似度小的窗口将被赋予小的分数，搜索最大的得分窗口，并将其作为所预测的目标位置；步骤(3.3)同分支网络φS和φT的输出作为输入学习背景相似性度量函数该函数匹配搜索区域和背景区域，预测目标所在的窗口，该窗口包括...

【专利技术属性】
技术研发人员：关键，漆舒汉，孙建国，刘加贝，林尤添，袁野，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23