目标跟踪方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种目标跟踪方法、装置和系统以及存储介质。方法包括：获取目标模板图像和目标搜索图像；将目标模板图像和目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取目标模板图像的第一初始特征和目标搜索图像的第二初始特征；将第一初始特征输入目标跟踪网络中的第一前景背景分离网络，以获得第一前景特征；将第二初始特征输入目标跟踪网络中的第二前景背景分离网络，以获得第二前景特征，第二前景背景分离网络与第一前景背景分离网络共享权重；对第一前景特征与第二前景特征进行相关性计算，以获得第一相关性响应结果；基于第一相关性响应结果进行位置预测，以获得目标跟踪结果。可以有效提高目标跟踪精度。

Target tracking methods, devices, systems and storage media

【技术实现步骤摘要】
目标跟踪方法、装置和系统及存储介质
本专利技术涉及计算机视觉
，更具体地涉及一种目标跟踪方法、装置和系统及存储介质。
技术介绍
目标跟踪技术是计算机视觉领域的一个比较重要的研究方向。目标跟踪技术可以应用在很多方面，例如视频监控、人机交互、无人驾驶等。现有的一些目标跟踪技术采用基于孪生神经网络模型的跟踪算法，其方法是将初始给定的目标(模板图像中的物体)作为模板，从后续视频帧中提取搜索区域(或称候选区域)，获得搜索图像，利用预训练网络模型提取模板图像的特征及搜索图像的特征，随后通过相似性学习的方法计算模板图像中的目标与搜索区域中各物体的相似度，进而判断目标的位置。在单目标跟踪任务下，对于输入的视频帧，前景及背景的定义并非绝对的，而是依赖于在第一个视频帧(即模板图像)中选定的目标，即将模板图像上用初始框标注的目标定义为前景，其余图像信息均定义为背景，是一个相对二分类问题。现有的目标跟踪算法，在跟踪目标的过程中，选定第一个视频帧作为模板图像，并且固定该模板不再更新，这样做虽然一定程度上可以避免更新模板带来的误差累计及计算量问题，但是由于真实驾驶场景或制导武器飞行过程中，无论视觉场景较为单一还是发生较大变化时，使用这样携带着大量背景信息的特征来搜索匹配目标都会带来严重的偏差。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种目标跟踪方法、装置和系统以及存储介质。本专利技术一方面，提供了一种目标跟踪方法。目标跟踪方法包括：获取目标模板图像和目标搜索图像；将所述目标模板图像和所述目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取所述目标模板图像的第一初始特征和所述目标搜索图像的第二初始特征；将所述第一初始特征输入所述目标跟踪网络中的第一前景背景分离网络，以获得所述目标模板图像的第一前景特征；将所述第二初始特征输入所述目标跟踪网络中的第二前景背景分离网络，以获得所述目标搜索图像的第二前景特征，所述第二前景背景分离网络与所述第一前景背景分离网络共享权重；对所述第一前景特征与所述第二前景特征进行相关性计算，以获得第一相关性响应结果；基于所述第一相关性响应结果进行位置预测，以获得目标跟踪结果。本专利技术的另一方面，提供了一种目标跟踪装置，包括：第一获取模块，用于获取目标模板图像和目标搜索图像；特征提取模块，用于将所述目标模板图像和所述目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取所述目标模板图像的第一初始特征和所述目标搜索图像的第二初始特征；第一分离模块，用于将所述第一初始特征输入所述目标跟踪网络中的第一前景背景分离网络，以获得所述目标模板图像的第一前景特征；第二分离模块，用于将所述第二初始特征输入所述目标跟踪网络中的第二前景背景分离网络，以获得所述目标搜索图像的第二前景特征，所述第二前景背景分离网络与所述第一前景背景分离网络共享权重；第一相关性计算模块，用于对所述第一前景特征与所述第二前景特征进行相关性计算，以获得第一相关性响应结果；预测模块，用于基于所述第一相关性响应结果进行位置预测，以获得目标跟踪结果。本专利技术另一方面，提供了一种目标跟踪系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述目标跟踪方法。本专利技术另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述目标跟踪方法。本专利技术实施例的目标跟踪方法、装置和系统以及存储介质，分离提取目标模板图像和目标搜索图像的前景特征，基于提取出的前景特征进行相关性计算，进而预测目标在目标搜索图像中的位置。这种方案可以有效利用前景特征的使用价值，由于前景背景分离，因此匹配效果更好，可以有效提高目标跟踪精度。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出根据本专利技术一个实施例的目标跟踪方法的示意性流程图；图2示出根据本专利技术一个实施例的目标跟踪网络的网络结构的示意图；图3示出根据本专利技术一个实施例的采用现有技术与本专利技术提供的目标跟踪网络进行目标跟踪的OPE成功率对比图；图4示出根据本专利技术一个实施例的目标跟踪装置的示意性框图；以及图5示出根据本专利技术一个实施例的目标跟踪系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。为了解决上述问题，本专利技术提出了一种目标跟踪方法。在该目标跟踪方法中，分离提取目标模板图像和目标搜索图像的前景特征，并至少基于提取出的前景特征进行目标位置的预测，这样做可以有效提高目标跟踪的精度。本专利技术实施例提供的目标跟踪方法可以应用于任何需要目标跟踪技术的领域。图1示出根据本专利技术一个实施例的目标跟踪方法100的示意性流程图。如图1所示，目标跟踪方法100包括步骤S110-S160。在步骤S110，获取目标模板图像和目标搜索图像。在本实施例中，模板图像是指已用初始框标注好目标所在位置的图像。搜索图像是指需要从中确定与模板图像匹配的目标所在位置的图像。为了区分，本文将用于训练目标跟踪网络的模板图像和搜索图像称为样本模板图像和样本搜索图像，将实际执行目标跟踪任务所涉及的模板图像和搜索图像称为目标模板图像和目标搜索图像。在本文的描述中，目标模板图像中可以包含待跟踪目标，该目标可以是任意类型的物体，包括但不限于人或人体的一部分(例如人脸等)、动物、车辆、建筑物等等。可选地，目标搜索图像可以是从目标模板图像之后的视频帧中提取出的任一可能包含目标的图像块。可选地，目标模板图像和目标搜索图像可以是经过归一化处理的图像，例如目标模板图像可以是大小为127×127×3(3为通道数)的图像，目标搜索图像可以是大小为255×255×3(3为通道数)的图像。目标模板图像和目标搜索图像可以采用常规的目标跟踪算法中的预处理模块进行预处理后获得，本领域技术人员可以理解二者的获得方式，本文不做赘述。在步骤S120，将目标模板图像和目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取目标模板图像的第一初始特征和目标搜索图像的第二初始特征。可以利用目标跟踪网络对目标模板图像中的目标在目标搜索图像中的位置进行检测，以获得所述目标在目标搜索图像中的目标跟踪结果。目标跟踪网络的输入是目标模板图像和目标搜索图像，其输出可以是用于指示目标在目标搜索图像中的位置的位置信息(即目标跟踪结果)。在一个示例中，目标跟踪结果可以包括用于指示目标所在位置的候选框(boundingbox)的坐标以及候选框的分本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，包括：/n获取目标模板图像和目标搜索图像；/n将所述目标模板图像和所述目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取所述目标模板图像的第一初始特征和所述目标搜索图像的第二初始特征；/n将所述第一初始特征输入所述目标跟踪网络中的第一前景背景分离网络，以获得所述目标模板图像的第一前景特征；/n将所述第二初始特征输入所述目标跟踪网络中的第二前景背景分离网络，以获得所述目标搜索图像的第二前景特征，所述第二前景背景分离网络与所述第一前景背景分离网络共享权重；/n对所述第一前景特征与所述第二前景特征进行相关性计算，以获得第一相关性响应结果；/n基于所述第一相关性响应结果进行位置预测，以获得目标跟踪结果。/n

【技术特征摘要】
1.一种目标跟踪方法，包括：
获取目标模板图像和目标搜索图像；
将所述目标模板图像和所述目标搜索图像分别输入目标跟踪网络中的特征提取网络，以分别提取所述目标模板图像的第一初始特征和所述目标搜索图像的第二初始特征；
将所述第一初始特征输入所述目标跟踪网络中的第一前景背景分离网络，以获得所述目标模板图像的第一前景特征；
将所述第二初始特征输入所述目标跟踪网络中的第二前景背景分离网络，以获得所述目标搜索图像的第二前景特征，所述第二前景背景分离网络与所述第一前景背景分离网络共享权重；
对所述第一前景特征与所述第二前景特征进行相关性计算，以获得第一相关性响应结果；
基于所述第一相关性响应结果进行位置预测，以获得目标跟踪结果。


2.如权利要求1所述的方法，其中，所述第一前景背景分离网络还输出所述目标模板图像的第一背景特征和/或所述第二前景背景分离网络还输出所述目标搜索图像的第二背景特征，其中，
在所述基于所述第一相关性响应结果进行位置预测之前，所述方法还包括以下一种或多种相关性计算：
对所述第一前景特征与所述第二背景特征进行相关性计算，以获得第二相关性响应结果；
对所述第一背景特征与所述第二前景特征进行相关性计算，以获得第三相关性响应结果；
对所述第一背景特征与所述第二背景特征进行相关性计算，以获得第四相关性响应结果；
所述基于所述第一相关性响应结果进行位置预测，以获得目标跟踪结果包括：
对计算获得的各相关性响应结果进行融合；
将经融合的相关性响应结果输入位置预测网络，以获得所述目标跟踪结果。


3.如权利要求2所述的方法，其中，所述对计算获得的各相关性响应结果进行融合包括：
基于以下公式对各相关性响应结果进行融合：
Ssum＝λ1FTFt*FSFt+λ2FTFt*FSBt+λ3FTBt*FsFt+λ4FTBt*FSBt，
其中，Ssum是经融合的相关性响应结果，λi是第i相关性响应结果的权重，FTFt是所述第一前景特征，FTBt是所述第一背景特征，FSFt是所述第二前景特征，FSBt是所述第二背景特征。


4.如权利要求3所述的方法，其中，λ1和λ4为正值，λ2和λ3为负值，λ4小于λ1。


5.如权利要求3所述的方法，其中，所述方法还包括：
当所述第一相关性响应结果指示所述第一前景特征与所述第二前景特征的相关性减小时，降低所述第一相关性响应结果的权重，当所述第一相关性响应结果指示所述第一前景特征与所述第二前景特征的相关性增大时，提高所述第一相关性响应结果的权重；和/或
当所述第四相关性响应结果指示所述...

【专利技术属性】
技术研发人员：李健宁，于立冬，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32