视频目标跟踪方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例涉及通信技术领域，公开了一种视频目标跟踪方法、装置、电子设备及存储介质。本发明专利技术中，方法包括：将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征；将所述第一图像特征和所述第二图像特征输入回归特征提取网络中，得到第一回归特征和第二回归特征；将所述第一回归特征和第二回归特征输入回归子网络中，获取所述回归子网络输出的所述跟踪视频帧的包围盒信息。通过上述技术手段，在视频跟踪中，仅通过回归特征提取网络确定图像的位置，提高视频跟踪的精确度与鲁棒性。度与鲁棒性。度与鲁棒性。

【技术实现步骤摘要】
视频目标跟踪方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及通信
，特别涉及一种视频目标跟踪方法、装置、电子设备及存储介质。

技术介绍

[0002]目标跟踪是计算机视觉中的重要研究内容之一，在安防、交通等领域有着广泛的应用。目标跟踪可以实现监控视频的自动分析从而得到感兴趣目标的运动轨迹，以及辅助人机交互增加对感兴趣目标的视觉导航。目标跟踪的主要任务是对给定目标在一段视频或图像序列中进行鲁棒的分类以及准确地估计目标的位置。目标跟踪方法的流程如下：首先确定待跟踪目标的参照图从而初始化跟踪器与检测器；其次对后续视频或图像序列使用检测器和跟踪器实现目标跟踪；最后得到跟踪到的目标运动序列。
[0003]然而，专利技术人发现现有技术中往往存在以下问题：待跟踪目标的参照图需要手动选择，不能进行端到端的自动化处理；传统的目标跟踪算法固定待跟踪目标参照图直到目标跟踪结束，这种方法对目标在长时运动过程中存在的形变、遮挡以及尺度变化不鲁棒，容易造成目标的漏检和误检，而简单地用新检测到的目标实时更新模型又会加速跟踪漂移。即，目标跟踪的稳定性差，且无法自动化提取参照物。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种视频目标跟踪方法、装置、电子设备及存储介质，使得视频中对目标的跟踪具有更高的精确度与稳定性。
[0005]为解决上述技术问题，本专利技术的实施例提供了一种视频目标跟踪，包括：将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征；将所述第一图像特征和所述第二图像特征输入回归特征提取网络中，得到第一回归特征和第二回归特征；将所述第一回归特征和第二回归特征输入回归子网络中，获取所述回归子网络输出的所述跟踪视频帧的包围盒信息。
[0006]本专利技术的实施例还提供了一种视频目标跟踪装置，包括：特征提取模块，用于将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征；回归特征提取模块，用于将第一图像特征和第二图像特征输入回归特征提取网络中，得到第一回归特征和第二回归特征；包围盒输出模块，用于将第一回归特征和第二回归特征输入回归子网络中，获取回归子网络输出的跟踪视频帧的包围盒信息。
[0007]本专利技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的视频目标跟踪方法。
[0008]本专利技术的实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上述的视频目标跟踪方法。
[0009]本专利技术实施例相对于现有技术而言，在视频跟踪中，仅通过回归特征提取网络确
定图像的位置，提高视频跟踪的精确度与鲁棒性。
[0010]另外，本实施例中在将目标参照图和第二视频帧输入特征提取网络得到第一图像特征及第二图像特征之后，还包括：将第一图像特征和第二图像特征输入分类特征提取网络中，得到第一分类特征和第二分类特征；将第一分类特征和第二分类特征输入分类子网络中，获取分类子网络输出的跟踪视频帧的跟踪质量评分；其中，跟踪质量评分用于指示跟踪目标的鲁棒性。
[0011]另外，本实施例中在获取回归子网络输出的跟踪视频帧的包围盒信息之后，还包括：根据跟踪视频帧的包围盒信息以及跟踪视频帧的跟踪质量评分将跟踪视频帧写入结果视频中。
[0012]另外，本实施例中根据跟踪视频帧的包围盒信息以及跟踪视频帧的跟踪质量评分将跟踪视频帧写入结果视频中，包括：判断跟踪视频帧的跟踪质量评分是否大于预设阈值；当跟踪视频帧的跟踪质量评分大于预设阈值，根据跟踪视频帧的包围盒信息将跟踪视频帧写入结果视频中。
[0013]另外，本实施例中在获取回归子网络输出的跟踪视频帧的包围盒信息之后，还包括：根据跟踪视频帧的时间位置获取滑动时间窗口内所有视频帧的跟踪质量评分；根据滑动时间窗口内所有视频帧的质量评分参数计算滑动平均值；当滑动平均值大于预设阈值时，根据滑动时间窗口内所有视频帧中跟踪质量评分最高的视频帧生成新的目标参照图。
[0014]另外，本实施例中在将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征之前，还包括：获取待检测的视频流并解码视频流得到多个视频帧；逐帧检测多个视频帧中是否存在跟踪目标；当从视频帧中检测到跟踪目标时，将具有跟踪目标的视频帧进行裁切和缩放得到目标参照图。
[0015]另外，本实施例中根据权利要求5的视频目标跟踪方法，其特征在于，滑动平均值通过以下公式计算：其中，Q
ma
表示跟踪质量评分的滑动平均值、n表示滑动窗口所包含视频帧的数量、Q表示跟踪视频帧的跟踪质量评分。
附图说明
[0016]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
[0017]图1是根据本专利技术第一实施例中视频目标跟踪方法的流程图；
[0018]图2是根据本专利技术第二实施例中视频目标跟踪方法的流程图；
[0019]图3是根据本专利技术第二实施例中神经网络的结构示意图；
[0020]图4是根据本专利技术第三实施例中视频目标跟踪装置的结构示意图；
[0021]图5是根据本专利技术第四实施例中电子设备的结构示意图。
具体实施方式
[0022]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和
基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本专利技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0023]本专利技术的第一实施例涉及一种视频目标跟踪方法。具体流程如图1所示，包括：将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征；将第一图像特征和第二图像特征输入回归特征提取网络中，得到第一回归特征和第二回归特征；将第一回归特征和第二回归特征输入回归子网络中，获取回归子网络输出的跟踪视频帧的包围盒信息。
[0024]下面对本实施例的视频目标跟踪方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
[0025]本实施例中的视频目标跟踪方法如图1所示，具体包括：
[0026]步骤101，将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征。
[0027]具体地说，在视频目标跟踪中，目标参照图是计算机用于与跟踪目标进行对比的参照图像。分别通过两个特征提取网络对目标参照图和跟踪视频帧进行处理，通过比较目标参照图与跟踪视频帧中的图像特征，确定跟踪视频帧中跟踪目标的位置。特征提取网络是用于提取图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频目标跟踪方法，其特征在于，包括：将目标参照图和跟踪视频帧输入特征提取网络得到第一图像特征及第二图像特征；将所述第一图像特征和所述第二图像特征输入回归特征提取网络中，得到第一回归特征和第二回归特征；将所述第一回归特征和第二回归特征输入回归子网络中，获取所述回归子网络输出的所述跟踪视频帧的包围盒信息。2.根据权利要求1所述的视频目标跟踪方法，其特征在于，在所述将所述目标参照图和第二视频帧输入特征提取网络得到第一图像特征及第二图像特征之后，还包括：将所述第一图像特征和所述第二图像特征输入分类特征提取网络中，得到第一分类特征和第二分类特征；将所述第一分类特征和所述第二分类特征输入分类子网络中，获取所述分类子网络输出的跟踪视频帧的跟踪质量评分；其中，所述跟踪质量评分用于指示所述跟踪目标的鲁棒性。3.根据权利要求2所述的视频目标跟踪方法，其特征在于，在所述获取所述回归子网络输出的所述跟踪视频帧的包围盒信息之后，还包括：根据所述跟踪视频帧的包围盒信息以及所述跟踪视频帧的跟踪质量评分将跟踪视频帧写入结果视频中。4.根据权利要求3所述的视频目标跟踪方法，其特征在于，所述根据所述跟踪视频帧的包围盒信息以及所述跟踪视频帧的跟踪质量评分将所述跟踪视频帧写入结果视频中，包括：判断所述跟踪视频帧的跟踪质量评分是否大于预设阈值；当所述跟踪视频帧的跟踪质量评分大于预设阈值，根据所述跟踪视频帧的包围盒信息将所述跟踪视频帧写入结果视频中。5.根据权利要求2所述的视频目标跟踪方法，其特征在于，在所述获取所述回归子网络输出的所述跟踪视频帧的包围盒信息之后，还包括：根据所述跟踪视频帧的时间位置获取滑动时间窗口内所有视频帧的跟踪质量评分；根据所述滑动时间窗口内所有视频帧的质量评分计算滑动平均值；当...

【专利技术属性】
技术研发人员：汤成，程宝平，谢小燕，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：