目标跟踪方法、装置、介质以及设备制造方法及图纸

本申请实施例公开了一种目标跟踪方法、装置、设备及介质，该方法包括：获取第一视频流，对第一视频流中的各视频帧执行如下数据处理操作：先根据目标检测模型和当前视频帧，检测得到当前视频帧中的候选区域；然后根据特征提取模型和候选区域，提取得到各候选区域对应的深度特征；进而根据各候选区域对应的深度特征和在前视频帧中跟踪到的目标的深度特征，计算各候选区域对应的特征相似度；最终基于各候选区域对应的特征相似度，确定当前视频帧中跟踪到的目标。利用目标检测模型在当前视频帧范围内进行目标检测，并且基于深度特征进行目标跟踪，能够有效地防止发生跟踪漂移或跟丢跟踪目标的情况发生，保证目标跟踪的准确性。

【技术实现步骤摘要】
目标跟踪方法、装置、介质以及设备
本申请涉及计算机视觉
，尤其涉及一种目标跟踪方法、装置、计算机存储介质以及设备。
技术介绍
目标跟踪是计算机视觉研究领域的热点之一，目标跟踪在视频监控、导航、军事、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说，目标跟踪就是对视频中给定的目标进行分析跟踪，以确定视频中目标的确切位置。现有的目标跟踪方法多为经典的基于相关滤波跟踪原理的跟踪方法，该跟踪方法是根据视频的前一帧中跟踪到的目标区域更新相关滤波器，进而根据更新后的相关滤波器对当前视频帧进行目标跟踪，在跟踪过程中，相关滤波器根据前一帧跟踪到的目标区域确定当前视频帧的跟踪范围，并在该跟踪范围内采用局部滑窗方式以形状特征为基准在当前视频帧中进行目标跟踪。由于目标运动的不可控性，而且目标区域范围也发生较大变化，因此，采用这种局部滑窗方式针对运动的目标进行跟踪会发生跟踪漂移或者遮挡更丢问题。
技术实现思路
本申请实施例提供了一种目标跟踪方法、装置、介质以及设备，能够有效地防止跟丢跟踪目标以及跟踪漂移等情况的发生，保证目标跟踪的准确度。有鉴于此，本申请第一方面提供了一种目标跟踪方法，所述方法包括：获取第一视频流，针对所述第一视频流中的视频帧执行如下数据处理，以实现在所述第一视频流中的目标跟踪，所述数据处理包括：根据目标检测模型和当前视频帧，检测得到所述当前视频帧中的候选区域；根据特征提取模型和所述候选区域，提取得到所述候选区域对应的深度特征，所述特征提取模型是端到端的神经网络模型，以图像作为输入，以图像中可运动体的深度特征作为输出；根据所述候选区域对应的深度特征和在前视频帧中跟踪到的目标的深度特征，计算所述候选区域对应的特征相似度；根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标。本申请第二方面提供了一种目标跟踪装置，所述装置包括：获取模块，用于获取第一视频流；处理模块，用于针对所述第一视频流中的视频帧执行如下数据处理，以实现在所述第一视频流中的目标跟踪；所述处理模块包括：检测子模块，用于根据目标检测模型和当前视频帧，检测得到所述当前视频帧中的候选区域；特征提取子模块，用于根据特征提取模型和所述候选区域，提取得到所述候选区域对应的深度特征，所述特征提取模型是端到端的神经网络模型，以图像作为输入，以图像中可运动体的深度特征作为输出；计算子模块，用于根据所述候选区域对应的深度特征和在前视频帧中跟踪到的目标的深度特征，计算所述候选区域对应的特征相似度；确定子模块，用于根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标。本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的目标跟踪方法的步骤。本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的目标跟踪方法。本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的目标跟踪方法。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例提供了一种目标跟踪方法，该目标跟踪方法利用目标检测模型在当前视频帧的整体范围内进行目标检测，以确定当前视频帧中存在的所有候选区域，进而基于所确定的各个候选区域确定跟踪目标，相比于现有技术中根据前一视频帧的目标区域确定当前视频帧的目标跟踪范围，并且仅在该目标跟踪范围内进行目标跟踪，本申请实施例中利用目标检测模型在视频帧的整体范围内确定候选区域，扩大了目标跟踪的范围，能够有效地防止发生因跟踪目标移动过快而跟丢跟踪目标的情况；另外，在本申请实施例提供的目标跟踪方法中，利用特征提取模型提取所确定的各个候选区域的深度特征，并基于各个候选区域的深度特征和在前视频帧中跟踪到的目标的深度特征确定目标，相比于现有技术中仅以形态特征为依据进行目标跟踪，本申请实施例中基于深度特征确定跟踪目标，能够保证所确定的跟踪目标更加准确，有效地防止发生跟踪漂移的情况。附图说明图1为本申请实施例中一种目标跟踪方法的应用场景示意图；图2为本申请实施例中一种目标跟踪方法的流程示意图；图3为本申请实施例中一种目标检测模型的工作效果示意图；图4为本申请实施例中一种跨屏目标跟踪方法的流程示意图；图5为本申请实施例中一种特征提取模型训练方法的流程示意图；图6为本申请实施例中另一种目标跟踪方法的应用场景示意图；图7为本申请实施例中第一种目标跟踪装置的结构示意图；图8为本申请实施例中第二种目标跟踪装置的结构示意图；图9为本申请实施例中第三种目标跟踪装置的结构示意图；图10为本申请实施例中第四种目标跟踪装置的结构示意图；图11为本申请实施例中第五种目标跟踪装置的结构示意图；图12为本申请实施例中一种目标跟踪设备的结构示意图；图13为本申请实施例中另一种目标跟踪设备的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。现有的基于相关滤波器跟踪原理的跟踪方法，在跟踪目标的过程中，存在容易发生跟踪漂移以及跟丢跟踪目标的技术问题，针对现有技术中存在的技术问题，本申请实施例提供了一种目标跟踪方法。下面先对本申请实施例提供的目标跟踪方法的核心技术思路进行介绍：本申请实施例提供的目标跟踪方法中，基于目标检测模型和特征提取模型，在所获取的视频流包括的视频帧中进行目标跟踪。具体针对视频流中的某一视频帧进行目标跟踪时，先利用目标检测模型在该视频帧的整体范围内进行检测，以获得该视频帧中存在的所有候选区域；然后利用特征提取模型对检测到的各个候选区域进行特征提取，以得到各个候选区域对应的深度特征；接下来，基于各个候选区域对应的深度特征以及在前视频帧中跟踪到的目标的深度特征，计算各个候选区域与跟踪目标之间的特征相似度；进而根据各个候选区域对应的特征相似度，确定该视频帧中的跟踪目标。在本申请实施例提供的目标跟踪方法中，利用目标检测模型在当前视频帧的整体范围内进行目标检测，以确定当前视频帧中存在的所有候选区域，进而基于所确定的各个候选区域确定跟踪目标，相比于现有技术中根据前一视频帧的目标区域确定当前视频帧的目标跟踪范围，并且仅在该目标本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：获取第一视频流，针对所述第一视频流中的视频帧执行如下数据处理，以实现在所述第一视频流中的目标跟踪，所述数据处理包括：根据目标检测模型和当前视频帧，检测得到所述当前视频帧中的候选区域；根据特征提取模型和所述候选区域，提取得到所述候选区域对应的深度特征，所述特征提取模型是端到端的神经网络模型，以图像作为输入，以图像中可运动体的深度特征作为输出；根据所述候选区域对应的深度特征和在前视频帧中跟踪到的目标的深度特征，计算所述候选区域对应的特征相似度；根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：获取第一视频流，针对所述第一视频流中的视频帧执行如下数据处理，以实现在所述第一视频流中的目标跟踪，所述数据处理包括：根据目标检测模型和当前视频帧，检测得到所述当前视频帧中的候选区域；根据特征提取模型和所述候选区域，提取得到所述候选区域对应的深度特征，所述特征提取模型是端到端的神经网络模型，以图像作为输入，以图像中可运动体的深度特征作为输出；根据所述候选区域对应的深度特征和在前视频帧中跟踪到的目标的深度特征，计算所述候选区域对应的特征相似度；根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标。2.根据权利要求1所述的方法，其特征在于，所述根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标，包括：根据所述候选区域各自对应的特征相似度，选择特征相似度最大的候选区域，作为所述当前视频帧的目标区域；根据所述目标区域确定所述当前视频帧中跟踪到的目标。3.根据权利要求1所述的方法，其特征在于，所述根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标，包括：根据所述候选区域各自对应的特征相似度，选择特征相似度超过阈值的多个候选区域；从所述多个候选区域中选择与所述在前视频帧中跟踪到的目标的运动方向最匹配的候选区域，作为所述当前视频帧的目标区域；根据所述当前视频帧的目标区域确定所述当前视频帧中跟踪到的目标。4.根据权利要求1所述的方法，其特征在于，所述根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标，包括：根据所述候选区域各自对应的特征相似度，选择特征相似度超过阈值的多个候选区域；从所述多个候选区域中选择与所述在前视频帧中跟踪到的目标的物理位置距离最小的候选区域，作为所述当前视频帧的目标区域；根据所述当前视频帧的目标区域确定所述当前视频帧中跟踪到的目标。5.根据权利要求1所述的方法，其特征在于，所述根据所述候选区域对应的特征相似度，确定所述当前视频帧中跟踪到的目标，包括：根据所述候选区域各自对应的特征相似度，选择特征相似度超过阈值的多个候选区域；从所述多个候选区域中，选择与所述在前视频帧中跟踪到的目标的物理位置和运动方向最匹配的候选区域，作为所述当前视频帧的目标区域；根据所述当前视频帧的目标区域确定所述当前视频帧中跟踪到的目标。6.根据权利要求4或5所述的方法，其特征在于，通过以下方式计算所述候选区域的物理位置以及所述在前视频帧中跟踪到的目标区域的物理位置：将所述候选区域的图像位置输入位置坐标映射模型，获取所述位置坐标映射模型输出的所述候选区域的物理位置；以及，将所述在前视频帧中跟踪到的目标区域的图像位置输入所述位置坐标映射模型，获取所述位置坐标映射模型输出的所述在前视频帧中跟踪到的目标区域的物理位置。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据标定图像上的至少四个位置点的位置坐标以及所述至少四个位置点在物理世界地面上的物理位置坐标，通过透视变换公式计算得到坐标映射矩阵；根据所述坐标映射矩阵生成所述位置坐标映射模型。8.根据权利要求1至5中任一项...

【专利技术属性】
技术研发人员：张浩，牛志伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44