用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品技术

本申请公开了一种通过用于检测和跟踪目标对象的电子设备执行的方法。所述方法包括：获得第一场景帧；对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；获得第二场景帧，第二场景帧在时间上比第一场景帧更晚；以及对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。

Methods for detecting and tracking target objects, target tracking devices and computer program products

This application discloses a method of execution by an electronic device for detecting and tracking a target object. The method includes: obtaining the first scene frame; performing object detection and identification for at least two parts of the target object in at least two boundary frames of the first scene frame; obtaining the second scene frame, which is later in time than the first scene frame; and holding at least two parts of the target object in at least two boundary frames of the first scene frame, respectively. Row object tracking.

【技术实现步骤摘要】
【国外来华专利技术】用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品
本专利技术涉及图像处理技术，更具体地说，涉及用于检测和跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品。
技术介绍
对象跟踪是一种例如可利用相机随时间跟踪运动目标对象的处理。对象跟踪技术结合了包括图像处理、模式识别、机器学习和人工智能的许多技术。对象跟踪技术近年来发现了宽范围的应用，包括安全和监视、游戏、增强现实、交通控制、人机交互等。已针对自动目标对象跟踪开发了各种算法。
技术实现思路
在一个方面，本专利技术提供了一种通过电子设备执行以检测和跟踪目标对象的方法，包括以下步骤：获得第一场景帧；对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；获得第二场景帧，第二场景帧在时间上比第一场景帧更晚；以及对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。可选地，所述方法还包括以下步骤：确定在第二场景帧中目标对象的所述至少两部分是否全部被跟踪；更新所述至少两个边界框以获得至少两个更新后的边界框；以及基于确定在第二场景帧中目标对象的所述至少两部分全部被跟踪，来基于所述至少两个更新后的边界框之间的几何约束确定所述至少两个更新后的边界框是否有效。可选地，所述方法还包括：如果在第二场景帧中目标对象的所述至少两部分不是全部被跟踪，获得第三场景帧，并且确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。可选地，所述方法还包括：如果基于几何约束确定所述至少两个更新后的边界框中的一个或多个无效，则获得第三场景帧，并且确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。可选地，目标对象的所述至少两部分包括目标对象的分别在一个或多个富含特征的边界框中的一个或多个富含特征的部分；所述方法还包括以下步骤：从第一场景帧中的目标对象的所述至少两部分中提取多个特征点，所述一个或多个富含特征的边界框的特征点的分布密度高于其它边界框的特征点的分布密度；以及基于第一场景帧中的所述多个特征点对分别在所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。可选地，所述方法还包括以下步骤：从第二场景帧中的目标对象的所述至少两部分中提取多个特征点；从第二场景帧中的所述多个特征点中选择跟踪置信度满足阈值的所述多个特征点的子集；以及基于所述多个特征点的子集更新所述至少两个边界框。可选地，跟踪置信度至少部分地基于针对第二场景帧中的所述多个特征点中的一个或多个中的每一个估计的跟踪误差；并且选择所述多个特征点的子集的步骤包括：针对第二场景帧中的所述多个特征点中的所述一个或多个计算跟踪误差；以及选择跟踪误差低于第一阈值的所述多个特征点的第一子集。可选地，跟踪置信度还至少部分地基于第一场景帧中的第一跟踪窗口与第二场景帧中的第二跟踪窗口之间的归一化互相关系数，第一跟踪窗口包括第一场景帧中的所述多个特征点之一，并且第二跟踪窗口包括第二场景帧中的所述多个特征点之一；并且选择所述多个特征点的子集的步骤还包括：针对第二场景帧中的所述多个特征点的第一子集中的一个或多个所述多个特征点计算归一化互相关系数；以及从所述多个特征点的第一子集中选择归一化互相关系数高于第二阈值的所述多个特征点的第二子集。可选地，跟踪置信度至少部分地基于第一场景帧中的第一跟踪窗口与第二场景帧中的第二跟踪窗口之间的归一化互相关系数，第一跟踪窗口包括第一场景帧中的所述多个特征点之一，第二跟踪窗口包括第二场景帧中的所述多个特征点之一；并且选择所述多个特征点的子集的步骤包括：针对第二场景帧中的所述多个特征点中的一个或多个计算归一化互相关系数；以及选择归一化互相关系数高于第二阈值的所述多个特征点的第二子集。可选地，对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象检测和辨识的步骤包括：基于多个参考对象模型选择目标对象的所述至少两部分；以及确定分别包含目标对象的所述至少两部分的所述至少两个边界框。可选地，所述多个参考对象模型是对应于目标对象的多个部分的预训练的参考对象模型；并且所述方法还包括训练所述多个参考对象模型。可选地，目标对象是人。在另一方面，本专利技术提供了一种目标对象跟踪设备，包括：对象检测器，其被构造为对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；以及至少两个对象跟踪器，其被构造为对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。可选地，所述目标对象跟踪设备还包括被构造为获得第一场景帧和第二场景帧的一个或多个图像传感器，第二场景帧在时间上比第一场景帧更晚。可选地，所述目标对象跟踪设备还包括：确定器，其被构造为确定在第二场景帧中目标对象的所述至少两部分是否全部被跟踪；更新器，其被构造为更新所述至少两个边界框以获得至少两个更新后的边界框；并且基于确定在第二场景帧中目标对象的所述至少两部分全部被跟踪，确定器被进一步构造为基于所述至少两个更新后的边界框之间的几何约束确定所述至少两个更新后的边界框是否有效。可选地，所述一个或多个图像传感器被进一步构造为获得第三场景帧；并且确定器被进一步构造为：如果在第二场景帧中目标对象的所述至少两部分不是全部被跟踪，确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。可选地，对象检测器被进一步构造为获得第三场景帧；并且确定器被进一步构造为：如果基于几何约束确定所述至少两个边界框中的一个或多个无效，确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。可选地，目标对象的所述至少两部分包括目标对象的分别在一个或多个富含特征的边界框中的一个或多个富含特征的部分；目标对象跟踪设备还包括提取器，其被构造为从第一场景帧中的目标对象的所述至少两部分中提取多个特征点，所述一个或多个富含特征的边界框的特征点的分布密度高于其它边界框的特征点的分布密度；并且所述至少两个对象跟踪器被构造为基于第一场景帧中的所述多个特征点对分别在所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。可选地，提取器被进一步构造为从第二场景帧中的目标对象的所述至少两部分中提取多个特征点；目标对象跟踪设备还包括选择器，其被构造为从第二场景帧中的所述多个特征点中选择跟踪置信度满足阈值的所述多个特征点的子集；并且更新器被构造为基于所述多个特征点的子集更新所述至少两个边界框。可选地，跟踪置信度至少部分地基于针对第二场景帧中的所述多个特征点中的一个或多个中的每一个估计的跟踪误差；选择器包括跟踪置信度评价器；跟踪置信度评价器包括跟踪误差估计器，其被构造为针对第二场景帧中的所述多个特征点中的一个或多个中的每一个计算跟踪误差；并且选择器被进一步构造为选择跟踪误差低于第一阈值的所述多个特征点的第一子集。可选地，跟踪置信度还至少部分地基于第一场景帧中的第一跟踪窗口与第二场景帧中的第二跟踪窗口之间的归一化互相关系数，第一跟踪窗口包括第一场景帧中的所述多个特征点之一，第二跟踪窗口包括第二场景帧中的所述多个特征点之一；跟踪置信度评价器还包括归一化互相关系数计算器，其被构造为针对第二场景帧中的所述多个特征点的第一子集中的一个或多个所述多个特征点计算归一化互相关系数；并且选择器被构造为从所述多个特征点的第一子集中选择归一化本文档来自技高网...

【技术保护点】
1.一种通过电子设备执行以检测和跟踪目标对象的方法，包括以下步骤：获得第一场景帧；对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；获得第二场景帧，第二场景帧在时间上比第一场景帧更晚；以及对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。

【技术特征摘要】
【国外来华专利技术】1.一种通过电子设备执行以检测和跟踪目标对象的方法，包括以下步骤：获得第一场景帧；对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；获得第二场景帧，第二场景帧在时间上比第一场景帧更晚；以及对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。2.根据权利要求1所述的方法，还包括以下步骤：确定在第二场景帧中目标对象的所述至少两部分是否全部被跟踪；更新所述至少两个边界框以获得至少两个更新后的边界框；以及基于确定在第二场景帧中目标对象的所述至少两部分全部被跟踪，来基于所述至少两个更新后的边界框之间的几何约束确定所述至少两个更新后的边界框是否有效。3.根据权利要求2所述的方法，还包括：如果在第二场景帧中目标对象的所述至少两部分不是全部被跟踪，获得第三场景帧，并且确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。4.根据权利要求2所述的方法，还包括：如果基于几何约束确定所述至少两个更新后的边界框中的一个或多个无效，则获得第三场景帧，并且确定在第三场景帧中目标对象的所述至少两部分是否全部被跟踪。5.根据权利要求1所述的方法，其中，目标对象的所述至少两部分包括目标对象的分别在一个或多个富含特征的边界框中的一个或多个富含特征的部分；所述方法还包括以下步骤：从第一场景帧中的目标对象的所述至少两部分中提取多个特征点，所述一个或多个富含特征的边界框的特征点的分布密度高于其它边界框的特征点的分布密度；以及基于第一场景帧中的所述多个特征点对分别在所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。6.根据权利要求5所述的方法，还包括以下步骤：从第二场景帧中的目标对象的所述至少两部分中提取多个特征点；从第二场景帧中的所述多个特征点中选择跟踪置信度满足阈值的所述多个特征点的子集；以及基于所述多个特征点的子集更新所述至少两个边界框。7.根据权利要求6所述的方法，其中，跟踪置信度至少部分地基于针对第二场景帧中的所述多个特征点中的一个或多个中的每一个估计的跟踪误差；并且选择所述多个特征点的子集的步骤包括：针对第二场景帧中的所述多个特征点中的所述一个或多个计算跟踪误差；以及选择跟踪误差低于第一阈值的所述多个特征点的第一子集。8.根据权利要求7所述的方法，其中，跟踪置信度还至少部分地基于第一场景帧中的第一跟踪窗口与第二场景帧中的第二跟踪窗口之间的归一化互相关系数，第一跟踪窗口包括第一场景帧中的所述多个特征点之一，并且第二跟踪窗口包括第二场景帧中的所述多个特征点之一；并且选择所述多个特征点的子集的步骤还包括：针对第二场景帧中的所述多个特征点的第一子集中的一个或多个所述多个特征点计算归一化互相关系数；以及从所述多个特征点的第一子集中选择归一化互相关系数高于第二阈值的所述多个特征点的第二子集。9.根据权利要求6所述的方法，其中，跟踪置信度至少部分地基于第一场景帧中的第一跟踪窗口与第二场景帧中的第二跟踪窗口之间的归一化互相关系数，第一跟踪窗口包括第一场景帧中的所述多个特征点之一，第二跟踪窗口包括第二场景帧中的所述多个特征点之一；并且选择所述多个特征点的子集的步骤包括：针对第二场景帧中的所述多个特征点中的一个或多个计算归一化互相关系数；以及选择归一化互相关系数高于第二阈值的所述多个特征点的第二子集。10.根据权利要求1所述的方法，其中对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象检测和辨识的步骤包括：基于多个参考对象模型选择目标对象的所述至少两部分；以及确定分别包含目标对象的所述至少两部分的所述至少两个边界框。11.根据权利要求10所述的方法，其中，所述多个参考对象模型是对应于目标对象的多个部分的预训练的参考对象模型；并且所述方法还包括训练所述多个参考对象模型。12.根据权利要求1所述的方法，其中，目标对象是人。13.一种目标对象跟踪设备，包括：对象检测器，其被构造为对分别在第一场景帧的至少两个边界框中的目标对象的至少两部分执行对象检测和辨识；以及至少两个对象跟踪器，其被构造为对分别在第一场景帧的所述至少两个边界框中的目标对象的所述至少两部分执行对象跟踪。14.根据权利要求13所述的目标对象跟踪设备，还包括一个或多个图像传感器，其被构造为获得第一场景帧和第二场景帧，第二场景帧在时间上比第一场景帧更晚。15.根据权利要求14所述的目标对象跟踪设备，还...

【专利技术属性】
技术研发人员：谷玉，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11