基于深度特征的多目标追踪方法及系统技术方案

本发明专利技术实施例提供一种基于深度特征的多目标追踪方法及系统，所述方法包括：获取在当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配；计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。本发明专利技术实施例能有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数。

Multi-target tracking method and system based on depth feature

The embodiment of the present invention provides a multi-target tracking method and system based on depth characteristics, which includes: acquiring the corresponding detection frame position and depth characteristics of each target detected in the current frame image; using Kalman filter to obtain the predicted position of each target in the current frame based on the corresponding detection frame position of each target in the previous frame image; and according to each target, using Kalman filter to obtain the predicted position of each target in the current frame. The corresponding detection frame position, the predicted position of each target in the current frame, the depth feature of each target and the depth feature set of each tracker are cascaded by Hungarian algorithm, and the IOU distance matrix between the detection frame and the tracker to be matched is calculated based on the IOU distance matrix, and the Hungarian algorithm is used to perform the cascaded matching between the detection frame and the tracker to be matched. The IOU matching between the detection box and the tracker obtains the final matching set. The embodiment of the invention can effectively improve the target tracking effect under occlusion and reduce the number of ID switching.

【技术实现步骤摘要】
基于深度特征的多目标追踪方法及系统
本专利技术实施例涉及深度学习
，更具体地，涉及一种基于深度特征的多目标追踪方法及系统。
技术介绍
多目标跟踪的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。随着目标检测技术的飞速发展，通过检测跟踪(Trackingbydetection)在多目标跟踪中成为主流。在这一处理模式中，目标轨迹是通过对整个视频流的全局优化处理计算而得到的，如flow网络、概率图模型等。然而，批处理使得这些方法不适用于需要实时目标检测的在线场景。更为传统方法是多假设跟踪(MultipleHypothesisTracking)和联合概率数据关联滤波(JointProbabilisticDataAssociationFilter)。还有一种方法是简单在线实时跟踪(Simpleonlineandrealtimetracking，SORT)框架通过在图像空间执行卡尔曼滤波，以及使用Hungarian方法实现帧间数据关联，关联指标是测量边界框的重叠。现有的多目标跟踪方法存在ID切换，计算和实现的复杂度较大，并且在有遮挡时跟踪性能较低的问题。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的基于深度特征的多目标追踪方法及系统。第一方面，本专利技术实施例提供一种基于深度特征的多目标追踪方法，包括：将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。第二方面，本专利技术实施例提供一种基于深度特征的多目标追踪系统，包括：特征提取模块，用于将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；预测模块，用于基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；级联匹配模块，用于根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；IOU匹配模块，用于计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度特征的多目标追踪方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度特征的多目标追踪方法的步骤。本专利技术实施例提供的基于深度特征的多目标追踪方法及系统，利用卷积神经网络提取目标的深度特征，并利用卡尔曼滤波预测目标出现的位置，通过级联匹配和IOU匹配两级匹配方式实现检测框与追踪器之间的匹配，能够有效改善有遮挡情况下的目标追踪效果并减少ID切换的次数，提高了对遗漏和遮挡的鲁棒性，同时具备容易部署、高效和可移植到在线场景的能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例提供的基于深度特征的多目标追踪方法的流程示意图；图2为本专利技术实施例提供的基于深度特征的多目标追踪系统的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的基于深度特征的多目标追踪方法的流程示意图，如图所示，包括：步骤100、将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；多目标跟踪问题的解决共分为两步，第一步是目标检测，第二步是数据关联。本专利技术实施例中，利用预先训练好的卷积神经网络实现对输入的帧图像的目标检测，并提取深度特征。其中，深度特征是指目标所对应的外观特征信息。该预先训练好的卷积神经网络具体输出当前帧图像中检测到的多个目标对应的检测框位置以及各目标的深度特征。步骤101、基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；具体地，在进行了目标检测之后，本专利技术实施例利用卡尔曼滤波对目标进行追踪，即使用Kalman滤波器来对目标的运动状态进行预测。利用上一帧图像中各个目标对应的检测框位置，预测当前帧图像中各个目标出现的位置，即各目标在当前帧的预测位置，具体为boundingbox(边界框)位置。在一个实施例中，采用基于常量速度模型和线性观测模型的标准Kalman滤波器对各目标进行运动状态的预测，获得各目标在当前帧的预测位置；其中，目标的运动状态采用8个参数进行描述；其中，(u,v)为目标在当前帧对应的预测框的中心坐标，γ为所述预测框的长宽比，h为所述预测框的高度，为目标在图像坐标系中的速度信息。步骤102、根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；在实现了目标检测，提取深度特征并进行了目标追踪之后，要进行数据关联。具体地，利用匈牙利算法根据检测框位置、各目标在当前帧的预测位置和深度特征这几个因素进行检测框和追踪器之间的匹配。本专利技术实施例采取级联的匹配方法来对更加频繁出现的目标赋予优先权以达到降低卡尔曼滤波预测的不确定性。该方式能够改善有遮挡情况下的目标追踪效果并减少ID切换的次数。利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始的匹配集合、未级联匹配上的检测框和待匹配的追踪器。步骤103、计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。具体地，对经过级联匹配之后未匹配成功的检测框和追踪器进行第二本文档来自技高网...

【技术保护点】
1.一种基于深度特征的多目标追踪方法，其特征在于，包括：将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。

【技术特征摘要】
1.一种基于深度特征的多目标追踪方法，其特征在于，包括：将当前帧图像输入至预先训练好的卷积神经网络模型，获取在所述当前帧图像中检测到的各目标对应的检测框位置和各目标的深度特征；基于上一帧图像中各目标对应的检测框位置，使用Kalman滤波器获取各目标在当前帧的预测位置；根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器；计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合。2.根据权利要求1所述的方法，其特征在于，所述根据各目标对应的检测框位置、各目标在当前帧的预测位置、各目标的深度特征和各追踪器的深度特征集，利用匈牙利算法对各目标对应的检测框与追踪器进行级联匹配，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器的步骤，具体为：构建每个目标的深度特征与各追踪器的深度特征集间的余弦距离矩阵；计算每个目标在当前帧的预测位置与其对应的检测框位置之间的马氏距离；对所述余弦距离矩阵进行预处理，包括将所述余弦距离矩阵中马氏距离大于第一预设阈值的元素置为无穷大，以及将所述余弦距离矩阵中余弦距离大于第二预设阈值的元素置为一个较大的值；基于预处理后的所述余弦距离矩阵，利用匈牙利算法对各目标对应的检测框与追踪器进行第一次匹配，并对第一次匹配结果进行筛选，获得初始匹配集合、未级联匹配上的检测框和待匹配的追踪器。3.根据权利要求1所述的方法，其特征在于，所述计算所述未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行检测框与追踪器间的IOU匹配，获得最终匹配集合的步骤，具体为：根据当前帧初始化待匹配的追踪器，计算未级联匹配上的检测框和待匹配的追踪器间的IOU距离矩阵；对所述IOU距离矩阵进行预处理，并利用匈牙利算法对所述未级联匹配上的检测框与待匹配的追踪器进行第二次匹配，并对第二次匹配结果进行筛选，获得最终匹配集合、未匹配上的检测框和待匹配的追踪器。4.根据权利要求1所述的方法，其特征在于，所述基于上一帧图像中各目标对应的检测框位置，使用Kalman滤...

【专利技术属性】
技术研发人员：孙庆宏，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11