一种实时多目标跟踪方法技术

本发明专利技术涉及多目标跟踪技术领域，公开了实时多目标跟踪方法，本方法首先使用目标检测模型检测出初始帧的物体，记录下此时每个物体的位置信息并存储通过深度学习模型提取的每一个检测的物体的特征。初始帧的每一个物体成为潜在的跟踪器。通过抽帧形式，得到后续帧，依次进行目标检测，记录位置信息和存储物体的特征。数据关联，计算物体与已有跟踪器的特征距离和IOU距离，融合两者度量方式，得到特征距离矩阵。再使用匈牙利算法进行匹配，将潜在状态跟踪器更新为显式状态跟踪器，将显式的跟踪器在视频中进行显示。本方法具有硬件资源占用低，速度快，跟踪效果好等优点，在遮挡、大小、姿态以及光照等环境条件的影响下也具有较好的鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
一种实时多目标跟踪方法


[0001]本专利技术涉及多目标跟踪
，尤其涉及一种采用深度学习和数据关联的实时多目标跟踪方法。

技术介绍

[0002]多目标跟踪，即Multiple Object Tracking(MOT)，也称为Multiple Target Tracking(MTT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应，然后给出不同物体的运动轨迹。多目标跟踪技术在许多领域都扮演着至关重要的角色，例如安防，自动驾驶等等。
[0003]经典的多目标跟踪通常利用多假设跟踪(MHT)或联合概率数据互联滤波器(JPDAF)来解决。多假设跟踪(MHT)是最早成功的视觉跟踪算法之一。最早的多假设跟踪算法于1979年有Reid提出，该算法为每一个候选的目标建立一个潜在的跟踪假设树，通过后续测量数据进行延迟关联判决，为数据互联问题提供了一个系统性的解决方案。利用贝叶斯后验概率的传递特性，多假设跟踪算法计算每一个跟踪的概率，然后选择出最有可能的组合，不断反复“修剪”小概率不可能的假设，合并相同的假设，实现多目标的数据关联和跟踪。因为在计算概率时，整个跟踪假设都被考虑，所以多跟踪假设在理论上善于利用高阶信息，如长时间的运动和外观信息。Kim等人为每一个假设引入了一个外观模型，该模型可以通过归一化的最小均方差优化算法在线训练。
[0004]联合概率数据互联滤波器由shalom等人于1988年提出，被广泛认为是一种有效的数据互联技术。联合概率数据互联滤波器综合考虑了所有落入跟踪波门内的回波，认为公共回波可能分属于不同的目标，比较适合杂波环境下的多目标跟踪。为了表示有效回波与各目标跟踪门之间复杂的关系，shalom引入了确认矩阵的概念。通过对确认矩阵进行拆分，可以得到所有表示互联事件的互联矩阵。最早的联合概率数据互联滤波器存在着严重的组合复杂的缺点。联合概率数据互联算法需要考虑目标与其他所有目标之间的可能的关联并计算联合概率分数。为了缓解计算负担,许多基于联合概率数据互联的改进算法被提出。Oh等人提出了基于马尔科夫链蒙特卡洛数据互联的联合概率数据互联估计。虽然这种抽样方案为估计高维问题提出了一个实用的方法，但可能因混合不良导致收敛变慢，随机元素也使得复现实验变得困难。
[0005]联合概率数据互联算法思路简洁，直观，现在很多基于检测的跟踪算法都有不同程度的借鉴，比如通过数据互联消除误检(false alarm)。SORT是一种更加简单的方法。它使用Faster R-CNN进行检测，使用卡尔曼滤波进行运动轨迹预测。在数据关联时，引入了IOU距离，使用匈牙利算法进行逐帧关联。Deep SORT在SORT的基础上引入了外观信息。在行人重识别数据集上离线训练深度学习模型，用于跟踪时目标特征的提取。在数据关联时，级联的匈牙利算法使用了融合的距离，包括卡尔马滤波器的预测位置和观测位置的马氏距离，目标之间的表观特征之间的余弦距离。
[0006]基于多假设跟踪的算法通常因剪枝算法的速度和搜索空间的增长导致速度较慢，
也受限于剪枝技巧导致准确度减低，而且航迹信息维护等导致存储资源消耗较大，实用性较低。基于联合概率数据互联的多目标跟踪算法，随着目标数量的增加，会出现计算量爆炸现象。虽然可以通过设置门限阈值减少有效测量的范围，进而减少可能互联的数目，但计算量仍然非常大，导致该算法在几乎所有的实际应用中都非常低效，目前仅仅在时间较短的多目标跟踪中有使用。SORT方法只是利用了IOU距离，帧率越高，理论效果越好，而且卡尔曼滤波对CPU要求比较高，进一步限制了SORT的应用。Deep SORT虽然利用了深度学习技术提取目标的特征，但特征的区别性有待提升，存储特征方式比较简单，卡尔曼滤波器仍然要求较高的CPU资源，目标检测器速度较慢，导致实用性欠佳。此外，现实世界中的目标变化也会更加复杂，比如帧率，姿态，大小，光照，表观相似性，分辨率等等，这些都对多目标跟踪算法提出了更高的要求。
[0007]现有的算法比较复杂，计算量较大，硬件资源需求较高，速度较慢。而且数据关联效果欠佳，导致跟踪精度不高。所以现有多目标跟踪算法难以满足实用性的要求，我们认为有必要设计一种新的多目标跟踪算法，实现实时高质量的多目标跟踪。

技术实现思路

[0008]本专利技术所要解决的技术问题是：针对上述存在的问题，提供了一种实时多目标跟踪方法，本方法直接使用历史轨迹和深度学习特征作为两个物体的匹配标准，使该方法具有广泛的适用性，并采用简单高效的特征存储方式，减少硬件资源占用，减少匹配时间，同时计算IOU距离和特征距离，提高匹配速度及匹配效率。
[0009]本专利技术采用的技术方案如下：一种实时多目标跟踪方法，包括：
[0010]步骤1：检测视频中初始帧中的物体，记录每个物体的位置信息并提取每个检测的物体的特征，将初始帧的每个物体作为潜在状态的跟踪器；
[0011]步骤2:对视频中的后续帧进行检测，记录后续帧中每个物体的位置信息并存储每个物体的特征；
[0012]步骤3：依次提取后续帧进行数据关联，计算当前后续帧中的物体与已存在跟踪器的每一种组合的特征距离和IOU距离，再融合特征距离和IOU距离两种度量方式，修改特征距离，生成特征距离矩阵；
[0013]步骤4：以修改后的特征距离矩阵作为最终的度量代价矩阵，利用匈牙利算法进行匹配，若当前后续帧中的物体与已存在的跟踪器匹配成功，则更新跟踪器的位置信息，并存储物体特征，若未匹配成功，则将当前后续帧中的物体初始化为新的潜在状态跟踪器；
[0014]步骤5：检查匹配成功的次数，若匹配成功的次数大于等于设定的阈值，则将该潜在状态的跟踪器标记为显式状态并继续保持该状态；
[0015]若匹配成功的次数小于设定的阈值，则继续保持该跟踪器的潜在状态；
[0016]步骤6：返回状态为显式的跟踪器的位置信息及相应的物体特征；
[0017]步骤7：在视频中显示跟踪结果。
[0018]进一步的，所述步骤2具体过程包括：
[0019]步骤21：通过抽帧的形式，得到后续帧；
[0020]步骤22：对后续帧进行检测，记录后续帧中的每个物体的位置信息，并存储每个物体的特征。
[0021]进一步的，所述步骤3具体过程包括：
[0022]步骤31：计算当前后续帧中的物体与已存在的跟踪器的每一种组合的特征距离和IOU距离；
[0023]步骤32：融合两种度量方式，在IOU距离大于某一设定阈值，同时当前后续帧中的物体与已存在跟踪器的位置重合度高于某一设定阈值时，进行“奖励机制”，所述特征距离随着重合度变高而减少；在IOU距离小于某一设定阈值，同时当前后续帧中的物体与潜在状态跟踪器的位置重合度低于某一设定阈值甚至无重合时，进行“惩罚”机制，所述特征距离随着重合度降低而增大；
[0024]步骤33：根据修改后的特征距离，生成特征距离矩阵。
[0025]数据关联时，使用了上述两种度量信息，一个是以I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时多目标跟踪方法，其特征在于，包括：步骤1：检测视频中初始帧中的物体，记录每个物体的位置信息并提取每个检测的物体的特征，将初始帧的每个物体作为潜在状态的跟踪器；步骤2:对视频中的后续帧进行检测，记录后续帧中每个物体的位置信息并存储每个物体的特征；步骤3：依次提取后续帧进行数据关联，计算当前后续帧中的物体与已存在跟踪器的每一种组合的特征距离和IOU距离，再融合特征距离和IOU距离两种度量方式，修改特征距离，生成特征距离矩阵；步骤4：以修改后的特征距离矩阵作为最终的度量代价矩阵，利用匈牙利算法进行匹配，若当前后续帧中的物体与已存在的跟踪器匹配成功，则更新跟踪器的位置信息，并存储物体特征，若未匹配成功，则将当前后续帧中的物体初始化为新的潜在状态跟踪器；步骤5：检查匹配成功的次数，若匹配成功的次数大于等于设定的阈值，则将该潜在状态的跟踪器标记为显式状态并继续保持该状态；若匹配成功的次数小于设定的阈值，则继续保持该跟踪器的潜在状态；步骤6：返回状态为显式的跟踪器的位置信息及相应的物体特征；步骤7：在视频中显示跟踪结果。2.根据权利要求1所述的一种实时多目标跟踪方法，其特征在于，所述步骤2具体过程包括：步骤21：通过抽帧的形式，得到后续帧；步骤22：对后续帧进行检测，记录后续帧中的每个物体的位置信息，并存储每个物体的特征。3.根据权利要求1或2所述的一种实时多目标跟踪...

【专利技术属性】
技术研发人员：吴杰，
申请(专利权)人：中国电子科技网络信息安全有限公司，
类型：发明
国别省市：