一种基于目标检测和动态关联的多目标跟踪方法及系统技术方案

本发明专利技术属于目标跟踪技术领域，尤其涉及一种基于目标检测和动态关联的多目标跟踪方法及系统，其根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果；基于提取的行目标轨迹的深度特征和当前图像中动目标的深度特征向量得到动目标与跟踪轨迹的表观特征匹配结果；基于动目标与跟踪轨迹的运动信息匹配结果和表观特征匹配结果，将动目标的分块颜色特征融合至关联匹配阶段，判断动目标与跟踪轨迹是否匹配成功，若匹配成功，更新目标的状态，否则初始化未匹配到的目标。提高了目标跟踪的准确率，在多目标跟踪在场景化通用目标识别与行为分析技术中具有重要的意义。要的意义。要的意义。

【技术实现步骤摘要】
一种基于目标检测和动态关联的多目标跟踪方法及系统


[0001]本专利技术属于目标跟踪
，尤其涉及一种基于目标检测和动态关联的多目标跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]多目标跟踪在场景化通用目标识别与行为分析技术中具有重要的意义，有望为人们生活和工作带来更多便利和安全。现有的多目标跟踪采用的是DeepSORT多目标跟踪算法，其是在SORT算法的基础上改进而来的。SORT是一个简单高效的多目标跟踪算法，它在视频序列的第一帧使用卡尔曼滤波初始化行人，在视频后续帧中对跟踪行人的状态进行预测和更新，使用匈牙利指派算法将每一帧中检测到的行人分配到符合条件的跟踪轨迹上，SORT算法能够对行人进行快速跟踪，但是当行人发生相互遮挡时，该算法不能对行人做持续跟踪。
[0004]为了解决该问题，DeepSORT算法在SORT算法中引入了一个行人ReID模型，该模型用于提取行人的表观特征，并使用余弦距离完成行人与行人跟踪轨迹间的表观特征匹配；
[0005]但是DeepSORT算法仅使用行人ReID模型提取的深度特征对行人做表观相似度匹配。因此，目标跟踪的准确率受行人ReID模型的特征提取能力影响较大。当训练得到的行人ReID模型提取的特征较差时，目标跟踪的准确率会显著降低。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的至少一项技术问题，本专利技术提供一种基于目标检测和动态关联的多目标跟踪方法及系统，其改进了DeepSORT多目标跟踪算法，基于颜色直方图分别提取行人上半身区域和下半身区域的颜色特征，并将其作为DeepSORT算法中关联匹配阶段的关联匹配依据之一，使改进后的DeepSORT算法能够更好的对视频中的行人做持续跟踪。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种基于目标检测和动态关联的多目标跟踪方法,包括如下步骤：
[0009]获取待检测的视频序列；
[0010]基于待检测的视频序列和训练后的多目标跟踪模型进行跟踪，得到每个目标的检测框和对应的ID；其中，所述多目标跟踪模型的构建过程包括：
[0011]根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果；
[0012]基于提取的行目标轨迹的深度特征和当前图像中动目标的深度特征向量得到动目标与跟踪轨迹的表观特征匹配结果；
[0013]基于动目标与跟踪轨迹的运动信息匹配结果和表观特征匹配结果，将动目标的分块颜色特征融合至关联匹配阶段，判断动目标与跟踪轨迹是否匹配成功，若匹配成功，更新目标的状态，否则初始化未匹配到的目标。
[0014]进一步地，所述根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果，通过当前视频图像中卡尔曼滤波器预测的第i条动目标轨迹中的位置和当前视频图像中的第j个动目标的位置之间的马氏距离得到。
[0015]进一步地，所述目标跟踪轨迹的获取过程为：通过设置轨迹生成判定规则和轨迹结束判定规则，所述轨迹生成判定规则为一条候选目标跟踪轨迹连续N帧均匹配到目标时，则判定该轨迹为一条跟踪轨迹；
[0016]所述轨迹结束判定规则为一条行人跟踪轨迹连续T帧没有匹配到行人时，则判定该行人跟踪轨迹结束。
[0017]进一步地，所述动目标与跟踪轨迹的表观特征匹配结果根据使用第i条跟踪轨迹与第j个动目标之间深度特征的最小余弦距离得到的。
[0018]进一步地，所述动目标的分块颜色特征的提取过程为：
[0019]基于颜色直方图分别提取动目标的第一区域和第二区域的颜色特征；
[0020]将第一区域的特征和第二区域的颜色特征拼接得到最终的目标颜色特征。
[0021]其中，采用颜色直方图分别提取动目标的第一区域和第二区域的颜色特征包括：
[0022]确定颜色直方图的灰度级，每个灰度级表示固定区间的图像灰度值；
[0023]遍历图像中的每个像素，并根据图像中各颜色分量的每个像素点的灰度值，将其分配到颜色直方图中的灰度级上。
[0024]进一步地，多目标跟踪模型训练时，采用triplet loss作为损失函数为：
[0025]Loss＝d(a,p)
‑
d(a,n)+margin
[0026]式中,d(a,p)表示正例之间的距离，d(a,n)表示负例之间的距离，margin为常量，迫使模型在学习的过程中，增大负例a的距离值，减小正例p的距离值。
[0027]本专利技术的第二个方面提供一种基于目标检测和动态关联的多目标跟踪系统，包括：
[0028]数据获取模块，其被配置为：获取待检测的视频序列；
[0029]多目标跟踪模块，其被配置为：基于待检测的视频序列和训练后的多目标跟踪模型进行跟踪，得到每个目标的检测框和对应的ID；其中，所述多目标跟踪模型的构建过程包括：
[0030]根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果；
[0031]基于提取的行目标轨迹的深度特征和当前图像中动目标的深度特征向量得到动目标与跟踪轨迹的表观特征匹配结果；
[0032]基于动目标与跟踪轨迹的运动信息匹配结果和表观特征匹配结果，将动目标的分块颜色特征融合至关联匹配阶段，判断动目标与跟踪轨迹是否匹配成功，若匹配成功，更新目标的状态，否则初始化未匹配到的目标。
[0033]本专利技术的第三个方面提供一种计算机可读存储介质。
[0034]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现
如第一方面所述的一种基于目标检测和动态关联的多目标跟踪方法中的步骤。
[0035]本专利技术的第四个方面提供一种计算机设备。
[0036]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种基于目标检测和动态关联的多目标跟踪方法中的步骤。
[0037]与现有技术相比，本专利技术的有益效果是：
[0038]1、本专利技术基于提取的行目标轨迹的深度特征和当前图像中动目标的深度特征向量得到动目标与跟踪轨迹的表观特征匹配结果；基于动目标与跟踪轨迹的运动信息匹配结果和表观特征匹配结果，将动目标的分块颜色特征融合至关联匹配阶段，判断动目标与跟踪轨迹是否匹配成功，若匹配成功，更新目标的状态，否则初始化未匹配到的目标，通过提高DeepSORT特征匹配的可靠性，进而提高目标跟踪的准确率，提高了目标跟踪的准确率，在多目标跟踪在场景化通用目标识别与行为分析技术中具有重要的意义。
[0039]2、本专利技术改进了DeepSORT多目标跟踪算法，并将其用于行人跟踪。行人具有丰富的颜色特征，因此本专利技术基于颜色直方图分别提取行人上半身区域和下半身区域的颜色特征，并将其作为DeepSORT算法中关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测和动态关联的多目标跟踪方法，其特征在于，包括如下步骤：获取待检测的视频序列；基于待检测的视频序列和训练后的多目标跟踪模型进行跟踪，得到每个目标的检测框和对应的ID；其中，所述多目标跟踪模型的构建过程包括：根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果；基于提取的行目标轨迹的深度特征和当前图像中动目标的深度特征向量得到动目标与跟踪轨迹的表观特征匹配结果；基于动目标与跟踪轨迹的运动信息匹配结果和表观特征匹配结果，将动目标的分块颜色特征融合至关联匹配阶段，判断动目标与跟踪轨迹是否匹配成功，若匹配成功，更新目标的状态，否则初始化未匹配到的目标。2.如权利要求1所述的一种基于目标检测和动态关联的多目标跟踪方法，其特征在于，所述根据动目标的实际位置和预测的目标位置得到动目标与跟踪轨迹的运动信息匹配结果，通过当前视频图像中卡尔曼滤波器预测的第i条动目标轨迹中的位置和当前视频图像中的第j个动目标的位置之间的马氏距离得到。3.如权利要求1所述的一种基于目标检测和动态关联的多目标跟踪方法，其特征在于，所述目标跟踪轨迹的获取过程为：通过设置轨迹生成判定规则和轨迹结束判定规则，所述轨迹生成判定规则为一条候选目标跟踪轨迹连续N帧均匹配到目标时，则判定该轨迹为一条跟踪轨迹；所述轨迹结束判定规则为一条行人跟踪轨迹连续T帧没有匹配到行人时，则判定该行人跟踪轨迹结束。4.如权利要求1所述的一种基于目标检测和动态关联的多目标跟踪方法，其特征在于，所述动目标与跟踪轨迹的表观特征匹配结果根据使用第i条跟踪轨迹与第j个动目标之间深度特征的最小余弦距离得到的。5.如权利要求1所述的一种基于目标检测和动态关联的多目标跟踪方法，其特征在于，所述动目标的分块颜色特征的提取过程为：基于颜色直方图分别提取动目标的第一区域和第二区域的颜色特征；将第一区域的特征和第二区域的颜色特征拼接得到最终的目标颜色特征。其中，采用颜色直方图分别提取动目标的第一区域和第二区域的颜色特征包括：确定颜色直方图的灰度级，每个灰度级表示固定区间的...

【专利技术属性】
技术研发人员：邱志鹏，李凡平，石柱国，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：