多目标跟踪方法、装置、系统及计算机可读存储介质制造方法及图纸

本发明专利技术涉及图像处理技术领域，具体涉及一种多目标跟踪方法、装置、系统及计算机可读存储介质。本发明专利技术旨在解决现有的多目标跟踪方法的目标状态更新速率慢、计算量大的问题。为此目的，本发明专利技术的方法包括：对输入的视频或图像的当前帧进行检测，以获得当前帧中的各跟踪目标的检测框集合和特征向量集合；获取历史帧中的每一跟踪目标在当前帧的预测框集合；对检测框集合与预测框集合区分优先级进行级联匹配；基于匹配结果，进行目标跟踪。本发明专利技术能够减少目标匹配的计算成本，以更低的计算成本获得更加密集的跟踪目标的状态向量更新速率，实现高更新率、高稳定性的目标跟踪。

【技术实现步骤摘要】
多目标跟踪方法、装置、系统及计算机可读存储介质
本专利技术涉及图像处理
，具体涉及一种多目标跟踪方法、装置、系统及计算机可读存储介质。
技术介绍
在人员密集的场景进行多目标跟踪的过程中，由于人员之间的相互遮挡关系，难以获得完整连续的检测结果，使得跟踪系统无法及时更新跟踪目标的状态，进而导致跟踪目标丢失。而通过跨镜追踪技术重新获取追踪目标的计算成本相对较高，难以满足多目标跟踪场景的实际需求。为解决上述问题，公开号为CN110163889A的专利技术申请中公开了一种目标跟踪方法、目标跟踪装置、目标跟踪设备，该方法主要包括：对视频图像当前帧进行检测获得多个人头检测框、人体检测框；对人头检测框与人体检测框进行关联得到目标检测框集合；根据视频图像的现有轨迹确定当前帧中的预测框集合；针对目标检测框集合分别计算每个人头检测框与所有人头预测框的相似度、每个人体检测框与所有人体预测框的相似度；然后计算相关联的人头预测框与人体预测框的总相似度，基于总相似度来确定预测框集合中与人头检测框和人体检测框相匹配的预测框；以及在匹配的情况下，进一步基于目标检测本文档来自技高网...

【技术保护点】
1.一种多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：/n对输入的视频或图像的当前帧进行检测，以获得当前帧中的各跟踪目标的检测框集合，其中，所述检测框集合中包括人头检测框和人体检测框；/n获取历史帧中的每一跟踪目标在当前帧中的预测框集合，其中，所述预测框集合中包括彼此相关联的人头预测框和人体预测框，所述预测框集合根据历史帧中的每一跟踪目标的历史运动轨迹确定；/n基于所述检测框集合和所述预测框集合，对所述检测框集合与所述预测框集合区分优先级进行级联匹配；/n基于匹配结果，进行目标跟踪。/n

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：
对输入的视频或图像的当前帧进行检测，以获得当前帧中的各跟踪目标的检测框集合，其中，所述检测框集合中包括人头检测框和人体检测框；
获取历史帧中的每一跟踪目标在当前帧中的预测框集合，其中，所述预测框集合中包括彼此相关联的人头预测框和人体预测框，所述预测框集合根据历史帧中的每一跟踪目标的历史运动轨迹确定；
基于所述检测框集合和所述预测框集合，对所述检测框集合与所述预测框集合区分优先级进行级联匹配；
基于匹配结果，进行目标跟踪。


2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述预测框集合包括对应于未被遮挡的跟踪目标的第一预测框子集合以及对应于被遮挡的跟踪目标的第二预测框子集合，
“基于所述检测框集合和所述预测框集合，对所述检测框集合与所述预测框集合区分优先级进行级联匹配”的步骤进一步包括：
针对所述检测框集合与所述第一预测框子集合进行优先匹配；
针对所述检测框集合中未被匹配的剩余的检测框与所述第二预测框子集合进行次优先匹配。


3.根据权利要求2所述的多目标跟踪方法，其特征在于，在“针对所述检测框集合与所述第一预测框子集合进行优先匹配”之前，所述多目标跟踪方法还包括：
对属于同一跟踪目标的所述人头检测框与所述人体检测框进行关联；
“针对所述检测框集合与所述第一预测框子集合进行优先匹配”的步骤进一步包括：
采用框体重合度和形状相似度作为比较尺度，构建所述检测框集合与所述第一预测框子集合之间的第一二分图损失矩阵；
采用匈牙利算法求解所述第一二分图损失矩阵的最优匹配；
如果所述检测框集合中的人头/人体检测框与所述第一预测框子集合中的人头/人体预测框匹配成功，则在所述人头/人体检测框具有与其相关联的人体/人头检测框的情况下，根据关联规则将所述人体/人头检测框以及与所述人头/人体预测框相关联的人体/人头预测框进行匹配；
其中，所述框体重合度用于表征所述检测框集合中的任一检测框与所述第一预测框子集合中的任一预测框之间的重合程度，所述形状相似度用于表征所述检测框集合中的任一检测框的形状与所述第一预测框子集合中的任一预测框的形状之间的相似程度。


4.根据权利要求3所述的多目标跟踪方法，其特征在于，在“针对所述检测框集合与所述第一预测框子集合进行优先匹配”的步骤之前，所述多目标跟踪方法还包括：
对输入的视频或图像的当前帧进行检测，以获得当前帧中的各跟踪目标的特征向量集合，所述特征向量集合包括人头特征向量和人体特征向量；
“针对所述检测框集合与所述第一预测框子集合进行优先匹配”的步骤进一步包括：
针对所述检测框集合中未被匹配的剩余的检测框和所述第一预测框子集合中未被匹配的剩余的预测框，采用距离相似度和特征相似度作为比较尺度，构建所述检测框集合与所述第一预测框子集合之间的第二二分图损失矩阵；
采用匈牙利算法求解所述第二二分图损失矩阵的最优匹配；
如果所述检测框集合中的人头/人体检测框与所述第一预测框子集合中的人头/人体预测框匹配成功，则在所述人头/人体检测框具有与其相关联的人体/人头检测框的情况下，根据关联规则将所述人体/人头检测框以及与所述人头/人体预测框相关联的人体/人头预测框进行匹配；
其中，所述距离相似度用于表征检测框集合中的任一检测框与所述第一预测框子集合中的任一预测框之间的距离大小；所述特征相似度用于表征所述检测框集合中任一检测框的特征向量与所述预测框集合中的任一预测框所对应的历史轨迹中的所有特征向量之间的相似程度。


5.根据权利要求4所述的多目标跟踪方法，其特征在于，“针对所述检测框集合中未被匹配的剩余的检测框与所述第二预测框子集合进行次优先匹配”的步骤进一步包括：
针对所述检测框集合中未被匹配的剩余的检测框和所述第二预测框子集合中的预测框，采用距离相似度和特征相似度作为比较尺度，构建所述检测框集合与所述第二预测框子集合之间的第三二分图损失矩阵；
采用匈牙利算法求解所述第三二分图损失矩阵的最优匹配；
如果所述检测框集合中的人头/人体检测框与所述第二预测框子集合中的人头/人体预测框匹配成功，则在所述人头/人体检测框具有与其相关联的人体/人头检测框的情况下，根据关联规则将所述人体/人头检测框以及与所述人头/人体预测框相关联的人体/人头预测框进行匹配。


6.根据权利要求3所述的多目标跟踪方法，其特征在于，“对属于同一跟踪目标的所述人头检测框与所述人体检测框进行关联”的步骤进一步包括：
获取每个所述人体检测框内的人体关键点；
基于所述人体关键点，计算每个人体的头部位置；
基于每个所述头部位置与每个人头检测框的中心点之间的距离，构建距离匹配矩阵；
采用匈牙利算法求解所述距离匹配矩阵的最优匹配，实现对属于同一跟踪目标的所述人头检测框与所述人体检测框的关联。


7.根据权利要求1所述的多目标跟踪方法，其特征在于，在“基于所述检测框集合和所述预测框集合，对所述检测框集合与所述预测框集合区分优先级进行级联匹配”的步骤之后，所述多目标跟踪方法还包括：
对匹配结果进行质量分析，并对匹配有误的结果，采取人工策略进行召回。


8.根据权利要求1所述的多目标跟踪方法，其特征在于，“基于匹配结果，进行目标跟踪”的步骤进一步包括：
基于匹配结果，分别对所述历史运动轨迹中与当前帧匹配成功的跟踪目标的人头的运动状态向量和人体的运动状态向量进行更新，并且基于历史帧中所有跟踪目标的运动轨迹对所有跟踪目标的轨迹进行预测，以获得所述视频或所述图像在下一帧的预测框集合。


9.一种多目标跟踪装置，其特征在于，所述多目标跟踪装置包括：
联合检测跟踪模块，其用于对输入的视频或图像的当前帧进行检测，以获得当前帧中的各跟踪目标的检测框集合，其中，所述检测框集合中包括人头检测框和人体检测框；
级联匹配模块，其用于基于所述检测框集合和所述预测框集合，对所述检测框集合与所述预测框集合区分优先级进行级联匹配；
运动估计模块，其用于确定历史帧中...

【专利技术属性】
技术研发人员：陈长升，齐竟雄，何翔，
申请(专利权)人：恒睿重庆人工智能技术研究院有限公司，
类型：发明
国别省市：重庆;50