多目标跟踪方法、装置及电子设备制造方法及图纸

本发明专利技术涉及多目标跟踪技术领域，具体涉及多目标跟踪方法、装置及电子设备，方法包括获取目标视频并提取当前图像帧；将当前图像帧输入运动检测模型中同时得到当前图像帧中所有运动目标的检测框以及上一图像帧中运动目标在当前图像帧中的预测框；分别提取检测框的深度特征以及各个历史轨迹的深度特征，得到第一深度特征以及历史轨迹的深度特征；基于预测框、检测框、第一深度特征以及历史轨迹的深度特征，进行特征拼接以得到对应于各个历史轨迹的拼接特征；根据各个历史轨迹的拼接特征，以形成各个运动目标在目标视频中的运动轨迹。同时输出检测框以及预测框，提高跟踪的效率；结合历史轨迹的深度特征保证跟踪的准确性。

Multitarget tracking method, device and electronic equipment

【技术实现步骤摘要】
多目标跟踪方法、装置及电子设备
本专利技术涉及多目标跟踪
，具体涉及多目标跟踪方法、装置及电子设备。
技术介绍
多目标跟踪在视频分析领域扮演着重要角色，比如在视频监控和无人驾驶领域。在这些应用领域里，多目标跟踪致力于追踪视频场景中兴趣目标的轨迹；再进一步根据提取的运动轨迹并结合其它计算机技术，达到视频分析的目的。然而，多目标跟踪一直是计算机视觉领域里的难题，一方面由于在真实世界中包含复杂多变的背景；另一方面由于视频自身存在的多尺度、多目标、摄像机抖动移动等因素。现有技术中常用的多目标跟踪的方法一般分为两种：不基于目标检测的跟踪和基于目标检测的跟踪。其中，不基于目标检测的跟踪方法往往需要手动在第一帧中框定兴趣目标，后续通过历史帧的上下文信息找到最匹配的目标，从而实现轨迹追踪。该类方法一般速度较快但是无法自主判定轨迹的开始和终止点。基于目标检测的跟踪方法根据帧间的目标检测框，采用数据关联手段找到最佳的检测目标匹配形成跟踪轨迹。但是，当物体出现姿态变换、遮挡等往往会引起漏检、错检和回归出不正确的框尺寸，从而导致数据关联的不准确性。
技术实现思路
有鉴于此，本专利技术实施例提供了一种多目标跟踪方法、装置及电子设备，以解决如何在保证跟踪准确率的前提下提高跟踪效率的问题。根据第一方面，本专利技术实施例提供了一种多目标跟踪方法，包括：获取目标视频并提取当前图像帧；将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。本专利技术实施例提供的多目标跟踪方法，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。结合第一方面，在第一方面第一实施方式中，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。本专利技术实施例提供的多目标跟踪方法，其中运动检测模型采用级联的沙漏结构，使得检测和预测共享一个基础网络，提高跟踪效率，且该运动检测模型能够捕捉每个尺度信息和局部信息，进一步保证了跟踪的准确率。结合第一方面，在第一方面第二实施方式中，所述基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征，包括：计算所述检测框与所述预测框的相似性，以得到第一特征；分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征；将所述第一特征与所述第二特征进行拼接，得到对应于各个所述历史轨迹的拼接特征。结合第一方面第二实施方式，在第一方面第三实施方式中，所述计算所述检测框与所述预测框的相似性，以得到第一特征，包括：计算所述检测框与所述预测框的交并比，得到所述第一特征。结合第一方面第二实施方式，或第一方面第三实施方式，在第一方面第四实施方式中，所述分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征，包括：计算所述第一深度特征与所述历史轨迹的深度特征中每个元素的距离，得到各个所述历史轨迹对应的第二特征。本专利技术实施例提供的多目标跟踪方法，短时的交并比信息能够弥补不可靠的检测解决跟丢的问题，长时的距离信息能够解决跟错的问题，通过长短时的特征融合，保证了多目标跟踪的准确率。结合第一方面，在第一方面第五实施方式中，所述根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹，包括：将各个所述历史轨迹的拼接特征输入分类器模型中，得到各个所述历史轨迹下各个所述检测框与各个所述预测框之间的关联概率；利用所述关联概率构建所述检测框与所述预测框之间的二分图；其中，所述二分图的权重为对应的所述关联概率；基于所述二分图，确定各个所述历史轨迹下所述检测框与所述预测框的最佳匹配，并更新所述历史轨迹以形成各个运动目标在所述目标视频中的所述运动轨迹。本专利技术实施例提供的多目标跟踪方法，利用各个检测框与各个预测框之间的关联概率构建二分图，以更新历史轨迹，可以提高多目标跟踪的效率。根据第二方面，本专利技术实施例还提供了一种多目标跟踪装置，包括：获取模块，用于获取目标视频并提取当前图像帧；检测模块，用于将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；提取模块，用于分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；；拼接模块，用于基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；轨迹生成模块，用于根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。本专利技术实施例提供的多目标跟踪装置，利用运动检测模型同时输出检测框以及预测框，可以提高多目标跟踪的效率，且将当前图像帧中各个运动目标的检测框与历史轨迹的深度特征进行融合，即在对当前图像帧进行多目标跟踪时，结合历史轨迹的深度特征，可以保证多目标跟踪的准确性，因此，该方法在保证多目标跟踪准确率的前提下提高跟踪效率。结合第二方面，在第二方面第一实施方式中，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当本文档来自技高网...

【技术保护点】
1.一种多目标跟踪方法，其特征在于，包括：/n获取目标视频并提取当前图像帧；/n将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；/n分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；/n基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；/n根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。/n

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：
获取目标视频并提取当前图像帧；
将所述当前图像帧输入运动检测模型中，以同时得到所述当前图像帧中所有运动目标对应的检测框以及上一图像帧中的运动目标在所述当前图像帧中的预测框；
分别提取所述检测框的深度特征以及各个历史轨迹的深度特征，以得到第一深度特征以及所述历史轨迹的深度特征；其中，所述历史轨迹与所述目标视频中的运动目标一一对应；
基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征；
根据各个所述历史轨迹的拼接特征，确定各个所述历史轨迹下所述检测框与所述预测框之间的关联概率，以形成各个运动目标在所述目标视频中的运动轨迹。


2.根据权利要求1所述的方法，其特征在于，所述运动检测模型包括级联的沙漏结构，所述沙漏结构的输出热力图包括多个通道，其中，第一通道的输出值用于确定待检测框的中心和类别，第二通道的输出值用于对所述待检测框的中心进行校正，第三通道的输出值用于确定所述待检测框的高和宽，以得到所述检测框；第四通道的输出值用于确定上一图像帧中的运动目标在所述当前图像帧中的位置偏移量，以得到所述预测框。


3.根据权利要求1所述的方法，其特征在于，所述基于所述预测框、所述检测框、所述第一深度特征以及所述历史轨迹的深度特征，进行特征拼接以得到对应于各个所述历史轨迹的拼接特征，包括：
计算所述检测框与所述预测框的相似性，以得到第一特征；
分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征；
将所述第一特征与所述第二特征进行拼接，得到对应于各个所述历史轨迹的拼接特征。


4.根据权利要求3所述的方法，其特征在于，所述计算所述检测框与所述预测框的相似性，以得到第一特征，包括：
计算所述检测框与所述预测框的交并比，得到所述第一特征。


5.根据权利要求3或4所述的方法，其特征在于，所述分别计算所述第一深度特征与各个所述历史轨迹的深度特征中每个元素的相似性，以得到各个所述历史轨迹对应的第二特征，包括：
计算所述第一深度特征与所述历史轨迹的深度特征中每个元素的距离，得到各个所述历史轨迹对应的第二特征。


6.根据权利要求1所述的方法，其特征在于，所述根据各个所述...

【专利技术属性】
技术研发人员：甘津瑞，吴鹏，张国梁，赵婷，
申请(专利权)人：全球能源互联网研究院有限公司，国网浙江省电力有限公司，国家电网有限公司，
类型：发明
国别省市：北京;11