多目标跟踪方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种多目标跟踪方法，用以解决现有技术中多模型调用效率不可控，特征提取、识别效率低，易丢失目标和目标跟踪准确性低的技术问题，该方法包括：获取第一视频帧和第二视频帧，其中，第一视频帧为当前视频帧，第二视频帧为与第一视频帧相邻的前一视频帧；通过目标检测网络分别对第一视频帧和第二视频帧进行处理，确定第一视频帧中的多个第一目标、第二视频帧中的多个第二目标，并得到每个第一目标和第二目标对应的位姿信息；根据多个第二目标对应的位姿信息分别计算每个第二目标在第一视频帧中的预测位姿信息；基于预测位姿信息和多个第一目标对应的位姿信息，进行目标匹配，并根据目标匹配结果进行跟踪。并根据目标匹配结果进行跟踪。并根据目标匹配结果进行跟踪。

Multi target tracking method, device, equipment and medium

【技术实现步骤摘要】
多目标跟踪方法、装置、设备及介质


[0001]本专利技术涉及视频图像处理、计算机视觉等
，尤其涉及一种多目标跟踪方法、装置、设备及介质。

技术介绍

[0002]排序算法(Simple Online And Realtime Tracking，Sort)算法是一种传统的在线实时跟踪算法,该算法将多目标跟踪问题分解为目标检测、状态预测和数据关联部分。Sort算法中的检测部分通常采用快速迁移学习目标检测(Faster
‑
Region
‑
CNN，Faster
‑
RCNN)目标检测算法，该算法的优点在于状态预测和数据关联部分的运行速度很快，可实现在线跟踪。但没有考虑到每个目标的外观特征仅使用交并比(IntersecTIon over Union，IOU)进行匹配，这会导致在实际使用中经常会发生id标签切换的现象，而且丢失后的目标不能够再被找回。
[0003]现有技术中，为解决上述问题，有如下两种解决方案：
[0004](一)两阶段方法：
[0005]基于深度学习的两阶段跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：获取第一视频帧和第二视频帧，其中，所述第一视频帧为当前视频帧，所述第二视频帧为与所述第一视频帧相邻的前一视频帧；通过目标检测网络分别对所述第一视频帧和所述第二视频帧进行处理，确定所述第一视频帧中的多个第一目标、所述第二视频帧中的多个第二目标，并得到每个所述第一目标和所述第二目标对应的位姿信息；根据所述多个第二目标对应的位姿信息分别计算每个所述第二目标在所述第一视频帧中的预测位姿信息；基于所述预测位姿信息和所述多个第一目标对应的位姿信息，进行目标匹配，并根据所述目标匹配结果进行跟踪。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述通过目标检测网络对所述第一视频帧和所述第二视频帧进行处理，确定所述第一视频帧中的多个第一目标、所述第二视频帧中的多个第二目标，并得到每个所述第一目标和第二目标对应的位姿信息，包括：通过所述目标检测网络对所述第二视频帧进行处理，以确定多个第二目标，并得到每个所述第二目标对应的位姿信息和重识别特征；通过目标检测网络对所述第一视频帧进行处理，确定多个第一目标，并得到每个第一目标对应的位姿信息和重识别特征。3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述基于所述预测位姿信息和所述多个第一目标对应的位姿信息，进行目标匹配，包括：基于所述预测位姿信息和所述多个第一目标对应的位姿信息，确定与任一第一目标的距离小于预设目标阈值的第二目标为第三目标；若所述第三目标的重识别特征与所述第一目标的重识别特征匹配，则确定所述第三目标与所述第一目标匹配。4.根据权利要求3所述的多目标跟踪方法，其特征在于，所述方法还包括：利用所述第一目标对应的位姿信息更新与所述第一目标匹配的第二目标的位姿信息。5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述方法还包括：将未匹配的第二目标确定为丢失的目标；停止追踪所述丢失的目标，并将所述丢失的目标对应的位姿信息删除。6.根据权利要求1
‑
5中任一项所述的多目标跟踪方法，其特征在于，所述目标检测网络通过如下方法进行训练：从预先获取的包含目标的视频帧样本中通过标注获得目标的位姿信息；利用所述目标的位姿信息对所述目标检测网络进行训练。7.根据权利要求6所述的多目标跟踪方法，其特征在于，所述训练方法还包括：冻结所述目标检测网络的主干，对目标检测网络的重识别特征提取分支进行尺度融合。8.一种多目标跟踪装置，其特征在于，包括：获取单元，用于获取第一视频帧和第二视频帧，其中，所述第一视频帧为当前视频帧，所述第二视频帧为与所述第...

【专利技术属性】
技术研发人员：刘洋，赵雄，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：