多目标跟踪方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的问题，提高多目标跟踪的准确性。该方法包括：在预设检测框内，对目标帧图像进行目标检测，确定目标帧图像中多个目标的特征信息；根据目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；针对多个目标中的每个目标，在多个预估跟踪目标中，确定与该目标的关联度大于或等于预设关联度的预估跟踪目标；根据预估跟踪目标位于预设跟踪框内的概率，计算预估跟踪目标的跟踪置信度；响应于预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的目标的特征信息作为目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

Multi target tracking method, device, storage medium and electronic equipment

【技术实现步骤摘要】
多目标跟踪方法、装置、存储介质及电子设备
本公开涉及计算机
，具体地，涉及一种多目标跟踪方法、装置、存储介质及电子设备。
技术介绍
多目标跟踪在实时监控中具有重要的作用，可以在监控视频中同时跟踪多个目标，广泛应用于安防监控、自动驾驶等场景。但是，在多目标跟踪过程中，可能由于摄像头的设置位置不合适，导致靠近摄像头位置的监控图像偏大，远离摄像头位置的监控图像偏小，即导致同一物体或人像的尺度变化巨大。在此种情况下，如果长时间进行目标跟踪，则可能导致漂移现象，甚至导致跟踪目标的丢失。
技术实现思路
本公开的目的是提供一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的问题，提高多目标跟踪的准确性。为了实现上述目的，第一方面，本公开提供一种多目标跟踪方法，所述方法包括：在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。可选地，所述将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪，包括：确定检测到的所述目标与所述预估跟踪目标之间的相似度；响应于所述相似度大于或等于第一预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。可选地，所述方法还包括：响应于所述预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大所述预设检测框的范围，所述第二预设置信度小于所述第一预设置信度。可选地，所述方法还包括：响应于在扩大后的所述预设检测框内检测到目标，确定检测到的所述目标与历史跟踪到的目标间的相似度；响应于所述相似度大于或等于第二预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。可选地，所述扩大所述预设检测框的范围，包括：确定所述预估跟踪目标的位置信息和尺寸信息；以所述预估跟踪目标的位置为中心，并根据所述预估跟踪目标的尺寸，确定扩大后的所述预设检测框的范围。可选地，所述对所述目标帧图像进行目标检测，包括：按照预设检测周期，对所述目标帧图像进行目标检测，所述目标帧图像为每一所述预设检测周期中的初始帧图像，或者所述目标帧图像为每一所述预设检测周期中的结束帧图像。可选地，所述确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标，包括：响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的重叠度IoU大于或等于第一预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标；或者响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的广义重叠度GIoU大于或等于第二预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标。第二方面，本公开还提供一种多目标跟踪装置，所述装置包括：检测模块，用于在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；第一确定模块，用于根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；第二确定模块，用于针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；计算模块，用于根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；跟踪模块，用于响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。第四方面，本公开还提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。通过上述技术方案，可以在跟踪过程中进行目标检测，并在预估跟踪目标的跟踪置信度小于或等于第一预设置信度时，将检测到的目标的特征信息作为下一帧图像待跟踪目标的特征信息进行目标跟踪。即，可以通过目标检测的结果修正目标跟踪的结果，从而提高目标跟踪的准确性，解决相关技术中由于尺度变化而导致的目标丢失问题。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开一示例性实施例示出的一种多目标跟踪方法的流程图；图2是根据本公开一示例性实施例示出的一种多目标跟踪方法中预设跟踪框与预设检测框之间关联度的示意图；图3是根据本公开另一示例性实施例示出的一种多目标跟踪方法的流程图；图4是根据本公开一示例性实施例示出的一种多目标跟踪装置的框图；图5是根据本公开一示例性实施例示出的一种电子设备的框图；图6是根据本公开另一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。多目标跟踪在实时监控中具有重要的作用，可以在监控视频中同时跟踪多个目标，广泛应用于安防监控、自动驾驶等场景。但是，在多目标跟踪过程中，可能由于摄像头的设置位置不合适，导致靠近摄像头位置的监控图像偏大，远离摄像头位置的监控图像偏小，即导致同一物体或人像的尺度变化巨大。在此种情况下，如果长时间进行目标跟踪，则可能导致漂移现象，甚至导致跟踪目标的丢失。有鉴于此，本公开实施例提供一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的技术问题，减少多目标跟踪过程中的漂移现象，提高多目标跟踪的准确度。首先需要说明的是，本公开实施例中的方法可以应用于具有视频拍摄功能的电子设备，比如室内摄像头、设置在无人驾驶车辆上的摄像头，等等。或者，本公开实施例还可以应用于服务器。在此种情况下，服务器可以接收具有视频拍摄功能的电子设备发送的视频，本文档来自技高网...

【技术保护点】
1.一种多目标跟踪方法，其特征在于，所述方法包括：/n在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；/n根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；/n针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；/n根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；/n响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。/n

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，所述方法包括：
在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；
根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；
针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；
根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；
响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。


2.根据权利要求1所述的方法，其特征在于，所述将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪，包括：
确定检测到的所述目标与所述预估跟踪目标之间的相似度；
响应于所述相似度大于或等于第一预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大所述预设检测框的范围，所述第二预设置信度小于所述第一预设置信度。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
响应于在扩大后的所述预设检测框内检测到目标，确定检测到的所述目标与历史跟踪到的目标间的相似度；
响应于所述相似度大于或等于第二预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。


5.根据权利要求3所述的方法，其特征在于，所述扩大所述预设检测框的范围，包括：
确定所述预估跟踪目标的位置信息和尺寸信息；
以所述预估跟踪目标的位置为中心，并根据所述预估跟踪目标的尺寸，确定扩大后的所述预设检测...

【专利技术属性】
技术研发人员：李蒙，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11