目标跟踪方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种目标跟踪方法、装置、设备及存储介质。该目标跟踪方法包括：获取视频流中的在前帧图像中的第一边界区域图像；获取视频流中的当前帧图像上与第一边界区域图像的大小相等的第二边界区域图像；对第一边界区域图像和第二边界区域图像进行相关度滤波处理，得到候选坐标；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。本申请能够在较低硬件要求的前提下实现在低帧率频流中对目标进行实时精确跟踪。

Target tracking method, device, equipment and storage medium

The application provides a target tracking method, device, device and storage medium. The target tracking method includes: acquiring the first boundary region image in the pre frame image in the video stream; acquiring the second boundary region image on the current frame image in the video stream with the same size as the first boundary region image; filtering the correlation between the first boundary region image and the second boundary region image to obtain the candidate coordinates; determining the candidate coordinates according to the candidate coordinates respectively Determining the first candidate region image and the second candidate region image in the first boundary region image and the second boundary region image with the same size as the boundary image; determining whether the tracking target in the current frame image is the same as the tracking target in the previous frame image through the first candidate region image and the second candidate region image. The application can realize real-time accurate tracking of the target in the low frame rate stream under the premise of lower hardware requirements.

【技术实现步骤摘要】
目标跟踪方法、装置、设备及存储介质
本申请涉及目标跟踪
，具体而言，涉及目标跟踪方法、装置、设备及存储介质。
技术介绍
目前有很多的业务场景需要对监控视频或者手机视频中的特定目标进行跟踪，比如监控场景下的人脸识别有时需要结合目标的视频序列进行识别而不仅仅是某一帧，而且在视频流中对目标进行跟踪也是一些高阶视觉问题的基础，如行为分析和行为预测等。现在基于深度学习为基础的跟踪技术主要分为两种，一种是Detection-BasedTracking(DBT，基于探测的跟踪)，这种方法主要是基于目标检测技术，然后通过孪生网络进行目标匹配，这种方式的优点是可以在低帧率下进行精确跟踪，但是比较耗时，无法满足实时性的要求，且硬件成本比较高。另一种方式是Detection-FreeTracking(DFT，无探测跟踪)，这种方法需要用特定的方式进行初始化，然后在后续的视频帧中对目标进行定位，这种方式的优点是这类方法中有很多可以实现实时的方法，且硬件成本较低，但是这类方法对视频的帧率有要求，在低帧率的视频中往往表现很差，而且这类方法有个很明显的短板，无法直接判断目标是否跟丢，也无法判断是否有新的目标出现。然而，在现实应用场景中，比如监控场景下和手机视频中，这类场景有两个特点，一是视频帧率较低(如摄像头的帧率一般在15fps左右，直接用DFT的方式表现很差)，二是硬件资源紧缺(如果用DBT的方式，非常耗时，无法满足实时性)。现有的DBT和DFT算法均无法实现在上述场景下进行目标的跟踪检测。因此，如何在低硬件要求下实现低帧率视频中的目标跟踪成为亟待解决的问题。
技术实现思路
有鉴于此，本申请实施例提供的目标跟踪方法、装置、设备及存储介质，能够在较低硬件要求的前提下实现在低帧率频流中对目标进行实时精确跟踪。第一方面，本申请实施例提供的一种目标跟踪方法，所述方法包括：获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。在上述实现过程中，本申请通过获取视频流中的在前帧图像中的第一边界区域图像和获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，从而只需要在当前帧图像裁剪一个第二边界区域图像，无需裁剪出多个图像，进而可以降低硬件资源开销，进一步地，通过在确定候选坐标后，根据候选坐标在第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像，进而通过所述第一候选区域图像和第二候选区域图像来确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，从而实现在低帧率频流中对目标进行实时精确跟踪，以及能够准确确定跟踪目标是否消失。结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述方法还包括：对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。在上述实现过程中，通过对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，从而可以准确得到当前帧图像中的跟踪目标的位置以及边界框的大小，进而可以更好的应对目标在视频流数据中形态的变化的应用场景，以及提高对跟踪目标的跟踪的精确度。进一步地，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪，从而可以使本申请能够更好的应对目标在视频流数据中形态的变化的应用场景。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，包括：对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像。在上述实现过程中，通过对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像，从而可以得到跟踪目标的准确位置，实现精准跟踪，进一步的，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪的边界框图像，可以使本申请能够更好的应对目标在视频流数据中形态的变化的应用场景。结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，所述对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，包括：分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。在上述实现过程中，通过分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。由于将第一特征图和第二特征图中相关度最大的位置作为候选坐标，从而使得可以更加准确的得到两帧图像中关联度最高的候选坐标，以便于对跟踪目标进行实时精确跟踪。结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，包括：将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。在上述实现过程中，通过将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标，从而可以快速判断是否是同一目标，进而来确定跟踪目标是否消失。第二方面，本申请实施例提供的一种目标跟踪装置，包括：第一获取单元，用于获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，所述方法包括：/n获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；/n获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；/n对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；/n根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；/n通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。/n

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述方法包括：
获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；
获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；
对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；
根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；
通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。


3.根据权利要求2所述的方法，其特征在于，所述对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，包括：
对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；
根据所述修正参数确定所述当前帧图像的边界框图像。


4.根据权利要求1所述的方法，其特征在于，所述对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，包括：
分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；
对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；
将所述相关度最大的位置作为候选坐标。


5.根据权利要求1所述的方法，其特征在于，所述通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，包括：
将所述第一候选区域图像和所述第二候选区域图像进行拼接，得到拼接后的候选特征图；...

【专利技术属性】
技术研发人员：廖家聪，卢毅，詹皓云，
申请(专利权)人：图谱未来南京人工智能研究院有限公司，
类型：发明
国别省市：江苏;32