目标跟踪的尺度估计方法以及相关装置制造方法及图纸

本申请公开了一种目标跟踪的尺度估计方法以及相关装置。其中，目标跟踪的尺度估计方法包括：分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息；通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域；基于初始预测区域，将初始预测区域的预设倍数的区域确定为搜索区域，并将后帧图像划分为多个子区域；通过光流点的光流信息确定搜索区域内每一个光流点所属的子区域；通过统计搜索区域内每一个光流点所属的子区域，确定目标在后帧图像的目标尺度。上述方案，能够提高尺度估计的效率。

Scale estimation method and related devices for target tracking

The application discloses a scale estimation method for target tracking and a related device. Among them, the scale estimation method of target tracking includes: detecting the optical flow of the front and back two images captured by the camera, obtaining the optical flow information of the optical flow points of the front and back two images; determining the initial prediction area of the target in the later image through the optical flow information of the front and back two images; determining the pre-set multiple area of the initial prediction area based on the initial prediction area As a search area, the post frame image is divided into several sub areas; the sub areas of each optical flow point in the search area are determined by the optical flow information of the optical flow point; the target scale of the target in the post frame image is determined by counting the sub areas of each optical flow point in the search area. The above scheme can improve the efficiency of scale estimation.

【技术实现步骤摘要】
目标跟踪的尺度估计方法以及相关装置
本申请涉及计算机视觉
，特别是涉及一种目标跟踪的尺度估计方法以及相关装置。
技术介绍
伴随着越来越多的监控摄像头不断地布控在城市的各个角落，智能视频监控技术也随之快速发展。智能视频监控技术是利用计算机视觉技术对输入的视频信号进行处理、分析和理解，从而通过对拍摄得到的帧图像序列的智能分析，实现对监控场景中感兴趣区域的定位、检测和跟踪等功能。然而，在对目标进行跟踪的过程中，目标的尺度是不断发生变化的。例如，目标在运动过程中的由远及近或者由近及远都会导致尺度大小发生变化。故此，尺度估计是实现目标跟踪的关键之一，而尺度估计的效率直接影响到目标跟踪的时延。有鉴于此，如何提高尺度估计的效率成为目标跟踪中亟待解决的技术问题。
技术实现思路
本申请主要解决的技术问题是提供一种目标跟踪的尺度估计方法以及相关装置，能够提高尺度估计的效率。为了解决上述问题，本申请第一方面提供了一种目标跟踪的尺度估计方法，包括：分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息；通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域；基于初始预测区域，将初始预测区域的预设倍数的区域确定为搜索区域，并将后帧图像划分为多个子区域；通过光流点的光流信息确定搜索区域内每一个光流点所属的子区域；通过统计搜索区域内每一个光流点所属的子区域，确定目标在后帧图像的目标尺度。为了解决上述问题，本申请第二方面提供了一种图像处理装置，包括相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面中的方法。为了解决上述问题，本申请第三方面提供了一种图像处理装置，包括光流检测模块、目标确定模块、区域划分模块、区域确定模块、统计计算模块，光流检测模块用于分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息；目标确定模块用于通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域；区域划分模块用于基于初始预测区域，将初始预测区域的预设倍数的区域确定为搜索区域，并将后帧图像划分为多个子区域；区域确定模块用于通过光流点的光流信息确定搜索区域内每一个光流点所属的子区域；统计计算模块用于通过统计搜索区域内每一个光流点所属的子区域，确定目标在后帧图像的目标尺度。为了解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的方法。上述方案中，通过对前后两帧图像进行光流检测，从而确定目标在后帧图像中的初始预测区域，进而可以估计目标在后帧图像中的位置，再基于确定的初始预测区域将后帧图像划分为多个子区域，并将该初始预测区域的预设倍数的区域作为搜索区域，从而基于搜索区域中每一个光流点的光流信息确定其所属的子区域，最终统计搜索区域中每一个光流点所属的子区域，确定目标在后帧图像的目标尺度，进而只需在搜索区域范围确认其中的光流点所属的子区域，大大减少了尺度估计的计算量，提高了尺度估计的效率。附图说明图1是本申请目标跟踪的尺度估计方法一实施例的流程示意图；图2是本申请目标跟踪的尺度估计方法一实施例的框架示意图；图3是图1中步骤S14一实施例的流程示意图；图4是图3中步骤S141一实施例的流程示意图；图5是图1中步骤S15一实施例的流程示意图；图6是本申请图像处理装置一实施例的框架示意图；图7是本申请图像处理装置另一实施例的框架示意图；图8是本申请存储装置一实施例的框架示意图。具体实施方式下面结合说明书附图，对本申请实施例的方案进行详细说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。请参阅图1，图1是本申请目标跟踪的尺度估计方法一实施例的流程示意图。具体而言，可以包括如下步骤：步骤S11：分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息。摄像器材可以为夜视摄像头、红外摄像头等等。根据应用场景的不同可以选择不同类型的摄像器材。例如，针对环境幽暗、采光不佳的场所，摄像器材可以为夜视摄像头、红外摄像头；针对光线明亮的室内场所，摄像器材可以为一般的数字摄像头、网络摄像头；而针对室外无遮挡的场景，摄像器材可以防水摄像头，本实施例不做具体限制。此外，具体而言，针对需要重点拍摄运动物体的应用场景，例如：道路车辆监控、车站人流监控等等，摄像器件可以具体为集成有云台的摄像机，例如智能球机摄像头。智能球机摄像头利用内置电机可以实现球机的快速、准确定位和旋转，从而在硬件上具备定位和跟踪目标，特别是移动目标的条件。光流(opticalfloworopticflow)是关于视觉域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。所谓光流就是指图像表面出运动的速度。物体在运动的时候之所以能够被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断地流过眼镜视网膜，就好像一种光流经过一样，故称之为光流。光流检测在样型识别、计算机视觉以及其他摄像处理领域中有着重要的作用。具体地，光流检测可用于检测运动、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。关于光流检测的方法目前有基于梯度的方法、基于匹配的方法、基于能量的方法等等。比较典型的有：霍恩-山克方法(Horn-SchunckMethod)、卢卡斯-卡纳德方法(Lucas-KanadeMethod)等等。光流检测的方法为本领域的现有技术，本实施例在此不再赘述。在一个实施场景中，为了定量地表征光流点的位置信息，光流信息包括光流点在预设坐标系上的坐标位置，预设坐标系可以为二维坐标系，例如：前帧图像中的光流点1的光流信息可以包括二维坐标系上的坐标位置(x1,t-1,y1,t-1)，或者前帧图像中的光流点2的光流信息可以包括二维坐标系上的坐标位置(x2,t-1,y2,t-1)，或者后帧图像中的光流点1的光流信息可以包括二维坐标系上的坐标位置(x1,t,y1,t)，或者后帧图像中的光流点2的光流信息可以包括二维坐标系上的坐标位置(x2,t,y2,t)等等，本实施例不再赘述。步骤S12：通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域。初始预测区域为目标在后帧图像中所在的估计区域。在一个实施场景中，初始预测区域为一矩形，且该矩形所圈定的本文档来自技高网...

【技术保护点】
1.一种目标跟踪的尺度估计方法，其特征在于，包括：/n分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到所述前后两帧图像的光流点的光流信息；/n通过所述前后两帧图像的光流信息确定所述目标在后帧图像中的初始预测区域；/n基于所述初始预测区域，将所述初始预测区域的预设倍数的区域确定为搜索区域，并将所述后帧图像划分为多个子区域；/n通过所述光流点的光流信息确定所述搜索区域内每一个所述光流点所属的子区域；/n通过统计所述搜索区域内每一个所述光流点所属的子区域，确定所述目标在所述后帧图像的目标尺度。/n

【技术特征摘要】
1.一种目标跟踪的尺度估计方法，其特征在于，包括：
分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到所述前后两帧图像的光流点的光流信息；
通过所述前后两帧图像的光流信息确定所述目标在后帧图像中的初始预测区域；
基于所述初始预测区域，将所述初始预测区域的预设倍数的区域确定为搜索区域，并将所述后帧图像划分为多个子区域；
通过所述光流点的光流信息确定所述搜索区域内每一个所述光流点所属的子区域；
通过统计所述搜索区域内每一个所述光流点所属的子区域，确定所述目标在所述后帧图像的目标尺度。


2.根据权利要求1所述的尺度估计方法，其特征在于，所述通过所述光流点的光流信息确定所述搜索区域内每一个所述光流点所属的子区域的步骤包括：
通过所述光流点的光流信息分别计算得到所述搜索区域内的每一个所述光流点到所有所述子区域的中心光流点的距离；
将所述距离中最小值所对应的中心光流点所在的子区域确定为所述光流点所属的子区域；
其中，所述光流信息包括所述光流点在预设坐标系上的位置坐标。


3.根据权利要求2所述的尺度估计方法，其特征在于，所述预设坐标系为二维坐标系，所述二维坐标系包括第一坐标轴和第二坐标轴，所述通过所述光流点的光流信息分别计算得到所述搜索区域内的每一个所述光流点到所有所述子区域的中心光流点的距离的步骤包括：
通过如下公式计算所述搜索区域内的每一个所述光流点到所有所述子区域的中心光流点的距离



其中，xi表示所述搜索区域的光流点i在第一坐标轴的坐标信息，yi表示所述搜索区域的光流点i在第二坐标轴的坐标信息；xm表示所述后帧图像的第m个子区域的中心光流点在第一坐标轴的坐标信息；ym表示所述后帧图像的第m个子区域的中心光流点在第二坐标轴的坐标信息；vxi表示所述搜索区域的光流点i在第一坐标轴方向上的光流速度，vyi表示所述搜索区域的光流点i在第二坐标轴方向上的光流速度，vxm表示所述后帧图像的第m个子区域的中心光流点在第一坐标轴方向上的光流速度，vym表示所述后帧图像的第m个子区域的中心光流点在第二坐标轴方向上的光流速度，λi为光流点i的权重。


4.根据权利要求2所述的尺度估计方法，其特征在于，
所述通过所述光流点的光流信息分别计算得到所述搜索区域内的每一个所述光流点到所有所述子区域的中心光流点的距离的步骤包括：
通过所述光流点的位置坐标确定与所述光流点相邻的子区域；
分别计算得到所述搜索区域内的每一个所述光流点到其相邻的子区域的中心光流点的距离。


5.根据权利要求1所述的尺度估计方法，其特征在于，所述通过统计所述搜索区域内每一个所述光流点所属的子区域，确定所述目标在所述后帧图像的目标尺度的步骤包括：
通过统计所述搜索区域内的每一个所述光流点所属的子区域，确定属于所述初始预测区域的光流点数；
通过属于所述初始预测区域的光流点数以及所述初始预测区域中的光流点数的比值确定所述目标在所述后帧图像的目标尺度。


6.根据权利要求1...

【专利技术属性】
技术研发人员：李明竹，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33