一种目标跟踪方法及装置制造方法及图纸

本申请提供了一种目标跟踪方法及装置，包括：检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。采用本申请所提供的方案，跟踪结果准确率高、不受环境和场景变化的影响。

【技术实现步骤摘要】

本申请涉及计算机视觉
，尤其涉及一种目标跟踪方法及装置。
技术介绍
人体的检测和跟踪技术在智能视频监控中有很好的应用价值，目前人体检测和跟踪技术均基于图像RGB颜色数据实现，主要包括如下步骤：提取局部特征得到感兴趣区域；每个感兴趣区域输入分类器，判断感兴趣区域覆盖范围是否是人，如果是人，则以这一帧为时间起点启动一个对这个感兴趣区域内的人的跟踪器。现有技术不足在于：追踪结果准确率低、受环境和场景影响大。
技术实现思路
本申请实施例提出了一种目标跟踪方法及装置，以解决现有技术中追踪结果准确率低、受环境和场景影响大的技术问题。第一个方面，本申请实施例提供了一种目标跟踪方法，包括如下步骤：检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。第二个方面，本申请实施例提供了一种目标跟踪装置，包括：前景检测模块，用于检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；目标检测模块，用于将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；距离计算模块，用于根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；坐标确定模块，用于根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；跟踪加入模块，用于将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。有益效果如下：由于本申请实施例所提供的目标跟踪方法及装置，对带有深度信息的监控视频进行前景检测，检测到的前景不会因光线等环境变化或者遮挡等而发生变化，从而为后续跟踪奠定准确的数据基础，避免了现有技术利用RGB颜色数据检测受光线等环境影响以及遮挡影响导致不准确的问题，本申请实施例将检测到的前景投影至地面所在平面，将目标作为质点，再检测目标，这样可以确保连续时刻之间检测到的目标运动是小幅度的，不会存在因为像素点的值受环境影响发生较大变化导致检测到的目标运动较大、进而导致后续跟踪误差较大的问题，提高了跟踪精度。附图说明下面将参照附图描述本申请的具体实施例，其中：图1示出了本申请实施例中目标跟踪方法实施的流程示意图；图2示出了本申请实施例中目标跟踪过程的示意图；图3示出了本申请实施例中目标跟踪装置的结构示意图一；图4示出了本申请实施例中目标检测模块的结构示意图一；图5示出了本申请实施例中目标检测模块的结构示意图二；图6示出了本申请实施例中目标跟踪装置的结构示意图二；图7示出了本申请实施例中目标跟踪场景的示意图；图8示出了本申请实施例中目标跟踪曲线的示意图。具体实施方式为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。专利技术人在专利技术过程中注意到：现有技术均基于图像RGB颜色数据，主要步骤可以为：1)提取局部特征，例如：尺度不变特征变换(SIFT，Scale-invariant feature transform)、SURF、方向梯度直方图(HOG，Histogram of Oriented Gradient)、FAST、ORB等，得到感兴趣区域；2)每个感兴趣区域输入分类器，例如：支持向量机(SVM，Support Vector Machine)，判断感兴趣区域覆盖范围是否是人；3)如果是人，则以这一帧为时间起点启动一个对这个感兴趣区域内人的跟踪器tracker。专利技术人发现，tracker算法基于三个假设：第一，同一物体颜色不变；第二，连续帧之间物体运动是小幅度的；第三，临近点有相似的运动。具体的，例如：KLT(Kanade-Lucas-Tomasi)、TLD(Tracking-Learning-Detection)等，都是依据这三个假设在相邻帧之间寻找局部特征的匹配，再以这些匹配的局部特征的位置作为追踪的结果。所有这类方法的缺点，主要有以下两个方面：一是精度低、受环境和场景影响较大。这是因为追踪算法的三个假设在某些时刻是不能成立的，例如：同一物体颜色受光线变化影响，在不同帧时可能不同；物体运动速度可能会大到不能认为是小幅度的；物体旋转发生自遮挡时，临近点的运动也是不相似的。这些情况都会导致追踪算法结果变差、准确率低。二是无法得到追踪物体的空间位置信息。现有技术是基于RGB颜色数据的，一开始就丢失了深度信息，即使在目前算法框架内做到了准确的追踪，也只能是画面范围内像素级的追踪，不能对应到真实的物理世界中，即，不能给出追踪物体的三维空间坐标。针对上述不足，本申请实施例结合了RGB和深度数据，提出了一种目标跟踪方法及装置，对带有深度信息的监控视频进行前景检测，再将前景投影至地面检测目标，根据前后时刻的目标检测结果得到跟踪目标的位置，最终输出跟踪队列。采用本申请实施例所提供的技术方案，可以精确的检测和跟踪场景中运动的人，可以在复杂的光线变化和遮挡关系的情况下仍然保持非常高的准确率；此外，还可以实时的给出每个跟踪目标在物理世界的三维空间坐标。下面对本申请实施例所提供的目标跟踪方法及装置进行说明。实施例一、图1示出了本申请实施例中目标跟踪方法实施的流程示意图，如图所示，所述目标跟踪方法可以包括如下步骤：步骤101、检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；步骤102、将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；步骤103、根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；步骤104、根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；步骤105、将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。具体实施时，可以在监控场景中设置RGBD摄像头/传感器来获取监控视频，所述监控视频为深度视频，即所述视频中的像素点是带有深度信息的。可以预先建立背景模型，然后利用所述背景模型对监控视频中的第二时刻的视频图像进行前景检测，检测出前景物体。所述第二时刻可以为监控视频的第一帧所在时刻、第二帧所在时刻…等。假设所述前景物体在相机坐标系中的坐标为(x0，y0)，所述前景物体的深度为d0，那么通过坐标转换即可得出所述前景物体在真实物理世界的三维空间的坐标，具体转换过程可以参考现有技术，本申请在此不做赘述。将所述前景物体投影至地面所在平本文档来自技高网...

【技术保护点】
一种目标跟踪方法，其特征在于，包括如下步骤：检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括如下步骤：检测监控视频中第二时刻的视频图像中的前景物体；所述监控视频中像素点包括深度信息；将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果；根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵；所述跟踪队列的当前位置根据第一时刻或第二时刻的目标检测结果确定；所述第一时刻为所述第二时刻的上一时刻；根据所述距离矩阵确定所述第二时刻的目标检测结果中与所述跟踪队列的当前位置最接近的坐标；将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列。2.如权利要求1所述的方法，其特征在于，所述将所述前景物体投影至视频图像中地面所在平面，计算第二时刻的目标检测结果，具体为：将所述前景物体投影至视频图像中地面所在平面，得到平面图像；所述平面图像中坐标点的像素值由三维空间中的点占视频图像的大小以及所述三维空间中的点到地面所在平面的距离确定；将预先训练得到的卷积核与所述平面图像进行卷积计算，得到第二时刻的目标检测结果。3.如权利要求2所述的方法，其特征在于，所述平面图像中坐标点的像素值由三维空间中的点占视频图像的大小以及所述三维空间中的点到地面所在平面的距离确定，具体为：plane_view(x，y)＝occupancy(x0，y0，d0)*height(x0，y0，d0)；其中，plane_view(x，y)为平面图像plane_view在坐标点(x，y)的像素值，occupancy(x0，y0，d0)为视频图像中(x0，y0)位置、深度为d0的点占视频图像的大小，height(x0，y0)为视频图像中(x0，y0)位置、深度为d0的点到地面所在平面的距离。4.如权利要求2所述的方法，其特征在于，在所述将预先训练得到的卷积核与所述平面图像进行卷积计算之后、得到第二时刻的目标检测结果之前，进一步包括：对卷积计算的结果利用非极大值抑制方法保留局部最大值。5.如权利要求1所述的方法，其特征在于，所述根据第二时刻的目标检测结果以及跟踪队列的当前位置计算距离矩阵，具体为： M = D ( Q 1 T o . c p , D 1 T 1 ) D ( Q 1 T o . c p , D 2 T 1 ) ... D ( Q 1 T o . c p , D S 1 T 1 ) D ( Q 2 T o . c p , D 1 T 1 ) D ( Q 2 T o . c p , D 2 T 1 ) ... D ( Q 2 T o . c p , D S 1 T 1 ) ... ... ... ... D ( Q S o T o . c p , D 1 T 1 ) D ( Q S o T o . c p , D 2 T 1 ) ... D ( Q S o T o . c p , D S 1 T 1 ) ; ]]>其中，M为距离矩阵，为T0时刻跟踪队列的当前位置，为T0时刻目标检测结果的三维坐标，为T1时刻目标检测结果的三维坐标，T1时刻在T0时刻之后，S0为T0时刻目标检测结果的个数，S1为T1时刻目标检测结果的个数，6.如权利要求1所述的方法，其特征在于，在所述将所述与跟踪队列的当前位置最接近的坐标作为所述跟踪队列的当前位置加入所述跟踪队列之后，进一步包括：对所述跟踪队列进行高斯平滑操作；和/或，判断所述跟踪队列是否达到预设标准，将达到预设标准的跟踪队列作为跟踪结果输出。7.一种目标跟踪装置，其特征在于，包括：前景检测模块，用于...

【专利技术属性】
技术研发人员：赵昕，
申请(专利权)人：北京格灵深瞳信息技术有限公司，
类型：发明
国别省市：北京;11