基于立体视觉的对象聚集检测方法和装置制造方法及图纸

提供了基于立体视觉的对象聚集检测方法和装置。获取目标场景的当前帧输入图像、在当前帧之前预定时间间隔的先前帧输入图像以及相应的深度信息；从当前帧和先前帧的输入图像中提取对应于检测对象的前景像素，根据相应的深度信息，将对应于检测对象的前景像素投影到地平面以获得包括前景投影区块的前景投影图；根据在当前帧和先前帧的输入图像中的对应于检测对象的前景像素的图像特征的差别，在地平面上投影表示检测对象的运动的运动前景投影区块以获得运动前景投影图；利用所述运动前景投影区块腐蚀所述前景投影区块，以获得静止前景投影区块；根据所获得的静止前景投影区块判断是否存在对象聚集。由此，能够实现高效并且准确的实时检测。

【技术实现步骤摘要】

本专利技术总体上涉及图像和视频处理领域。更具体地，本专利技术涉及基于立体视觉实时地检测场景中是否有对象聚集的方法和装置。
技术介绍
在视频监控研究领域，公共场所的人流分析一直以来都是一个重点研究的方向，并且有着广泛的应用前景。如何更加有效地对高密度的人流进行有效地管理，防止意外事故的发生一直是人们普遍关注的社会问题。而公共场所人流分析中的一个重要方面则是人群聚集的实时检测与预警，从而可以避免诸如踩踏等悲剧的发生。另外，在很多情况下，对于某些安全敏感度高的地方，如政府部门广场等，中等或者大规模人群聚集的出现常常预示着某些异常事件的发生，应当及时通知安保人员给予干预或者密切关注。然而，要实现对真实场景下人员聚集的实时准确检测也存在着诸多的挑战。图1(a)和1(b)示出了拍摄于北京东直门公交枢纽视频的画面，图中高密度人群，行人与行人之间的遮挡，不规律的自然条件下光照变化等都是影响准确检测、的不利因素。目前，现有的基于视频来检测人群聚集的方法大致可被分为两大类：基于行人检测和跟踪的方法：这种方法完全通过单人的检测和跟踪来实现人群的聚集检测。通过人的检测结果来统计人数，而行人的状态(驻留或者运动)则是通过跟踪算法来识别的。由此可知，这一方法通常只适合于低密度人群的场景。在真实场景中，杂乱的背景，人与人之间的遮挡，以及光照的变化通常会使得检测跟踪算法失效，从而无法给出准确的结果。基于底层特征的方法：这种方法一般先通过建立场景的背景模型，然后利用背景减除法提取场景中的前景—行人。之后提取前景区域的特征，如前景区域的像素个数、前景区域轮廓的长度、纹理等特征作为输入，采用回归的方式估计场景中的人数。而为了区分行人的运动和静止，通常采用光流来估计。由此可见，对于人数估计，这种基于底层特征的方法对于背景的杂乱、人之间的相互遮挡、相机透视投影畸变造成的影响较为敏感；而基于光流的运动估计通常是一种耗时的操作，在没有硬件加速的情况下，很难满足实时性的需求，其运动估计效果的好坏也受制于环境中光照的变化、图像的分辨率以及人距离相机的远近等因素。
技术实现思路
考虑到以上问题，希望提供能够高效并且准确地进行实时检测的对象聚集检测方法和装置。根据本专利技术的一个方面，提供了基于立体视觉的对象聚集检测方法，该方法可以包括以下步骤：获取步骤，获取目标场景的当前帧输入图像、在当前帧之前预定时间间隔的先前帧输入图像以及相应的深度信息；前景投影步骤，从当前帧和先前帧的输入图像中提取对应于检测对象的前景像素，根据相应的深度信息，将对应于检测对象的前景像素投影到地平面以获得包括前景投影区块的前景投影图；运动前景投影步骤，根据在当前帧和先前帧的输入图像中的对应于检测对象的前景像素的图像特征的差别，在地平面上投影表示检测对象的运动的运动前景投影区块以获得运动前景投影图；腐蚀步骤，利用所述运动前景投影区块腐蚀所述前景投影区块，以获得静止前景投影区块；以及判断步骤，根据所获得的静止前景投影区块判断是否存在对象聚集。在一个实施例中，该运动前景投影步骤可以包括：对所获得的当前帧和先前帧的输入图像的图像特征进行帧差操作；利用相应的深度信息将帧差操作的结果转换为三维世界坐标系中的点云；将该点云投影到地平面上以生成差分投影图；以及对所述差分投影图和所述前景投影图进行像素与操作，以生成运动前景投影区块。在另一实施例中，该运动前景投影步骤可以包括：利用相应的深度信息将在当前帧和先前帧的输入图像中所提取的人的前景像素分别转换为三维世界坐标系中的点云；将该三维世界坐标系的空间均分为多个三维立方体；统计每一个立方体中对应于当前帧和先前帧的点云的图像特征的直方图，并计算每个立方体对于当前帧和先前帧的直方图距离；根据所述直方图距离判断每个立方体中在所述当前帧和先前帧之间是否存在运动；以及基于具有运动的立方体生成运动前景投影图。根据本专利技术的另一方面，提供了基于立体视觉的人群聚集检测装置，其可以包括：获取部件，获取目标场景的当前帧输入图像、在当前帧之前预定时间间隔的先前帧输入图像以及相应的深度信息；前景投影部件，从当前帧和先前帧的输入图像中提取对应于检测对象的前景，根据相应的深度信息，将对应于检测对象的前景投影到地平面以获得包括前景投影区块的前景投影图；运动前景投影部件，根据在当前帧和先前帧的输入图像中的对应于检测对象的前景像素的图像特征的差别，在地平面上投影表示检测对象的运动的运动前景投影区块；腐蚀部件，利用所述运动前景投影区块腐蚀所述前景投影区块，以获得静止前景投影区块；以及判断部件，根据所获得的静止前景投影区块判断是否存在对象聚集。根据本专利技术的人群聚集检测方法和装置，利用深度信息将要检测的目标场景图像中的前景以及运动的前景投影在地平面上，从前景的投影图中腐蚀掉运动前景投影部分，基于由此得到的静止前景投影图来判断是否存在聚集对象，从而可以实现更加高效并且准确的实时检测。附图说明图1(a)和1(b)是示出真实场景中发生的人群聚集情况的示意图；图2(a)和2(b)是分别示出聚集人群与路过人群的示意图；图3是示出根据本专利技术的一个实施例的人群聚集检测的方法的流程图；图4是示出获得前景投影图的过程的一个具体例子的示意图；图5是示出根据本专利技术的一个实施例的差分投影方法的流程图；图6是示出根据T-1时刻的灰度图以及T时刻的灰度图所获得的灰度差分图的示意图；图7是示出根据深度信息将灰度差分图中的白色像素转换为点云的示意图；图8是示出对差分投影图和前景投影图进行像素与操作的结果的示意图；图9是示出根据本专利技术的一个实施例的局部小立方体直方图方法的流程图；图10和图11是示出小立方体直方图方法中的直方图距离的示意图；图12是示出腐蚀操作的示意图；图13(a)和13(b)是示出聚类操作的示意图；图14是示出生成投影高度图和投影表面积图的过程的示意图；图15是示出基于投影表面积图和投影高度图的聚类操作的示意图；图16是示出根据本专利技术的一个实施例的人群聚集检测装置的功能框图；以及图17是示出根据本专利技术的一个实施例的实现人群聚集检测的系统的硬件配置的框图。具体实施方式为了使本领域技术人员更好地理解本专利技术，下面结合附图和具体实施方式对本专利技术作进一步详细说明。真实场景中的人群聚集检测主要包括两个方面：人群数目的估计和人的运动估计。首先，需阐明聚集人群与路过人群之间的区别。图2(a)和(b)分别表示了这两种人群。在图2(a)中圆圈内的人群这里称之为路过人群，尽管这些行人聚集在了一起，但是他们只是经过该区域，并没有停留下来。相反，在图2(b)中，行人聚集在了一起且在原地停留了下来，只有很小的身体晃动，我们将此图中的人群称为聚集人群，也就是本专利技术要检测的对象。基于上述分析可知，区分这两种人群的关键在于识别人群的运动。如之前所述，聚集人群常常会存在相互之间的遮挡，而传统的基于人的检测跟踪的方法是在彩色或者灰度图上进行的，缺少足够的深度信息，导致检测结果不准确。考虑到此，本专利技术提出了基于立体视觉来检测对象聚集的方法和装置，其中利用深度信息将要检测的目标场景图像中的前景以及运动的前景投影在地平面上，从前景的投影图中腐蚀掉运动前景投影部分，基于由此得到的静止前景投影图来判断是否存在聚集对象，从而可本文档来自技高网...

【技术保护点】
一种基于立体视觉的对象聚集检测方法，包括：获取步骤，获取目标场景的当前帧输入图像、在当前帧之前预定时间间隔的先前帧输入图像以及相应的深度信息；前景投影步骤，从当前帧和先前帧的输入图像中提取对应于检测对象的前景像素，根据相应的深度信息，将对应于检测对象的前景像素投影到地平面以获得包括前景投影区块的前景投影图；运动前景投影步骤，根据在当前帧和先前帧的输入图像中的对应于检测对象的前景像素的图像特征的差别，在地平面上投影表示检测对象的运动的运动前景投影区块以获得运动前景投影图；腐蚀步骤，利用所述运动前景投影区块腐蚀所述前景投影区块，以获得静止前景投影区块；以及判断步骤，根据所获得的静止前景投影区块判断是否存在对象聚集。

【技术特征摘要】
1.一种基于立体视觉的对象聚集检测方法，包括：获取步骤，获取目标场景的当前帧输入图像、在当前帧之前预定时间间隔的先前帧输入图像以及相应的深度信息；前景投影步骤，从当前帧和先前帧的输入图像中提取对应于检测对象的前景像素，根据相应的深度信息，将对应于检测对象的前景像素投影到地平面以获得包括前景投影区块的前景投影图；运动前景投影步骤，根据在当前帧和先前帧的输入图像中的对应于检测对象的前景像素的图像特征的差别，在地平面上投影表示检测对象的运动的运动前景投影区块以获得运动前景投影图；腐蚀步骤，利用所述运动前景投影区块腐蚀所述前景投影区块，以获得静止前景投影区块；以及判断步骤，根据所获得的静止前景投影区块判断是否存在对象聚集。2.如权利要求1所述的方法，其中，所述运动前景投影步骤包括：对所述当前帧和先前帧的输入图像的图像特征进行帧差操作；利用相应的深度信息将帧差操作的结果转换为三维世界坐标系中的点云；将该点云投影到地平面上以生成差分投影图；以及对所述差分投影图和所述前景投影图进行像素与操作，以生成运动前景投影区块。3.如权利要求1所述的方法，其中，所述运动前景投影步骤包括：利用相应的深度信息将在当前帧和先前帧的输入图像中所提取的检测对象的前景像素分别转换为三维世界坐标系中的点云；将该三维世界坐标系的空间均分为多个三维立方体；统计每一个立方体中对应于当前帧和先前帧的点云的图像特征的直方图，并计算每个立方体对于当前帧和先前帧的直方图距离；根据所述直方图距离判断每个立方体中在所述当前帧和先前帧之间是否存在运动；以及基于具有运动的立方体生成运动前景投影图。4.如权利要求3所述的方法，其中，所述运动前景投影步骤还包括：将
\t每一个立方体进一步划分为多个子立方体，其中，计算每个立方体中的直方图距离包括：统计该立方体中的每个子立方体中点云的图像特征的直方图；为每个子立方体赋...

【专利技术属性】
技术研发人员：王千，范圣印，王鑫，乔刚，诸加丹，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP