检测异常情况的设备和方法技术

提供了检测设备的检测方法。检测设备通过使用由相机获得的关于图像的深度信息从图像中检测至少一个对象。检测设备通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，该三维(3D)头部模型匹配将所述至少一个对象的头部候选区域与3D头部模型进行匹配。另外，当识别出所述至少一个对象是人时，检测设备通过使用所述至少一个对象来计算用于情况检测的特征。

【技术实现步骤摘要】
【国外来华专利技术】检测异常情况的设备和方法
本专利技术涉及通过使用三维图像信息来检测异常情况的方法和设备。
技术介绍
闭路电视(CCTV)系统作为图像监视设备应用于各种领域。在作为现有监视设备的CCTV中，人通过模拟视频记录器(AVR)、数字视频记录器(DVR)、网络视频记录器(NVR)等直接检查大部分拍摄的内容并识别异常行为。因此，需要许多操作人员，并且操作人员容易错过需要识别的对象或行为。研究表明，当一个人监视两个或更多个CCTV持续22分钟或更长时间时，该人无法检测到95％或更多的重要事件。因此，已经积极开发了智能CCTV，该智能CCTV在需要24小时监视图像的情况下自动检测特定对象或人的动作、向用户通知检测到的对象或人的动作、并使得用户能够快速采取措施防止异常行为。近来，越来越多的尝试利用特定空间(例如，商店)的移动者(mover)计数、移动路径分析、人群密度分析等作为营销材料。在例如留下的儿童死亡的情况(在2012年2月，一个被独自留在熄灯的体育馆中的女孩由于心脏病发作在日托中心死亡)、在其中被独自留在危险工作区域中的操作员死亡的情况(2015年7月，在危险工作区域中独自工作同时违反规定的该操作员死亡)、在其中在摩天大楼的房顶漫游的人死亡的情况(2015年1月，在房顶漫游很长一段时间的该人坠落并死亡)，等等中，需要留下的人的检测技术。同时，为了对移动者进行计数、分析人群密度和检测成留下的人，主要使用了红外传感器方案和单相机方案。红外传感器方案是其中在检测区域中安装若干个红外传感器，并且测量接近传感器的人或对象的距离并对这些人或对象进行计数的方法。在红外传感器方案中，可以进行快速且简单的计数。但是，在红外传感器方案中，由于光干扰而频繁地发生错误计数，并且需要单独用于收集从若干个传感器获得的数据的控制器。此外，在红外传感器方案中，不能获得图像数据，导致不容易区分和管理真假，并且不可能对多个重叠的人进行分离和计数，并且它难以区分人和对象，从而降低计数的准确性。单相机方案是处理通过一个相机输入的图像并对移动者进行计数的方法。在单相机方案中，根据所应用的图像处理方法，性能略有不同。单相机方案通过仅使用颜色信息来检测人和提取特征，使得单相机方案对周围环境中的变化(例如，照明、阴影和图像被对象的覆盖的变化)敏感地作出反应从而导致高错误率。
技术实现思路
【技术问题】本专利技术致力于提供一种通过使用提供深度信息的三维相机对移动者进行计数并基于移动者的数量来检测人群密度和留下的人的方法和设备。【技术方案】本专利技术的示例性实施例提供了检测设备的检测方法。检测方法包括：通过使用关于由相机获得的图像的深度信息从图像中检测至少一个对象；通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，所述三维(3D)头部模型将所述至少一个对象的头部候选区域与3D头部模型进行匹配；以及当识别出所述至少一个对象是人时，通过使用所述至少一个对象来计算用于情况检测的特征。识别可以包括指定圆形区域作为第一头部候选区域，该圆形区域基于在所述至少一个对象的像素中具有基于相机的最小深度值的第一像素和具有基于图像的地面区域的最大高度值的第二像素中的至少一个，并且具有预定半径。识别还可以包括：当第一头部候选区域的像素的数量与所述至少一个对象的全部像素的数量的比率是第一阈值或更小时，计算所述至少一个对象的区域中除第一头部候选区域之外的剩下的区域；提取在剩下区域的像素中具有基于相机的最小深度值的第三像素和具有基于地面区域的最大高度值的第四像素中的至少一个；以及将基于第三像素和第四像素中的至少一个并且具有预定半径的圆形区域指定为第二头部候选区域。识别还可以包括：生成具有预定深度的3D头部模型；并且计算第一头部候选区域和3D头部模型之间的巴氏距离。Bhattacharyya距离的计算可以包括：通过将基于深度的直方图投影应用于第一头部候选区域和3D头部模型来生成第一直方图和第二直方图；并且通过使用第一直方图和第二直方图来计算巴氏距离。识别还可以包括：当巴氏距离是第一阈值或更小时，将包括所述至少一个对象中的第一头部候选区域的对象识别为人。用于情况检测的特征的计算可以包括：设置计数线；在与计数线间隔开预定距离的位置处设置虚拟计数线；以及当所述至少一个对象的中心点通过计数线和虚拟计数线时，对移动者的数量进行计数。虚拟计数线可以包括设置在第一方向上与计数线间隔开预定距离的位置处的第一虚拟计数线和设置在与第一方向相反的第二方向上与计数线间隔开预定距离的位置处的第二虚拟计数线。计数可以包括：当所述至少一个对象的中心点顺序通过计数线和第一虚拟计数线时，对第一方向上的移动者的数量进行计数；并且当所述至少一个对象的中心点顺序通过计数线和第二虚拟计数线时，对第二方向上的移动者的数量进行计数。用于情况检测的特征的计算可以包括：计算第一方向上的移动者的数量与第二方向上的移动者的数量之间的差值；测量与差值对应的留下的人的停留时间；并且当停留时间是第一阈值或更长时进行通知。用于情况检测的特征的计算可以包括：计算作为图像的地面区域的范围的第一值；计算作为所述至少一个对象的宽度的第二值；并且通过使用第一值和第二值来计算人群密度。第一值的计算可以包括：计算地面区域中最靠近相机的第一区域和最远离相机的第二区域；计算第一区域的点中作为最左边的点的第一点和作为最右边的点的第二点；计算第二区域的点中作为最左边的点的第三点和作为最右边的点的第四点；并且通过使用第一点、第二点、第三点和第四点来计算地面区域的水平长度和垂直长度。用于情况检测的特征的计算还可以包括当人群密度是第一阈值或更大时检测人群形成。图像可以包括第一区域，该第一区域与图像的地面区域间隔开第一高度并且与相机间隔开第一深度。所述至少一个对象的检测可以包括：基于第一高度和第一深度计算第一区域的第一阈值；并且当图像的背景模型与第一高度之间的差值是第一阈值或更大时，将第一区域检测为对象。本专利技术的另一个示例性实施例提供了一种检测设备。该检测设备包括：对象检测单元，该对象检测单元通过使用关于由相机获得的图像的深度信息来检测至少一个对象；识别单元，该识别单元将所述至少一个对象的头部候选区域与3D头部模型进行比较，并识别所述至少一个对象是否是目标类型的对象；以及识别特征计算单元，当识别出所述至少一个对象是目标类型的对象时，该识别特征计算单元通过使用所述至少一个对象来计算用于情况检测的特征。【有利效果】根据本专利技术的示例性实施例，可以通过使用3D相机来提高检测的准确度和减少假特征。此外，根据本专利技术的示例性实施例，可以通过执行检测空间的地面的检测来准确地提取3D特征，而与3D相机的安装位置无关。此外，根据本专利技术的示例性实施例，可以通过使用基于距离信息的标记将重叠对象准确地分离成各个对象。此外，根据本专利技术的示例性实施例，可以通过使用3D头部模型匹配来准确地识别人和对象。此外，即使在对移动者进行计数时难以单独地识别移动者，根据本专利技术的示例性实施例，也可以成功地单独识别。例如，根据本专利技术的示例性实施例，即使在成年人携带儿童时，也可以对儿童和成人进行识别和计数。又例如，根据本专利技术的示例性实施例，即使当人持有或拉行李时，也可以对人进行识别和计数。此外，根据本专利技术的示例性实施例，通过本文档来自技高网...

【技术保护点】
1.一种检测设备的检测方法，所述检测方法包括：通过使用关于由相机获得的图像的深度信息从图像中检测至少一个对象；通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，所述三维(3D)头部模型匹配将所述至少一个对象的头部候选区域与3D头部模型进行匹配；以及当识别出所述至少一个对象是人时，通过使用所述至少一个对象来计算用于情况检测的特征。

【技术特征摘要】
【国外来华专利技术】2016.04.22 KR 10-2016-00495931.一种检测设备的检测方法，所述检测方法包括：通过使用关于由相机获得的图像的深度信息从图像中检测至少一个对象；通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，所述三维(3D)头部模型匹配将所述至少一个对象的头部候选区域与3D头部模型进行匹配；以及当识别出所述至少一个对象是人时，通过使用所述至少一个对象来计算用于情况检测的特征。2.如权利要求1所述的检测方法，其中：识别包括：指定圆形区域作为第一头部候选区域，所述圆形区域基于在所述至少一个对象的像素中具有基于相机的最小深度值的第一像素和具有基于图像的地面区域的最大高度值的第二像素中的至少一个，并且具有预定半径。3.如权利要求2所述的检测方法，其中：识别还包括：当第一头部候选区域的像素的数量与所述至少一个对象的全部像素的数量的比率是第一阈值或更小时，计算所述至少一个对象的区域中除第一头部候选区域之外的剩下的区域；提取在剩下区域的像素中具有基于相机的最小深度值的第三像素和具有基于地面区域的最大高度值的第四像素中的至少一个；以及将基于第三像素和第四像素中的至少一个并且具有预定半径的圆形区域指定为第二头部候选区域。4.如权利要求2所述的检测方法，其中：识别还包括：生成具有预定深度的3D头部模型；以及计算第一头部候选区域和3D头部模型之间的巴氏距离。5.如权利要求4所述的检测方法，其中：计算巴氏距离包括：通过将基于深度的直方图投影应用于第一头部候选区域和3D头部模型来生成第一直方图和第二直方图；以及通过使用第一直方图和第二直方图来计算巴氏距离。6.如权利要求5所述的检测方法，其中：通过使用第一直方图和第二直方图来计算巴氏距离包括：通过使用下面的等式1来计算巴氏距离。[等式1](DB：巴氏距离，H1(i)：第一直方图，H2(i)：第二直方图)7.如权利要求4所述的检测方法，其中：识别还包括：当巴氏距离是第一阈值或更小时，将包括所述至少一个对象中的第一头部候选区域的对象识别为人。8.如权利要求1所述的检测方法，其中：用于情况检测的特征的计算包括：设置计数线；在与计数线间隔开预定距离的位置处设置虚拟计数线；以及当所述至少一个对象的中心点通过计数线和虚拟计数线时，对移动者的数量进行计数。9.如权利要求8所述的检测方法，其中：虚拟计数线包括设置在第一方向上与计数线间隔开预定距离的位置处的第一虚拟计数线和设置在与第一方向相反的第二方向上与计数线间隔开预定距离的位置处的第二虚拟计数线，并且计数包括：当所述至少一个对象的中心点顺序通过计数线和第一虚拟计数线时，对第一方向上的移动者的数量进行计数；以及当所述至少一个对象的中心点顺序通过计数线和第二虚拟计数线时，对第二方向上的移动者的数量进行计数。10.如权利要求9所述的检测方法，其中：用于情况检测的特征的计算包括：计算第一方向上的移动者的数量与第二方向上的移动者的数量之间的差值；测量与差值对应的留下的人的停留时间；以及当停留时间是第一阈值或更长时进行通知。11.如权利要求...

【专利技术属性】
技术研发人员：朱珍善，金辉俊，崔享淑，
申请(专利权)人：株式会社S一，
类型：发明
国别省市：韩国,KR