一种基于3D测量技术的电梯乘客危险行为检测方法及系统技术方案

本发明专利技术公开了一种基于3D测量技术的电梯乘客危险行为检测方法及系统，其中方法实施例包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的上边界数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生。

An Elevator Passenger Dangerous Behavior Detection Method and System Based on 3D Measurement Technology

The invention discloses an elevator passenger dangerous behavior detection method and system based on 3D measurement technology, in which the method embodiment includes the following steps: obtaining elevator door area depth map or 3D point cloud data by 3D sensor; setting detection area manually by including user interface based on data obtained by 3D sensor; or statistics based on data collected by 3D sensor The detection area is automatically set up; the upper boundary data of the detection area is analyzed according to the data acquired by the 3D sensor to determine whether the space position is continuous, and if it is continuous, the elevator is in the door-closing state; when the elevator door is closed, the passenger's door-closing behavior is detected according to the plane characteristics of the elevator door in the detection area, if the collected data are not in conformity with each other. The plane feature determines the occurrence of passenger's door-leaning behavior.

【技术实现步骤摘要】
一种基于3D测量技术的电梯乘客危险行为检测方法及系统
本专利技术属于电梯安全
，具体涉及一种基于3D测量技术的电梯乘客危险行为检测方法。
技术介绍
电梯是一种非常普及的公共设施，广泛应用在商场、办公区、居民区等场景，给人们的日常生活带来了极大的便捷，然而由于使用不正确、维保不及时等因素的影响，电梯偶尔会出现故障。门故障是电梯诸多故障中发生频率最高的故障，门故障的种类也比较多，其中运行过程中突然开门可能导致乘客跌落事件发生，电梯不能正常开门又可能导致困人事件发生，有些乘客在缺乏电梯基本安全知识的情况下盲目的试图通过扒门实现自救，往往会引发二次伤害。实时的对乘客靠门、扒门危险行为进行检测，在危险行为发生时及时进行劝阻，保证乘客的生命安全非常重要。3D测量技术是3D技术中的一项非常关键的技术，通过3D测量技术可对3D传感器(激光雷达、TOF相机、结构光相机等)采集的3D数据进行转换和分析，进而获取被测物距离、尺寸、表面平整度等信息，在工业和民用中都有着非常广泛的应用。其中3D数据包括2D轮廓、深度图、3D点云等格式，2D轮廓表征了物体的某一截面的空间坐标信息，深度图中的每个像素值表征被测物体上对应点到相机的距离，3D点云中的每个点表征被测物体上对应点在指定空间坐标系下的3D坐标。公开号为CN104627800A，专利技术名称为电梯安全门的中国专利申请公开了一种电梯安全门，包括有踏板装置以及控制器，踏板装置包括有踏板、摆杆、摆杆座、压缩弹簧、电磁栓以及控制器；踏板安装于电梯门口前的地板上，压缩弹簧设于踏板与地板之间，摆杆设于踏板与地板之间，摆杆的中部与摆杆座铰接，摆杆的一端与电磁栓连接，摆杆的另一端与驱动杆铰接，驱动杆与踏板铰接，摆杆座与地板固定连接；电梯外门设有锁栓孔，电磁栓位于锁栓孔的下方；人站在踏板时，利用踏板以及摆杆带动电磁栓的锁栓插入电梯外门的锁栓孔内，使电梯外门不能打开，防止人掉入电梯厢内；当电梯厢行驶到该楼层的电梯外门位置时，利用控制器控制电磁栓的锁栓解锁，使电梯外门能打开。该方案通过机械装置的方式保证了电梯门安全，该技术方案的缺点如下：现实场景中已经有大量存量电梯，不可能所有电梯门进行更换；生产和实施成本均较高，很难得到大范围的推广。
技术实现思路
本专利技术要解决的技术问题是提供一种基于3D测量技术的电梯乘客危险行为检测方法及系统，用于通过3D传感器采集获取电梯门区域的3D数据，电梯乘客危险行为检测单元根据收集到的3D传感器数据进行实时分析，当检测到乘客危险乘梯行为时，对乘客进行及时劝阻，保护乘客的生命安全。为解决上述技术问题，本专利技术采用如下的技术方案：本专利技术的一方面提供了一种基于3D测量技术的电梯乘客危险行为检测方法，包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生；或根据电梯门区域的3D信息进行乘客靠门行为检测，若采集的3D数据和电梯门区域的3D数据信息不匹配，则判定有乘客靠门行为发生；或根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，计算门缝大小；根据3D传感器获取的数据对检测区域的偏下区域数据进行分析，检测是否有乘客；根据门缝大小以及是门附近否有乘客的历史信息进行乘客扒门检测：在一段时间内一直有乘客被检测出，而且门缝大小在一定区间内变化，则判定有乘客扒门行为发生。优选地，使用包括双目、TOF、面结构光3D传感器获取电梯门区域的深度图或3D点云数据。优选地，通过用户界面的方式在深度上的门区域手动设置一个矩形区域作为检测区域，检测区域的最高位置高于乘客的最高高度。优选地，所述根据3D传感器采集的数据进行统计分析自动设置检测区域具体为：先在设定时间内，统计每个像素点的最大值，构成最大值深度图；再在设定时间内，先构建一张门区域概率图，将当前帧的深度图与最大值深度图逐像素点进行比较，若深度值差异大于设定的阈值，则在门区域概率图上对应像素值加1；计算门区域概率图最大值，再计算门区域概率图中的每个像素点与门区域概率图最大值的比率，比率大于设定阈值的像素点作为嫌疑门区域目标点，进而生成第一门区域嫌疑点MASK图，再对第一门区域嫌疑点MASK图进行形态学腐蚀处理，生成第二门区域嫌疑点MASK图，再对第二门区域嫌疑点MASK图进行连通区域标记分析，保留最大的连通区域，其他连通区域中的目标点全部删除，生成过滤后的第三门区域嫌疑点MASK图；再在设定的时间内采集深度图，将第三门区域嫌疑点MASK图内的有效点深度值转换成空间3D坐标，并进行空间平面拟合，记录满足平面约束，点数最多的平面方程line_record以及对应的深度图depth_record，其中满足平面约束是指点的距离到平面的距离小于设定阈值；对第三门区域嫌疑点MASK图中的目标点使用平面方程line_record和深度图depth_record进行过滤，删除不满足平面约束的门区域嫌疑点，最后再次使用连通区域标记分析，获取最大的连通区域，取最大连通区域的外接矩形框作为电梯门区域。优选地，对检测区域的上边界数据进行分析获取电梯门状态，具体为：选取检测区域内偏上T1行目标点集，计算目标点集内所有目标点到电梯门的距离，统计距离大于第一设定阈值的目标点数，若第一设定阈值的目标点数小于设定阈值，则判定电梯处于门关状态。优选地，所述当确定电梯门处于关闭状态时，在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，具体为：当门处于关闭状态时，计算整个检测区域内所有目标点到电梯门平面方程的距离，统计距离位于设定距离区间的目标点数，若位于设定距离区间的目标点数大于第二设定阈值，则判定有乘客靠门行为发生。优选地，所述当确定电梯门处于关闭状态时，在检测区域内，根据采集的3D数据和电梯门区域的3D数据信息是否匹配进行乘客靠门行为检测，具体为：当门处于关闭状态时，先在设定时间内，统计每个目标点的最大值，构成最大值深度图；计算根据3D传感器采集的3D数据与最大值深度图对应点的距离，统计距离位于设定距离区间的目标点数，若位于设定距离区间的目标点数大于第二设定阈值，则判定有乘客靠门行为发生。优选地，所述对检测区域的偏上边界数据进行分析获取电梯门缝大小，具体为：选取检测区域内最上面的第T2行3D数据构成2D轮廓；沿着轮廓数据从左往右，一旦确定深度值变大超过第三设定阈值即可确定断开的左边界；沿着轮廓数据从右往左，一旦确定深度值变大超过第三设定阈值即可确定断开的右边界；门缝大小定义为左右边界之间的距离。优选地，所述对检测区域的偏下边界数据进行分析检测是门附近否有乘客，具体为：选取检测区域内最下面的第B2行3D数据构成2D轮廓；计算2D轮廓上所有点到电梯门的距离；距离大于第四设定阈值的点构成嫌疑目标点集；若嫌疑目标点集中的点数大于第五设定阈值阈值，则判断有乘客位于门附近。优选地，所述根据门缝本文档来自技高网...

【技术保护点】
1.一种基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生；或根据电梯门区域的3D信息进行乘客靠门行为检测，若采集的3D数据和电梯门区域的3D数据信息不匹配，则判定有乘客靠门行为发生；或根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，计算门缝大小；根据3D传感器获取的数据对检测区域的偏下区域数据进行分析，检测是否有乘客；根据门缝大小以及门附近是否有乘客的历史信息进行乘客扒门检测：在一段时间内一直有乘客被检测出，而且门缝大小在一定区间内变化，则判定有乘客扒门行为发生。

【技术特征摘要】
1.一种基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生；或根据电梯门区域的3D信息进行乘客靠门行为检测，若采集的3D数据和电梯门区域的3D数据信息不匹配，则判定有乘客靠门行为发生；或根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，计算门缝大小；根据3D传感器获取的数据对检测区域的偏下区域数据进行分析，检测是否有乘客；根据门缝大小以及门附近是否有乘客的历史信息进行乘客扒门检测：在一段时间内一直有乘客被检测出，而且门缝大小在一定区间内变化，则判定有乘客扒门行为发生。2.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，使用包括双目、TOF、面结构光3D传感器获取电梯门区域的深度图或3D点云数据。3.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，通过用户界面的方式在3D数据上的门区域手动设置一个矩形区域作为检测区域，检测区域的最高位置高于乘客的最高高度。4.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，所述根据3D传感器采集的数据进行统计分析自动设置检测区域具体为：先在设定时间内，统计每个像素点的最大值，构成最大值深度图；再在设定时间内，先构建一张门区域概率图，将当前帧的深度图与最大值深度图逐像素点进行比较，若深度值差异大于设定的阈值，则在门区域概率图上对应像素值加1；计算门区域概率图最大值，再计算门区域概率图中的每个像素点与门区域概率图最大值的比率，比率大于设定阈值的像素点作为嫌疑门区域目标点，进而生成第一门区域嫌疑点MASK图，再对第一门区域嫌疑点MASK图进行形态学腐蚀处理，生成第二门区域嫌疑点MASK图，再对第二门区域嫌疑点MASK图进行连通区域标记分析，保留最大的连通区域，其他连通区域中的目标点全部删除，生成过滤后的第三门区域嫌疑点MASK图；再在设定的时间内采集深度图，将第三门区域嫌疑点MASK图内的有效点深度值转换成空间3D坐标，并进行空间平面拟合，记录满足平面约束，点数最多的平面方程line_record以及对应的深度图depth_record，其中满足平面约束是指点的距离到平面的距离小于设定阈值；对第三门区域嫌疑点MASK图中的目标点使用平面方程line_record和深度图depth_record进行过滤，删除不满足平面约束的门区域嫌疑点，最后再次使用连通区域标记分析，获取最大的连通区域，取最大连通区域的外接矩形框作为电梯门区域。5.如权利要求4所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，所述根据电梯门的深度信息进行乘客靠门行为检测，若采集的数据中和电梯门的深度信息不匹配，则判定有乘客靠门行为发生具体为：选取检测区域内最上面的N行目标点集，计算目标点集内所有目标点到平面方程的距离，统计距离大于第一设定阈值的目标点数，若第一设定阈值的目标点数小于设定阈值，则判定电梯处于门关状态；当门处于关闭状态时，计算整个检测区域内所有目标点到平面方程的距离，统计距离位于设定距离区间的目标点数，若位于设定距离区间的目标点数大于第二设定阈值，则判定有乘客靠门行为发生。6.一种基于3D测...

【专利技术属性】
技术研发人员：丁蕾，施行，程潇，王超，吴磊磊，蔡巍伟，
申请(专利权)人：浙江新再灵科技股份有限公司，
类型：发明
国别省市：浙江,33