一种双视角自动扶梯乘客危险行为识别系统及识别方法技术方案

本发明专利技术公开了一种识别系统，属于电梯安全技术领域，具体涉及一种双视角自动扶梯乘客危险行为识别系统及识别方法，由摄像头、扶梯点终端设备、边缘计算终端、声光报警模块、应用服务器、AI管理平台组成；本发明专利技术对边缘计算终端的底层架构进行优化改进，在边缘计算终端的核心处理模块中增加调度模块用以将不同的视频流数据分发到对应的处理模块，各处理模块与调度模块之间相互连接，多视频流统一处理的边缘计算终端方式可以有效的节约实施成本的同时又不降低处理效率；识别到乘客危险行为、不规范物体后，扶梯智能终端给出声光报警并上报管理平台，提醒乘客规范乘坐自动扶梯；能够极大的预防事故发生概率，减少运营方的安全责任风险。险。险。

【技术实现步骤摘要】
一种双视角自动扶梯乘客危险行为识别系统及识别方法


[0001]本专利技术公开了一种识别系统，属于电梯安全
，具体涉及一种双视角自动扶梯乘客危险行为识别系统及识别方法。

技术介绍

[0002]随着城市现代化水平的不断提高，自动扶梯/人行道梯作为运输乘客的常用交通工具，在地铁、高铁、机场、商场、写字楼等公共交通场景得到越来越广泛的应用。随着使用频率的快速增长，由于乘客的不规范使用而导致的安全事故时有发生，从而对乘客的生命财产安全造成巨大影响。例如，乘客携带大件行李乘坐自动扶梯/人行道梯，大件行李跌落导致其他乘客受伤；乘客乘坐自动扶梯/人行道梯因未扶好扶手带发生跌倒，导致自身受到伤害并对其他乘客造成影响等。
[0003]分析目前公开的资料，现有技术主要使用单一视角的摄像头视频流(即摄像头)进行识别、分析。在实际使用场景下，一些较小的物体，比如大件行李、婴儿车、轮椅等极易被后方较大物体遮挡。另外，如低头玩手机等行为也无法在该视角下被正确识别，存在因有检测盲区而导致事件漏报的缺陷；
[0004]此外现有已公开的技术中，对视频流数据的处理主要有三种方式，云服务器统一识别处理、边缘端处理、云边结合处理等。并且由于边缘端设备算力性能的关系，通常传统的边缘计算终端一台硬件仅能处理一路视频流的数据，这种数据处理较慢，从而会导致后期救援不及时。

技术实现思路

[0005]专利技术目的：提供一种双视角自动扶梯乘客危险行为识别系统及识别方法，解决上述提到的问题。
[0006]技术方案：一种双视角自动扶梯乘客危险行为识别系统，所述识别系统由摄像头、扶梯点终端设备、边缘计算终端、声光报警模块、应用服务器、AI管理平台组成；
[0007]所述摄像头由主视角摄像头和辅助视角摄像头组成；其中所述主视角摄像头用于对常规区域的视频流采集；所述辅助视角摄像头用于针对性区域的视频流采集；
[0008]所述边缘计算终端内设有调度模块和若干个处理模块；所述处理模块采用并联式安装，每个处理模块与所述调度模块独立连接，用以将不同的视频流数据分发到对应的处理模块。
[0009]在进一步的实施例中，所述摄像头设置在自动扶梯人行道梯顶部，用于获取俯视视角下出入口、梯面区域的视频流画面。
[0010]在进一步的实施例中，所述处理模块由行为识别模块和物体识别模块组成。
[0011]在进一步的实施例中，所述扶梯点终端设备设置在自动扶梯/人行道梯出入口位置，包含摄像头用于获取出入口前沿板区域的视频流画面。
[0012]在进一步的实施例中，所述边缘计算终端设置在自动扶梯或人行道梯出入口位
置，与所述扶梯点终端设备集成，提供摄像头及出入口摄像头视频流接入及算法分析，算法配置，所述边缘计算终端分别与所述摄像头和所述扶梯点终端设备连接，并接收其发出的视频流数据；所述边缘计算终端内设有调度模块和处理模块；所述调度模块将所述摄像头、所述扶梯点终端设备不同的视频流数据分发到对应的处理模块，所述处理模块实时分析比对截取画面是否符合对应模型的结果集阈值。
[0013]在进一步的实施例中，所述声光报警模块与所述边缘计算终端连接并集成于每个扶梯点终端设备中，当处理模块在识别到危险行为或危险物体后调用对应扶梯点终端设备的声光报警模块报警，并将对应的报警信息、报警位置，通过应用服务器上报到AI管理平台。
[0014]在进一步的实施例中，所述应用服务器设置于外部的IT机房，与所述边缘计算终端连接，用于对多个边缘计算终端的集中化管理
[0015]在进一步的实施例中，所述AI管理平台安装部署在车控室机房，提供AI边缘计算设备接入管理功能，同时提供运行日志、报警信息回溯基础服务。
[0016]一种双视角自动扶梯乘客危险行为识别系统的识别方法，包括以下步骤：
[0017]步骤1、摄像头、扶梯点终端的出入口摄像头分路实时向边缘计算终端上传视频码流；
[0018]步骤2、边缘计算终端的视频流分发模块分别将视频流数据推送到对应的识别模块中，识别模块对视频流数据进行解析并获得多帧连续的视频图像；同时对视频图像进行特征提取的预处理，然后分别交由物体识别模块及行为识别模块；
[0019]步骤3、物体识别模块及行为识别模块将特征数据与经过训练后的神经网络数据集以阈值为基准进行比对，判断是否有预定危险行为或危险物体；如有则向声光报警模块输出报警事件信息，如无则返回步骤二；
[0020]步骤4、声光报警模块在收到前端识别模块输出的报警信息后向现场乘客发送声音报警及灯光报警，以便乘客感知；
[0021]步骤5、报警模块在收到前端识别模块输出的报警信息后向应用服务器上报对应的报警信息、报警位置等；
[0022]步骤6，应用服务器向AI管理平台推送报警信息，并以界面弹窗、声光报警等方式传达至场所管理人员。
[0023]在进一步的实施例中，在步骤3中神经网络数据集是录制相应环境的实际场景视频，场景中包含一定时间量的样本素材，并将视频交由深度学习引擎进行预处理，得到与所述视频数据对应的训练特征数据；
[0024]根据所述训练特征数据对深度神经网络进行训练，得到所述训练特征数据对应的异常判定阈值；通过与验证数据集的对比，计算目标判定阈值与异常判定阈值之间的实际偏差，并根据所述实际差异对所述深度神经网络中的参数进行调整；
[0025]不断重复上述直至所述实际偏差达到预期，完成训练得到训练后的深度神经网络，训练后的深度神经网络具有多个与各异常行为对应的子深度神经网络将作为标准模型库，所述深度神经网络中包括OpenPose结构以及带空洞卷积的MobileNet。
[0026]有益效果：本专利技术对边缘计算终端的底层架构进行优化改进，在边缘计算终端的核心处理模块中增加调度模块用以将不同的视频流数据分发到对应的处理模块，各处理模
块与调度模块之间相互连接。本专利技术提出的多视频流统一处理的边缘计算终端方式可以有效的节约实施成本的同时又不降低处理效率。本专利技术从防护的角度出发，通过深度神经网络大数据分析对自动扶梯/人行道梯使用场景下存在风险的物体、行为进行标注并训练，并得出相应训练结果集，结果集通过自学习的方式迭代、优化算法的准确性，最终达到识别乘客危险行为(跌倒、逆行、肢体探出扶手带边缘、低头玩手机等)、不规范物体(大件行李、出入口拥堵、轮椅、婴儿车等)的目的。识别到乘客危险行为、不规范物体后，扶梯智能终端给出声光报警，提醒乘客规范乘坐自动扶梯。同时上报至AI管理平台显示报警弹窗在车控室大屏显示，第一时间提醒车站值班人员所述辖区自动扶梯发生乘客乘梯安全事件。本专利技术的使用可以对自动扶梯/人行道梯乘客的安全事件起到预警提醒的作用，能够极大的预防事故发生概率，减少运营方的安全责任风险。
附图说明
[0027]图1是本专利技术的系统流程图。
[0028]图2是本专利技术的边缘计算终端示意图。
[0029]图3是本专利技术的系统示意图。
[0030]图4是本专利技术的标准模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述识别系统由摄像头、扶梯点终端设备、边缘计算终端、声光报警模块、应用服务器、AI管理平台组成；所述摄像头由主视角摄像头和辅助视角摄像头组成；其中所述主视角摄像头用于对常规区域的视频流采集；所述辅助视角摄像头用于针对性区域的视频流采集；所述边缘计算终端内设有调度模块和若干个处理模块；所述处理模块采用并联式安装，每个处理模块与所述调度模块独立连接，用以将不同的视频流数据分发到对应的处理模块。2.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述摄像头设置在自动扶梯人行道梯顶部，用于获取俯视视角下出入口、梯面区域的视频流画面。3.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述处理模块由行为识别模块和物体识别模块组成。4.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述扶梯点终端设备设置在自动扶梯/人行道梯出入口位置，包含摄像头用于获取出入口前沿板区域的视频流画面。5.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述边缘计算终端设置在自动扶梯或人行道梯出入口位置，与所述扶梯点终端设备集成，提供摄像头及出入口摄像头视频流接入及算法分析，算法配置，所述边缘计算终端分别与所述摄像头和所述扶梯点终端设备连接，并接收其发出的视频流数据；所述边缘计算终端内设有调度模块和处理模块；所述调度模块将所述摄像头、所述扶梯点终端设备不同的视频流数据分发到对应的处理模块，所述处理模块实时分析比对截取画面是否符合对应模型的结果集阈值。6.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述声光报警模块与所述边缘计算终端连接并集成于每个扶梯点终端设备中，当处理模块在识别到危险行为或危险物体后调用对应扶梯点终端设备的声光报警模块报警，并将对应的报警信息、报警位置，通过应用服务器上报到AI管理平台。7.根据权利要求1所述的一种双视角自动扶梯乘客危险行为识别系统，其特征在于，所述应用服务器设置于外部的IT机房，与...

【专利技术属性】
技术研发人员：王晓辉，丁佳，单洪伟，
申请(专利权)人：无锡八英里电子科技有限公司，
类型：发明
国别省市：