一种客车乘员安全态势监控系统及方法技术方案

本发明专利技术公开了一种客车乘员安全态势监控系统及方法，该系统包括安装于运营车辆上的RGB‑D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，RGB‑D深度相机用于采集车内的连续多帧RGB‑D图像及深度图像；模式识别及决策单元对RGB‑D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给驾驶员终端；并且模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向驾驶员终端发送报警信息。该系统能够保证客车乘员的安全性。本发明专利技术同时公开了客车乘员安全态势监控方法。

【技术实现步骤摘要】
一种客车乘员安全态势监控系统及方法
本专利技术涉及一种交通监控系统及方法，具体是指一种客车乘员安全态势监控系统及方法。
技术介绍
人们在市内、城际出行或者旅游过程中，离不开大中型公路客车这种重要的交通工具。出行安全一直都是交通运输业的重中之重，尤其当搭载乘客的车辆离开出发站场后，在行驶途中如何确保安全运营是每个运输企业与交通主管部门极为关注的；而在行驶途中的车辆上一般只有一名驾驶员，其主要任务是驾驶车辆，无法兼顾维护车内整体安全有序的任务，甚至在极端情况下，驾驶员本身的人身安全也可能受到侵犯。另外，公路客车因超载而发生的大小运营事故数量更多，多数不容易被及时制止。当前客车内部普遍安装了监控摄像，有些视频影像可以实时上传监控中心；有些是车辆回到基地后，工作人员用移动存储介质离线复制视频录像，再由工作人员播放回看。实时上传方案因为涉及视频数据量大，考虑到移动数据流量成本及人工成本等原因，多用于随机抽查，并不能保证及时发现问题。同时为了监控审核车内的安全运营状况，客运企业原则上对视频录像需要回看，而人工回看核查成本高，工作压力大。且因为是运营结束后核查，所以很多安全或运营漏洞到发现时，可能已经造成了不良的后果。例如前述的重庆公交坠江事件，就是事故后通过视频录像确认了当时的情况，但该视频监控对于事故本身没能起到及时制止的作用。另外，因为我国人口多，公交客运运营班次密度大，所以视频核查量大，工作人员也难免有疏漏之处。前述的车内监控录像系统，拍摄的是普通视频，此类视频尽管也可以用一些图像识别算法切割分离出平面人像，但辨识度低，只能做一些简单的人数统计，且误差很大；要做一些复杂实时的乘员行为模式识别、高精度的乘员统计，二维平面人像信息量不够，导致深度学习、人工智能算法的应用受到限制。目前市场上也有一些用于监控运营车辆本身运行参数，例如车速、经纬坐标、油耗、发动机数据等，的客车信息化系统，比较典型的是G-BOS客车运营系统。前述系统可以采集行驶中客车当前主要硬件运行参数，并上传监控平台。但该类产品也仍然无法解决车辆内部涉及乘客层面的安全及其他运营漏洞。市场上还有一些客车全景辅助驾驶录像系统，但该类系统主要采集、拍摄客车车身近距离周边的影像，提供给驾驶员观看。该类系统可起到辅助驾驶的作用，但无法对客车内部运营状况起到监控和分析的作用。综上所述，当前基于车内普通视频监控的技术及系统，已经无法满足“实时安全”、“及时反应”的公路营运车辆乘员安全态势监控的要求。
技术实现思路
本专利技术的目的之一是提供一种客车乘员安全态势监控系统，保证客车乘员的安全性。本专利技术的这一目的通过如下技术方案来实现的：一种客车乘员安全态势监控系统，其特征在于：该系统包括安装于运营车辆上的RGB-D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，所述RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给所述的模式识别及决策单元；所述模式识别及决策单元接收所述RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；所述移动数据通讯模块与所述模式识别及决策单元相连，所述移动数据通讯模块接入移动互联网，通过互联网将所述模式识别及决策单元获得的车内安全态势信息与外部进行通讯；所述驾驶员终端与所述模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；所述数据存储模块与所述模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储所述模式识别及决策单元所发出的安全态势信息；所述GPS定位模块与所述模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给所述的模式识别及决策单元。本专利技术可以做如下改进：所述系统还包括位于车载外的具备远程监控的监控中心平台，所述监控中心平台接入互联网，通过互联网与所述的移动数据通讯模块进行通讯，通过所述移动数据通讯模块获得所述模式识别及决策单元识别的车内安全态势信息，所述监控中心平台具备接收存储信息、系统整体管理及监控功能。本专利技术的运营车辆可以为长途客车或者城市公交车或者旅游巴士等公共运输交通工具。所述模式识别及决策单元采用现有BundleFusion开源算法软件对接收的RGB-D图像及深度图像进行三维重建。当运营车辆为长途客车时，所述模式识别及决策单元对接收的RGB-D图像及深度图像进行三维重建后，通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态；此时模式识别及决策单元向驾驶员终端发送警报信息；所述警报信息包括当前车内乘员数量、乘员异常状态的类型；同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块。当运营车辆为城市公交车时，所述模式识别及决策单元接收到RGB-D图像及深度图像后，对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态，此时模式识别及决策单元向驾驶员终端发送警报信息，同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。本专利技术中的头肩算法模型、人体骨骼跟踪算法模型均为现有的算法软件模型，直接应用即可。本专利技术可以做如下改进：所述的运营车辆为具备AEBS(自主紧急制动系统)的车辆，所述系统还包括安装在车辆内的AEBS，所述模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。本专利技术的系统可作为AEBS所附带传感系统的补充传感源，提供车内环境感知信息，必要时可以经由AEBS向车辆制动装置发出制动指令，在车内模式识别及决策单元判断存在紧急状况的时候，通过立即向AEBS发出指定指令，即可实现对车辆实施紧急制动。本专利技术的目的之二是提供一种客车乘员安全态势监控方法，用于监控行车安全。本专利技术的这一目的通过如下技术方案来实现的：一种客车乘员安全态势监控方法，其特征在于，该方法包括如下步骤：步骤1：在营运车辆的前部安装RGB-D深度相机，该RGB-D深度相机具有广角拍摄的特性，本文档来自技高网...

【技术保护点】
1.一种客车乘员安全态势监控系统，其特征在于：该系统包括安装于运营车辆上的RGB‑D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，所述RGB‑D深度相机用于采集运营车辆车内的连续多帧RGB‑D图像及深度图像，并且将所采集到的RGB‑D图像及深度图像传输给所述的模式识别及决策单元；所述模式识别及决策单元接收所述RGB‑D深度相机传输的多帧RGB‑D图像及深度图像，对接收的RGB‑D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；所述移动数据通讯模块与所述模式识别及决策单元相连，所述移动数据通讯模块接入移动互联网，通过互联网将所述模式识别及决策单元获得的车内安全态势信息与外部进行通讯；所述驾驶员终端与所述模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；所述数据存储模块与所述模式识别及决策单元相连，用于接收和保存RGB‑D图像及深度图像，并且存储所述模式识别及决策单元所发出的安全态势信息；所述GPS定位模块与所述模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给所述的模式识别及决策单元。...

【技术特征摘要】
1.一种客车乘员安全态势监控系统，其特征在于：该系统包括安装于运营车辆上的RGB-D深度相机、模式识别及决策单元、移动数据通讯模块、驾驶员终端、数据存储模块和GPS定位模块，其中，所述RGB-D深度相机用于采集运营车辆车内的连续多帧RGB-D图像及深度图像，并且将所采集到的RGB-D图像及深度图像传输给所述的模式识别及决策单元；所述模式识别及决策单元接收所述RGB-D深度相机传输的多帧RGB-D图像及深度图像，对接收的RGB-D图像及深度图像进行三维重建，自动识别运营车辆内的乘员个体信息，将识别的乘员个体信息发送给所述的驾驶员终端；并且所述模式识别及决策单元基于对乘员个体动作幅度及移动趋势的识别，判定当前车内的安全态势，在监测到乘员处于异常状态时向所述的驾驶员终端发送报警信息；所述移动数据通讯模块与所述模式识别及决策单元相连，所述移动数据通讯模块接入移动互联网，通过互联网将所述模式识别及决策单元获得的车内安全态势信息与外部进行通讯；所述驾驶员终端与所述模式识别及决策单元相连，用于接收模式识别及决策单元传输来的乘员个体信息和报警信息；所述数据存储模块与所述模式识别及决策单元相连，用于接收和保存RGB-D图像及深度图像，并且存储所述模式识别及决策单元所发出的安全态势信息；所述GPS定位模块与所述模式识别及决策单元相连，用于定位车辆当前的位置坐标，将车辆当前的位置坐标信息传输给所述的模式识别及决策单元。2.根据权利要求1所述的客车乘员安全态势监控系统，其特征在于：所述系统还包括位于车载外的具备远程监控的监控中心平台，所述监控中心平台接入互联网，通过互联网与所述的移动数据通讯模块进行通讯，通过所述移动数据通讯模块获得所述模式识别及决策单元识别的车内安全态势信息，所述监控中心平台具备接收存储信息、系统整体管理及监控功能。3.根据权利要求2所述的客车乘员安全态势监控系统，其特征在于：所述运营车辆为长途客车，所述模式识别及决策单元对接收的RGB-D图像及深度图像进行三维重建后，通过运用头肩算法模型、人体骨骼跟踪算法模型来算出车内司乘人员所在位置、车内实际乘员数量、并识别乘客动作幅度及移动趋势；若实际乘员数量超载或者有乘客在行驶途中处于站立或走动状态，均判定为乘员处于异常状态；此时模式识别及决策单元向驾驶员终端发送警报信息；所述警报信息包括当前车内乘员数量、乘员异常状态的类型；同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块。4.根据权利要求2所述的客车乘员安全态势监控系统，其特征在于：所述运营车辆为城市公交车，所述模式识别及决策单元接收到RGB-D图像及深度图像后，对驾驶员重点识别范围内进行三维重建，运用头肩算法模型、人体骨骼跟踪算法模型判定驾驶员重点识别范围内乘客的姿态、动作幅度以及与驾驶员相对位置的变化趋势；若在重点识别范围内有乘员向驾驶员方向走动、或者乘客的躯干重心位置与驾驶员躯干重心位置的距离小于预设的安全距离，则判定为乘员处于异常状态，此时模式识别及决策单元向驾驶员终端发送警报信息，同时该警报信息、RGB-D图像信息、当前车辆的坐标信息也将通过移动数据通讯模块发送至监控中心平台及所述数据存储模块，并且保存到数据存储模块；若在重点识别范围内车内乘员的躯干或肢体与驾驶员的躯干或肢体极度接近，甚至发生接触，则判定为车辆处于紧急状态，此时模式识别及决策单元向车辆发出紧急制动指令。5.根据权利要求3或4所述的客车乘员安全态势监控系统，其特征在于：所述的运营车辆为具备AEBS的车辆，所述系统还包括安装在车辆内的AEBS，所述模式识别及决策单元与AEBS通过CAN总线进行协议通讯，所述模式识别及决策单元在监测到乘员安全态势处于紧急状态下向所述AEBS发出紧急制动指令，通过AEBS对车辆实施紧急制动。6.一种客车乘员安全态势监控方法，其特征在于，该方法包括如下步骤：步骤1：在...

【专利技术属性】
技术研发人员：张宇康，
申请(专利权)人：广州浩宁智能设备有限公司，
类型：发明
国别省市：广东,44