一种基于智能行为监测的公交车危险报警方法和系统技术方案

一种基于智能行为监测的公交车危险报警方法和系统，包括公交车驾驶员心率监测方法、公交车驾驶台环境监测方法以及危险报警方法；其中公交车驾驶员心率监测方法、公交车驾驶台环境监测方法分别完成驾驶员心率监测及驾驶台环境监测，并将心率监测的结果、环境监测的结果送入危险报警方法，综合判决得到危险报警结果；完成了对公交车驾驶员心率较高精度的自动监测和公交车驾驶员驾驶环境的自动监测；完成了公交车危险报警判决，同步至远程枢纽中心；实现了对公交车安全运营提供保障的同时，减少人工工作成本。

【技术实现步骤摘要】
一种基于智能行为监测的公交车危险报警方法和系统
本专利技术涉及公共安全系统，具体涉及一种基于智能行为监测的公交车危险报警方法和系统。
技术介绍
公交车作为通用交通工具，遍布于城市的各个区域，公交车出行，维系人民日常生活出行需求的同时也是提倡绿色出行的保障；公交车数量多，运客量大，使得公交车安全问题日益凸显；近年来，公交车驾驶员驾驶失误、公交车乘客抢夺方向盘、公交车乘客殴打驾驶员等影响公交车安全运行事件时有发生，也造成重大损失；现有设备缺乏对公交车驾驶员状态的监测和公交车驾驶员驾驶环境监测，从而在某些危险行为发生可能造成公交车危险运行情况下的自动判决和处理。
技术实现思路
本专利技术的目的在于提供一种智能行为监测的公交车危险报警方法，完成对公交车行驶过程中是否存在乘客影响驾驶员安全驾驶的行为的智能化和自动化监测，提供及时准确的报警或者采取相应措施依据和决策的方法；本专利技术的另一目的在于提供一种基于智能行为监测的公交车危险报警系统，通过智能行为监测的公交车危险报警方法，完成对存在影响驾驶员安全驾驶的外在行为的智能化和自动化监测，采取报警或者其他相应措施阻止公交车危险情况的发生；本专利技术目的按如下技术方案实现：一种基于智能行为监测的公交车危险报警方法，包括公交车驾驶员心率监测方法、公交车驾驶台环境监测方法以及危险报警方法；所述公交车驾驶员心率监测方法、公交车驾驶台环境监测方法分别完成驾驶员心率监测及驾驶台环境监测，并将心率监测的结果、环境监测的结果送入危险报警方法，综合判决得到危险报警结果；所述公交车驾驶员心率监测方法，采用对驾驶员面部特定区域的近红外图像的分析，获取公交车驾驶员心率曲线；具体步骤如下：S001、对含有公交车驾驶员正面图像的近红外视频进行周期性采样；采样周期为T；S002、对每帧图像做人脸检测；S003、依据人脸检测结果做人脸定位和ROI截取；S004、计算截取ROI区域的近红外强度评估值；S005、计算每帧图像近红外强度评估值相比于上帧的近红外强度变化量；S006、视频段中所有帧图像的近红外强度变化量构成变化量序列；时间间隔为采样周期T；S007、对变化量序列进行傅里叶变换，求取频域变化模值；S008、选取模值峰值求取公交车驾驶员心率值；所述公交车驾驶台环境监测方法，采用对公交车驾驶台环境的可见光视频分析，获取是否有危害公交车驾驶员或者可能影响公交车安全行驶的行为发生；具体步骤如下：S101、标定：在只有公交车驾驶员车上，并作出正常驾驶公交车动作情况下保存摄像头图片，作为标定图片；S102、数据采集：对公交车实时运行中的公交车驾驶台环境的可见光视频进行周期性采样，获取图片帧；S103、将标定图片和图片帧同时输入线下训练完成的驾驶台环境危险预警网络；S104、实时监测环境危险预警网络输出结果；所述危险报警方法，综合驾驶员心率监测和驾驶台环境监测，综合判决并提供危险报警提示；所述具体步骤如下：S201、实时计算公交车驾驶员心率值变化率；所述心率值变化率计算公式如下：Δpt＝pt-pt-T；T为近红外视频采样周期；S202、计算公交车驾驶员心率值变化率强度均值，计算公式如下：S203、依据环境危险预警网络输出结果计算抑制因子λ：S204、统计MT时间内公交车驾驶员心率值变化率强度与公交车驾驶员心率值变化率强度均值的比值是否大于门限值的次数：式中，μ(x)为阶跃函数，r为门限值，用于判决驾驶员心率值变化率强度过大门限值；S205、只有当n大于0.5M时，给出危险报警提示。更进一步的，所述依据人脸检测结果做人脸定位和ROI截取，人脸检测结果为人脸面部9个关键点，分别为人中(p1)、左眼左眼角(p2)、左眼右眼角(p3)、右眼左眼角(p4)、右眼右眼角(p5)、左嘴角(p6)、右嘴角(p7)、上嘴皮中心(p8)、下嘴皮中心(p9)；所述ROI为左右额头，其坐标分别为以和为中心，宽为高为式中xi(i＝1,...,9)和yi(i＝1,...,9)分别为pi(i＝1,...,9)的坐标值。更进一步的，所述计算截取ROI区域的近红外强度评估值，首先将ROI区域按y方向均分为N等份，计算每等份的红外强度值：式中，pix(x,y)为内点(x,y)的像素值；为C1为中心ROI的第k等份；为C2为中心ROI的第k等份；为区域的像素点个数；其次，计算均值：然后祛除超出均值的0.8～1.2的等份，重新计算均值：最后求得截取ROI区域的近红外强度评估值：更进一步的，所述驾驶台环境危险预警网络，为深度神经网络，选择两个标准的VGG16网络结构为标定图片和图片帧的处理特征子网络，在两个子网络后接BN层，输出接入自定义DIFF层，合并为同维度的增强特征；将增强特征依次输入三个conv模块，再通过GlobalPooling层得到输出特征，后接BN层和全链接层组成的判决网络，得到输出结果；所述自定义DIFF层主要完成两个输出特征像素求差值操作，输入输出维度相同；其作用在于使得图片帧得到的输出特征祛除固定的背景信息影响，更凸显出区别于固定背景信息的变化信息；所述三个conv模块间以maxpool层连接；maxpool层均采用3*3卷积核并保证2倍下采样，输出输入特征通道数保持不变；所述三个conv模块采用conv层、BN层、ReLU层依次连接组成；其中三个conv层分别采用3*3*256、3*3*128、3*3*64三组参数，输入输出特征宽高维度不变。一种基于智能行为监测的公交车危险报警方法的系统，由安装于公交车的近红外摄像头、可见光摄像头、监控主机、存储设备、音响、无线通信终端以及远程枢纽中心组成；所述近红外摄像头安装于公交车驾驶台正前方上部，将监测到公交车驾驶员正面近红外视频帧采样送入监控主机；所述可见光摄像头安装于公交车驾驶台偏右位置上部，将监测到公交车驾驶台环境视频帧采样送入监控主机；所述监控主机基于智能行为监测的公交车危险报警方法，根据输入的近红外视频帧和公交车驾驶台环境视频帧作出危险报警判决；所述存储设备与监控主机相连，当危险报警判决为真，即公交车存在安全运行隐患时，存储当前的近红外视频帧和公交车驾驶台环境视频帧；所述无线通信终端与监控主机相连，当危险报警判决为真，无线通信终端发送危险报警预警通知信息到远程枢纽中心；所述危险报警预警通知信息包含无线终端唯一标识，公交车唯一标识，危险报警判决结果、当前的近红外视频帧和公交车驾驶台环境视频帧；所述远程枢纽中心接收所有管控范围公交车无线通信终端发送的危险报警预警通知信息；根据危险报警预警通知信息人工介入研判确认危险，发送安全警告信息，并采取相应措施；所述安全警告信息包括目标无线终端唯一标识、目标本文档来自技高网...

【技术保护点】
1.一种基于智能行为监测的公交车危险报警方法，其特征在于：包括公交车驾驶员心率监测方法、公交车驾驶台环境监测方法以及危险报警方法；/n所述公交车驾驶员心率监测方法、公交车驾驶台环境监测方法分别完成驾驶员心率监测及驾驶台环境监测，并将心率监测的结果、环境监测的结果送入危险报警方法，综合判决得到危险报警结果；/n所述公交车驾驶员心率监测方法，采用对驾驶员面部特定区域的近红外图像的分析，获取公交车驾驶员心率曲线；具体步骤如下：/nS001、对含有公交车驾驶员正面图像的近红外视频进行周期性采样；采样周期优选为T；/nS002、对每帧图像做人脸检测；/nS003、依据人脸检测结果做人脸定位和ROI截取；/nS004、计算截取ROI区域的近红外强度评估值；/nS005、计算每帧图像近红外强度评估值相比于上帧的近红外强度变化量；/nS006、视频段中所有帧图像的近红外强度变化量构成变化量序列；时间间隔为采样周期T；/nS007、对变化量序列进行傅里叶变换，求取频域变化模值；/nS008、选取模值峰值求取公交车驾驶员心率值；/n所述公交车驾驶台环境监测方法，采用对公交车驾驶台环境的可见光视频分析，获取是否有危害公交车驾驶员或者可能影响公交车安全行驶的行为发生；具体步骤如下：/nS101、标定：在只有公交车驾驶员车上，并作出正常驾驶公交车动作情况下保存摄像头图片，作为标定图片；/nS102、数据采集：对公交车实时运行中的公交车驾驶台环境的可见光视频进行周期性采样，获取图片帧；/nS103、将标定图片和图片帧同时输入线下训练完成的驾驶台环境危险预警网络；/nS104、实时监测环境危险预警网络输出结果；/n所述危险报警方法，综合驾驶员心率监测和驾驶台环境监测，综合判决并提供危险报警提示；所述具体步骤如下：/nS201、实时计算公交车驾驶员心率值变化率；所述心率值变化率计算公式如下：/nΔp...

【技术特征摘要】
1.一种基于智能行为监测的公交车危险报警方法，其特征在于：包括公交车驾驶员心率监测方法、公交车驾驶台环境监测方法以及危险报警方法；
所述公交车驾驶员心率监测方法、公交车驾驶台环境监测方法分别完成驾驶员心率监测及驾驶台环境监测，并将心率监测的结果、环境监测的结果送入危险报警方法，综合判决得到危险报警结果；
所述公交车驾驶员心率监测方法，采用对驾驶员面部特定区域的近红外图像的分析，获取公交车驾驶员心率曲线；具体步骤如下：
S001、对含有公交车驾驶员正面图像的近红外视频进行周期性采样；采样周期优选为T；
S002、对每帧图像做人脸检测；
S003、依据人脸检测结果做人脸定位和ROI截取；
S004、计算截取ROI区域的近红外强度评估值；
S005、计算每帧图像近红外强度评估值相比于上帧的近红外强度变化量；
S006、视频段中所有帧图像的近红外强度变化量构成变化量序列；时间间隔为采样周期T；
S007、对变化量序列进行傅里叶变换，求取频域变化模值；
S008、选取模值峰值求取公交车驾驶员心率值；
所述公交车驾驶台环境监测方法，采用对公交车驾驶台环境的可见光视频分析，获取是否有危害公交车驾驶员或者可能影响公交车安全行驶的行为发生；具体步骤如下：
S101、标定：在只有公交车驾驶员车上，并作出正常驾驶公交车动作情况下保存摄像头图片，作为标定图片；
S102、数据采集：对公交车实时运行中的公交车驾驶台环境的可见光视频进行周期性采样，获取图片帧；
S103、将标定图片和图片帧同时输入线下训练完成的驾驶台环境危险预警网络；
S104、实时监测环境危险预警网络输出结果；
所述危险报警方法，综合驾驶员心率监测和驾驶台环境监测，综合判决并提供危险报警提示；所述具体步骤如下：
S201、实时计算公交车驾驶员心率值变化率；所述心率值变化率计算公式如下：
Δpt＝pt-pt-T；
T为近红外视频采样周期；
S202、计算公交车驾驶员心率值变化率强度均值，计算公式如下：



S203、依据环境危险预警网络输出结果计算抑制因子λ：



S204、统计MT时间内公交车驾驶员心率值变化率强度与公交车驾驶员心率值变化率强度均值的比值是否大于门限值的次数：



式中，μ(x)为阶跃函数，r为门限值，用于判决驾驶员心率值变化率强度过大门限值；
S205、只有当n大于0.5M时，给出危险报警提示。


2.如权利要求1所述的一种基于智能行为监测的公交车危险报警方法，其特征在于：所述依据人脸检测结果做人脸定位和ROI截取，人脸检测结果为人脸面部9个关键点，分别为人中(p1)、左眼左眼角(p2)、左眼右眼角(p3)、右眼左眼角(p4)、右眼右眼角(p5)、左嘴角(p6)、右嘴角(p7)、上嘴皮中心(p8)、下嘴皮中心(p9)；
所述ROI为左右额头，其坐标分别为以和为中心，宽为高为式中xi(i＝1,...,9)和yi(i＝1,...,9)分别为pi(i＝1,...,9)的坐标值。


3.如权利要求2所述的一种基于智...

【专利技术属性】
技术研发人员：武晓敏，贾丽，雷隽娴，屈昌辉，潘蓉，
申请(专利权)人：重庆城市管理职业学院，
类型：发明
国别省市：重庆;50