本发明专利技术公开了一种基于车载视频的公交司机违规行为判定方法、装置及存储介质，所述方法包括：获取公交车载视频；基于预置行为识别模型和预置目标检测网络在公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测；其中，预置目标检测网络包含特征提取网络和检测输出网络，特征提取网络包含四个特征提取层，检测输出网络包含四个并行输出分支；当检测到异常行为或基于人脸关键点确定疲劳驾驶时，获取状态识别信息，根据状态识别信息判断公交车辆的当前状态，确定当前状态对应的当前违规行为，判断异常行为或疲劳驾驶是否属于当前违规行为；若是，则判定驾驶行为违规。本发明专利技术可以有效地检测公交司机异常行为及违规行为。为及违规行为。为及违规行为。
【技术实现步骤摘要】
一种基于车载视频的公交司机违规行为判定方法及装置
[0001]本专利技术涉及智能交通和计算机视觉
，具体涉及一种基于车载视频的公交司机违规行为判定方法及装置。
技术介绍
[0002]公交车是市民日常出行的重要交通方式，加上运载次数多，运营时间长，道路环境复杂，一旦发生安全事件，会给人们的生命和财产安全带来巨大威胁，造成道路拥堵，产生恶劣的社会影响，因此，要求公交车司机从各个环节入手，规范运营，预防危险，尊重生命，安全行车。
[0003]目前很多公交车司机还存在一些违规驾驶行为，例如行车接打电话、行车玩手机、行车中喝水、疲劳驾驶、行车中单手扶方向盘、闯红灯等，这些行为严重威胁公众的出行安全，为了能够有效监测公交车司机的上述危险驾驶行为，并留存快照取证，作为对公交车司机进行评分考核的有效方式之一，现有方法通常是安排安全员人工巡检，该方法不仅耗费人力物力，而且由于存在大量主观因素导致误差很大；或者通过监控设备定时拍摄驾驶舱内图片，并实时传输至后台，由人工或系统审核，但是该方法无法做到实时分析，并且定时拍摄图片存在漏洞，实用性差。
技术实现思路
[0004]本专利技术解决的是现有的监测危险驾驶行为的方法中，人工巡检耗费人力物力且误差很大的问题，以及通过监控设备定时拍摄驾驶舱内图片，实时传输至后台由人工或系统审核，存在无法实时分析的问题。
[0005]本专利技术提出一种基于车载视频的公交司机违规行为判定方法，包括：获取公交车载视频；基于预置行为识别模型和预置目标检测网络在所述公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测；其中，所述预置目标检测网络包含特征提取网络和检测输出网络，所述特征提取网络包含四个特征提取层，每个所述特征提取层包含多个残差卷积块，其中每两个残差卷积块为一组，对于每组残差卷积块，将第一个残差卷积块的输出作为第二个残差卷积块的输入，并将第二个残差卷积块的输入和输出特征进行拼接融合，对于相邻两组残差卷积块，将前一组残差卷积块的输出作为后一组残差卷积块的输入，在将后一组残差卷积块的第二个残差卷积块的输入和输出特征进行拼接融合时，将前一组残差卷积块的输入和输出特征加入一起融合；每个层次的特征提取层的输出特征经过上采样处理后与上一个层次的输出特征融合，最后一个层次的特征提取层接入所述检测输出网络；所述检测输出网络包含四个并行输出分支，分别为：人脸中心位置预测heatmap分支、人脸关键点位置预测heatmap分支、人脸中心偏置预测分支和人脸大小预测分支；当检测到异常行为或基于人脸关键点确定疲劳驾驶时，获取状态识别信息，根据
所述状态识别信息判断公交车辆的当前状态；根据预设的不同车辆状态与违规行为的对应关系，确定所述当前状态对应的当前违规行为；判断所述异常行为或疲劳驾驶是否属于所述当前违规行为；若是，则判定驾驶行为违规。
[0006]可选地，所述每个层次的特征提取层的输出特征经过上采样处理后与上一个层次的输出特征融合包括：每个层次的特征提取层的输出特征经过可变形卷积进行特征提取，再经转置卷积进行上采样处理后，与上一个层次的输出特征融合。
[0007]可选地，所述状态识别信息包括车辆运行信息、信号灯状态及车辆位置信息；所述根据所述状态识别信息判断公交车辆的当前状态包括：从所述车辆运行信息中获取车辆速度；当所述信号灯状态为红灯状态且所述车辆速度为零时，判定所述公交车辆处于红灯等待状态；其中，所述红灯等待状态对应的违规行为包括抽烟行为、睡觉行为和疲劳驾驶行为；当根据所述车辆位置信息确定所述公交车辆位于公交站台，且所述车辆速度为零时，判定所述公交车辆处于站台暂停状态；其中，所述站台暂停状态对应的违规行为包括抽烟行为、睡觉行为和疲劳驾驶行为；当根据所述车辆位置信息确定所述公交车辆位于公交终点站，且所述车辆速度为零时，判定所述公交车辆处于终点站休息状态；当所述车辆速度不为零时，判定所述公交车辆处于正常行驶状态；其中，所述正常行驶状态对应的违规行为包括单手扶方向盘行为、喝水行为、抽烟行为、睡觉行为和疲劳驾驶行为。
[0008]可选地，所述状态识别信息还包括导航信息；所述根据所述状态识别信息判断公交车辆的当前状态包括：当所述车辆速度为零时，从所述导航信息中获取拥堵信息，判断公交车辆当前是否位于拥堵路段；若是，则获取预估的剩余拥堵时长；当所述剩余拥堵时长大于或等于预设时长时，判定所述公交车辆处于长暂停状态，其中，所述长暂停状态对应的违规行为包括抽烟行为和睡觉行为；当所述剩余拥堵时长小于所述预设时长时，判定所述公交车辆处于短暂停状态，其中，所述短暂停状态对应的违规行为包括抽烟行为、睡觉行为、疲劳驾驶行为和离开驾驶座行为。
[0009]可选地，所述基于预置行为识别模型和预置目标检测网络在所述公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测之前，还包括：使用基于Kinetics数据集的预训练模型对行为识别骨干网络进行参数初始化，得到初始行为识别模型；采用预先建立的基于实际场景的公交司机异常行为数据集作为训练数据，对所述初始行为识别模型进行训练，得到所述预置行为识别模型，其中，所述公交司机异常行为数据集包含异常行为视频数据集。
[0010]可选地，所述基于预置行为识别模型和预置目标检测网络在所述公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测之前，还包括：使用基于预设图像数据库的预训练模型对目标检测网络的骨干网络进行参数初始化，得到初始目标检测模型；采用预设的目标检测数据库训练所述初始目标检测模型，得到二级目标检测模型；在预先建立的基于实际场景的公交司机人脸数据集的基础上，微调所述二级目标检测模型的网络结构，得到所述预置目标检测网络。
[0011]可选地，所述基于预置行为识别模型和预置目标检测网络在所述公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测之后，还包括根据人脸关键点判断司机是否疲劳驾驶，具体包括：通过所述人脸关键点判断司机人眼是否闭合，并统计眼睛闭合的图像帧数；基于眼睛闭合的图像帧数和检测时间段总帧数，计算疲劳度；当所述疲劳度大于预设值时，判定司机疲劳驾驶。
[0012]可选地，所述判定驾驶行为违规之后，还包括：将驾驶行为违规时的公交车载视频、红绿灯快照、车辆运行信息及时间信息关联保存。
[0013]本专利技术还提出一种基于车载视频的公交司机违规行为判定装置，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的基于车载视频的公交司机违规行为判定方法。
[0014]本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的基于车载视频的公交司机违规行为判定方法。
[0015]通过基于预置行为识别模型和预置目标检测网络在公交车载视频中预标定的驾驶活动区域进行异常行为检测和人脸关键点检测，当检测到异常行为或基于人脸关键点确定疲劳驾驶时，并不直接判定为违规行为本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于车载视频的公交司机违规行为判定方法，其特征在于，包括：获取公交车载视频；基于预置行为识别模型和预置目标检测网络在所述公交车载视频中预标定的驾驶活动区域分别进行异常行为检测和人脸关键点检测；其中，所述预置目标检测网络包含特征提取网络和检测输出网络，所述特征提取网络包含四个特征提取层，每个所述特征提取层包含多个残差卷积块，其中每两个残差卷积块为一组，对于每组残差卷积块，将第一个残差卷积块的输出作为第二个残差卷积块的输入，并将第二个残差卷积块的输入和输出特征进行拼接融合，对于相邻两组残差卷积块，将前一组残差卷积块的输出作为后一组残差卷积块的输入，在将后一组残差卷积块的第二个残差卷积块的输入和输出特征进行拼接融合时，将前一组残差卷积块的输入和输出特征加入一起融合；每个层次的特征提取层的输出特征经过上采样处理后与上一个层次的输出特征融合，最后一个层次的特征提取层接入所述检测输出网络；所述检测输出网络包含四个并行输出分支，分别为：人脸中心位置预测heatmap分支、人脸关键点位置预测heatmap分支、人脸中心偏置预测分支和人脸大小预测分支；当检测到异常行为或基于人脸关键点确定疲劳驾驶时，获取状态识别信息，根据所述状态识别信息判断公交车辆的当前状态；根据预设的不同车辆状态与违规行为的对应关系，确定所述当前状态对应的当前违规行为；判断所述异常行为或疲劳驾驶是否属于所述当前违规行为；若是，则判定驾驶行为违规。2.如权利要求1所述的基于车载视频的公交司机违规行为判定方法，其特征在于，所述每个层次的特征提取层的输出特征经过上采样处理后与上一个层次的输出特征融合包括：每个层次的特征提取层的输出特征经过可变形卷积进行特征提取，再经转置卷积进行上采样处理后，与上一个层次的输出特征融合。3.如权利要求1所述的基于车载视频的公交司机违规行为判定方法，其特征在于，所述状态识别信息包括车辆运行信息、信号灯状态及车辆位置信息；所述根据所述状态识别信息判断公交车辆的当前状态包括：从所述车辆运行信息中获取车辆速度；当所述信号灯状态为红灯状态且所述车辆速度为零时，判定所述公交车辆处于红灯等待状态；其中，所述红灯等待状态对应的违规行为包括抽烟行为、睡觉行为和疲劳驾驶行为；当根据所述车辆位置信息确定所述公交车辆位于公交站台，且所述车辆速度为零时，判定所述公交车辆处于站台暂停状态；其中，所述站台暂停状态对应的违规行为包括抽烟行为、睡觉行为和疲劳驾驶行为；当根据所述车辆位置信息确定所述公交车辆位于公交终点站，且所述车辆速度为零时，判定所述公交车辆处于终点站休息状态；当所述车辆速度不为零时，判定所述公交车辆处于正常行驶状态；其中，所述正常行驶状态对应的违规行为包括单手扶方向盘行为、喝水行为、抽烟行为、睡觉行为和疲劳驾驶行为。
4.如权利要求3所述的基于车载视频的公交司机违规行为判定方法，其特征在于，所述状态识别信息还包括导航信息；所述根据所述状态识别信息判断公交车辆的当前状态包括：当所述...
【专利技术属性】
技术研发人员：田锋，张文硕，曾文鼎，邵源，林丕成，安健，
申请(专利权)人：深研人工智能技术深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。