一种基于人脸特征点的不安全驾驶行为识别方法技术

本发明专利技术公开了一种基于人脸特征点的不安全驾驶行为识别方法，首先获取车内摄像头采集的图像，进行图像亮度自适应增强处理，得到处理后的亮度增强的图像；然后将亮度增强的图像输入到融入空间注意力机制的ResNet50模型，判断驾驶员不安全驾驶行为，并将亮度增强的图像输入到人脸关键点和欧拉角联合检测网络，检测得到人脸关键点信息和头部欧拉角信息，用于检测头部欧拉角信息的头部欧拉角检测网络为人脸关键点检测网络PFLD的辅助子网络；最后根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶。本发明专利技术检测速度有较大提升，对驾驶员行为实时检测具有较大的应用场景。景。景。

【技术实现步骤摘要】
一种基于人脸特征点的不安全驾驶行为识别方法


[0001]本申请属于行为识别
，特别涉及一种基于人脸特征点的不安全驾驶行为识别方法。

技术介绍

[0002]随着经济飞速发展，人民生活水平不断提高，道路上汽车逐年增多，汽车给人们带来生活便利的同时，交通安全问题备受关注。
[0003]交通事故由多种因素导致如驾驶员不安全行为、道路条件、汽车损坏等，但大多数交通事故是由于驾驶员不安全行为导致的，其包括分心驾驶、疲劳驾驶、酒后驾驶等，都会在一定程度上导致交通事故的发生。根据交通管理局的相关统计，90％的交通事故均与驾驶员的行为有密切的联系，分心驾驶和疲劳驾驶成为导致交通事故的最大“杀手”。
[0004]根据国际标准化组织(ISO)的定义，分心驾驶指的是驾驶员在驾驶时，将自身注意力分散的指向与正常驾驶不相干的行为，如打电话、喝水、向后座拿东西等。有研究表明，边开车边打电话，交通事故发生的几率会增加4倍，边开车边喝水会增加1.5倍，驾驶员不注视前方超过2s时增加3倍。因此分心驾驶是不可以忽视的安全性问题，如果能够对驾驶员不安全行为进行实时检测并提醒，就可以在源头上降低交通事故发生的几率，但目前在驾驶员分心行为识别方便还未出现广泛的应用产品。
[0005]对于疲劳驾驶检测，现阶段的方法主要包括主观检测和客观检测。主观检测是通过对驾驶员自我记录表、主观调查表、皮尔逊疲劳量表以及斯坦福睡眠尺度表进行评定，该方法对驾驶员的依赖程度较高，且无法对疲劳驾驶进行实时检测。客观监测包括对驾驶员行为特性的检测、基于对车辆参数的检测和基于对驾驶员生理特征参数测量的检测，基于车辆参数的监测方式需要基于其他车辆行为统计信息，如方向盘受到来自驾驶员手部的压力、车辆加速等变化等特征，存在易受到自然环境、驾驶员的驾驶水平、心理素质以及驾驶心情等因素的影响等缺点；基于驾驶员生理特征的检测方式需要驾驶员穿戴相关的生理指标检测设备，会影响驾驶员在驾驶过程中的舒适度，给驾驶员带来不便。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术提供了一种基于人脸特征点的不安全驾驶行为识别方法。采用的Resnet50模型融合了空间注意力机制，有效提高了分心驾驶检测的准确率；通过人脸特征点信息和头部姿态估计检测闭眼、打哈欠、低头行为，有效提高了疲劳驾驶检测的准确率和速率。
[0007]为了解决上述技术问题，本专利技术提供如下的技术方案：
[0008]一种基于人脸特征点的不安全驾驶行为识别方法，包括：
[0009]获取车内摄像头采集的图像，进行图像亮度自适应增强处理，得到处理后的亮度增强的图像；
[0010]将亮度增强的图像输入到融入空间注意力机制的ResNet50模型，判断驾驶员不安
全驾驶行为，所述融入空间注意力机制的ResNet50模型在残差网络ResNet50的各个瓶颈块中融入了空间注意力机制，所述瓶颈块包括一个残差层，所述残差层输出的第一特征依次经过全局池化层、全连接层、线性整流函数和全连接层后，输出的第二特征再与残差层的输出的第一特征进行矩阵相乘，矩阵相乘后输出的第三特征与残差层的输入特征进行连接后作为瓶颈块最终的输出特征；
[0011]将亮度增强的图像输入到人脸关键点和欧拉角联合检测网络，检测得到人脸关键点信息和头部欧拉角信息，所述人脸关键点和欧拉角联合检测网络包括用于检测人脸关键点信息的人脸关键点检测网络PFLD，所述人脸关键点检测网络PFLD的骨干网络的输出还连接有用于检测头部欧拉角信息的头部欧拉角检测网络，所述头部欧拉角检测网络为所述人脸关键点检测网络PFLD的辅助子网络；
[0012]根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶。
[0013]进一步的，所述获取车内摄像头采集的图像，进行图像亮度自适应增强处理，包括：
[0014]在获得车内摄像头采集的图像后，计算图像亮度；
[0015]若图像亮度小于第一阈值则进行图像亮度增强，否则不进行图像亮度增强；
[0016]在进行图像亮度增强时，统计图像直方图，记录直方图两端异常数值分位点；
[0017]去除分位点区间之外的值，将分位点区间拉伸到(0，255)；
[0018]获得处理后的亮度增强的图像。
[0019]进一步的，所述人脸关键点和欧拉角联合检测网络的损失函数如下：
[0020]Loss(x，y)＝wing(x)+L2LossFunction(y)
[0021]其中，x表示预测的人脸关键点与真值绝对值差，y表示预测的头部欧拉角与真值绝对值差；
[0022][0023]其中，ω为非负数，将非线性部分限制在区间(
‑
ω，ω)之间，∈为常量，用于约束曲线的弯曲程度，提高训练的稳定性，C为常数，C＝ω
‑
ωln(1+|ω|/∈)，用于平滑地连接分段定义的线性和非线性部分。
[0024]进一步的，所述根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶，包括：
[0025]通过人脸关键点信息确定眼部6个关键点信息，包括左眼角关键点、左上方关键点、右上方关键点、右眼角关键点、右下方关键点、左下方关键点，分别标注为P1～P6；
[0026]计算眼睛长宽比EAR，具体计算公式如下：
[0027][0028]若眼睛长宽比EAR超过设定的第二阈值，则判定为处于闭眼状态，进行疲劳报警，否则不进行疲劳报警。
[0029]进一步的，所述根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶，包括：
[0030]通过人脸关键点信息确定嘴部6个关键点信息，包括左嘴角关键点、左上方关键
点、右上方关键点、右嘴角关键点、右下方关键点、左下方关键点，分别标注为Q1～Q6；
[0031]计算嘴部长宽比MAR，具体计算公式如下：
[0032][0033]若嘴部长宽比MAR超过设定的第三阈值，判断出现打哈欠状态，进行疲劳报警，否则不进行疲劳报警。
[0034]进一步的，所述根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶，包括：
[0035]判断头部欧拉角是否超过设定的第四阈值，如果超过第四阈值，则判断驾驶员出现低头行为，进行疲劳报警，否则不进行疲劳报警。
[0036]本申请提出的一种基于人脸特征点的不安全驾驶行为识别方法，与现有技术相比，具有以下优点：
[0037]1、采用ResNet50网络模型来实现对驾驶员不安全驾驶行为识别与分类，融入空间注意力机制，不同行为识别准确率均大于97％，具有较大的应用场景。
[0038]2、相比于通过人脸关键点矩阵运算计算头部姿态欧拉角，本申请采用通过人脸关键点模型分支预测欧拉角的方法，通过该模型能够同时获取人脸关键点与欧拉角信息，避免了通过双模型分别预测人脸关键点与欧拉角的情况，检测速度有较大提升，对驾驶员行为实时检测具有较大的应用场景。
[0039]3、考虑了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸特征点的不安全驾驶行为识别方法，其特征在于，所述基于人脸特征点的不安全驾驶行为识别方法，包括：获取车内摄像头采集的图像，进行图像亮度自适应增强处理，得到处理后的亮度增强的图像；将亮度增强的图像输入到融入空间注意力机制的ResNet50模型，判断驾驶员不安全驾驶行为，所述融入空间注意力机制的ResNet50模型在残差网络ResNet50的各个瓶颈块中融入了空间注意力机制，所述瓶颈块包括一个残差层，所述残差层输出的第一特征依次经过全局池化层、全连接层、线性整流函数和全连接层后，输出的第二特征再与残差层的输出的第一特征进行矩阵相乘，矩阵相乘后输出的第三特征与残差层的输入特征进行连接后作为瓶颈块最终的输出特征；将亮度增强的图像输入到人脸关键点和欧拉角联合检测网络，检测得到人脸关键点信息和头部欧拉角信息，所述人脸关键点和欧拉角联合检测网络包括用于检测人脸关键点信息的人脸关键点检测网络PFLD，所述人脸关键点检测网络PFLD的骨干网络的输出还连接有用于检测头部欧拉角信息的头部欧拉角检测网络，所述头部欧拉角检测网络为所述人脸关键点检测网络PFLD的辅助子网络；根据人脸关键点信息和头部欧拉角信息，判断驾驶员是否出现疲劳驾驶。2.根据权利要求1所述的基于人脸特征点的不安全驾驶行为识别方法，其特征在于，所述获取车内摄像头采集的图像，进行图像亮度自适应增强处理，包括：在获得车内摄像头采集的图像后，计算图像亮度；若图像亮度小于第一阈值则进行图像亮度增强，否则不进行图像亮度增强；在进行图像亮度增强时，统计图像直方图，记录直方图两端异常数值分位点；去除分位点区间之外的值，将分位点区间拉伸到(0,255)；获得处理后的亮度增强的图像。3.根据权利要求1所述的基于人脸特征点的不安全驾驶行为识别方法，其特征在于，所述人脸关键点和欧拉角联合检测网络的损失函数如下...

【专利技术属性】
技术研发人员：张扬，陈昊楠，郭宗豪，张斌，杨正一，产思贤，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：