驾驶员疲劳检测方法、系统、设备及存储介质技术方案

本申请涉及一种驾驶员疲劳检测方法、系统、设备及存储介质，其方法包括：获取驾驶员的脸部图像；根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。本申请能够解决驾驶员疲劳检测精度低的技术问题。的技术问题。的技术问题。

【技术实现步骤摘要】
驾驶员疲劳检测方法、系统、设备及存储介质


[0001]本申请涉及疲劳状态监测
，尤其是涉及一种驾驶员疲劳检测方法、系统、设备及存储介质。

技术介绍

[0002]目前，随着我国经济的高速发展，机动车辆的保有量快速增加。机动车辆的增加，给人们生活带来快捷与方便的同时，频繁的交通事故带来了惨重的经济损失，人民的生命也受到了威胁。而现代快节奏的生活加上长时间的工作，经常诱发人们处于疲劳状态。人在疲劳状态下，反应变得迟钝，身体控制能力降低。在特定的环境下，例如疲劳驾驶中，驾驶员会出现注意力不集中等现象，不能准确判断和迅速处理各种异常情况，容易引发交通事故。因此，对驾驶员驾驶机动车过程中疲劳状态的监测显得十分必要。
[0003]现有技术中一般采用统计驾驶时长的方案，若连续驾驶时间过长则判断驾驶员疲劳驾驶。然而，不同的驾驶员对驾驶时长造成的疲劳可能存在一定的差异性，因此，这种仅仅根据连续驾驶时间的检测方式对识别驾驶员是否疲劳不具有针对性，识别精度低。

技术实现思路

[0004]有鉴于此，本申请提供一种驾驶员疲劳检测方法、系统、设备及存储介质，用以解决驾驶员疲劳检测精度低的技术问题。
[0005]为了解决上述问题，第一方面，本申请提供一种驾驶员疲劳检测方法，所述方法包括：
[0006]获取驾驶员的脸部图像；
[0007]根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0008]基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0009]根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0010]可选的，所述获取驾驶员的脸部图像，包括：
[0011]获取设置于驾驶室内的摄像头实时采集的驾驶员的图像信息；
[0012]利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像。
[0013]可选的，所述基于深度学习的人脸识别算法为卷积神经网络算法，所述利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像包括：
[0014]利用卷积神经网络算法对采集的图像信息中的特征进行提取，并对卷积神经网络中不同的卷积层特征进行级连接操作，得到提取的特征图；
[0015]采用改进核函数的支持向量机分类算法对提取的特征图进行分类；
[0016]根据分类结果，从采集的图像信息中确定出驾驶员的脸部图像；
[0017]其中，所述改进核函数K(m,n)的表达式如下：
[0018][0019](m,n)表示经过卷积神经网络提取的特征点坐标，exp表示指数函数，δ表示标准方差；
[0020]所述采用改进核函数的支持向量机分类算法对提取的特征图进行分类，还包括采用以下函数约束优化问题计算极值，以对提取的特征图进行分类：
[0021][0022][0023][0024]其中L(a,b,c)为拉格朗日函数，(x
i
,y
i
)为分类超平面上的点坐标，a为分类超平面的法向量，b为位移项，c为拉格朗日乘子，T为转置符号。
[0025]可选的，所述眼睛识别模型为预先通过对预设第一数量的眼睛区域及非眼睛区域样本图像进行标注并训练得到的卷积神经网络模型；所述嘴巴识别模型为预先通过对预设第二数量的嘴巴区域及非嘴巴区域样本图像进行标注并训练得到的卷积神经网络模型；所述根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像，包括：
[0026]对所述脸部图像进行裁剪，将所述脸部图像归一化为预设第一尺寸大小；
[0027]利用预先训练的眼睛识别模型提取出裁剪后脸部图像中的眼睛图像特征，并采用激励函数进行分类识别得到脸部图像中的眼睛区域图像；
[0028]利用预先训练的嘴巴识别模型提取出裁剪后脸部图像中的嘴巴图像特征，并采用激励函数进行分类识别得到脸部图像中的嘴巴区域图像。
[0029]可选的，所述基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息，包括：
[0030]对所述眼睛区域图像进行裁剪，将所述眼睛区域图像归一化为预设第二尺寸大小；利用眼睛状态识别模型对剪裁后眼睛区域图像中的眼睛眨眼状态进行识别，并统计得到预设第一时间段内眼睛区域图像序列中的眨眼次数；其中，所述眼睛状态识别模型为预先通过对预设第三数量的眼睛眨眼状态样本图像及眼睛正常状态样本图像进行标注并训练得到的卷积神经网络模型；
[0031]对所述嘴巴区域图像进行裁剪，将所述嘴巴区域图像归一化为预设第三尺寸大小；利用嘴巴状态识别模型对剪裁后嘴巴区域图像中的打哈欠状态进行识别，并统计得到预设第二时间段内嘴巴区域图像序列中的打哈欠次数；其中，所述嘴巴状态识别模型为预
先通过对预设第四数量的嘴巴打哈欠状态样本图像及嘴巴正常状态样本图像进行标注并训练得到的卷积神经网络模型。
[0032]可选的，所述根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态，包括：
[0033]获取驾驶员在预设第三时间段内的眨眼次数及打哈欠次数；
[0034]根据驾驶员在预设第三时间段内的眨眼次数及打哈欠次数，计算出预设第三时间段内驾驶员的眨眼频率及打哈欠频率；
[0035]检测所述眨眼频率是否超过预设第一阈值，以及所述打哈欠频率是否超过预设第二阈值；
[0036]若是，则判断驾驶员处于疲劳状态。
[0037]可选的，在所述判断驾驶员处于疲劳状态之后，还包括：
[0038]播放预设语音警示信息，和/或，接入预设辅助驾驶系统以辅助控制车辆。
[0039]第二方面，本申请提供一种驾驶员疲劳检测系统，所述系统包括：
[0040]获取模块，用于获取驾驶员的脸部图像；
[0041]第一识别模块，用于根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；
[0042]第二识别模块，用于基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；
[0043]检测模块，用于根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。
[0044]第三方面，本申请提供的一种计算机设备，采用如下的技术方案：
[0045]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述驾驶员疲劳检测方法的步骤。
[0046]第四方面，本申请提供的一种计算机可读存储介质，采用如下的技术方案：
[0047]一种计算机可读存储介质，所述计算机可读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员疲劳检测方法，其特征在于，所述方法包括：获取驾驶员的脸部图像；根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像；基于所述眼睛区域图像、嘴巴区域图像通过图像序列分别识别出驾驶员眼睛、嘴巴的姿态相关信息；根据驾驶员眼睛、嘴巴的姿态相关信息，并基于预设规则检测驾驶员是否处于疲劳状态。2.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述获取驾驶员的脸部图像，包括：获取设置于驾驶室内的摄像头实时采集的驾驶员的图像信息；利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像。3.根据权利要求2所述的驾驶员疲劳检测方法，其特征在于，所述基于深度学习的人脸识别算法为卷积神经网络算法，所述利用基于深度学习的人脸识别算法对采集的图像信息进行识别，得到驾驶员的脸部图像包括：利用卷积神经网络算法对采集的图像信息中的特征进行提取，并对卷积神经网络中不同的卷积层特征进行级连接操作，得到提取的特征图；采用改进核函数的支持向量机分类算法对提取的特征图进行分类；根据分类结果，从采集的图像信息中确定出驾驶员的脸部图像；其中，所述改进核函数K(m,n)的表达式如下：(m,n)表示经过卷积神经网络提取的特征点坐标，exp表示指数函数，δ表示标准方差；所述采用改进核函数的支持向量机分类算法对提取的特征图进行分类，还包括采用以下函数约束优化问题计算极值，以对提取的特征图进行分类：下函数约束优化问题计算极值，以对提取的特征图进行分类：下函数约束优化问题计算极值，以对提取的特征图进行分类：其中L(a,b,c)为拉格朗日函数，(x
i
,y
i
)为分类超平面上的点坐标，a为分类超平面的法向量，b为位移项，c为拉格朗日乘子，T为转置符号。4.根据权利要求1所述的驾驶员疲劳检测方法，其特征在于，所述眼睛识别模型为预先通过对预设第一数量的眼睛区域及非眼睛区域样本图像进行标注并训练得到的卷积神经
网络模型；所述嘴巴识别模型为预先通过对预设第二数量的嘴巴区域及非嘴巴区域样本图像进行标注并训练得到的卷积神经网络模型；所述根据预先训练的眼睛识别模型识别出所述脸部图像中的眼睛区域图像，根据预先训练的嘴巴识别模型识别出所述脸部图像中的嘴巴区域图像，包括：对所述脸部图像进行裁剪，将所述脸部图像归一化为预设第一尺寸大小；利用预先训练的眼睛识别模型提取出裁剪后脸部图像中的眼睛图像特征，并采用激励函数进行分类识别得到脸部图像中的眼睛区域图像；利用预先训练的嘴巴识别模型提取出裁剪后脸部图像中的嘴巴图像特征，并采用...

【专利技术属性】
技术研发人员：章红，卢扬，胡天宇，韩精广，
申请(专利权)人：江汉大学，
类型：发明
国别省市：