一种面向特种车辆的驾驶员疲劳检测方法技术

本发明专利技术公开了一种面向特种车辆的驾驶员疲劳检测方法，该方法实现对驾驶员疲劳状态的预警和识别，包括：利用异常事件的响应周期构建行为响应时间预测模型，预估下一异常事件的响应周期，实现对疲劳状态的预警；利用人脸属性识别模型识别驾驶员面部脸部和嘴部区域的遮挡情况，根据识别结果执行相应的识别方法，实现对疲劳状态的识别。本发明专利技术能够提前疲劳事件的检测时间窗口，在早期实现对驾驶员的疲劳状态做出预警，同时能够针对穿戴特殊装备的驾驶员进行疲劳检测，从而降低事故发生率。从而降低事故发生率。从而降低事故发生率。

【技术实现步骤摘要】
一种面向特种车辆的驾驶员疲劳检测方法


[0001]本专利技术涉及汽车安全驾驶领域，具体涉及一种面向特种车辆的驾驶员疲劳检测方法。

技术介绍

[0002]疲劳驾驶会影响行车安全，是引起车辆交通事故的主要原因之一。驾驶员由于长时间行车或未充分休息下都会形成疲劳状态，在此状态下身体反应能力会降低，对车辆的控制能力减弱，直观表现为驾驶员出现注意力不集中，无法准确判断并处理突发的异常状况，这会产生驾驶隐患，危害交通安全。
[0003]驾驶员的疲劳检测技术主要围绕接触式和非接触式两大类进行研究，接触式需要驾驶员额外佩戴传感设备来获取生理数据，通过分析采集到的诸如心率、血氧浓度、脉搏、呼吸频率、肌电、脑电波等参数来判断驾驶员的疲劳状态。非接触式主要通过摄像头采集驾驶员图像分析行为特征或者统计车辆行驶信息来判断驾驶员的疲劳状态，其中行为特征主要利用驾驶员面部图像来判断闭眼、打哈欠等行为，车辆行驶信息主要包括行驶速度、刹车踏板踩踏力度、方向盘握力、行车总累积时长等。一般而言，接触式类技术的检测准确率高于非接触类技术，但是该类技术所需要的生理数据采集设备价格普遍较高，且会影响驾驶员的驾驶习惯，因此并不适合实际应用。
[0004]目前由于车辆行驶信息较难获取得到，普通车辆中使用最为广泛的是基于驾驶员面部图像特征的非接触式疲劳检测方法，将驾驶员闭眼和打哈欠的行为作为疲劳最关键的指标被纳入到疲劳检测中。但是该方法存在明显的短板，尤其面向特种车辆时，一方面特种车辆由于其自身的特殊性，驾驶员需佩戴头盔、面罩等装备，导致驾驶员的面部被大幅度遮挡，无法获取到眼部、嘴部特征。另一方面，打哈欠的行为已经是处于较为深度的疲劳状态，无法满足特种车辆的应用场景，因此需要提前对特种车辆驾驶员的疲劳检测时间窗口，对疲劳状态进行预警。当前针对疲劳预警主要采用累积驾驶时长判断，但是路况、驾驶员的个体差异和精神状态对疲劳的时间长短不一，容易造成误报情况。

技术实现思路

[0005]鉴于上述现有技术存在的不足，本专利技术的目的在于提出一种面向特种车辆的驾驶员疲劳检测方法及装置，实现对特种车辆驾驶员的疲劳预警和检测。
[0006]第一方面，本专利技术实施例提供一种驾驶员疲劳预警方法，包括：
[0007]检测车辆行驶过程中的异常事件，并将至此异常事件消失的整个过程记录为一个时间周期；
[0008]根据所述记录的时间周期构建行为响应时间预测模型；
[0009]根据所述行为响应模型预测下个异常事件的响应时间，确定当前驾驶员的疲劳状态，进行语音提醒；
[0010]根据所述预测下个异常事件的响应时间与实际下个异常事件的响应时间的差异
更新行为响应时间预测模型。
[0011]可选的，本实施例中，所述的检测车辆行驶过程中的异常事件，并将至此异常事件消失的整个过程记录为一个时间周期，包括以下步骤：
[0012]根据预先训练的基于深度学习的异常事件检测模型实时进行异常事件检测，同时记录异常事件检测模型的工作时长；
[0013]检测到异常事件后开始计时，检测到异常事件消失后结束计时，两者时间差值组成一个响应时间周期；
[0014]重复记录异常事件的响应时间周期，直至达到预设数量或者异常事件检测模型的工作时长满足预设时长。
[0015]可选的，本实施例中，所述的根据所述记录的时间周期构建行为响应时间预测模型，包括以下步骤：
[0016]将记录的多个异常事件响应周期生成驾驶员响应周期表；
[0017]利用密度聚类算法对驾驶员响应周期表内数据进行聚类，提取最多簇的最大边界作为疲劳预警阈值；
[0018]利用神经网络拟合驾驶员响应周期表，构建行为响应时间预测模型。
[0019]可选的，本实施例中，所述的根据所述行为响应时间预测模型预测下个异常事件的响应时间，确定当前驾驶员的疲劳状态，包括以下步骤：
[0020]根据所述得到的行为响应时间预测模型预测下一异常事件的响应时间周期；
[0021]根据所述预测得到的下一异常事件响应时间与疲劳预警阈值的关系判断驾驶员的疲劳状态；
[0022]根据所述的驾驶员疲劳状态触发语音提醒。
[0023]可选的，本实施例中，所述的根据所述预测下个异常事件的响应时间与实际下个异常事件的响应时间的差异更新行为响应时间预测模型，包括以下步骤：
[0024]获取下个异常事件的实际响应时间；
[0025]判断预测得到的异常事件响应时间与实际响应时间差值；
[0026]若差值大于预设阈值，将该实际响应时间加入驾驶员响应周期表内，更新行为响应时间预测模型。
[0027]第二方面，本专利技术实施例提供一种驾驶员疲劳识别方法，包括：
[0028]获取驾驶员的面部图像、姿态图像和语音；
[0029]根据所述驾驶员面部图像，利用面部属性模型检测人脸属性；
[0030]根据所述检测的人脸属性结果，执行相应的驾驶员疲劳识别方法；
[0031]根据所述识别结果进行疲劳提醒。
[0032]可选的，本实施例中，所述的获取驾驶员的面部图像、姿态图像和语音，包括以下步骤：
[0033]利用正面摄像头获取每帧视频的驾驶员面部图像；
[0034]利用侧面摄像头获取驾驶员时序姿态图像；
[0035]利用语音传感模块获取驾驶员的声音信息。
[0036]可选的，本实施例中，所述的根据所述驾驶员面部图像，利用面部属性模型检测人脸属性，包括以下步骤：
[0037]根据预先训练的基于深度学习的人脸属性模型进行是否遮挡嘴部眼部的人脸的属性识别；
[0038]可选的，本实施例中，所述的根据所述人脸属性结果，将分别利用不同的疲劳识别模型进行识别，包括以下步骤：
[0039]根据所述人脸属性识别结果，执行相应的驾驶员疲劳识别方法，具体如下：
[0040]若无遮挡嘴部眼部利用人脸关键点检测模型检测眼部嘴部关键点，再利用分类模型对关键点区域进行睁闭眼和睁闭嘴的识别，通过统计预设时间段内的闭眼次数和张嘴次数判定驾驶员是否疲劳；
[0041]若遮挡眼部未遮挡嘴部，利用人脸关键点检测模型检测嘴部关键点，再利用分类模型进行睁闭嘴识别，通过统计张嘴持续时间和语音识别模型综合判定驾驶员是否疲劳；
[0042]若遮挡嘴部未遮挡眼部，利用人脸关键点检测模型检测眼部关键点，再利用分类模型进行睁闭眼识别，通过统计闭眼持续时间判定驾驶员是否疲劳；
[0043]若遮挡嘴部眼部，利用驾驶员行为识别模型进行驾驶员行为识别，通过头部、手部动作判定驾驶员是否疲劳。
[0044]可选的，本实施例中，所述的根据所述识别结果进行疲劳提醒，具体如下：
[0045]根据识别结果进行疲劳判断；
[0046]判断为疲劳状态则进行声光提醒。
[0047]第三方面，本专利技术实施例提供一种驾驶员疲劳检测装置，包括：
[0048]传感模块；处理模块；提醒模块。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向特种车辆的驾驶员疲劳检测方法，其特征在于包括：A)进行驾驶员疲劳预警；B)进行驾驶员疲劳识别，其中：所述的步骤A包括：A1)获取前方道路图像和车身周围环境图像，包括利用安装在驾驶室挡风玻璃上侧中部位置处的摄像头采集前方道路图像，利用安装在车身左侧、右侧和尾部的摄像头采集周围环境图像；A2)根据基于深度学习预先训练好的异常事件检测模型进行异常事件的检测，包括：构建异常事件检测模型，完成对障碍物、车道偏移等异常事件的检测；记录异常事件检测模型工作时长；A3)循环记录异常事件处理响应时间周期，包括：从检测到异常事件至异常事件结束记为一个异常事件处理响应时间周期T
AEC
；循环记录异常事件处理响应时间周期满足其数量达到预设值N
AEC
或异常事件检测模型持续工作达到阈值T
AEW
。；A4)生成驾驶员响应周期表并构建行为响应时间预测模型和得到疲劳预警阈值，包括：生成驾驶员响应周期表S
AE
；根据所述驾驶员响应周期表，利用BP反向传播神经网络构建行为响应时间预测模型，表示为：其中，BP神经网络采用三层模型，x
i
为网络输入，O
k
为网络输出，g(x)为激励函数，w
ij
为输入层到隐含层权重，w
jk
为隐含层到输出层权重，a
j
为输入层到隐含层偏置，b
k
为隐含层到输出层偏置，l为隐含层节点数，n为输入层节点数，i为输入层节点标号，j为隐含层节点标号；利用密度聚类算法DBSCAN对该表进行聚类，以数量最多簇的最大边界作为疲劳预警阈值Th：A5)预测下一异常事件响应周期，并进行疲劳预警，包括：根据行为响应时间预测模型估计下一异常事件响应周期T
AEP
；与疲劳预警阈值Th进行比较来进行疲劳预警，表示为：|T
AEP
‑
Th|＞ξ其中，ξ为一个临界波动值，超过该值时认为驾驶员即将疲劳，进行语音提醒；A6)更新行为响应时间预测模型，包括：检测得到下一异常事件处理响应时间周期T
AER
；判断与预测得到的异常事件响应周期T
AEP
的差值与预设差异阈值Td的关系，表示为：|T
AER
‑
T
AEP
|＜Td其中，若T
AER
与T
AEP
的差值大于Td，则认为行为响应时间预测模型预测有误，将T
AER
加入到驾驶员响应周期表S
AE
，更新行为响应时间预测模型，所述步骤B包括：
B1)获取驾驶员的面部图像、姿态图像和语音信息，包括：利用安装在驾驶室内正前方摄像头实时采集驾驶员面部图像；利用安装在驾驶室内侧方摄像头获取驾驶员时序姿态图像；利用安装在驾驶员正上方的语音采集器获取驾驶员的语音信息，B2)根据预先训练的基于深度学习的人脸属性识别模型进行人脸属性的识别，包括：基于深度学习构建人脸属性识别模型，评价指标表示为：其中，L为属性的数量，N为样本数量，i为属性标号，TP
i
和TN
i
分别为正确分类的正样本和负样本数量，P
i
和N
i
分别为正负样本的总数量；完成对驾驶员是否遮挡嘴部和眼部的属性识...

【专利技术属性】
技术研发人员：胡海苗，叶灵枫，龚轩，李明竹，郑彪，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：