一种融合时空特征的疲劳驾驶检测方法技术

本发明专利技术涉及一种融合时空特征的疲劳驾驶检测方法，属于疲劳驾驶领域。针对现有的疲劳驾驶检测方法忽略疲劳的时间特征，难以检测疲劳的动态和关键特征，使得疲劳检测的准确性不高等问题，提出了一种融合空间特征和时间特征的疲劳驾驶检测方法。首先将目标驾驶视频采用多任务卷积神经网络进行人脸检测，提取驾驶员全局人脸的深层疲劳空间特征，然后采用LSTM

【技术实现步骤摘要】
一种融合时空特征的疲劳驾驶检测方法


[0001]本专利技术属于疲劳驾驶领域，涉及一种融合时空特征的疲劳驾驶检测方法。

技术介绍

[0002]疲劳驾驶是造成交通事故的主要原因之一，如果在驾驶员行车疲劳时，及时给予提醒，将很大程度上减少甚至避免交通事故的发生，因此疲劳驾驶的检测至关重要。目前疲劳驾驶检测方法主要有以下三种：基于驾驶员生理状态检测、车辆行驶状态检测、驾驶员面部特征检测。其中生理状态检测通过检测驾驶员心电图(ECG)，脑电图(EEG)等信号判断疲劳，这些信号可以直接反映驾驶员的身体和精神状况，从而达到最准确的预测，但需要佩戴相关仪器，难以在现实中应用；车辆状态检测通过观察车辆轨迹，方向盘转角，加速度等，但受道路状况以及天气影响较大，准确性低。所以基于驾驶员面部特征的疲劳驾驶检测由于其不需要佩戴相关仪器，不具侵入性，和准确性较高的原因，成为目前研究的主流。面部特征的疲劳驾驶检测主要通过检测闭眼、打哈欠和瞌睡点头等行为来判断是否疲劳。郑伟成等人通过卷积神经网络CNN提取人眼特征以及嘴部特征，再利用PERCLOS(单位时间内人眼闭合比率)，F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时空特征的疲劳驾驶检测方法，其特征在于：该方法包括以下步骤：S1：输入驾驶视频；S2：进行人脸检测；S3：Drowsy
‑
CNN网络提取人脸面部空间特征；S4：LSTM
‑
FCN提取时间特征；S5：Softmax分类判断是否疲劳。2.根据权利要求1所述的一种融合时空特征的疲劳驾驶检测方法，其特征在于：所述S1包括以下的步骤：将输入的驾驶员面部视频进行分割，每个视频里面混合疲劳和不疲劳的状态，每个视频将按照对应的疲劳标签进行切割，保证每个视频只有疲劳或不疲劳一种状态，将切分后的视频随选划分为训练集和测试集，训练集占比80％，测试集占比20％。3.根据权利要求2所述的一种融合时空特征的疲劳驾驶检测方法，其特征在于：所述S2包括以下的步骤：S2
‑
1：采用多任务卷积神经网络MTCNN将步骤S1
‑
1中切分好的视频进行人脸检测，提取人脸区域；将检测出来的人脸区域扩充40个像素点，最终得到分辨率为160
×
160的人脸面部区域视频帧序列图像；S2
‑
2：将提取到的人脸视频帧序列图像转换为numpy数组，保存在npy文件中。4.根据权利要求3所述的一种融合时空特征的疲劳驾驶检测方法，其特征在于：所述S3包括以下的步骤：S3
‑
1：将步骤S2中提取的人脸视频帧序列送入到Drowsy
‑
CNN网络中训练，提取驾驶员面部空间疲劳特征；Drowsy
‑
CNN网络是以Xception网络为基础神经网络模型，融合nonlocal注意力机制的网络模型；S3
‑
2：计算nonlocal自注意力模块，其计算公式为：其中x
i
和x
j
分别表示输入的视频帧中某个时空位置，f(x
i
,x
j
)为相似性度量函数，采用Embedded Gaussian函数来计算相似度，其计算公式为：其中θ和函数分别表示对x
i
和x
j
做线性变换，即卷积操作，相似性度量函数对应的归一化函数C(...

【专利技术属性】
技术研发人员：刘伯红，谢小金，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：