【技术实现步骤摘要】
驾驶员疲劳检测系统及其疲劳检测方法
本专利技术涉及汽车领域,特别是涉及一种基于深度学习和信息融合的驾驶员疲劳检测系统。本专利技术还涉及一种基于深度学习和信息融合的疲劳检测方法。
技术介绍
根据国内外的研究表明,疲劳驾驶是发生重大事故的三大原因之一:疲劳驾驶引发的交通事故占比高达40%以上,其次为酒后驾车、车辆故障、违反交通法规等。驾驶疲劳是指驾驶员在驾驶车辆时由于种种原因产生的生理机能或者心理机能的失调(即在生理或心理上产生疲劳),从而使驾驶员对周边环境的感知能力减弱以及对车辆的操纵能力下降,偏离正常的驾驶行为。因此,如何主动针对驾驶员的状态进行监测,并有效的提供驾驶疲劳预警,是一个亟待解决的交通安全问题。现在对驾驶员的实时疲劳检测技术,主要采用接触式的设备,检测驾驶员的生理信号,其优点是精确,但对驾驶员驾驶操作不够友好,或者采用车辆信息进行判断,其优点是不会对驾驶员造成影响,但是精确度不高,滞后严重。因此,急需一种功能全面,安全高效的对驾驶员疲劳检测的技术。
技术实现思路
本专利技术要解决的技术问题是提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息,判断驾驶员疲劳程度的驾驶员疲劳检测系统。本专利技术还提供一种基于深度学习和信息融合在光照、驾驶员姿态变化等复杂条件下均能精确获取驾驶员的面部信息,判断驾驶员疲劳程度的驾驶员疲劳检测方法。为解决上述技术问题,本专利技术提供的驾驶员疲劳检测系统,包括:图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块;图像预处理模块, ...
【技术保护点】
1.一种驾驶员疲劳检测系统,其特征在于,包括:图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块;图像预处理模块,将图像处理为预设格式;面部以及面部特征点检测模块,采用第一卷积神经网络检测获得面部区域和面部特征点;面部区域调整归一化模块,根据人脸特征点形成面部位置框,利用面部位置框裁剪面部区域,将裁剪后的面部区域归一化处理;面部特征提取网络模块,采用第二卷积神经网络在归一化后的图像中获取面部特征,并获取各面部特征的置信度;疲劳程度及疲劳状态判断模块,根据疲劳判断规则获取当前图像疲劳程度,根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。
【技术特征摘要】
1.一种驾驶员疲劳检测系统,其特征在于,包括:图像预处理模块、面部以及面部特征点检测模块、面部区域调整归一化模块、面部特征提取网络模块和疲劳程度判断模块;图像预处理模块,将图像处理为预设格式;面部以及面部特征点检测模块,采用第一卷积神经网络检测获得面部区域和面部特征点;面部区域调整归一化模块,根据人脸特征点形成面部位置框,利用面部位置框裁剪面部区域,将裁剪后的面部区域归一化处理;面部特征提取网络模块,采用第二卷积神经网络在归一化后的图像中获取面部特征,并获取各面部特征的置信度;疲劳程度及疲劳状态判断模块,根据疲劳判断规则获取当前图像疲劳程度,根据前图像疲劳程度利用PERCLOS算法获得驾驶员疲劳状态。2.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述预设格式为单通道灰度图像,图像分辨率大于640×480。3.如权利要求2所述驾驶员疲劳检测系统,其特征在于:所述灰度转化公式为,Gray=0.299R+0.587G+0.114B。4.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述第一卷积神经网络是多级级联卷积神经网络MTCNN。5.如权利要求4所述驾驶员疲劳检测系统,其特征在于:使多级级联卷积神经网络MTCNN输出的所有面部特征点位于面部区域内形成面部位置框,再通过面部位置框对面部区域形象裁剪。6.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述归一化是将图像转换分辨率为96×96的图像。7.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述第二卷积神经网络采用MobileNetV2网络结构,损失函数由分类损失和回归损失构成,多标签分类损失采用的是Sigmoid交叉熵损失函数,公式为:回归损失采用的是L2损失函数,公式为:L2(x)=∑(Yi-p(xi))2,训练过程的学习率设置为0.05,最大迭代次数为100000。8.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述面部特征包括:左右眼睁闭状态,嘴部的张闭状态以及驾驶员头部位姿。9.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述疲劳判读规则包括:根据左右眼闭眼状态置信度,张嘴状态置信度以及头部位姿的Pitch值利用加权融合算法获得驾驶员所当前帧下的疲劳程度置信度,前帧下疲劳程度置信度大于第一阈值的则当前帧为疲劳。10.如权利要求9所述驾驶员疲劳检测系统,其特征在于:所述加权融合算法公式如下;低头置信度为Pitch为低头的角度值。11.如权利要求9所述驾驶员疲劳检测系统,其特征在于:所述第一阈值为0.5-0.9。12.如权利要求1所述驾驶员疲劳检测系统,其特征在于:所述PERCLOS算法是单位时间内驾驶员眼睛闭合时间所占的比例,计算公式为:PERCLOS=单位时间闭眼帧数/单位时间总帧数,当比值大于第二阈值的时候,驾驶员处于疲劳状态。13.如权利要求12所述驾驶员疲劳检测系统,其特征在于:所述单位时间为30秒~180秒。14.如权利要求12所述驾驶员疲劳检测系统,其特征在于:所述第二阈值为0.3-0.5...
【专利技术属性】
技术研发人员:谢鹏,陈刚,李祥,危刚,
申请(专利权)人:联创汽车电子有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。