【技术实现步骤摘要】
一种基于深度相机的疲劳驾驶预警系统及方法
[0001]本专利技术涉及驾驶监控预警
,具体涉及一种基于深度相机的疲劳驾驶预警系统及方法。
技术介绍
[0002]当前我国是汽车制造大国,汽车保有量居世界第二,不断增多的车辆带来的不仅是出行的便利,也带来了一系列的问题。其中,频繁发生的交通事故已经成为最重要的问题,每年发生的交通事故造成的司亡人数逐年递增,并且据美国国家公路交通安全管理局(NHTSA)的调查报告显示,在发生的事故中,由疲劳驾驶引起的交通事故占了很大的比例。
[0003]目前有不少研究人瞌睡/疲劳驾驶检测的技术,主要分为(1)测量人的生理信号,比如脑电、心电、皮肤电势灯,其主要缺点是需要身体接触;(2)测量物理反应,比如眨眼频率、眨眼持续时间、眼睛的运动、头部的运动等,没有身体接触,易于接受;(3)测量车辆和路面相关参数,比如速度、加速度、侧向位置、白线位置等,其缺点是测量的信息不可靠。
[0004]对于测量物理反应,近年来有关疲劳驾驶检测的算法也在不断推陈出新,刘瑞安等通过差分图像法进行头部检测,并通过内角提取算子获取内眼角的位置跟踪眼部状态达到眨眼检测;朱振华等利用红外敏感相机获得司机面部图像,通过可变性模板匹配的方法对眼睛进行定位,然后利用卡尔曼滤波的方法跟踪眼睛状态;程如中等提出一种基于Adaboost的人脸与眼睛检测定位算法,并通过Otsu算法分割眼部获取状态;游峰等提出一个基于卷积神经网络对驾驶员进行面部特征提取,并在最后一层网络进行疲劳判断的方法。但是其主要是根据普通相机获 ...
【技术保护点】
【技术特征摘要】
1.一种基于深度相机的疲劳驾驶预警系统,其特征在于:包括深度相机、人脸特征点定位模块、状态识别模块、驾驶状态预警模块;所述深度相机安装在驾驶员的前方,用于获取驾驶员的不戴眼睛、戴眼镜正面图像集合;人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数,通过红外图像预处理后识别面部,进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点;状态识别模块用于对人脸特征点定位模块提取的人脸进行分析,提取眼睛状态信息、嘴巴状态信息,获得眼睛状态、嘴巴状态的识别结果返回值;驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析,获得驾驶员的危险评估结果,若超出设定值,这进行危险状态预警。2.根据权利要求1所述的一种基于深度相机的疲劳驾驶预警系统,其特征在于:所述深度相机采用Intel Realsense深度摄像头。3.一种基于深度相机的疲劳驾驶预警方法,其特征在于:包括以下步骤:S1 获取红外图像与深度图像样本图像样本包括不戴眼睛的样本、戴眼镜的正面人脸图像样本、戴眼镜的侧面人脸图像样本;S2 获取人脸区域、人脸特征点集合通过红外图像预处理后识别面部,进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型,包括:S2.1 人脸区域检测,采用局部二值模式进行人脸检测;S2.2 获取不戴眼睛的人脸特征点;S2.3 获取戴眼镜时人脸特征点;S3 基于步骤S2中获取的人脸特征点集合,经计算获得其对应的分类状态:S3.1 获得戴眼镜和不戴眼镜的情况下的正面眼部状态,计算眼睛宽和高的比值,在获得实时的面部特征点后,基于特征点的眨眼检测方法计算眼睛的高宽比,在人脸的68个特征点中,每个眼部有6个特征点,且在睁眼与闭眼时处在不同的状态,通过计算眼睛宽和高的比值计算眼睛状态,闭眼时眼睛宽和高的比值会发生明显的波动,找出阈值,判断眨眼与否;S3.2 计算嘴部的高宽比,计算出嘴部的状态在获得实时的面部特征点后,根据特征点获得嘴部状态,计算出嘴部的宽、嘴部的高,并根据嘴部的高宽比计算出嘴部的状态;S4 疲劳驾驶评估S4.1 眼部状态评估PERCLOS指的是眼睛在一段时间内闭合状态占总时间的比值,眼睑遮住瞳孔80%以上,认为是闭眼;S4.2 嘴巴状态判断即当嘴部的高宽比大于24%时,认为嘴巴是张开状态,若嘴巴张开持续达1.5s,则记为一次哈欠;
S4.3 综合疲劳状态判断取30分钟为一个时间区段,计算该时间段内的有效帧的眼部PERCLOS值,统计该时间段内的哈欠次数,超过60次PEICLOS值+10%,融合哈欠后的综合PERCLOS值为如下:其中EYE
perclos
为左右眼PERCLOS值的均值,yawn为一个计时区间内的哈欠次数,若在该时间段内综合PERCLOS值...
【专利技术属性】
技术研发人员:张维忠,李金宝,李广文,
申请(专利权)人:青岛点之云智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。