一种基于深度相机的疲劳驾驶预警系统及方法技术方案

本发明专利技术涉及一种基于深度相机的疲劳驾驶预警系统及方法，包括深度相机、特征点定位模块、状态识别模块、驾驶状态预警模块；通过获取红外图像与深度图像样本，获取人脸区域、人脸特征点集合，基于步骤S2中获取的人脸特征点集合，经计算获得其对应的分类状态，疲劳状态评估。本发明专利技术针对夜间识别特征提取问题，采用了深度相机，利用其获取红外图像与深度图像，通过正面人脸特征点的眼睛长宽比或侧面人脸特征点的上下眼睑间距，来判断眼睛状态，通过眼睛状态和嘴巴状态综合评估疲劳状态，能够满足实时检测的需要，对疲劳检测预警具有实用价值。值。值。

【技术实现步骤摘要】
一种基于深度相机的疲劳驾驶预警系统及方法


[0001]本专利技术涉及驾驶监控预警
，具体涉及一种基于深度相机的疲劳驾驶预警系统及方法。

技术介绍

[0002]当前我国是汽车制造大国，汽车保有量居世界第二，不断增多的车辆带来的不仅是出行的便利，也带来了一系列的问题。其中，频繁发生的交通事故已经成为最重要的问题，每年发生的交通事故造成的司亡人数逐年递增，并且据美国国家公路交通安全管理局(NHTSA)的调查报告显示，在发生的事故中，由疲劳驾驶引起的交通事故占了很大的比例。
[0003]目前有不少研究人瞌睡/疲劳驾驶检测的技术，主要分为(1)测量人的生理信号，比如脑电、心电、皮肤电势灯，其主要缺点是需要身体接触；(2)测量物理反应，比如眨眼频率、眨眼持续时间、眼睛的运动、头部的运动等，没有身体接触，易于接受；(3)测量车辆和路面相关参数，比如速度、加速度、侧向位置、白线位置等，其缺点是测量的信息不可靠。
[0004]对于测量物理反应，近年来有关疲劳驾驶检测的算法也在不断推陈出新，刘瑞安等通过差分图像法进行头部检测，并通过内角提取算子获取内眼角的位置跟踪眼部状态达到眨眼检测；朱振华等利用红外敏感相机获得司机面部图像，通过可变性模板匹配的方法对眼睛进行定位，然后利用卡尔曼滤波的方法跟踪眼睛状态；程如中等提出一种基于Adaboost的人脸与眼睛检测定位算法，并通过Otsu算法分割眼部获取状态；游峰等提出一个基于卷积神经网络对驾驶员进行面部特征提取，并在最后一层网络进行疲劳判断的方法。但是其主要是根据普通相机获取的图像进行分析，受到车内光线影响较大，在隧道内或者夜晚光线暗的情况下，不适合使用。且戴眼镜的驾驶员较多，戴眼镜，会影响对眼部关键点的分析。

技术实现思路

[0005]为克服所述不足，本专利技术的目的在于提供一种基于深度相机的疲劳驾驶预警系统及方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于深度相机的疲劳驾驶预警系统，包括深度相机、人脸特征点定位模块、状态识别模块、驾驶状态预警模块；
[0007]所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼睛、戴眼镜正面图像集合；
[0008]人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数，通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点；
[0009]状态识别模块用于对人脸特征点定位模块提取的人脸进行分析，提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别结果返回值；
[0010]驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾驶员的危险评估
结果，若超出设定值，这进行危险状态预警。
[0011]所述深度相机采用Intel Realsense深度摄像头。
[0012]一种基于深度相机的疲劳驾驶预警方法，包括以下步骤：
[0013]S1获取红外图像与深度图像样本
[0014]图像样本包括不戴眼睛的样本、戴眼镜的正面人脸图像样本、戴眼镜的侧面人脸图像样本；
[0015]S2获取人脸区域、人脸特征点集合，通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点，具体包括以下方法：
[0016]S2.1人脸区域检测
[0017]采用局部二值模式进行人脸检测；
[0018]S2.2获取不戴眼睛的人脸特征点
[0019]在获得人脸区域后，包括正面脸部区域和侧面脸部区域，使用Ren Shaoqing提出的随机森林和全局线性回归相结合的方法，进行人脸标定获取特征点，有较高的准确率和实时性。
[0020]S2.3获取戴眼镜时，人脸特征点
[0021]由于是否佩戴眼镜会对眼睛宽和高的比值阈值产生影响，因佩戴眼镜使图像中的人眼特征点拟合产生了影响，在S2.1、S2.2的基础上加入戴眼镜检测来对应相应的阈值，戴眼镜的人脸特征点检测的具体算法如下：
[0022]S2.3.1对获得的红外图像进行预处理，使用均值滤波平滑图像；
[0023]S2.3.2使用sobel算子，进行图像Y方向的边缘检测；
[0024]S2.3.3对边缘检测后的面部图像，进行二值化处理；
[0025]S2.3.4利用S2.2中求得的面部特征点，计算出两眼的中间坐标与鼻部特征点的距离、眼睛的内角点，以此来分割出眼镜中间ROI区域，分割出的ROI戴眼镜与不戴眼镜的情况；
[0026]S2.3.5在分割的ROI区域，求眼镜边缘占ROI的百分比，即白色像素所占比值，经长时间的实验分析，比值超10％时为戴眼镜情况；
[0027]S3基于步骤S2中获取的人脸特征点集合，经计算获得其对应的分类状态：
[0028]S3.1获得戴眼镜和不戴眼镜的情况下的正面眼部状态，计算眼睛高宽比
[0029]在获得实时的面部特征点后，基于特征点的眨眼检测方法计算眼睛的高宽比，在人脸的68个特征点中，每个眼部有6个特征点，且在睁眼与闭眼时处在不同的状态，通过计算眼睛宽和高的比值计算眼睛状态，闭眼时眼睛宽和高的比值会发生明显的波动，可以方便的找出阈值，判断眨眼与否，且符合实时检测的要求，精准度的高；
[0030]S3.2计算嘴部的高宽比，计算出嘴部的状态
[0031]在获得实时的面部特征点后，根据特征点获得嘴部状态，计算出嘴部的宽，嘴部的高，并根据嘴部的高宽比计算出嘴部的状态；
[0032]S4疲劳驾驶评估
[0033]S4.1眼部状态评估
[0034]PERCLOS指数是美国卡内基梅陇研究在进行了大量的实验后提出的一种衡量驾驶
员疲劳状态的物理量，是美国国家公路安全局(NHTSH)唯一认可的检测疲劳的方法，PERCLOS指的是眼睛在一段时间内闭合状态占总时间的比值，其有三种测量标准：P70,P80,EM，分别为眼睑遮住瞳孔70％，80％，50％时判定闭眼，在实际的使用中，我们使用P80标准，即眼睑遮住瞳孔80％以上，认为是闭眼；
[0035]S4.2嘴巴状态判断
[0036]即当嘴部的高宽比大于24％时，认为嘴巴是张开状态，若嘴巴张开持续达1.5s，则记为一次哈欠；
[0037]S4.3综合疲劳状态判断
[0038]其眼部PERCLOS指数计算方法，方法如下：
[0039][0040]其中frame
wink
为闭眼帧数，frame
sum
为总时间帧数，取30分钟为一个时间区段，计算该时间段内的有效帧的眼部PERCLOS值，统计该时间段内的哈欠次数，超过60次PEICLOS值+10％，融合哈欠后的综合PERCLOS值为如下：
[0041][0042]其中EYE
perclos
为左右眼PERCLOS值的均值，yawn为一个计时区间内的哈欠次数，若在该时间段内综合PERCLOS值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的疲劳驾驶预警系统，其特征在于：包括深度相机、人脸特征点定位模块、状态识别模块、驾驶状态预警模块；所述深度相机安装在驾驶员的前方，用于获取驾驶员的不戴眼睛、戴眼镜正面图像集合；人脸特征点定位模块提取深度相机的每帧图像的视觉特征参数，通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型获取人脸特征点；状态识别模块用于对人脸特征点定位模块提取的人脸进行分析，提取眼睛状态信息、嘴巴状态信息，获得眼睛状态、嘴巴状态的识别结果返回值；驾驶状态预警模块对眼睛状态和嘴巴状态进行综合分析，获得驾驶员的危险评估结果，若超出设定值，这进行危险状态预警。2.根据权利要求1所述的一种基于深度相机的疲劳驾驶预警系统，其特征在于：所述深度相机采用Intel Realsense深度摄像头。3.一种基于深度相机的疲劳驾驶预警方法，其特征在于：包括以下步骤：S1 获取红外图像与深度图像样本图像样本包括不戴眼睛的样本、戴眼镜的正面人脸图像样本、戴眼镜的侧面人脸图像样本；S2 获取人脸区域、人脸特征点集合通过红外图像预处理后识别面部，进而使用随机森林和全局线性回归相结合的方法训练出的LBF特征模型，包括：S2.1 人脸区域检测,采用局部二值模式进行人脸检测；S2.2 获取不戴眼睛的人脸特征点；S2.3 获取戴眼镜时人脸特征点；S3 基于步骤S2中获取的人脸特征点集合，经计算获得其对应的分类状态：S3.1 获得戴眼镜和不戴眼镜的情况下的正面眼部状态，计算眼睛宽和高的比值,在获得实时的面部特征点后，基于特征点的眨眼检测方法计算眼睛的高宽比，在人脸的68个特征点中，每个眼部有6个特征点，且在睁眼与闭眼时处在不同的状态，通过计算眼睛宽和高的比值计算眼睛状态，闭眼时眼睛宽和高的比值会发生明显的波动，找出阈值，判断眨眼与否；S3.2 计算嘴部的高宽比，计算出嘴部的状态在获得实时的面部特征点后，根据特征点获得嘴部状态，计算出嘴部的宽、嘴部的高，并根据嘴部的高宽比计算出嘴部的状态；S4 疲劳驾驶评估S4.1 眼部状态评估PERCLOS指的是眼睛在一段时间内闭合状态占总时间的比值，眼睑遮住瞳孔80％以上，认为是闭眼；S4.2 嘴巴状态判断即当嘴部的高宽比大于24％时，认为嘴巴是张开状态，若嘴巴张开持续达1.5s，则记为一次哈欠；
S4.3 综合疲劳状态判断取30分钟为一个时间区段，计算该时间段内的有效帧的眼部PERCLOS值，统计该时间段内的哈欠次数，超过60次PEICLOS值+10％，融合哈欠后的综合PERCLOS值为如下：其中EYE
perclos
为左右眼PERCLOS值的均值，yawn为一个计时区间内的哈欠次数，若在该时间段内综合PERCLOS值...

【专利技术属性】
技术研发人员：张维忠，李金宝，李广文，
申请(专利权)人：青岛点之云智能科技有限公司，
类型：发明
国别省市：