A real-time driver fatigue warning system based on multi-source information fusion, through the infrared camera real-time video on the driver's face, facial image median filtering, histogram equalization preprocessing; after positioning, human initial frame mouth initial frame, and real-time tracking, were analyzed using OSTU algorithm of eye state and the mouth, eyes and mouth state were analyzed according to the degree of fatigue in different grades when necessary through the wireless transmission device activates the alarm system, alarm; the invention is generally less computation, fast transmission speed, high precision, fast response and other advantages, the application scope is more practical and more widely.
【技术实现步骤摘要】
一种基于多源信息融合的实时驾驶员疲劳预警系统
本专利技术涉及驾驶员疲劳预警
,尤其涉及一种基于多源信息融合的实时驾驶员疲劳预警系统。
技术介绍
根据交通事故年鉴:疲劳驾驶经常导致严重的交通事故,其中有17%致命的交通事故是疲劳驾驶引起的,然而在事故真正发生前司机一般不会意识到自己在疲劳驾驶。快速、准确的人眼及嘴巴定位及跟踪算法可以提高疲劳驾驶状态的检测速度,对减少交通事故的发生具有重要意义。疲劳检测系统通过实时分析驾驶员疲劳状态,根据量化的疲劳程度不同等级在必要时发出相应的预警信息。可以有效避免车祸的发生,因此具有很重要的研究意义。传统的Kalman滤波和Meanshift相结合的算法能够跟踪目标,在目标快速运动和严重遮挡情况下常常跟踪失败,同时算法消耗的时间代价也是不能忽略的,达不到实时性的要求。现有技术中灰度投影对人脸配戴眼镜、姿态变化敏感,以及模板匹配算法虽精度较高,但计算量过大,程序繁琐,十分不便。传统的模板匹配是对整幅图像与目标图像相同位置的像素灰度值或颜色值进行比较,该方法存在计算的复杂度高,对目标的旋转比较敏感,干扰因素较多的问题。
技术实现思路
为了克服现有技术的不足,本专利技术提供一种基于多源信息融合的实时驾驶员疲劳预警系统,以预防驾驶员疲劳驾驶为目标,系统无论在夜晚还是白天,全天候工作,实时对司机的疲劳状态作出准确的分析,具有总体运算量小、传输速率快、探测精度高、反应速度快等优点,实用性更强、应用范围更广的特点。为了实现上述目的,本专利技术通过以下技术方案实现:一种基于多源信息融合的实时驾驶员疲劳预警系统,包括以下步骤:Step1、通 ...
【技术保护点】
一种基于多源信息融合的实时驾驶员疲劳预警系统,其特征在于,包括以下步骤:Step 1、通过红外摄像头实时获取的驾驶员面部视频,通过视频采集模块将视频转化为图像序列传给控制器;Step2、控制器采用图像网络分析算法实现人脸检测,首先对采集的面部图像进行中值滤波、直方图均衡化预处理;对预处理后的图像二值化,对所得图像采用10×10的网格进行分块处理;统计每个小方块的黑色像素在图像中的比例,设定适用于大多数的人脸判别方式的合适比例P,P≤0.2,将满足面部检测要求的小方块提取出来组成新的图像,找到人脸面积最大的联通区域,检测出人脸区域;组成人脸区域的几何结构特征;Step3、人眼初始帧的定位:将灰度积分投影曲线与人脸区域的几何结构特征相结合,排除嘴巴和背景的干扰,对检测到的人脸图像实现较为准确的眉眼粗定位;采用模板匹配的方法在定位出的眉眼区域内逐点平移参考模板,遍历眉眼区域图像内的每个像素,找出并确定与参考模板最相似的位置,实现对眼睛在眉眼区域的定位;所述的灰度积分投影曲线是对检测出的人脸图像分别进行水平和垂直方向的投影所得到两个方向上的像素灰度的累加值曲线,根据曲线中波峰波谷的分布及人脸面 ...
【技术特征摘要】
1.一种基于多源信息融合的实时驾驶员疲劳预警系统,其特征在于,包括以下步骤:Step1、通过红外摄像头实时获取的驾驶员面部视频,通过视频采集模块将视频转化为图像序列传给控制器;Step2、控制器采用图像网络分析算法实现人脸检测,首先对采集的面部图像进行中值滤波、直方图均衡化预处理;对预处理后的图像二值化,对所得图像采用10×10的网格进行分块处理;统计每个小方块的黑色像素在图像中的比例,设定适用于大多数的人脸判别方式的合适比例P,P≤0.2,将满足面部检测要求的小方块提取出来组成新的图像,找到人脸面积最大的联通区域,检测出人脸区域;组成人脸区域的几何结构特征;Step3、人眼初始帧的定位:将灰度积分投影曲线与人脸区域的几何结构特征相结合,排除嘴巴和背景的干扰,对检测到的人脸图像实现较为准确的眉眼粗定位;采用模板匹配的方法在定位出的眉眼区域内逐点平移参考模板,遍历眉眼区域图像内的每个像素,找出并确定与参考模板最相似的位置,实现对眼睛在眉眼区域的定位;所述的灰度积分投影曲线是对检测出的人脸图像分别进行水平和垂直方向的投影所得到两个方向上的像素灰度的累加值曲线,根据曲线中波峰波谷的分布及人脸面部几何特征知识定位人眼区域;设在大小为92×112的图像上,I(x,y)为图像上(x,y)像素点的灰度值,其中区间[x1,x2]即为[0,91],区间[y1,y2]即为[0,111];水平和垂直积分投影函数分别表示为H(x)和V(y)。人脸图像分别往水平、垂直方向投影,在进行水平方向投影时,可以看到主要出现两个极大值点,分别对应两个眼睛;而对垂直方向投影时,可以看到有大概3个明显的极大值点,分别大致对应着眉毛、眼睛和嘴巴;眼睛区域根据人脸特征分布的几何知识在人脸的上半部,所以在垂直方向灰度积分投影时应该取前半部分的最大值;通过水平和垂直方向的坐标投影结合人脸几何特征分布知识,实现人眼区域的粗定位;采用模板匹配算法对定位出的眉眼区域搜索与人眼构建的模板最相似的匹配块,即寻找最大允许误差的位置;利用归一化互相关计算粗定位眉眼图像与人眼模板之间的相关系数来度量它们的匹配程度,相关系数r来表示两个向量的相关程度即:式中,fn为模板图像的灰度;In为目标图像的灰度;和分别为模板图像和目标图像的灰度均方值;采用均方误差(MSE)和平均绝对误差(MAD)作为匹配算法搜索最佳匹配的价值函数;其中N为块边长像素数,Cij和Rij分别为目标图像宏块和模板宏块相应像素的灰度值;所述的模板匹配的具体步骤如下:步骤一:假定原眉眼图像I(x,y)和人眼模板图像F(k,j)的起始点都在左上角;步骤二:当x和y变化时,根据归一化互相关矩阵计算F(k,j)在图像I区域中移动所有的r值;步骤三:r取最大值时即是人眼模板图像与原眉眼图匹配的最佳位置,从该位置开始在原眉眼图像相应搜索区域中寻找最小的价值函数(MAD),即可找到匹配图像;利用模板图像、眉眼区域图像、人脸图像之间的坐标关系变换,完成在人脸图像中的眼睛定位;采用Jesorsky等人的眼睛定位正确性度量标准,...
【专利技术属性】
技术研发人员:亢洁,李静,李玉婷,马振,李珍,
申请(专利权)人:陕西科技大学,
类型:发明
国别省市:陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。