一种面部关键部位的疲劳检测方法技术

一种面部关键部位的疲劳检测方法。首先，利用肤色模型检测到人脸区域为AAM提供初始定位，然后基于AAM进行局部人眼和嘴巴跟踪获得眼睛与嘴巴区域，再利用Canny算子对两个区域精确定位，获得疲劳检测参数，最后根据PERCLOS方法实现疲劳检测。考虑到基于HSV颜色模型的人脸检测不受姿势和角度的影响，但容易受到背景干扰，而AAM的优点是人脸关键点跟踪效果好，但初始定位困难，将二者结合实现了眼睛与嘴巴精确定位与跟踪。本发明专利技术避免了身体的直接接触，采用AAM局部纹理搜索，降低搜索时间，得到的效果相对ASM算法更加准确。同时给出驾驶员精神评估模型，更容易对驾驶员状态进行明确判断。

【技术实现步骤摘要】

本专利技术属于图像处理和模式识别
，具体涉及一种基于驾驶员的面部关键部分的疲劳状态检测方法。
技术介绍
据中国救援装备网统计，2014年一季度交通事故分析总结中提到全国发生涉及人员伤亡的道路交通事故40283起，造成10575人死亡、直接财产损失2.1亿元。从事故认定原因看，疲劳驾驶肇事出现明显反弹，导致的死亡人数同比上升12.1％，是导致死亡人数最多的重要原因之一。因此，疲劳驾驶检测成为当前国内外研究的前沿和热点。面部疲劳特征区域(如眼睛和嘴巴)的精确定位是疲劳检测准确度的前提条件。目前眼睛区域的定位算法主要有基于主动红外光的方法、基于图像的方法、基于人脸全局形状约束的等方法。基于主动红外光的方法较为简单，且能够在室内环境中获得比较高的眼睛定位和跟踪精度。但它需要特制的光源和信号同步装置，并且眼睛定位成功与否还主要取决于图像的亮度和瞳孔的大小，而瞳孔的大小又往往取决于人的视角方向、外界光照情况以及人与摄像机之间的距离。基于图像的人眼定位方法主要包含基于知识的方法和基于机器学习的方法。前者提取人脸的器官分布、几何形状、灰度来检验是否符合人脸器官的先验知识，后者把面部特征点检测转化为高维空间中信号的检测，如子空间法、神经网、SVM、HMM、Boosting等算法。基于人脸全局形状约束的方法，如主动形状模型算法，利用面部区域的拓扑约束实现眼睛局部区域的定位，该方法由于引入了面部区域的拓扑约束，定位精度相对较高，但姿态适应性不强，不能适应实际行车过程中，驾驶员的头部姿态频繁的变化。由于以上算法中的缺陷，很多方法在实际应用中并不能取得理想的效果，不具有实用性，有待改进。
技术实现思路
本专利技术的目的是提供一种面部关键部位的疲劳检测方法，一种具有高匹配效率的面部关键部分的跟踪和检测方法。一种基于AAM和肤色模型的面部关键部位疲劳检测方法，其特征在于，包括以下步骤：(1)将采集的视频流转化为帧图像，对源图像进行图像预处理，通过直方图均值化方法提高对比度，用参白法对图像进行光照补偿，计算图像中像素点的灰度值并按照大小进行统计分布，设置亮度值在前5％的像素的灰度值为255；(2)肤色模型检测人脸区域：将预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分，肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化，然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域；(3)图像采集及数据的标注：采集N组应用用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，以及头部旋转45度范围内的照片。对采集到的人脸图片进行手工方法标注图像中被跟踪的面部特征的相应位置，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点，眉毛特征点标记为1-6和20-25，眼睛标记为7-11和26-30，嘴巴为12-19，鼻子为31-37；(4)对标记好的图片进行训练，建立形状模型和纹理模型，并组合形成表观模型。然后进行AAM搜索，搜索过程就是表观模型参数c的优化过程，以达到输入纹理与最终达到的纹理的最佳匹配。为了缩短搜索时间初始化位置由肤色模型提供，旋转因子θ：肤色模型分割出的肤色区域为U(n*m)，面积为V，此区域的中心坐标为：x‾=1VΣi=1nΣj=1mjU[i,j],y‾=1VΣi=1nΣj=1miU[i,j]]]>再通过下列公式求得旋转角度θ：θ=12tan-1ba-c]]>其中：b=2Σi=1nΣj=1mxij′yij′U[i,j]]]>c=Σi=1nΣj=1m(yij′)2U[i,j]]]>其中：缩放因子s：假设训练图像大小w*h，要进行人脸定位的图像的大小为w’*h’，令s1＝w/w’，s2＝h/h’，若s1＝s2，则s＝s1＝s2；若s1≠s2，则s＝(s1+s2)/2。平移因子t：设置人脸长和宽之比为1.2，略到脖子的影响，则t＝肤色区域的中心坐标-平均模板的中心坐标。AAM搜索完成后得到人脸的局部图像，初步确定了眼睛和嘴巴的位置。下一步对眼睛和嘴巴进行精确定位提取疲劳数据：哈欠数据、眨眼数据，进行疲劳判断。为了对驾驶员状态进行判断，综合哈欠数据和眨眼数据，建立了一个状态评估模型，如表1所示。将眼睛特征和嘴巴特征分别划分为4个等级，两个疲劳状态的利用加权平均法进行综合即：W＝A*x+B*y。其中A＝0.8，B＝0.2，A，B系数的取值根据检测准确率、眨眼和哈欠与疲劳的相关性确定的。综合结果分为四种情况：正常，轻度疲劳，中度疲劳，严重疲劳。表1驾驶员精神评估模型本专利技术提出了一种基于AAM和肤色模型的疲劳驾驶检测方法。AAM算法的优点是复杂背景下人脸跟踪效果好，但缺点是初始定位困难，而且头部摆动姿势过大时定位不准确。实际测量发现驾驶员头姿摆动幅度在左右45°范围内，不会影响AAM人脸定位效果。基于HSV颜色模型的人脸检测不受姿势和角度的影响，检测速度快，但容易受到背景干扰。本专利技术将二者结合实现了眼睛与嘴巴精确定位与跟踪，疲劳检测实验取得了较为理想的实验结果。此专利技术避免了身体的直接接触，采用AAM局部纹理搜索，降低搜索时间，得到的效果相对ASM算法更加准确。同时给出驾驶员精神评估模型，更容易对驾驶员状态进行明确判断。附图说明图1是本实施例的流程示意图。图2是Canny边缘检测眼睛轮廓。图3是眼睛模型。图4是嘴巴三种状态二值图。具体实施方式本专利技术将通过以下实施例作进一步说明。本实施例为实现面部关键部位轮廓的精确跟踪，包括以下步骤：(1)将采集的视频流转化为帧图像。(2)对源图像进行图像预处理，通过直方图均值化方法提高对比度，去除噪声，凸显图像细节，提高图像质量。最后用参白法对图像进行光照补偿。计算图像中像素点的灰度值并按照大小进统计分布，设置亮度值在前5％的像素的灰度值为255。(3)肤色模型检测人脸区域：预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分。肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化。然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域。(4)AAM模型的建立，初步得到面部关键部位眼睛和嘴巴的位置。4.1图像采集及数据的标注。采集N组用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，且照片的头部旋转在45度范围。手工方法标注人脸图片中被跟踪的面部特征的相应位置。本文采用局部AAM方法，为了局部的稳定性，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点。4.2形状模型本文档来自技高网...

【技术保护点】
一种面部关键部位的疲劳检测方法，其特征是包括以下步骤：(1)将采集的视频流转化为帧图像，对源图像进行图像预处理，通过直方图均值化方法提高对比度，用参白法对图像进行光照补偿，计算图像中像素点的灰度值并按照大小进行统计分布，设置亮度值在前5％的像素的灰度值为255；(2)肤色模型检测人脸区域：将预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分，肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化，然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域；(3)图像采集及数据的标注：采集N组用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，以及头部旋转45度范围内的照片；对采集到的人脸图片进行手工方法标注图像中被跟踪的面部特征的相应位置，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点，眉毛特征点标记为1‑6和20‑25，眼睛标记为7‑11和26‑30，嘴巴为12‑19，鼻子为31‑37；(4)对标记好的图片进行训练，建立形状模型和纹理模型，并组合形成表观模型，然后进行AAM搜索，以达到输入纹理与最终达到的纹理的最佳匹配；为了缩短搜索时间初始化位置由肤色模型提供，旋转因子θ：肤色模型分割出的肤色区域为U(n*m)，面积为V，此区域的中心坐标为：x‾=1vΣi=1NΣj=1mjU[i,j],y‾=1VΣi=1nΣj=1miU[i,j]]]>再通过下列公式求得旋转角度θ：θ=12tan-1ba-c]]>其中：b=2Σi=1nΣj=1mxij′yij′U[i,j]]]>c=Σi=1nΣj=1m(yij′)2U[i,j]]]>其中：缩放因子s：假设训练图像大小w*h，要进行人脸定位的图像的大小为w’*h’，令s1＝w/w’，s2＝h/h’，若s1＝s2，则s＝s1＝s2；若s1≠s2，则s＝(s1+s2)/2；平移因子t：设置人脸长和宽之比为1.2，略到脖子的影响，则t＝肤色区域的中心坐标‑平均模板的中心坐标；为了对驾驶员状态进行判断，综合哈欠数据和眨眼数据，建立了一个状态评估模型：将眼睛特征和嘴巴特征分别划分为4个等级，两个疲劳状态的利用加权平均法进行综合即：W＝A*x+B*y，其中A＝0.8，B＝0.2，A，B系数的取值根据检测准确率、眨眼和哈欠与疲劳的相关性确定的；综合结果分为四种情况：正常，轻度疲劳，中度疲劳，严重疲劳。...

【技术特征摘要】
1.一种面部关键部位的疲劳检测方法，其特征是包括以下步骤：(1)将采集的视频流转化为帧图像，对源图像进行图像预处理，通过直方图均值化方法提高对比度，用参白法对图像进行光照补偿，计算图像中像素点的灰度值并按照大小进行统计分布，设置亮度值在前5％的像素的灰度值为255；(2)肤色模型检测人脸区域：将预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分，肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化，然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域；(3)图像采集及数据的标注：采集N组用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，以及头部旋转45度范围内的照片；对采集到的人脸图片进行手工方法标注图像中被跟踪的面部特征的相应位置，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点，眉毛特征点标记为1-6和20-25，眼睛标记为7-11和26-30，嘴巴为12-19，鼻子为31-37；(4)对标记好的图片进行训练，建立形状模型和纹理模型，并组合形成表观模型，然后进行AAM搜索，以达到输入纹理与最终达到的纹理的最佳匹配；为了缩短搜索时间初始化位置由肤...

【专利技术属性】
技术研发人员：何俊，房灵芝，蔡建峰，何忠文，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西;36