一种基于机器视觉的眼睛闭合度计算方法技术

一种基于机器视觉的眼睛闭合度计算方法，包括以下步骤：1)采集一段视频，对视频中的每一帧进行处理，图片处理过程包括图片增强技术、阈值分割、腐蚀、膨胀技术，然后求出眼睛的闭合度；2)根据步骤1)所求的闭合度值，结合判断阈值判断出眼睛的状态；3)统计一段视频中的闭眼状态数帧数，视频总的帧数以及未检测到人眼的帧数，利用帧数求所要检测视频中闭眼时间所占比；4)结合PERCLOS准则对驾驶员状态进行判断。本发明专利技术有效计算眼睛的闭合度，并结合判断阈值，判断眼睛的闭合情况，从而有效、准确的评估驾驶员的状态。

Calculation method of eye closure based on machine vision

An eye closure calculation method based on machine vision includes the following steps: 1) capturing a video and processing each frame in the video. The image processing process includes image enhancement, threshold segmentation, corrosion, expansion, and then calculating the closure of the eyes; 2) according to step 1, the closure value is obtained. Combined with the judgment threshold to determine the state of the eye; 3) Statistics a video of the number of closed-eye state frames, the total number of video frames and did not detect the number of frames of the human eye, using the number of frames to determine the proportion of the time to detect the video in the closed-eye; 4) Combined with PERCLOS criteria to judge the driver's state. The invention effectively calculates the closure of the eyes, and judges the closure of the eyes by combining the judgment threshold, so as to effectively and accurately evaluate the state of the driver.

【技术实现步骤摘要】
一种基于机器视觉的眼睛闭合度计算方法
本专利技术涉及疲劳驾驶检测
，尤其是一种基于机器视觉的眼睛闭合度计算方法。该方法可以有效的解决由于图片中人脸大小不同而引起的错误判断，能够很好的适应现实生活中由于人脸距离摄像头的远近而导致的取样偏差。
技术介绍
在过去的十年中，尽管交通安全得到了很大的改善，但在世界各地仍然有一些严重的事故发生。引起这些事故的原因绝大部分是由于人为错误引起的，尤其是疲劳或分心驾驶。根据一项关于安全驾驶的调查，25％～30％的驾驶事故与疲劳驾驶有关。在美国，每年约有13％的重大事故是由于司机的疲劳驾驶引发的，与此同时，英国多达20％的道路交通事故是由上述原因造成的。交通事故对每个人都可能造成身体上、财产上和精神上的损害。因此，研发检测驾驶员疲劳程度的系统对于防止此类严重事故的发生至关重要。疲劳驾驶检测主要分为三类：1)基于车辆行驶状态的检测；2)基于驾驶员生理信息的检测；3)基于驾驶员行为状态的检测。基于车辆状态方法是通过安装在车辆上的各种传感器采集车辆行驶中的状态信息，如速度、加速度、方向盘的方向、油门大小等，利用马尔科夫模型、随机向量场和增强学习方法来评估车辆行驶状态，从而间接预防疲劳驾驶。可是现实生活中，车辆的运动情况与驾驶员的驾驶习惯、驾驶技术以及车辆参数和路况等不确定因素有关，因此还没有一个稳定的解决方案。基于驾驶员生理参数是通过检测器来检测人的体征参数，如心电波、脑电波，尽管这种方式的测量准确度最高，可实施过程中，该种方法的缺点是驾驶员必须穿戴精密的测量仪器，这对驾驶员驾驶汽车时极其不利，而且昂贵的测量设备也不是所有的车主所能承受的。最常用的测量手段是通过摄像头采集驾驶员的行为，并通过图像处理以及机器视觉中的人脸分类器、人眼分类器进行人脸人眼进行标定，然后对人眼状态进行检测，结合PERCLOS(单位时间内眼睛闭合时间所占比例)判断准则对驾驶员状态进行判断，经研究对比，PERCLOS的P80准则与驾驶疲劳程度的相关性最好，即一段时间内闭眼状态时间比超过80％即判定为疲劳状态。在对人眼状态进行判断时，常用的方法如模板匹配、二次线性拟合法、角点检测法都不能对人眼状态进行准确估算。
技术实现思路
为了解决现有技术的由于取样时人脸距离摄像头的远近导致的人物头像尺寸不同引起的判断错误的不足，更好的计算眼睛的闭合度，更准确判断眼部状态，本专利技术提出一种基于机器视觉的眼睛闭合度计算方法，有效计算眼睛的闭合度，并结合判断阈值，判断眼睛的闭合情况，从而有效、准确的评估驾驶员的状态。本专利技术解决其技术问题所采用的技术方案是：一种基于机器视觉的眼睛闭合度计算方法，所述方法包括以下步骤：1)采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域ROI，记其面积为A；步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；步骤1.4：将ROI的灰度值拉伸；步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；步骤1.6：利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B，再计算ROI总像素数，即ROI的面积A；步骤1.8：用眼睛所占的面积A比上ROI的面积B得到一个比值P，也就是眼睛的闭合度，其方程表示如下：在此，各参数定义如下：P：眼睛的闭合度；A：眼睛所占的面积；B：ROI的面积；2)根据步骤1)中所得到的闭合度判断眼睛状态S，其中，用P＝0.15作为阈值来判断眼睛状态，即当P>0.15时为眼睛睁开状态，当P<0.15时为眼睛闭合状态；3)根据步骤2)中的判断值，判断并统计一段视频中的闭眼状态帧数N，这段视频中的总的帧数用T表示，其中没有检测到人眼的帧数用M表示。利用帧数求所要检测的视频中闭眼时间所占比K由如下公式计算：其中，上述步骤中各参数定义如下：K：闭眼状态占所测视频中的百分比；N：视频中闭眼状态帧数；T：所测视频中总的帧数；M：所测视频中没有检测到人眼区域的帧数；4)根据计算出的K值，结合PERCLOS判断准则判断司机的疲劳程度。进一步，述步骤1.1中，当利用人脸分类器进行检测时，还要考虑到多个人的情况，此时，根据所检测到的所有人脸的面积，取人脸面积最大的作为研究对象，去除次要人物对检测的影响。在步骤1.2中，使用的是双眼分类器以获取双眼区域的面积。相较于单眼分类器，双眼分类器可以更准确、更稳定的标定眼部区域。使用步骤1.8中的计算方法得出眼睛的闭合度，该方法可以有效适应不同尺寸下眼睛闭合度的求解，有效解决了因摄像机采样距离不同引起的测量错误。本专利技术的有益效果表现在：结合机器视觉检测出ROI，利用处理后眼睛部分占眼部区域的比来判断眼部状态。现实生活中因采样距离不同导致图像中人眼大小不同，这对判断影响非常大。该算法可有效的解决由于不同尺寸图片中人眼大小不同引起的错误判断。传统检测方法中的焦点检测法中需要用到的红外摄像机，红外摄像机比普通摄像机价格昂贵；其次，红外线长时间照射也会对眼睛造成伤害。基于机器视觉的眼睛闭合度计算方法是在自然光的条件下进行的，采用普通摄像机对驾驶员进行图像采集，花费小，对眼睛没有伤害且准确度高。附图说明图1图片处理流程图。具体实施方式下面结合附图对本专利技术作进一步详细描述。参照图1，一种基于机器视觉的眼睛闭合度计算方法，所述方法包括以下步骤：1)如图1所示，采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域(ROI)，记其面积为A；步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；步骤1.4：为了增强眼睛的区分度，将ROI的灰度值拉伸；步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；步骤1.6：二值化后的图像会有一些噪点，因此利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B。再计算ROI总像素数，即ROI的面积A；步骤1.8：用眼睛所占的面积A比上ROI的面积B可以得到一个比值P，也就是眼睛的闭合度，其方程表示如下：在此，各参数定义如下：P：眼睛的闭合度；A：眼睛所占的面积；B：ROI的本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的眼睛闭合度计算方法，其特征在于，所述方法包括以下步骤：1)采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：步骤1.1：读取所测视频中的每一帧图片，根据Viola‑Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域ROI，记其面积为A；步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；步骤1.4：将ROI的灰度值拉伸；步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；步骤1.6：利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B，再计算ROI总像素数，即ROI的面积A；步骤1.8：用眼睛所占的面积A比上ROI的面积B得到一个比值P，也就是眼睛的闭合度，其方程表示如下：...

【技术特征摘要】
1.一种基于机器视觉的眼睛闭合度计算方法，其特征在于，所述方法包括以下步骤：1)采取一段视频，对视频中的每一帧进行处理，其中，图片处理过程包括图片增强技术、阈值分割、腐蚀和膨胀技术，步骤如下：步骤1.1：读取所测视频中的每一帧图片，根据Viola-Jones算法中的人脸分类器，从采集到的图像中检测出人脸，并把人脸区域从图片中标记出来；步骤1.2：利用机器视觉中的眼部分类器从人脸区域中标定出眼部区域ROI，记其面积为A；步骤1.3：在步骤1.2标出ROI的基础上，如果ROI是彩色图，就对ROI进行灰度化处理，如果ROI已经是灰度图就直接进入步骤1.4；步骤1.4：将ROI的灰度值拉伸；步骤1.5：利用Otsu法求ROI的分割阈值m，然后根据求出的阈值对ROI进行二值化处理，灰度值小于m的设置为零，灰度值大于m的设置为255；步骤1.6：利用膨胀、腐蚀技术对二值图像进行平滑处理，此时双眼的面积可以由黑色区域进行表示；步骤1.7：统计步骤1.6中黑色像素的个数，即眼睛所占的面积B，再计算ROI总像素数，即ROI的面积A；步骤1.8：用眼睛所占的面积A比上ROI的面积B得到一个比值P，也就是眼睛的闭合度，其方程表...

【专利技术属性】
技术研发人员：钱丽萍，吴春旭，冯安琪，黄玉蘋，吴远，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33