一种基于眨眼规律识别的驾驶员疲劳检测方法技术

本发明专利技术公开了一种基于眨眼规律识别的驾驶员疲劳检测方法，首先提取眼部图片，建立训练集，然后训练模型；对驾驶员的眼部图像进行识别，如果连续多帧都识别为闭眼，则显示驾驶员为疲劳状态；本发明专利技术使用多种算法相结合，构成一个整体，能够精细化的定位到眼睛，更为准确的判断眼睛部位矩阵睁眼闭眼状态；在场景剧烈变化时，睁眼闭眼误检率也较低，从而拥有相对较高的通过眨眼规律来进行疲劳检测的识别精度。

A driver fatigue detection method based on blink rule recognition

【技术实现步骤摘要】
一种基于眨眼规律识别的驾驶员疲劳检测方法
本专利技术属于机器视觉
，具体涉及一种基于眨眼规律识别的驾驶员疲劳检测方法。
技术介绍
1)随着我国生活水平的提高，人们的衣食住行等方面有了很大的改善，在交通方面更是有了质的飞跃。四通八达的道路、便捷的交通工具大大地缩短了人与人的距离，但是交通事故也变得多发起来。其中，疲劳驾驶正逐渐成为交通事故的主要原因之一，疲劳驾驶是指驾驶员由于睡眠不足或长时间持续驾驶造成的反应能力下降，这种下降表现在注意力不集中、反映迟钝、操作不当等问题，从而直接导致了交通事故的发生。如果通过疲劳检测技术提醒驾驶者，将会很大程度上预防和减少交通事故的发生，使得公民的出行更加安全。2)目前，在基于眨眼规律识别的驾驶员疲劳检测的
中，大多依据眼睛在一段时间内每次眨眼时闭眼的持续时间来进行疲劳检测的，经过实验统计，精神状态饱满的人员，每次眨眼时闭眼的持续时间200到300毫秒左右；疲劳的人员每次眨眼时的持续时间800到900毫秒左右，甚至更长。利用眨眼规律识别来进行疲劳检测，也就转化成了眼睛位置检测以及睁眼和闭眼的检测。主要有利用二值化的方式和利用模板匹配的方式以及利用人脸提取的特征点的方式。具体为，利用二值化的方式，首先检测出人脸，利用皮肤颜色对人脸进行二值化，统计在人脸区域内的眼睛区域的黑色部分的像素数，来判断睁眼和闭眼；利用模板匹配的方式，首先利用灰度积分确定准眼睛区域，在准确定位脸部位置后，根据人脸的面部器官的分布，人眼在脸部的上半部，所以首先截取人脸区域是上半部进行处理，人脸图像中眼睛部位的灰度值通常比周围区的灰度值小，利用该特征常使用积分投影的方法来定位眼睛，然后利用模板匹配方法，利用模板在待搜索图像中搜索与模板具有相近的尺寸、方向和图像的子图，并确定其坐标位置以及判断当前图像睁眼和闭眼；利用人脸提取的特征点的方式，首先根据提取的人脸特征点来确定眼睛的位置，然后根据眼睛位置的特征点坐标对应的纵横比来判断当前图像睁眼和闭眼。3)虽然利用二值化的方式和利用模板匹配的方式以及利用人脸提取的特征点的方式等几种方式，在利用眼睛位置检测以及睁眼和闭眼的检测，然后结合闭眼的持续时间做驾驶员疲劳检测的方案取得了不错的效果，但是仍然存在一些不足：(1)利用二值化的方式，利用眼睛区域的黑色部分的像素数来判别睁眼和闭眼，用来做判别的阈值的取值受光照强度、场景变化等因素影响较大，造成算法的鲁棒性较差，在睁眼闭眼的识别精度上表现一般。(2)利用模板匹配的方式，在利用模板在待搜索图像中搜索与模板具有相近的尺寸、方向和图像的子图，并确定其坐标位置以及判断当前图像睁眼和闭眼的过程中，判别精度受光照强度、人眼尺寸、人眼外形等因素影响较大，造成只有在特定的场合特定的人员的情况下，能够达到较高的精度。(3)利用人脸提取的特征点的方式，虽然根据检测出的人眼特征点在判别睁眼和闭眼时，几乎不受光照强度、场景变化，人眼尺寸、人眼外形等因素的影响，并取得较好的精度，但是，在眨眼检测时如果人员低头，多数情况下会出现如图2所示把眉毛误判为人眼的情况，造成这种情况下识别精度大大降低，进一步影响了算法整体的识别精度。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于眨眼规律识别的驾驶员疲劳检测方法，可以精确的检测人员睁、闭眼，结合驾驶员疲劳时的眨眼规律，最终实现驾驶员疲劳检测。一种基于眨眼规律识别的疲劳检测方法，其特征在于，包括：步骤一、拍摄若干人脸图像，并截取左眼和右眼的眼睛部位图像；步骤二、对所述眼睛图像进行预处理，包括：首先，将所有所述眼睛部位图像尺寸调整为统一大小；然后，使用高斯滤波对眼睛部位图像进行降噪；再然后，对眼睛部位图像进行直方图均衡化；最后，将眼睛部位图像的每个颜色通道进行归一化；步骤三、然后给每张眼睛部位图像标记标签：睁眼或者闭眼，由此得到训练数据集；将交叉熵损失函数作为损失函数，基于训练数据集对深度学习神经元网络进行学习和训练，最后得到可判断人员睁眼或闭眼的模型；步骤四、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤二的方法进行处理，得到每一帧的眼睛部位图像；然后将每一帧眼睛部位图像采用步骤三的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息。较佳的，所述步骤一中，拍摄人脸图像后，通过人脸关键点检测模型来定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点，然后再截取左眼和右眼的眼睛部位图像。较佳的，在截取眼睛部位图像时，分别截取以左右眼为中心的正方形图像，正方形的边长为左右眼睛直线距离的一半。较佳的，所述将所有所述眼睛部位图像尺寸调整为统一大小时；如果眼睛部位图像尺寸小于标准尺寸，使用最临近点插值算法放大图像；如果眼睛部位图像尺寸大于标准尺寸大小，采用基于区域子块提取的方法缩小图像，即：在求缩小图像的像素时，不仅仅单纯的取在原图像中的采样点像素，将原图像分成一个个的子块，缩小图像的像素取相应子块像素的均值。5较佳的，所述高斯滤波的方法为：针对每一个像素点的像素值，将其本身和邻域内的其他像素值经过加权平均后得到。较佳的，所述深度学习神经元网络为VGG、GoogleNet或Resnet。较佳的，所述设定的阈值为7帧。本专利技术具有如下有益效果：本专利技术的一种基于眨眼规律识别的驾驶员疲劳检测方法，首先提取眼部图片，建立训练集，然后训练模型；对驾驶员的眼部图像进行识别，如果连续多帧都识别为闭眼，则显示驾驶员为疲劳状态；本专利技术使用多种算法相结合，构成一个整体，能够精细化的定位到眼睛，更为准确的判断眼睛部位矩阵睁眼闭眼状态；在场景剧烈变化时，睁眼闭眼误检率也较低，从而拥有相对较高的通过眨眼规律来进行疲劳检测的识别精度；相对于利用二值化的方式，能够在光照强度、场景等变化较大的情况下，本专利技术具有很高的鲁棒性，能够达到较高的睁眼闭眼的识别精度；相对于利用模板匹配的方式来说，本专利技术由于使用了深度学习技术进行睁眼闭眼检测，所以检测精度几乎不受光照强度、人眼尺寸、人眼外形等因素影响；相对于利用人脸提取的特征点的方式来说，即使在眨眼检测时如果人员低头，本专利技术也不会出现把眉毛误判为人眼的情况，在这种情况下识别精度也能够得到保证，进一步保证了算法的整体的识别精度。附图说明图1为本专利技术算法流程图；图2为把眉毛误判为人眼的情况；图3为步骤三使用到的睁眼闭眼数据集合；图4为本专利技术驾驶员疲劳检测的情况。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。一种基于眨眼规律识别的驾驶员疲劳检测的方法，其基本实施过程如下：步骤一、输入待检测人员图像序列，读取一帧图像，定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点。其中，定位关键点是通过人脸关键点检测模型来实现的。步骤二、根据关键点坐标截取眼睛部位图像。具体为，分别截取以左右眼为中心的正方形图像矩阵，正方形的边长为左本文档来自技高网...

【技术保护点】
1.一种基于眨眼规律识别的疲劳检测方法，其特征在于，包括：/n步骤一、拍摄若干人脸图像，并截取左眼和右眼的眼睛部位图像；/n步骤二、对所述眼睛图像进行预处理，包括：/n首先，将所有所述眼睛部位图像尺寸调整为统一大小；/n然后，使用高斯滤波对眼睛部位图像进行降噪；/n再然后，对眼睛部位图像进行直方图均衡化；/n最后，将眼睛部位图像的每个颜色通道进行归一化；/n步骤三、然后给每张眼睛部位图像标记标签：睁眼或者闭眼，由此得到训练数据集；将交叉熵损失函数作为损失函数，基于训练数据集对深度学习神经元网络进行学习和训练，最后得到可判断人员睁眼或闭眼的模型；/n步骤四、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤二的方法进行处理，得到每一帧的眼睛部位图像；然后将每一帧眼睛部位图像采用步骤三的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息。/n

【技术特征摘要】
1.一种基于眨眼规律识别的疲劳检测方法，其特征在于，包括：
步骤一、拍摄若干人脸图像，并截取左眼和右眼的眼睛部位图像；
步骤二、对所述眼睛图像进行预处理，包括：
首先，将所有所述眼睛部位图像尺寸调整为统一大小；
然后，使用高斯滤波对眼睛部位图像进行降噪；
再然后，对眼睛部位图像进行直方图均衡化；
最后，将眼睛部位图像的每个颜色通道进行归一化；
步骤三、然后给每张眼睛部位图像标记标签：睁眼或者闭眼，由此得到训练数据集；将交叉熵损失函数作为损失函数，基于训练数据集对深度学习神经元网络进行学习和训练，最后得到可判断人员睁眼或闭眼的模型；
步骤四、拍摄驾驶员脸部的视频，对于视频中每一帧图像按照步骤一至步骤二的方法进行处理，得到每一帧的眼睛部位图像；然后将每一帧眼睛部位图像采用步骤三的模型进行识别；如果识别出的闭眼连续帧数超过设定的阈值，发出相应的疲劳报警信息。


2.如权利要求1所述的一种基于眨眼规律识别的疲劳检测方法，其特征在于，所述步骤一中，拍摄人脸图像后，通过人脸关键点检测模型来定位人脸左眼、右眼、鼻子、左嘴角、右嘴角五个关键点，然后再截取左眼和右眼的眼睛部位图像。
...

【专利技术属性】
技术研发人员：刘源，姚文明，李杨，王吉栋，张鹏，赵煦，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：北京;11