一种基于改进的级联卷积神经网的人体疲劳检测方法技术

本发明专利技术请求保护一种基于改进的级联卷积神经网的人体疲劳检测方法，该方法包括步骤：对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域；对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，其中一级网络采用灰度积分投影粗定位与多任务卷积神经(G‑RCNN)网实现人眼的检测与定位，二级网络(PCNN)将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测；利用人眼特征点计算人眼开闭度识别当前人眼状态；S4，根据PERCLOS准则判断人体疲劳状态；本发明专利技术可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性。

【技术实现步骤摘要】
一种基于改进的级联卷积神经网的人体疲劳检测方法
本专利技术属于图像处理与模式识别领域，特别是一种基于改进的级联卷积神经网的人体疲劳检测方法。
技术介绍
疲劳是指机体在一定环境条件下，由于过于长时间或过度紧张的体力或脑力劳动而引起的劳动效率趋向下降的状态，精神疲劳是多种病症的起源。疲劳不仅危害人的身心健康，更会给社会生产生活带来重大安全隐患，尤其是在电力工业、建筑高空作业、车辆驾驶、航空航天、大型复杂工业等高风险作业中，生产操控人员的精神疲劳引起的注意力分散、反应迟钝或身体协调性下降，都可能导致极为严重的生产事故。在汽车驾驶方面，随着中国汽车总量逐年增加，交通事故也更为频发，而驾驶员疲劳驾驶是引发交通事故的重要原因之一。因此，对驾驶员是否疲劳进行检测并及时给予预警对于减少由于疲劳而产生的汽车驾驶事故有着非常重要的实际意义。目前，对疲劳检测主要分为生理特征信号检测、视觉检测等方式。基于生理特征信号的检测方式具有较高的准确率，但是该方法信号采集设备复杂，相关设备的小型化与实用化也仍有不足，同时佩戴这些设备会对驾驶员驾驶行为造成一些不便，因此目前的主要研究还是在实验室进行。而基于视觉检测的方式在保持较高准确率的同时设备要求低，同时具有非入侵性特点，不会给驾驶员行为带来不便，是疲劳检测的主要研究方向之一。人眼状态是最能反映人体疲劳的因素之一，基于眼睛状态的疲劳检测主要包括人眼位置检测以及人眼状态的识别。Deng等人利用利用肤色模型结合人脸三庭五眼的布局定位人眼，并利用人眼的积分投影区域大小识别人眼状态，这种方法虽然算法简单，但是定位的准确率受环境影响较大，且由于人眼区域在图像中占的比例很小，利用积分投影的人眼状态识别准确率较低。李响等利用图像的矩特征通过计算人眼模板的Zernike矩特征向量与待识别的人脸区域做相似度计算，选取相似度最大的区域作为人眼区域，该方法类似模板匹配法，虽然能够减小环境对于检测结果的影响，但计算量较大，并且结果受选取的人眼模板影响。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种提高识别率、能够对光照和随机噪声具有较强的鲁棒性的基于改进的级联卷积神经网的人体疲劳检测方法。本专利技术的技术方案如下：一种基于改进的级联卷积神经网的人体疲劳检测方法，其包括以下步骤：S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；S4、利用灰度积分投影对人脸图像进行人眼粗定位；S5、利用GRCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用不共享卷积，共享权值的主要优点是减少了参数个数，但是其忽视了图像不同部分特征的差异性，对于人眼特征点的预测，眼睑的高层特征与眼睛其他部位差别比较大，且由于人眼图片较小，经过卷积池化以后特征映射大小进一步缩小，因此在最后一层卷积层前采用3×3的非共享卷积更够对特征点进行更为精确的回归预测，通过检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。进一步的，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：Y＝0.2990*R+0.5870*G+0.1140*BCr＝-0.1687*R-0.3313*G+0.5000*B+128Cb＝0.5000*R-0.4187*G-0.0813*B+128其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。进一步的，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:g＝w0w1(u0-u1)2g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。进一步的，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90°范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。进一步的，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：其中x2,x1分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。进一步的，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(ez-e-z)/(ez+e-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：Lerr表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。进一步的，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：其中d为点AB之间的直线距离，d1为点CD之间的距离，d2为点EF之间的距离，具体点如图2。当比值<0.1时，认为当前人眼状态为闭眼状态。进一步的，所述步骤S7的PERCLOS准则具体包括：研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间。为了提高容错率并且更为准确的区分疲劳与清醒状态，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。本专利技术的优点及有益效果如下：本专利技术提供了一本文档来自技高网...

【技术保护点】
1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；S4、利用灰度积分投影对人脸图像进行人眼粗定位；S5、利用G‑RCNN灰度‑区域卷积神经网检测人眼，对人眼完成精定位；S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。

【技术特征摘要】
1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；S4、利用灰度积分投影对人脸图像进行人眼粗定位；S5、利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。2.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：Y＝0.2990*R+0.5870*G+0.1140*BCr＝-0.1687*R-0.3313*G+0.5000*B+128Cb＝0.5000*R-0.4187*G-0.0813*B+128其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。3.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:g＝w0w1(u0-u1)2g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w0，其平均灰度μ0；背景像素点数占整幅图像的比例为w1，其平均灰度为μ1，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。4.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90。范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。5.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S4利用灰度积分投影对...

【专利技术属性】
技术研发人员：罗元，云明静，张毅，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50