一种基于卷积神经网络的眼睛和嘴部状态识别方法技术

本发明专利技术涉及一种基于卷积神经网络的眼睛和嘴部状态识别方法，通过该方法设计的SR‑Net网络对大量眼睛和嘴部不同状态的样本进行学习。面部状态识别可以视为眼睛和嘴部的状态识别。本发明专利技术能够更加准确的对眼睛和嘴部的状态进行识别分类。由于卷积神经网络避免了人工特征的抽取，对眼睛及嘴部状态的识别具有很高鲁棒性。并且该方法对佩戴墨镜的情况识别率得到提升，将眼睛态识别的平均准确率提高98.41％以上；对无眼镜下的眼睛状态平均识别率为98.92％，嘴部状态平均识别率为99.33％。

【技术实现步骤摘要】

本专利技术涉及一种基于卷积神经网络的眼睛和嘴部状态识别方法，该方法能够适应光照变化以及眼镜遮挡的情况，属于图像识别
，可应用于判定驾驶员的疲劳状态。
技术介绍
眼睛和嘴部状态识别可认为等同于人脸面部状态的识别，是图像识别领域的重要内容，对信息安全、自动驾驶等技术有着直接的影响。根据美国国家统计和分析中心的报告，疲劳驾驶是引发交通事故的重要原因之一，因此，驾驶员疲劳检测技术的研究对于预防交通事故有着重要的意义。近年来，随着计算机硬件水平的提高，基于视觉的疲劳检测方法的不断发展。基于视觉的驾驶员疲劳检测系统应用中，眨眼频率以及打哈欠状态是疲劳检测的重要指标。因此，眼睛和嘴部的状态检测是疲劳检测中的关键问题，由于光照变化以及佩戴墨镜等情况，增加了眼睛状态识别的难度，其状态识别的准确率对系统的性能及实际应用有重要影响。传统检测眼睛状态的方法有很多种，第一类方法采用模板匹配方法判断眼睛状态，由于虹膜在眼睑中位置不固定，易产生误检。采用多模板匹配，检测效率低实时性差。第二类方法采用眼睛虹膜区域灰度投影曲线判断眼睛状态，对光照要求较高，适用的场景少。第三类方法使用基于LBP特征与SVM分类器结合的眼睛开闭检测，对驾驶员佩戴墨镜以及姿态变化有一定的局限性，鲁棒性差。第四类方法采用基于多特征融合的眼睛状态识别，该方法需要多个分类器进行决策融合，实时性较差。传统分类器的方法，需要人为选取合适的特征，将提取的特征输入到判别分类器中，特征的选取的合适与否，成为制约分类器效果的关键因素。卷积神经网络对特征有更好的表达力、避免了人工特征选取过程，在卷积神经网络提出之前，由于缺乏类似的技术手段，图像识别领域一直局限于“先提取特征，后模式识别”的框架，识别的准确性无法突破该技术框架的瓶颈，进展缓慢。
技术实现思路
本专利技术的目的是克服现有技术的上述不足，自主设计构建了红外图像采集系统(Infraredimageacquisitionsystem，简称IIA-S)获得待测数据集中的部分红外图像，结合卷积神经网络对特征有更好的表达力、避免了人工特征选取过程的优点。提出一种针对面部状态识别、具有较好的抗眼镜遮挡性能、识别准确率高的状态识别网络(Staterecognitionnets，简称SR-Net)，并应用SR-Net完成对包含IIA-S采集结果在内的待测数据中眼睛和嘴部状态的识别方法的设计和验证。为此，本专利技术采用如下的技术方案：1.采用红外光源、窄带滤光片配合工业镜头搭建用于采集待测图像的红外采集系统；2.用上述步骤1中所搭建的系统采集部分待测的面部图像；3.采用基于haar特征和AdaBoost算法的人脸检测算法或其他人脸检测算法检测出人脸区域；4.由随机森林和线性回归结合的方法检测出步骤3得到的结果上包括眼睛、嘴部、鼻梁、眉骨和外侧主轮廓的人脸特征点的提取；5.在上述步骤4确定人脸特征点的基础上结合正则化方法利用LBF特征检测出人脸的眼睛和嘴部区域；6.构建SR-Net的核心结构卷积层；7.构建SR-Net的降采样层，以减少计算量，提高特征的鲁棒性，提高模型的准确率；8.采用修正线性单元构建SR-Net的全连接层，克服非线性激活函数常见的梯度消失的问题；9.以一定的概率p(通常设为0.5)让隐藏层的部分神经元输出值设置为0设计SR-Net的Dropout，减少过拟合现象，进而提高网络的泛化能力；10.构建训练样本集并选取相应的网络结构和迭代次数训练SR-Net的网络模型；11.输入待测数据集，应用SR-Net模型完成眼睛和嘴部状态识别并输出结果。与现有技术相比，本专利技术的有益效果是：准确性高。本专利技术基于卷积神经网络的眼睛和嘴部状态识别方法，通过网络层对大量眼睛和嘴部不同状态的样本进行学习，能够准确的对眼睛和嘴部的状态进行识别分类，该识别的方法平均判别准确率达98％以上，相比其他的判别方法，有明显的提高；适用范围广，该方法对佩戴墨镜的情况识别率得到提升，将眼睛状态识别的准确率提高到98％以上；鲁棒性好。卷积神经网络避免了人工特征的抽取，使得提取的特征符合机器视觉的判断逻辑，加入降采样层后，提高了算法的鲁棒性；通过正则化方法以及对SR-Net的降采样层的设计，降低该方法的计算量，有助于提高运行速度和实时性，对不同平台的移植和推广应用更加友好。附图说明图1为本专利技术的流程图。图2为红外图像采集系统示意图。图3为特征点检测结果。图4为卷积神经网络基本结构。图5为SR-Net网络卷积层卷积结果。图6为部分眼睛嘴部部分训练样本。具体实施方式为使贵审查员能进一步了解本专利技术的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本专利技术的技术方案，并非限定本专利技术。本专利技术的流程如图1所示，首先，采用基于haar特征结合AdaBoost算法(或其他方式)检测出感兴趣的人脸区域，基于初步人脸检测结果由随机森林和线性回归结合的方法进行人脸特征点的检测，并提取眼睛和嘴部区域；然后根据卷积神经网络卷积层、降采样层和全连接层的基本结构构造和Lenet5网络结构，通过对局部感受视野卷积、权值共享和降采样对神经网络结构进行优化来减少网络中神经元个数以及权值以获得全新的Staterecognitionnets(简称SR-Net)网络，使其选择的特征具有位移、缩放和扭曲不变性；最后应用该SR-Net识别待测数据的眼睛和嘴部区域。下面结合附图，对本专利技术技术方案的具体实施过程加以说明。1.构建红外采集系统为了有效克服复杂光照对图像产生的影响以及满足夜间使用的需求，图像采集系统选用主动红外光源(850nm)进行补光照明，同时采用850nm的窄带滤光片进行配合使用，减少其他波长光线的干扰，同时可以穿透墨镜，获取红外光谱下的眼睛图像进行分析。图2为基于红外照明的驾驶员面部图像采集系统。2.检测人脸区域本方法有适应性强、模块化程度高、可移植的特点，对人脸区域的检测结果没有特别的要求，可以采用基于haar特征和AdaBoost算法的人脸检测作为检测人脸区域检测的技术手段，也可采用Eigenface(PCA)算法、经典的模板匹配算法，或采用主分量分析进行降维和提取特征的特征脸方法等手段检测人脸区域。3.检测人脸特征点并提取将人脸区域内的人脸所有关键点的局部特征组合为LBF(LocalBinaryFeature)特征，利用LBF特征进行全局回归，通过级联获得形状增量，进行形变预测；利用LBF特征高度稀疏的特点，使得特征的提取与回归速度加快快，进一步满足实时性要求。通过回归分析进行分析预测判断，建立从输入信息到输出信息之间的映射关系，完成检测出的人脸区域内的包括眼睛、嘴部、鼻梁、眉骨和外侧主轮廓的人脸特征点的提取。4.眼睛和嘴部区域提取在已经确定人脸特征点的基础上，提取该人脸的眼镜和嘴部区域。人脸特征点的形状为S，从初始形状S0，通过级联的形式预测，形状增量ΔS不断进行调整改善，经过t级回归后形状增量ΔSt，ΔSt定义如下：ΔSt＝WtΦt(I，St-1)其中I为输入图像，St-1为上一级的形状，Φt为LBF特征映射函数，Wt为线性回归矩阵。为第l个特征点周围区域回归获得，定义如下：其中i为训练样本的数量，πl操作为从形状增量中获取(2l-1，2l)本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的眼睛和嘴部状态识别方法，所述方法包括下列步骤：(1)采用红外光源、窄带滤光片配合工业镜头搭建用于采集待测图像的红外采集系统；(2)用步骤1中所搭建的系统采集部分待测的面部图像；(3)采用基于haar特征和AdaBoost算法的人脸检测算法或其他人脸检测算法检测出人脸区域；(4)由随机森林和线性回归结合的方法检测出步骤3得到的结果上包括眼睛、嘴部、鼻梁、眉骨和外侧主轮廓的人脸特征点的提取；(5)在步骤4确定人脸特征点的基础上结合正则化方法利用LBF特征检测出人脸的眼睛和嘴部区域；(6)构建SR‑Net的核心结构卷积层；(7)构建SR‑Net的降采样层，以减少计算量，提高特征的鲁棒性，提高模型的准确率；(8)采用修正线性单元构建SR‑Net的全连接层，克服非线性激活函数常见的梯度消失的问题；(9)以一定的概率p，通常设为0.5，让隐藏层的部分神经元输出值设置为0设计SR‑Net的Dropout，减少过拟合现象，进而提高网络的泛化能力；(10)构建训练样本集并选取相应的网络结构和迭代次数训练SR‑Net的网络模型；(11)输入待测数据集，应用SR‑Net模型完成眼睛和嘴部状态识别并输出结果。...

【技术特征摘要】
1.一种基于卷积神经网络的眼睛和嘴部状态识别方法，所述方法包括下列步骤：(1)采用红外光源、窄带滤光片配合工业镜头搭建用于采集待测图像的红外采集系统；(2)用步骤1中所搭建的系统采集部分待测的面部图像；(3)采用基于haar特征和AdaBoost算法的人脸检测算法或其他人脸检测算法检测出人脸区域；(4)由随机森林和线性回归结合的方法检测出步骤3得到的结果上包括眼睛、嘴部、鼻梁、眉骨和外侧主轮廓的人脸特征点的提取；(5)在步骤4确定人脸特征点的基础上结合正则化方法利用LBF特征检测出人脸的眼睛和嘴部区域；(6)构建SR-Net的核心结构卷积层；(7)构建SR-Net的降采样层，以减少计算量，提高特征的鲁棒性，提高模型的准确率；(8)采用修正线性单元构建SR-Net的全连接层，克服非线性激活函数常见的梯度消失的问题；(9)以一定的概率p，通常设为0.5，让隐藏层的部分神经元输出值设置为0设计SR-Net的Dropout，减少过拟合现象，进而提高网络的泛化能力；(10)构建训练样本集并选取相应的网络结构和迭代次数训练SR-Net的网络模型；(11)输入待测数据集，应用SR-Net模型完成眼睛和嘴部状态识别并输出结果。2.如权利要求1所述的方法，其特征在于，步骤(2)中，选用主动红外光源(850nm)进行补光照明，同时采用850nm的窄带滤光片进行配合使用，搭建的红外图像采集系统如图2。3.如权利要求1所述的方法，步骤(3)中，本方法对人脸检测算法不敏感，可采用其他替代算法。4.如权利要求1所述的方法，其特征在于，步骤(4)中，将人脸区域内的人脸所有关键点的局部特征组合为LBF，LocalBinaryFeature特征，利用LBF特征进行全局回归，通过级联获得形状增量，进行形变预测；利用LBF特征高度稀疏的特点，使得特征的提取与回归速度加快快，满足实时性要求，通过回归分析进行分析预测判断，建立从输入信息到输出信息之间的映射关系，完成检测出的人脸区域内的包括眼睛、嘴部、鼻梁、眉骨和外侧主...

【专利技术属性】
技术研发人员：耿磊，梁晓昱，肖志涛，张芳，吴骏，苏静静，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津;12