基于特征融合的眼睛状态识别方法技术

本发明专利技术公开了基于特征融合的眼睛状态识别方法，属于图像处理和模式识别领域，适用于人脸表情和精神状态的识别、驾驶员疲劳检测，视线跟踪。该方法首先对输入的图像进行人脸定位和眼睛定位，从而得到眼睛区域，最后利用基于伪Zernike矩_Gabor特征融合(PZ_GAB)的眼睛状态识别算法判定眼睛状态。该眼睛状态识别方法在头部运动和复杂光照变化情况下有很好的鲁棒性，能够有效地解决眼睛状态识别精度下降的问题，同时计算复杂度不高，满足实时性要求。

【技术实现步骤摘要】

本方法属于图像处理和模式识别领域，涉及一种基于特征融合的眼睛状态识别方法。
技术介绍
眼睛状态的识别在人机交互、驾驶员疲劳检测、视线跟踪等很多领域都有重要的作用，其判别的准确率直接影响这些系统的性能。在实际应用中，为了保证眼睛状态判别的方法能够全天候使用，目前最常用的方法就是使用主动红外光源和滤光片结合的图像采集方法。但在红外照明加滤光片的情况下，人眼图像与正常光照下的人眼图像出现较大的区别；另外实际应用中头部的大幅度转动使得人眼图像发生较大形变，导致原本提取的特征失效。因此，选择合适的人眼特征和设计性能优良的眼睛状态分类器是提高眼睛状态识别的关键。根据眼睛状态识别方法采用的特征和模型可以分为基于外貌特征的眼睛状态判别方法和基于统计学习的眼睛状态判别方法：基于外貌特征的眼睛状态判别方法，利用眼睛的一些固有外观特征进行识别，比如眼睛虹膜的形状、眼睑的曲率、眼睛的灰度分布等。眼睛的一些固有外观特征会受到外界的环境影响而发生改变，在实际不可控的条件下，这种方法往往变得并不可靠。基于统计学习的眼睛状态判别方法，这种方法往往需要大量不同变化模式下的训练样本，这样才能让学习模型能够有足够好的泛化能力，因此它在处理不确定样本数据时，比基于外貌特征的识别方法表现出更好的稳定性和鲁棒性。在基于统计学习的眼睛状态判别方法中，常用的特征主要有光照不变特征和不变矩特征。其中光照不变特征是一种在不同光照环境下能够保持不变的特征，可以克服眼睛状态识别过程中光照变化的影响，常用的光照不变特征主要有Gabor特征、HOG特征、LBP特征；不变矩是一种具有平移、旋转和比例不变性的图像特征，可以克服眼睛状态识别过程中头部转动和距离的影响，常用的矩特征主要有Hu矩、Zernike矩、小波矩等。在实际应用场景中，眼睛状态识别易受到头部运动、复杂光照的影响，单个特征无法满足实际应用的鲁棒性要求，需要在对眼睛图像进行多种特征的提取和效果分析的基础上，提出了一种特征融合的眼睛状态识别算法。
技术实现思路
本专利技术的目的在于提出一种基于特征融合的眼睛状态识别方法，此方法更好的解决头部运动和复杂光照变化场景下眼睛状态的识别问题，本阀门能够实时地准确地输出眼睛状态，从而提高相应智能系统的鲁棒性。本专利技术通过如下技术方案实现。基于特征融合的眼睛状态识别方法，该方法包括：(1)人脸区域和眼睛定位；(2)伪Zernike矩特征向量与Gabor特征向量的提取；(3)伪Zernike矩特征向量与Gabor特征向量的融合；(4)眼睛状态识别模型的训练；(5)对新输入眼睛状态的判别。上述方法中，所述的步骤(2)，包括：1.1)：通过图像采集系统采集适量的眼睛图像，包括睁眼和闭眼，并归一化到64×48像素大小，作为训练样本图像。1.2)：分别提取训练样本图像的不变矩特征伪Zernike矩特征向量和光照不变特征Gabor特征向量，并利用PCA(PrincipalComponentAnalysis,主成分分析)方法Gabor特征向量进行降维并采用LDA(LinearDiscriminantAnalysis，线性判别分析)对降维后的Gabor特征向量进行重建类内散布矩阵和类间散布矩阵，从而获得降维及重建后的Gabor特征向量。1.3)：将伪Zernike矩特征向量与降维及重建后的Gabor特征向量进行归一化与维数补齐，然后进行并行融合，得到PZ_GAB特征融合特征向量。上述方法中，所述的步骤(4)，包括：2.1)：把所有训练样本图像的PZ_GAB融合特征向量输入到基于径向基核函数SVM(SupportVectorMachine,支持向量机)模型进行训练，得到眼睛状态识别模型。上述方法中，所述步骤(3)包括：对在步骤(2)中得到眼睛样本图像的伪Zernike矩特征向量与降维及重建后的Gabor特征向量进行融合，从而得到融合后的眼睛特征向量PZ_GAB特征上述方法中，所述的步骤(3)，包括：3.1)：通过图像采集系统采集得一帧图像，对此帧图像分别进行人脸和眼睛定位，如果定位成功，获取眼睛区域图像，执行步骤3.2，否则跳过此帧图像，继续获取下一帧图像。3.2)：将步骤3.1获取的眼睛区域大小归一化到64×48像素大小，分别提取伪Zernike矩特征向量和Gabor特征向量，并利用PCA方法对Gabor特征向量进行降维，采用LDA(LinearDiscriminantAnalysis，线性判别分析)对降维后的Gabor特征向量进行重建类内散布矩阵和类间散布矩阵。将伪Zernike矩特征向量与降维及重建后的Gabor特征向量进行并行融合，得到PZ_GAB特征融合特征向量。3.2)：将步骤3.2中融合得到的特征向量输入到步骤2中训练得到的眼睛状态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。与现有技术相比，本专利技术具有如下优点和技术效果：1、本专利技术针对眼睛状态识别易受到复杂光照变化与头部运动的影响而造成识别精度不高的问题，结合光照不变特征与不变矩特征而提出了一种新的特征融合算法。本专利技术能够克服睁闭眼、眼镜反光、头部转动等因素的影响，鲁棒地定位眼睛位置并准确输出眼睛状态信息，从而提高相应智能系统的鲁棒性；2、本方法采用特征降维后计算复杂度低，能够满足系统的实时性要求；附图说明图1是本专利技术一种基于特征融合的眼睛状态识别方法的整体流程图。图2是特征融合的眼睛状态识别流程图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步说明。结合图1，本专利技术一种基于特征融合的眼睛状态识别方法，具体实施方式如下：步骤1：训练基于Haar特征的眼睛级联分类检测器，通过图像采集系统采集适量的眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图像作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于Haar特征的眼睛级联分类检测器。步骤2：训练眼睛状态识别模型，结合图2，具体步骤如下：2.1)：通过与步骤1中相同的图像采集系统适量的眼睛图像，包括睁眼和闭眼，并归一化到64×48像素大小，作为训练样本图像。2.2)：提取样本眼睛图像的伪Zernike矩特征，具体步骤如下：a)：在提取眼睛图像的伪Zernike矩特征之前，本专利技术先采用一种快速有效的自适应阈值算法对眼睛图像进行二值化。遍历眼睛图像，选取图像中最大与最小像素值的中间像素值作为阈值，从而对图像进行二值化。此阈值通过像素值域空间百分比进行选择，本专利技术中根据经验值取像素值域的0.4。b)：计算眼睛图像的本文档来自技高网...

【技术保护点】
基于特征融合的眼睛状态识别方法，其特征在于包括如下步骤：(1)人脸区域和眼睛定位；(2)伪Zernike矩特征向量与Gabor特征向量的提取；(3)伪Zernike矩特征向量与Gabor特征向量的融合；(4)眼睛状态识别模型的训练；(5)对新输入眼睛状态的判别。

【技术特征摘要】
1.基于特征融合的眼睛状态识别方法，其特征在于包括如下步骤：
(1)人脸区域和眼睛定位；
(2)伪Zernike矩特征向量与Gabor特征向量的提取；
(3)伪Zernike矩特征向量与Gabor特征向量的融合；
(4)眼睛状态识别模型的训练；
(5)对新输入眼睛状态的判别。
2.根据权利要求1所述的基于特征融合的眼睛状态识别方法，其特征在于所述步骤(2)
包括：对在步骤(1)中得到的眼睛区域图像进行归一化，接着对归一化的眼睛区域样本图
像进行自适应阈值二值化，得到二值化眼睛图像；对上述的二值图像求其伪Zernike矩特征，
得到眼睛图像的伪Zernike矩特征向量。
3.根据权利要求2所述的基于特征融合的眼睛状态识别方法，其特征在于所述自适应二值
化步骤包括：通过遍历归一化后的眼睛区域样本图像，寻得图像中最大与最小像素值，接
着取最大最小像素值中的中间像素值作为自适应阈值。
4.根据权利要求1所述的基于特征融合的眼睛状态识别方法，其特征在于所述步骤(2)
还包括：首先对在步骤(1)中进行眼睛定位得到的眼睛区域图像与...

【专利技术属性】
技术研发人员：秦华标，仝锡民，廖才满，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44