多特征决策融合的眼状态识别方法技术

本发明专利技术公开了一种多特征决策融合的眼状态判别方法，其包括如下步骤：对采集到的眼睛样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；接着针对这三种特征分别建立最优SVM模型：PZ-SVM模型，COM-SVM模型和HOG-SVM模型；最后利用自动权值学习算法对三个模型的判别结果有效性进行权重分配，实现对眼状态判别的决策融合。本发明专利技术能够克服复杂光照变化和眼睛形变的影响，提高人眼状态判别的鲁棒性。

【技术实现步骤摘要】
多特征决策融合的眼状态识别方法
本专利技术属于图像处理和模式识别技术的应用领域，具体涉及复杂光照条件下的多特征决策融合的眼状态识别方法。
技术介绍
眼状态的识别在人机交互、驾驶员疲劳检测、视线跟踪等很多领域都有重要的作用，其判别的准确率直接影响这些系统的性能，在实际环境中，为了保证人眼状态判别的方法能够全天候使用，目前最常用的方法就是使用波长850nm的主动红外光源和滤光片结合的图像采集方法。但在红外照明加滤光片的情况下，人眼图像与正常光照下的人眼图像出现较大的区别；另外实际应用中头部的大幅度转动使得人眼图像发生较大形变，导致原本提取的特征失效；带眼镜时产生的反光现象也会使眼睛部位的特征消失，无法保证人眼状态判别的准确率。因此，如何选择合适的人眼特征和设计性能优良的人眼状态判别器是一个具有挑战性的的关键问题。目前有大量人员对眼状态判别开展深入的研究。YangHai-yang等使用Gabor小波提取眼睛特征，将该特征放进马尔科夫模型进行训练，从而判断眼睛睁闭状态，但其所使用的小波特征无法区分对比度低的红外眼睛状态；Mehrdad等提取眼睛的LBP（LocalBinaryPattern）特征后，利用SVM（SupportVectorMachine）分类器进行训练判别，但LBP特征是纹理描述算子，在红外下眼睛图像对比度低，纹理特征不明显；Lamiaa等在红外条件下，利用Haar特征分类器定位人脸，之后使用模板相关性判别眼睛状态，但Haar特征对睁闭眼的表征能力不足，容易出现错判，而且太过依赖训练样本；Giacia等利用红外摄像头，对提取的眼睛区域进行水平和垂直积分投射曲线，最后用高斯模型判断其特性，计算瞳孔高度在该帧中的比值，投影曲线的提取是基于像素级的，对光照和姿势变化比较敏感；国防科大的李智[6]等提出基于红外视频图像的疲劳检测方法，使用PCA（PrincipalComponentAnalysis）进行主成分特征提取后，利用Adaboost进行训练分类，该方法的虚报数较高，主要是提取的PCA特征没有很好的类间分类能力；Nawal等使用CHT（CircuitHoughTransfer）检测人眼状态，通过CHT获取的虹膜半径判断眼睛睁闭的程度，该方法具有一定鲁棒性，但在头部大范围转动时失效；Tian等在定位到眼睛图像后，计算眼睛图像的复杂度特征来判断睁闭眼状态，复杂度特征提取简单而且区分度高，但对轮廓提取有较高要求，而且容易受到光照的影响；Lin提取眼睛的HOG（HistogramofOrientedGradient）特征后，使用线性SVM进行训练和眼状态的判别，HOG特征对光照变化不敏感，能够在一定程度上克服光照的影响，但对头部运动敏感；胡涛等把眼睛内部形状空间域的特征、伪Zernike矩特征和模板匹配方法进行结合，利用基于格贴近度的分类器判别眼睛状态，伪Zernike特征的旋转不变性、尺度不变性能够很好克服头部转动和距离远近的问题，但该方法是在可见光下进行，而且对光照的变化较敏感。
技术实现思路
本专利技术的目的在于克服现有技术存在的以上不足之处，即利用单个特征进行判别并不可靠，提出多特征决策融合的眼状态识别方法，能够克服复杂光照变化和眼睛形变的影响，提高人眼状态判别的鲁棒性。本专利技术通过如下技术方案实现：一种多特征决策融合的眼状态判别方法，其特征在于包括如下步骤：（1）眼睛特征的提取：对采集到的眼睛训练样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；（2）SVM模型的建立：针对这三种特征分别建立最优SVM模型，即PZ-SVM模型，COM-SVM模型和HOG-SVM模型；（3）决策融合模型的建立：利用自动权值学习算法对三个特征模型在眼睛测试样本中的判别准确率进行权重分配，实现对眼状态判别的决策融合。上述方法中，步骤（1）的伪Zernike矩特征是一种正交复数矩，具有旋转不变性和尺度不变性，能够克服眼睛状态判别中头部发生偏转、倾斜，与摄像头之间距离发生变化的影响；所提取的伪Zernike矩特征是1‐9阶的伪Zernike矩特征，共55维；所述复杂度特征是指眼睛图像边缘轮廓图的复杂程度；HOG特征对眼睛图像细胞单元中出现的方向梯度次数进行计数，并利用基于一致空间的密度矩阵来提高准确率，其对光照不敏感，所提取到的HOG特征向量是1400维。上述方法中，步骤（1）的伪Zernike矩特征提取过程中，使用形态学与边缘检测相结合的轮廓提取算法，其主要步骤为：使用3×5的结构元素对眼睛图像f进行膨胀得到图像f1；将膨胀后的图像f1与原图像f进行相减，去除部分光照影响，得到图像f2；对图像f2进行canny边缘提取，得到图像f3；接着对图像f3中的连通直线进行质心提取；最后将质心限制在0.35-0.7倍的宽和高中间，将质心超出该范围的剔除，就提取到了眼睛图像的轮廓。上述方法中，步骤（2）的SVM模型的建立使用的核函数是径向基核函数，建立过程使用基于交叉验证的的网格寻优方法确定最优的参数，最优的参数包括惩罚因子C和松弛因子g。上述方法中，步骤（3）中自动权值学习算法是通过三个特征模型在眼睛测试样本中对睁闭眼的判别准确率来对其判别结果进行权重分配，具体包括：将眼睛测试样本提取对应特征后，输入已建立的三个SVM模型，即PZ_SVM模型，COM_SVM模型和HOG_SVM模型；接着针对睁眼样本，如果PZ_SVM模型判别为睁眼，其对应的权重PZ_Pweight进行累加；如果COM_SVM模型判别为睁眼，其对应的权重COM_Pweight进行累加；假如HOG_SVM模型判别为睁眼，其对应的权重HOG_Pweight进行累加，反之如果判别为闭眼，则对应权重不进行累加；同样针对闭眼样本，如果PZ_SVM模型判别为闭眼，其对应的权重PZ_Nweight进行累加；如果COM_SVM模型判别为闭眼，其对应的权重COM_Nweight进行累加；假如HOG_SVM模型判别为闭眼，其对应的权重HOG_Nweight进行累加，反之如果判别为睁眼，则对应权重不进行累加；最后得到三个模型输出的睁闭眼对应权值，再将特征权值进行归一化处理。上述方法中，步骤（3）的决策融合模型的建立，其决策融合的过程是：对新的眼睛测试样本进行判别时，首先提取伪Zernike矩特征，输入PZ-SVM模型进行判别，得到睁眼分类结果P11和闭眼分类结果P12，之后提取复杂度特征，输入COM-SVM模型进行判别，得到睁眼分类结P21和闭眼分类结果P22；最后提取HOG特征，输入HOG-SVM模型进行判别，得到其睁眼分类结果P31和闭眼分类结果P32，将三个模型的判别结果联合起来，如下式所示：Ppos=P11×PZ_Pweight+P21×COM_Pweight+P31×HOG_PweightPneg=P12×PZ_Nweight+P22×COM_Nweight+P32×HOG_Nweight如果Ppos大于Pneg，则判别为睁眼；反之，则判别为闭眼。上述的方法中，步骤（3）的决策融合模型的建立，其中自动权值学习算法的主要原理是通过三个特征模型在用于测试的眼睛样本中对睁闭眼的判别准确率来对其判别结果进行权重分配。其主要过程如下：本专利技术与现有技术相比，具有以下优点和积极效果本文档来自技高网...

【技术保护点】
一种多特征决策融合的眼状态判别方法，其特征在于包括如下步骤：眼睛特征的提取：对采集到的眼睛训练样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；SVM模型的建立：针对这三种特征分别建立最优SVM模型，即PZ?SVM模型，COM?SVM模型和HOG?SVM模型；决策融合模型的建立：利用自动权值学习算法对三个特征模型在眼睛测试样本中的判别准确率进行权重分配，实现对眼状态判别的决策融合。

【技术特征摘要】
1.一种多特征决策融合的眼状态判别方法，其特征在于包括如下步骤：（1）眼睛特征的提取：对采集到的眼睛训练样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；伪Zernike矩特征提取过程中，使用形态学与边缘检测相结合的轮廓提取算法，其主要步骤为：使用3×5的结构元素对眼睛图像f进行膨胀得到图像f1；将膨胀后的图像f1与原图像f进行相减，去除部分光照影响，得到图像f2；对图像f2进行canny边缘提取，得到图像f3；接着对图像f3中的连通直线进行质心提取；最后将质心限制在0.35-0.7倍的宽和高中间，将质心超出该范围的剔除，就提取到了眼睛图像的轮廓；（2）SVM模型的建立：针对这三种特征分别建立最优SVM模型，即PZ-SVM模型，COM-SVM模型和HOG-SVM模型；（3）决策融合模型的建立：利用自动权值学习算法对三个特征模型在眼睛测试样本中的判别准确率进行权重分配，实现对眼状态判别的决策融合。2.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（1）的伪Zernike矩特征是一种正交复数矩，具有旋转不变性和尺度不变性，能够克服眼睛状态判别中头部发生偏转、倾斜，与摄像头之间距离发生变化的影响；所提取的伪Zernike矩特征是1-9阶的伪Zernike矩特征，共55维；所述复杂度特征是指眼睛图像边缘轮廓图的复杂程度；HOG特征对眼睛图像细胞单元中出现的方向梯度次数进行计数，并利用基于一致空间的密度矩阵来提高准确率，其对光照不敏感，所提取到的HOG特征向量是1400维。3.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（2）的SVM模型的建立使用的核函数是径向基核函数，建立过程使用基于交叉验证的的网格寻优方法确定最优的参数，最优的参数包括惩罚因子C和松弛因子g。4.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（3）中自动权值...

【专利技术属性】
技术研发人员：秦华标，李雪梅，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：