一种近红外眼睛定位及眼睛状态识别方法技术

本发明专利技术公开了一种近红外眼睛定位及眼睛状态识别方法，属于图像处理和模式识别领域，适用于驾驶员疲劳检测，视线跟踪。该方法首先对输入的近红外图像进行人脸定位，然后利用基于级联结构的近红外眼睛定位算法定位眼睛区域，最后利用基于HOG-LBP特征融合的眼睛状态识别算法判定眼睛状态。该方法在红外条件下能够鲁棒地定位睁闭眼睛两种情况，并准确地识别眼睛状态，同时计算复杂度不高，满足实时性要求。

【技术实现步骤摘要】

本专利技术属于图像处理和模式识别领域，具体涉及一种近红外眼睛定位及眼睛状态识别方法。
技术介绍
眼睛是人脸生物特征识别的重要组成部分，因此眼睛的精确位置信息及眼睛状态在驾驶员疲劳检测、视线跟踪等智能系统有广泛应用。根据眼睛定位方法所采用的特征和模型可以分为以下三类：第一类是基于眼睛外观特征的定位方法，如眼睛固有形状、瞳孔、虹膜和眼白的灰度分布、亮瞳效应。这类定位方法依赖于好的成像条件，在驾驶环境中，需克服光照、头部转动、戴眼镜等诸多不可控条件，才能有较好定位效果。第二类是基于特征描述子的统计学习方法，即提取有用的视觉特征，在大量眼睛训练样本基础上建立眼睛定位模型。如通过Adaboost算法训练基于Haar特征的眼睛级联分类器，但是目前方法大部分只提取睁眼时的特征描述子，因此，定位睁眼的眼睛具有较好的性能，而闭眼时定位算法失效。第三类方法是利用眼睛的空间结构信息建立眼睛定位模型。主动形状模型是一种具有代表性的图形结构模型，这种模型用形状向量来描述物体形状的变化，这类方法能同时定位睁眼和闭眼，但是计算复杂度高，不能满足实时性要求。根据眼睛状态识别方法采用的特征和模型可以分为以下两类：第一类是基于外貌特征的眼睛状态判别方法，利用眼睛的一些固有外观特征进行识别，比如眼睛虹膜的形状、眼睑的曲率、眼睛的灰度分布等。眼睛的一些固有外观特征会受到外界的环境影响而发生改变，在实际不可控的条件下，这种方法往往变得并不可靠。第二类是基于统计学习的眼睛状态判别方法，这种方法往往需要大量不同变化模式下的训练样本，这样才能让学习模型能够有足够好的泛化能力，因此它在处理不确定样本数据时，比基于外貌特征的识别方法表现出更好的稳定性和鲁棒性。在实际应用中，为了减少复杂光照的影响，同时满足夜间使用的要求，很多智能系统采用主动近红外光源和窄带滤光片相结合的图像采集系统。然而近红外眼睛图像中虹膜消失，图像噪声增大，与自然光谱下图像有较大差别，并且在实际应用环境中，眼镜反光、睁闭眼、头部转动使得目前存在的眼睛定位及眼睛状态识别算法性能都出现大幅度下降，使用单一的特征或定位方法不能保证在所有应用环境下的鲁棒性。
技术实现思路
本专利技术的目的在于提出一种近红外眼睛定位及眼睛状态识别方法，在红外条件下，能够克服睁闭眼、眼镜反光、头部转动等因素的影响，实时地准确定位眼睛位置并输出眼睛状态，从而提高相应智能系统的鲁棒性。实现本专利技术目的的技术解决方案为：一种近红外眼睛定位及眼睛状态识别方法，包括如下步骤：步骤1：获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄带滤光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取人脸图像，执行步骤2，否则继续获取下一帧红外图像；步骤2：在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区域，如果定位成功，获取眼睛图像，执行步骤3，否则执行步骤1；步骤3：在获取的眼睛图像上利用基于HOG-LBP特征融合的近红外眼睛状态识别算法判定眼睛状态，输出眼睛状态识别结果；步骤4：重复步骤1～3，实时输出眼睛状态识别结果。进一步的，步骤2具体包括以下步骤：步骤2.1：利用人脸三庭五眼的比例划分人脸图像获得眼睛感兴趣区域，在获取的眼睛感兴趣区域利用基于Haar特征的眼睛级联分类检测器定位眼睛区域，如果定位成功，即可输出眼睛精确位置，获取眼睛图像，否则执行步骤2.2；步骤2.2：在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，如果定位成功，即可输出眼睛精确位置，获取眼睛图像，否则这帧图像眼睛定位失败。进一步的，所述步骤2.2中在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域包括以下步骤：步骤2.2.1：对眼睛感兴趣区域进行对数变换，并利用基于最大熵的自适应阈值分割算法分割对数变换后的眼睛感兴趣区域，得到分割后的图像；步骤2.2.2：利用形态学闭操作处理分割后的图像，并进行团块提取，根据团块的大小和的设定值，去除不在设定值范围内的团块；步骤2.2.3：计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团块；步骤2.2.4：计算团块的质心位置，并搜索质心坐标在眼睛感兴趣区域中心点附近的矩形区域内的最大团块，该最大团块的包围盒即为眼睛所在矩形位置，完成眼睛精确定位。进一步的，所述基于Haar特征的眼睛级联分类检测器的训练包括：通过与步骤1相同的图像采集系统采集适量近红外眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图像作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于Haar特征的眼睛级联分类检测器。进一步的，步骤3具体包括以下步骤：将步骤2获取的眼睛图像大小归一化到近红外眼睛状态识别模型所采用的样本图像大小，分别提取训练样本图像的HOG特征向量和LBP特征向量，并利用PCA方法进行降维，串联两种降维后的特征向量得到HOG-LBP融合特征向量，利用训练得到的近红外眼睛状态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。进一步的，近红外眼睛状态识别模型通过如下方法训练得到：通过与步骤1中相同的图像采集系统，采集适量红外眼睛图像，包括睁眼和闭眼红外眼睛图像，并归一化到64×48像素大小，作为训练样本图像；分别提取训练样本图像的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征向量和LBP(Local Binary Pattern,局部二值模式)特征向量，并利用PCA(Principal Component Analysis,主成分分析)方法进行降维，串联两种降维后的特征向量得到HOG-LBP融合特征向量；把所有训练样本图像的HOG-LBP融合特征向量输入到基于径向基核函数SVM(Support Vector Machine,支持向量机)模型进行训练，得到近红外眼睛状态识别模型。与现有技术相比，本专利技术具有如下优点和技术效果：1、提出了一种近红外眼睛定位及眼睛状态识别方法，在红外条件下，能够克服睁闭眼、眼镜反光、头部转动等因素的影响，鲁棒地定位眼睛位置并准确输出眼睛状态信息，从而提高相应智能系统的鲁棒性；2、本方法计算复杂度低，能够满足智能系统的实时性要求；3、本方法采用图像采集系统应用广泛，配置简单、硬件成本低，易于推广。附图说明图1是本专利技术一种近红外眼睛定位及眼睛状态识别方法的整体流程图。图2是近红外眼睛定位流程图。图3是近本文档来自技高网...

【技术保护点】
一种近红外眼睛定位及眼睛状态识别方法，其特征在于包括如下步骤：步骤1：获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄带滤光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取人脸图像，执行步骤2，否则继续获取下一帧红外图像；步骤2：在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区域，如果定位成功，获取眼睛图像，执行步骤3，否则执行步骤1；步骤3：在获取的眼睛图像上利用基于HOG‑LBP特征融合的近红外眼睛状态识别算法判定眼睛状态，输出眼睛状态识别结果；步骤4：重复步骤1～3，实时输出眼睛状态识别结果。

【技术特征摘要】
1.一种近红外眼睛定位及眼睛状态识别方法，其特征在于包括如下步骤：
步骤1：获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄带滤
光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取人
脸图像，执行步骤2，否则继续获取下一帧红外图像；
步骤2：在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区域，
如果定位成功，获取眼睛图像，执行步骤3，否则执行步骤1；
步骤3：在获取的眼睛图像上利用基于HOG-LBP特征融合的近红外眼睛状态识别算法
判定眼睛状态，输出眼睛状态识别结果；
步骤4：重复步骤1～3，实时输出眼睛状态识别结果。
2.根据权利要求1所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，步骤2具体
包括以下步骤：
步骤2.1：利用人脸三庭五眼的比例划分人脸图像获得眼睛感兴趣区域，在获取的眼睛
感兴趣区域利用基于Haar特征的眼睛级联分类检测器定位眼睛区域，如果定位成功，即可
输出眼睛精确位置，获取眼睛图像，否则执行步骤2.2；
步骤2.2：在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，如果定位成
功，即可输出眼睛精确位置，获取眼睛图像，否则这帧图像眼睛定位失败。
3.根据权利要求2所述的近红外眼睛定位及眼睛状态识别方法，其特征在于，所述步骤2.2
中在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域包括以下步骤：
步骤2.2.1：对眼睛感兴趣区域进行对数变换，并利用基于最大熵的自适应阈值分割算
法分割对数变换后的眼睛感兴趣区域，得到分割后的图像；
步骤2.2.2：利用形态学闭操作处理分割后的图像，并进行团块提取，根据团块的大小
和的设定值，去除不在设定值范围内的团块；
步...

【专利技术属性】
技术研发人员：秦华标，刘军，仝锡民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44