一种疲劳表情识别方法技术

本发明专利技术公开了一种基于局部二进制模式与重构的方向梯度直方图融合的疲劳表情识别方法，该方法是在Adaboost算法检测面部以及卡尔曼滤波追踪定位面部的基础上进行的有效疲劳表情识别。首先，使用重构的方向梯度直方图算子进行结构信息和边缘信息提取；然后，利用局部二进制模式，即原始模式、等价模式、旋转不变模式、旋转不变等价模式这四种模式之一进行面部纹理信息提取。随后，将提取得到的特征融合，以构成具有纹理信息、结构信息以及边缘信息的新特征。最后，在自建的疲劳表情数据库下利用支持向量机技术对所得的特征值进行疲劳与非疲劳表情的分类训练。结果表明：该方法计算复杂度低，识别率高，能够很好地识别疲劳状态。

A Fatigue Expression Recognition Method

【技术实现步骤摘要】
一种疲劳表情识别方法
本专利技术涉及智能驾驶员驾驶姿态识别
，具体涉及一种基于局部二进制模式与重构的方向梯度直方图融合的疲劳表情识别方法。
技术介绍
驾驶员疲劳识别的研究可分为三类：1)基于车辆的方法；2)基于行为的方法；3)基于生理信号的方法。在生理学方法中，驾驶员疲劳是通过使用身体的生理信号来检测的，例如脑电图(EEG)用于监测大脑活动，眼电图(EOG)用于监测眼球运动，心电图(ECG)用于监测心率。最近的研究表明，与其他方法相比，利用生理信号(尤其是EEG信号)进行疲劳检测更加可靠和准确。然而，生理信号的侵入性测量会阻碍驾驶，特别是在长期驾驶期间。基于车辆的方法从车辆传感器收集信号数据(例如，方向盘角度、车道位置、速度、加速度和制动)以评估驾驶行为。虽然采集车辆信号比较方便，但是这些方法对于检测驾驶员疲劳并不实时。基于行为的方法使用车载照相机捕捉驾驶员的脸，并依靠视觉分析来监视驾驶员的行为，包括闭眼、眨眼、打哈欠、头部姿势、手势、面部表情等。面部表情识别是最常见的基于视觉的行为分析系统之一。它与人们的心理状态密切相关，如愤怒、悲伤、疲劳等。人脸表情识别能有效、准确地检测驾驶员疲劳。现有的人脸表情识别方法主要是基于外观的算法。基于外观的方法考虑面部外观变化，例如皱纹。目前最流行的方法包括：局部二进制模式(LocalBinaryPatterns，LBP)，方向梯度直方图(HistogramofOrientedGradients，HOG)，时空定向能量直方图(HistogramofSpatiotemporalOrientationEnergy，HOE)和GaborWavelets等特征提取方法。其中，LBP最初由T.Ojala，M.和D.Harwood于1994年提出用于纹理特征提取，它可以用来描述图像的局部纹理特征，具有旋转不变性和灰度不变性的优点，但LBP(局部二值模式)描述符提取的纹理特征是有限的，不能有效地描述图像的边缘和方向信息；HOG是用于计算机视觉和图像处理中的对象检测的特征描述符，它通过计算和计算图像局部区域的梯度方向直方图来构造特征，可以很好地提取图像结构信息和边缘信息，但HOG对于噪点敏感，不具有旋转不变性，特征维数高，数据冗余，图像大小固定等。
技术实现思路
本专利技术的目的是针对现有疲劳表情识别方法在疲劳表达识别中的两个技术问题：(1)由LBP描述符提取的纹理特征是有限的，不能有效地描述图像的边缘和方向信息；(2)HOG描述符提取的结构特征不具有旋转不变性，而且特征维数高计算复杂度相对较高，提出了一种基于局部二进制模式与重构方向梯度直方图融合的疲劳表情识别方法。该方法不仅融合了图像的纹理信息，结构信息和边缘信息，而且通过重构HOG算子，在不丢失图像信息的情况下，降低特征维数，降低计算复杂度。此外，本方法中用于训练的图像的大小可以不固定。本专利技术的目的可以通过采取如下技术方案达到：一种基于局部二进制模式与重构的方向梯度直方图融合的疲劳表情识别方法，所述的疲劳表情识别方法包括以下步骤：S1、预处理人脸面部图片，其中，预处理包括滤波与灰度化；S2、利用重构方向梯度直方图(RHOG，ReconsteuctedHistogramofOrientedGradients)提取面部的结构与边缘特征，过程如下：通过伽玛校正调整图像亮度，计算图像的每个像素点的梯度，该梯度包括大小和方向，将图像分割成若干单元，然后计算每个单元的梯度直方图，该梯度直方图以梯度方向分类，对应的梯度值作为纵轴权值，、将若干相邻的单元构成一个块，计算整幅图像中块向量间的统计特征，将所得统计特征向量作为重构的方向梯度直方图的RHOG特征；S3、利用局部二进制模式(LBP，LocalBinaryPatterns)提取纹理特征，得到LBP特征；S4、融合特征：串联LBP与RHOG特征；S5、对特征进行分类训练与交叉检验。进一步地，所述的步骤S2中方向梯度直方图的重构过程如下：S21、标准化的伽玛空间和色彩空间：I(x,y)＝I(x,y)gamma(1)其中I(x,y)代表图像中(x,y)点处的像素，gamma为校正参数；S22、计算图像梯度：Gx(x,y)＝I(x+1,y)-I(x-1,y)(2)Gy(x,y)＝I(x,y+1)-I(x,y-1)(3)其中，I(x,y)表示图像中(x,y)点处的像素，Gx(x,y)和Gy(x,y)分别代表图像中(x,y)点处的横向和纵向梯度值，G(x,y)表示点(x,y)处的梯度值，α为梯度方向角；S23、将图像分成若干单元格。在每个单元格中计数梯度方向直方图。将所有梯度方向划分为t个区间(即t维特征向量,划分方式如图4所示)作为直方图的水平轴，并且将对应于角度范围的梯度值划分为直方图的垂直轴。S24、块由2x2个单元组成。每个块是36维向量。如图3与式(6)所示，它以块矢量作为基本单元构建矩阵F，假设某张图片可划分为n*m个块，其中n表示行，m表示列，每个块中的特征向量为对应单元组成的特征向量串联可表示为：Aij,i＝1,...,n,j＝1,...,m。则以块为基本单位，构造矩阵F如下：S25、重建矩阵，将矩阵F在行的方向上或在列的方向上重建，如式(7)所示：S26、计算重建矩阵的五个统计特征：均值μ，方差σ，偏度γ，峰度κ，熵H。计算均值μ，方差σ，偏度γ，峰度κ方法如式(8)-(11)所示，熵H的的计算方法如式(12)所示：其中，aij表示矩阵或的第i行第j列元素，n为矩阵或的行，μj表示第j列均值，表示第j列方差，γj表示第j列偏度，κj表示第j列峰度，pi表示数值aij在第j列所占个数比例，Hj为第j列的熵。进一步地，所述的步骤S3中采用局部二进制模式(LBP，LocalBinaryPatterns)的四种模式：原始模式(OriginalPattern)、等价模式(UniformPattern)、旋转不变模式(RotationInvariantPattern)、旋转不变等价模式(RotationInvariantUniformPattern)，分别对图片进行纹理特征提取、编码操作。进一步地，所述的原始模式(OriginalPattern)指的是：假设截取某张图片的一个3*3窗口，该部分的灰度分布如图2(a)所示。以中心灰度值作为参考，对周边进行二值化处理，将比中心像素灰度值大的点设为1，小的点设为0即：T＝t(gc,g0,...,gP-1)≈t(s(g0-gc),...,s(gP-1-gc))(13)其中，T是纹理特征，t(·)为纹理特征分布函数，P为采样点数，gc是中心像素点灰度值，gi(i＝0,1,2,...,P-1)表示P个采样点的灰度值，s是符号函数：则原始模式的LBP(LocalBinaryPatterns)的值可以如图2(b)所示，仿真中为了不受采样点数约束可以采用如图三所示圆形局部二值模式，其中R为采样半径，R的大小决定了圆的大小；P为采样点数，反映了角度空间的分辨率：由上述描述可知，对于原始模式的LBP(LocalBinaryPatterns)算子，二进制的模式种类N＝2P(其中P是采样点的个数)。进一步地，所述的等价模式(UniformPattern)指的是：在本文档来自技高网...

【技术保护点】
1.一种基于局部二进制模式与重构的方向梯度直方图融合的疲劳表情识别方法，其特征在于，所述的疲劳表情识别方法包括以下步骤：S1、预处理人脸面部图片，其中，预处理包括滤波与灰度化；S2、利用重构方向梯度直方图提取面部的结构与边缘特征，得到RHOG特征，过程如下：通过伽玛校正调整图像亮度，计算图像的每个像素点的梯度，该梯度包括大小和方向，将图像分割成若干单元，然后计算每个单元的梯度直方图，该梯度直方图以梯度方向分类，对应的梯度值作为纵轴权值，、将若干相邻的单元构成一个块，计算整幅图像中块向量间的统计特征，将所得统计特征向量作为重构的方向梯度直方图的RHOG特征；S3、利用局部二进制模式提取纹理特征，得到LBP特征；S4、通过串联LBP特征与RHOG特征，进行特征融合：S5、对融合后特征进行分类训练与交叉检验。

【技术特征摘要】
1.一种基于局部二进制模式与重构的方向梯度直方图融合的疲劳表情识别方法，其特征在于，所述的疲劳表情识别方法包括以下步骤：S1、预处理人脸面部图片，其中，预处理包括滤波与灰度化；S2、利用重构方向梯度直方图提取面部的结构与边缘特征，得到RHOG特征，过程如下：通过伽玛校正调整图像亮度，计算图像的每个像素点的梯度，该梯度包括大小和方向，将图像分割成若干单元，然后计算每个单元的梯度直方图，该梯度直方图以梯度方向分类，对应的梯度值作为纵轴权值，、将若干相邻的单元构成一个块，计算整幅图像中块向量间的统计特征，将所得统计特征向量作为重构的方向梯度直方图的RHOG特征；S3、利用局部二进制模式提取纹理特征，得到LBP特征；S4、通过串联LBP特征与RHOG特征，进行特征融合：S5、对融合后特征进行分类训练与交叉检验。2.根据权利要求1所述的疲劳表情识别方法，其特征在于，所述的步骤S2中方向梯度直方图的重构过程如下：S21、标准化的伽玛空间和色彩空间：I(x,y)＝I(x,y)gamma(1)其中I(x,y)代表图像中(x,y)点处的像素，gamma为校正参数；S22、计算图像梯度：Gx(x,y)＝I(x+1,y)-I(x-1,y)(2)Gy(x,y)＝I(x,y+1)-I(x,y-1)(3)其中，I(x,y)表示图像中(x,y)点处的像素，Gx(x,y)和Gy(x,y)分别代表图像中(x,y)点处的横向和纵向梯度值，G(x,y)表示点(x,y)处的梯度值，α为梯度方向角；S23、将图像分成若干单元格，在每个单元格中计数梯度方向直方图，将所有梯度方向划分为t个区间作为直方图的水平轴，并且将对应于角度范围的梯度值划分为直方图的垂直轴；S24、由2x2个单元组成块，以块矢量作为基本单元构建矩阵F，假设某张图片可划分为n*m个块，其中n表示行，m表示列，每个块中的特征向量为对应单元组成的特征向量串联表示为：Aij,i＝1,...,n,j＝1,...,m，则以块为基本单位，构造矩阵F如下：S25、重建矩阵，将矩阵F在行的方向上或在列的方向上重建，如式(7)所示：其中，为按行重构的矩阵，为按列的重构矩阵；S26、计算重建矩阵的统计特征，该统计特征包括均值μ、方差σ、偏度γ、峰度κ、熵H。3.根据权利要求2所述的疲劳表情识别方法，其特征在于，所述的均值μ、方差σ2、偏度γ、峰度κ、熵H的计算公式分别如下：其中，aij表示矩阵或的第i行第j列元素，n为矩阵或的行，μj表示第j列均值，表示第j列方差，γj表示第j列偏度，κj表示第j列峰度，pi表示数值aij在第j列所占个数比例，Hj为第j列的熵。4.根据权利要求1所述的疲劳...

【专利技术属性】
技术研发人员：胡斌杰，祁亚茹，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44