基于图像金字塔局部二进制模式的疲劳表情识别方法技术

本发明专利技术公开了一种基于图像金字塔局部二进制模式的疲劳表情识别方法，在Adaboost算法检测面部以及卡尔曼滤波追踪定位面部的基础上进行的有效疲劳表情识别。本方法将扩展到多尺度金字塔变换域的传统四种圆形局部二进制模式：原始模式、等价模式、旋转不变模式、旋转不变等价模式，用于疲劳表情的特征提取中。首先，利用自建的疲劳表情库结合上述四种多尺度金字塔阈LBP模式进行疲劳表情纹理特征提取。随后，利用SVM(Support Vector Machine)技术对所得的特征值进行疲劳与非疲劳表情的分类训练。经过实验验证，本方法计算复杂度低，识别率高，可以很好地识别疲劳状态。

【技术实现步骤摘要】
基于图像金字塔局部二进制模式的疲劳表情识别方法
本专利技术涉及智能驾驶员驾驶姿态识别
，具体涉及一种基于图像金字塔局部二进制模式的疲劳表情识别方法。
技术介绍
面部表情是一种最常见的非语言的表达情感的人际沟通手段，用于表达某些自身情绪或者说话人当前状态，例如喜、怒、哀、乐、疲劳等。随着机器学习与模式识别这两门学科的发展，越来越多纹理特征提取技术被应用于人脸检测、行人检测、面部表情检测中。现有的应用于人脸表情分类识别的方法包括：基于几何学的相关算法和考虑到皱纹等脸部的外观变化的基于外观的方法。基于几何学的典型代表算法为：ASM(ActiveShapeModel),该算法虽然可以很好地处理测量不确定性、因遮挡和传感器错误导致的数据丢失，但是无法区分相似的表情。基于外观的方法的典型算法包括：方向梯度直方图(HistogramofOrientedGradients，HOG)及其相关拓展算法、GaborWavelets及其相关拓展算法、局部二进制模式(LocalBinaryPatterns，LBP)及其相关拓展。其中HOG及其拓展算法利用分块分单元更好表述了局部像素间的关系并且可以图像因为抑制旋转平移带来的影响；但是描述子生成过程冗长，导致速度慢，实时性差；很难处理遮挡问题。由于梯度的性质，该描述子对噪点相当敏感。GaborWavelets及其拓展是目前识别率相对较高的算法，但是高计算复杂度和高数据冗余。局部二进制模式(LocalBinaryPatterns，LBP)也是一项较好的进行纹理特征提取的方法。大量的实验表明，LBP的三种简化模式：等价模式(UniformPattern)、旋转不变模式(RotationInvariantPattern)、旋转不变等价模式(RotationInvariantPattern)可以在不降低识别率的基础上最大限度的简化计算复杂度以及数据冗余。此外，LBP特征还可以在低分辨率的面部图像稳定且鲁棒地执行。为了捕捉动态纹理信息，一些学者将LBP从二维扩展到三维空间，这种方法将时间轴的动态纹理信息考虑在内，并证明该方法对于图像的平移旋转具有不变性，但它们的基本假设是图像的纹理分辨率是固定的，实际上，通过人脸识别所得图像中的纹理块可以有不同的分辨率，且图像之间有分辨率的变化。而通常情况下，固定分辨率下的纹理信息不会有明显的区别。本方法中引入的金字塔阈的纹理特征提取方法PLBP可以在图像纹理分辨率变化的状况下更好的识别疲劳表情。
技术实现思路
本专利技术针对现有疲劳表情识别方法中以固定纹理分辨率为分析基础、牺牲计算复杂度来换取高识别率等缺点提供了一种基于图像金字塔局部二进制模式的疲劳表情识别方法。该方法不仅可以用于图像分辨率不固定的情况，而且对于图像的平移和旋转具有不变性，并且可以在不牺牲识别率的基础上(甚至有一些提升)极大限度的降低计算复杂程度以及数据的冗余程度。本专利技术的目的可以通过采取如下技术方案达到：一种基于图像金字塔局部二进制模式的疲劳表情识别方法，包括如下步骤：S1、自建疲劳表情库。该表情库中包括疲劳表情(打哈欠，点头，闭眼状态等)以及非疲劳状态的表情(喜怒哀乐等)。S2、利用人脸检测以及定位的方法获取面部区域。S3、对面部构建多尺度非固定纹理分辨率的金字塔模型。起始层数为原始图像，然后在金字塔中继续增加层次直到缩放图像的大小达到预先设定的最小值。连续层级之间的比例比一般设为a，a为正整数。S4、对金字塔每一层分别利用局部二进制模式(LBP，LocalBinaryPatterns)进行纹理特征提取。S5、对疲劳特征进行分类训练与交叉检验。进一步地，所述的步骤S2中，面部区域的获取可以通过一些现有的人脸识别与定位的方法实现。例如，基于Adaboost的人脸检测以及基于Kalman滤波的人脸跟踪实现的。进一步地，所述的步骤S3中，对面部构建多尺度非固定纹理分辨率的金字塔模型，包括两个步骤：低通滤波和图像降采样。假设f(x,y)表示为原图像，金字塔的构造过程如式(1)：其中，Gl(x,y)表示第l层图像；Rx,Ry分别表示X轴与Y轴的降采样率，若Rx,Ry为非整数，则对图像进行插值；κ(x,y)为低通滤波器，本专利技术中，将以Gaussian滤波器为例，假设该滤波器的X轴与Y轴方向的标准差分别为：σx,σy，则有：进一步地，所述的步骤S4中，对金字塔每一层分别利用圆形局部二进制模式(LBP，LocalBinaryPatterns)进行纹理特征提取。在本步骤中可采用局部二进制模式(LBP，LocalBinaryPatterns)的四种模式：原始模式(OriginalPattern)、等价模式(UniformPattern)、旋转不变模式(RotationInvariantPattern)、旋转不变等价模式(RotationInvariantUniformPattern)，分别对每一层的图片进行特征提取、编码操作；进一步地，所述的步骤S4中的原始模式(OriginalPattern)指的是：假设截取某张图片的一个3*3窗口，该部分的灰度分布如附图中图2(a)所示。以中心灰度值作为参考，对周边进行二化处理，将比中心像素灰度值大的点设为1，小的点设为0即：T＝t(gc,g0,...,gP-1)≈t(s(g0-gc),...,s(gP-1-gc))(5)其中，T是纹理特征，gc是中心像素点灰度值，gi，i＝0,1,2,...,P-1是P个采样点的灰度，s是符号函数：则原始模式的LBP(LocalBinaryPatterns)的值图2(a)所示，仿真中为了不受采样点数约束可以采用如图2(b)所示圆形局部二值模式，其中R为采样半径，R的大小决定了圆的大小；P为采样点数，反映了角度空间的分辨率：由上述描述可知，对于原始模式的LBP(LocalBinaryPatterns)算子，二进制的模式种类N＝2P(其中P为采样点的个数)。进一步地，所述的步骤S4中的等价模式(UniformPattern)指的是：在原始模式的编码基础上将编码进行循环移右移1位操作，当某个局部二进制(LBP)所对应的循环二进制数从0到1或者从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式。等价模式用U来度量：U≤2的所有模式被称为等价模式。因此可算得等价模式(UniformPattern)模式的个数为P(P-1)+2，P为采样点个数。进一步地，所述的步骤S4中的旋转不变模式(RotationInvariantPattern)指的是：当图像被旋转，灰度值gP和g0的相对位置将发生变化，而g0通常取中心gc的正右，坐标(0，R)，这会导致不同的局部二进制(LBP)值。但任何角度的旋转不影响，圆形对称邻域内0和1的相对位置关系，为了移除旋转获得唯一的LBP值，定义如下：其中，ROR(x,i)执行将第x个采样点移动i次。即图像像素而言，就是将邻域集合按照时钟方向旋转很多次，直到当前旋转下构成的LBP值最小。这种做法也大大减小了LBP的模式值得数量。进一步地，所述的步骤S4中的旋转不变等价模式(RotationInvariantUniformPattern)指的是：融合旋转不变模式和等价模式可以得到旋转不变等价模式，可本文档来自技高网...

【技术保护点】
1.一种基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的方法包括一下步骤：S1、自建疲劳表情库，该表情库中包括疲劳表情以及非疲劳状态的表情；S2、利用人脸检测以及定位的方法获取面部区域；S3、对面部构建多尺度非固定纹理分辨率的金字塔模型，该金字塔模型的起始层数为原始图像，然后在金字塔模型中继续增加层次直到缩放图像的大小达到预先设定的最小值，其中，连续层级之间的比例比设为缩放因子a，a为≥1的正数；S4、对金字塔模型中每一层分别利用局部二进制模式进行纹理特征提取；S5、对疲劳特征进行分类训练与交叉检验。

【技术特征摘要】
1.一种基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的方法包括一下步骤：S1、自建疲劳表情库，该表情库中包括疲劳表情以及非疲劳状态的表情；S2、利用人脸检测以及定位的方法获取面部区域；S3、对面部构建多尺度非固定纹理分辨率的金字塔模型，该金字塔模型的起始层数为原始图像，然后在金字塔模型中继续增加层次直到缩放图像的大小达到预先设定的最小值，其中，连续层级之间的比例比设为缩放因子a，a为≥1的正数；S4、对金字塔模型中每一层分别利用局部二进制模式进行纹理特征提取；S5、对疲劳特征进行分类训练与交叉检验。2.根据权利要求1所述的基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的步骤S2中面部区域的获取通过基于Adaboost的人脸检测以及基于Kalman滤波的人脸跟踪实现。3.根据权利要求1所述的基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的步骤S3中对面部构建多尺度非固定纹理分辨率的金字塔模型包括低通滤波和图像降采样，假设f(x,y)表示为原图像，金字塔的构造过程如式(1)：其中，Gl(x,y)表示第l层图像，Rx,Ry分别表示X轴与Y轴的降采样率，若Rx,Ry为非整数，则对图像进行插值，κ(x,y)为低通滤波器，式(1)中以原始图像作为金字塔第1层，构造金字塔中第2至n层及提取面部特征，步骤如下：S301、缩放图像，按比例缩放上一层图像，若缩放因子Rx,Ry为非整数，则进行插值处理；S302、将图像与低通滤波器进行卷积运算从而平滑图像；S303、重复上述步骤S301及S302，继续增加金字塔层数直到缩放图像的大小达到预先设定的最小值，从而得到图像金字塔。4.根据权利要求1所述的基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的步骤S4中局部二进制模式包括以下四种模式：原始模式、等价模式、旋转不变模式和旋转不变等价模式。5.根据权利要求4所述的基于图像金字塔局部二进制模式的疲劳表情识别方法，其特征在于，所述的原始模式指的是：假设截取某张图片的一个3*3窗口，已知该部分的灰度分布，以中心灰度值作为参考，对周边进行二化处理，将比中心像素灰度值大的点设为1，小的点设为...

【专利技术属性】
技术研发人员：胡斌杰，祁亚茹，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44