本发明专利技术涉及一种基于Haar-like特征的多类别面部表情高精度识别方法，属于计算机科学与图形图像处理技术领域。本发明专利技术首先使用Haar-like特征和串联人脸检测分类器实现高准确性的人脸检测；进而利用AdaBoost.MH算法对高维Haar-like特征进行特征筛选；最终使用随机森林算法进行表情分类器训练，以完成表情识别。与现有技术相比，本发明专利技术在进一步提升多种类别表情识别率的同时，大大减少训练和识别的时间开销，并可方便地实现并行化，以进一步提高识别效率、满足实时处理及移动计算的需求。本发明专利技术可对静态图像和动态视频进行高精度识别；不仅适用于桌面计算机，也适用于手机、平板电脑等移动计算平台。
【技术实现步骤摘要】
本专利技术涉及一种基于Haar-Iike特征的，属于计算机科学与图形图像处理
技术介绍
面部表情是人类交流的重要途径，人脸表情识别(facial expressionrecognition, FER)作为人机交互中的一项技术，正越来越受到重视。人们通常将多种多样的表情划分为若干个基本类别，进而使用分类方法解决识别问题。例如，Cohn-Kanade,JAFFE人脸表情数据库记录了生气、厌恶、恐惧、高兴、悲伤、惊讶6种表情，CAS-PEAL-R1人脸表情库记录了微笑、皱眉、惊讶、张口、闭眼5种表情。面部表情识别需要解决2个基本问题1.如何提取代表性强、区分度高的特征向 量来表征不同的面部表情；2.采用何种准确率高、速度快的识别方法对不同的面部表情进行区分。综观现有面部表情识别技术，通常使用的方法有I.在特征提取方面(I)光流特征对视频图像序列进行二值化或灰度化，进而对该序列的光流运动场进行特征提取，获得特征序列。该方法在进行表情识别应用中的问题一是体征提取速度不够快，二是判别模型的识别精度不足。(2) Gabor特征将Gabor滤波器划分为一定数目的通道，进而由Gabor滤波器对规范化处理后的人脸表情图像进行二维Gabor小波变换以提取人脸表情图像的纹理特征。该方法的缺点是提取速度较慢，在实时应用中存在困难。(3)表情特征矩特征阵针对表情图像序列中的每一帧图像依次提取归一化的脸部关键点位移量和特定几何特征的长度，将这些数据组成一个特征列向量；序列中的所有特征列向量按次序排列形成一个特征矩阵，每个特征矩阵代表一个脸部表情图像序列。该方法由于涉及脸部关键点的识别，因此提取速度和精度都存在缺陷。(4)基于二维偏最小二乘法的图像局部特征提取方法首先将样本图按表情类别分成大小相等的若干个子块，再利用LBP算子提取每个子块的纹理特征，并构成局部纹理特征矩阵，采用自适应加权机制，使用二维偏最小二乘法对局部纹理特征矩阵进行统计特征提取。该方法的算法设计比较复杂，提取速度比较低，不适用于实时处理情况。(5)基于AVR和增强LBP的特征对标准人脸图像进行小波分解，再提取LBP特征，之后计算增强方差比率AVR特征值并附加惩罚因子，最后提取出若干组以AVR值相区分的不同维度的特征值。该方法需要使用小波变换、LBP特征提取、惩罚因子计算等步骤，提取速度较低，无法满足实时处理的需求。(6)五官参数特征首先识别面部区域中五官的位置，进而依据五官的图像信息提取各器官(如眼、鼻、眉毛、嘴角等)的纹理、轮廓参数作为特征向量。该方法涉及对面部器官的识别，因此识别精度和特征代表性方面存在缺陷。 此外，更早的一些研究还包括直方图、梯度直方图、基于分段仿射变换的表情特征点运动特征等。对于维度较大的特征类型，还常常涉及到降维处理，常见的特征降维处理方法有聚类线性鉴别分析方法、主成分分析法等。2.在表情区分方法方面(I)支持向量机(SVM)算法；支持向量机(Support Vector Machine, SVM)是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力。SVM算法在训练时，需要对核函数、核函数参数不断进行调整以进行优化，因此训练过程往往比较复杂，这是该算法使用中的重要不足；另外，SVM算法是一种两分类算法，对于多种类别的识别，需要对算法做进一步的改进。(2)典型相关分析法该方法借用主成分分析降维思想，分别对两组变量提取主成分，且使从两组变量提取的主成分之间的相关程度达到最大，而从同一组内部提取的各 主成分之间互不相关，用从两组之间分别提取的主成分的相关性来描述两组变量整体的线性相关关系。该方法对于线性相关关系的描述比较准确，但对于更复杂的关系进行度量时的精度不甚理想，这是该算法在使用中的局限。(3)直方图匹配该方法的输入为两组直方图统计量，通常将其视为两组一维向量，进而使用一维向量的距离度量方法(例如欧氏距离、卡方、直方图相交、Bhattacharyya距离、陆地移动距离等)，对直方图统计量进行相似性度量。但是该方法对直方图的统计单元设计、被统计量的代表性要求比较严格，如果上述两点不能很好满足，则识别效果将受到很大影响。(4) AdaBoost算法该算法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的。该方法使用的局限一是其训练时间，对于较大数据量的高维数据，该方法往往需要大量时间进行训练；二是弱分类器的选取，往往需要进行大量测试才能寻找到最优弱分类器。综上所述，对于多种表情高精度高速识别这一应用场景，现有的特征提取方法存在特征代表性有限、精度及提取速度不够高等不足；同时，现有的表情区分方法也在存在识别精度不理想、复杂度过高、可识别的表情类别数量受限、识别速度低等局限。
技术实现思路
本专利技术的目的是为解决多种面部表情闻精度闻速识别问题，提出一种基于Haar-Iike特征的面部表情识别方法。本专利技术的设计原理为首先使用Haar-Iike特征和串联人脸检测分类器实现高准确性的人脸检测；进而利用AdaBoost. MH算法对高维Haar-Iike特征进行特征筛选；最终使用随机森林算法进行表情分类器训练，以完成表情识别。本专利技术的技术方案是通过如下步骤实现的步骤1，为了实现面部区域图像的自动提取，首先使用多张面部区域图像(作为正样本)和多张非面部区域图像(作为负样本)进行离线训练，得到面部识别分类器。面部识别分类器可通过现有技术中多种常用的训练方法得到。本专利技术采用基于Haar-Iike特征的AdaBoost串行分类器训练方法。步骤2，在步骤I的基础上，进行面部表情分类器的离线训练。具体过程如下步骤2. 1，首先对面部图像训练数据进行表情标注，具体方法为收集各种待识别表情类别的图片或视频(对于表情视频，提取其中的关键帧作为训练图像)，形成训练图像集A，其中包含的图像数目为m ;然后使用连续的整数编号作为各张图片或关键帧的类别标签，形成表情类别标签集Y= {1，2，. . .，k}，其中k为待识别的表情类别数。步骤2. 2，对经步骤2. I标注后的每幅训练图像进行面部区域数据提取，得到剪裁出的面部图像。面部区域数据提取的具体方法为首先计算各幅图像的积分图。所述的积分图与原始图像尺寸相同，其上任意一点(x，y)的值为原图对应点(x’，y’ )及其左上方所有的像素值之和权利要求1.，其特征在于包括如下步骤 步骤1，使用多张面部区域图像作为正样本、多张非面部区域图像作为负样本进行离线训练，得到面部识别分类器； 步骤2，在步骤I的基础上，进行面部表情分类器的离线训练；具体过程如下 步骤2. 1，对面部图像训练数据进行表情标注，具体方法为收集各种待识别表情类别的图片或视频的关键帧，形成训练图像集A，其中包含的图像数目为m;使用连续的整数编号作为各张图片或关键帧的类别标签，形成表情类别标签集Y= {1，2，. . .，k}，其中k为待识别的表情类别数； 步骤2. 2，本文档来自技高网...
【技术保护点】
多类别面部表情高精度识别方法，其特征在于：包括如下步骤：步骤1，使用多张面部区域图像作为正样本、多张非面部区域图像作为负样本进行离线训练，得到面部识别分类器；步骤2，在步骤1的基础上，进行面部表情分类器的离线训练；具体过程如下：步骤2.1，对面部图像训练数据进行表情标注，具体方法为：收集各种待识别表情类别的图片或视频的关键帧，形成训练图像集A，其中包含的图像数目为m；使用连续的整数编号作为各张图片或关键帧的类别标签，形成表情类别标签集Y={1,2，...,k}，其中k为待识别的表情类别数；步骤2.2，对经步骤2.1标注后的每幅训练图像进行面部区域数据提取，得到剪裁出的面部图像，形成训练图像集B；步骤2.3，为了训练表情分类器，对步骤2.2所形成的训练图像集B中的每幅图像进行Haar？like特征的二次提取，Haar？like特征提取的具体方法为：计算每一幅剪裁出的图像的积分图，根据各个积分图计算相对应的H维Haar？like特征值；将每幅图像相应的H维Haar？like特征向量记作一行，使所有m幅图像的全部H维Haar？like特征向量构成一个m行、H列的特征矩阵X；步骤2.4，使用AdaBoost.MH算法，对步骤2.3得到的Haar？like特征矩阵X进行特征筛选；具体过程为：步骤2.4.1，初始化每幅图像对应的权重，记作D1(i，yi)=1/(mk)，yi∈Y表示第i个图像的表情类别标签，i＝1…m；步骤2.4.2，开始第f轮迭代，f＝1…F：依次将特征矩阵X的各列数据作为一个弱分类器的输入，进行H次运算，得到rf，j：rf,j=Σi=1mDf(i,yi)K[li]hj(xi,j,yi),其中，j=1…H，xi，j表示X的第i行中的第j个元素；hj(xi，j，yi)表示以xi，j作为输入的弱分类器，Df(i，yi)表示第f轮迭代中第i个训练图像的权重值，K[yi]=+1yi∈Y={1,2,...,k}-1yi∉Y={1,2,...,k};结束H次运算后，取本轮迭代得到的H个rf，j中的最大值，记作rf，并 将rf对应的、采用X的第j维特征值xj作为输入的弱分类器hj(xj，Y)，作为第f轮筛选出的弱分类器hf(xj，Y)，同时将xj作为筛选出的特征维加入到新的特征空间；步骤2.4.3，计算由步骤2.4.2选择出的弱分类器hf(xj，Y)的权重αf：αf=12ln(1+rf1-rf);步骤2.4.4，计算第f+1轮迭代中各个图像的权重Df+1；Df+1=Df(i,yi)exp(-αfK[yi]hf(xi,j,yi))Zf,i=1...m.其中，hf(xi，j,yi)表示第f轮迭代中筛选出的、以第i个图像的第j维特征值作为输入的弱分类器，Zf是归一化因子Zf=Σi=1mDf(i,yi)exp(-αfK[yi]hf(xi,j,yi));步骤2.4.5，将步骤2.4.4得到的新权重代入步骤2.4.2，按照步骤2.4.2至步骤2.4.4的方法迭代，直到筛选出F维主要特征，并在特征矩阵X中提取F列，形成一个m行、F列的主要特征矩阵X’；步骤3，使用经步骤2得到的主要特征矩阵X’和经过步骤2.1标注的表情类别标签集Y，训练生成表情识别分类器，训练的过程遵循随机森林算法，具体方法为：步骤3.1，根据设计要求中的决策树数目T和结点特征维数u，生成T棵CART分类决策树；所述决策树的根结点的记录格式为N(J)，中间结点的记录格式为N(V，J)，叶子结点的记录格式为(V,J，yt)；其中，J表示结点N的分裂特征维，V表示结点N的特征值，yt表示结点N的类别标签；每棵CART分类决策树的生成方法为：步骤3.1.1，进行m次可放回随机取样，每次抽取主要特征矩阵X’的一行，构成一个新的m行、F列的矩阵X″，用于本棵CART分类决策树的生长；X″中各行特征对应的训练样本标签构成新的表情类别标签集Y＂；步骤3.1.2，从根结点开始，逐结点地进行结点分裂，最终完成整棵树的生长；每个结点的分裂过程为：a）从特征矩阵X″中随机选择u列作为本结点分裂所需的训练数据， 其中表示X″的第j列；b）分别计算选出的x″j的信息增益IGj，得到u个IGj;IGj=IG(Y′′|x‾j′′)=H(Y′′)-H(Y′′|x‾j′&p...
【技术特征摘要】
【专利技术属性】
技术研发人员：罗森林，谢尔曼，潘丽敏，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。