基于姿态归一化的非正面人脸表情识别方法技术

本发明专利技术公开了一种基于姿态归一化的非正面人脸表情识别方法，包括：首先对训练样本集中的表情图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；然后对待测试的非正面人脸图像使用多模板主动表观模型进行姿态估计和特征点定位，通过相应姿态的映射函数将非正面人脸的特征点归一化到正面姿态；最后使用支持向量机对正面人脸特征点的几何位置进行表情分类。本发明专利技术提出了一个简单有效的非正面人脸表情识别解决方案，一定程度上解决了人脸姿态变化造成表情类内差异大的问题，方案简洁有效，可满足实时非正面人脸表情识别的需求。

【技术实现步骤摘要】
一种姿态归一化的非正面人脸表情识别方法
本专利技术属于模式识别与图像处理领域，涉及一种采用全新有效的非线性姿态归一化解决方案应用于非正面人脸表情识别的方法，特别涉及待识别对象的人脸水平旋转角度在-45°和45°之间的人脸表情图像。
技术介绍
表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。传统表情识别方法大多以正面或近似正面的人脸图像为研究对象。然而统计结果表明，现实生活中由于图像获取的随意性，75％的人脸图像都是非正面的。如果只采用传统方法对这些非正面人脸图像进行分析，往往无法得到令人满意的结果。因此本专利技术主要针对如何有效进行非正面人脸表情识别这一实际问题。相对于正面人脸表情图像，非正面人脸表情图像大多存在部分人脸被遮挡，从而造成一定表情信息的缺失；同时，人脸姿态变化的多样性也势必会给表情分类引入更大的类内差异；此外，寻找独立于人脸姿态的表情特征十分困难，按传统正面表情识别方法提取的特征会引入含姿态变化在内的许多冗余信息。因此，非正面人脸表情识别主要需解决由非正面姿态所带来的部分表情被遮挡，表情类内差异大，特征提取针对性弱等新问题，使得人脸表情识别系统更具实用性。
技术实现思路
技术问题：本专利技术提供了一种简单有效，实时性好，并可以在一定程度上解决人脸姿态变化造成表情类内差异影响的非正面人脸表情识别方法。技术方案：本专利技术的姿态归一化的非正面人脸表情识别方法，首先对训练样本集中的图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；然后对待测试的非正面人脸图像进行姿态估计和特征点定位，通过相应姿态的映射函数将非正面人脸的特征点归一化到正面姿态；最后使用支持向量机对正面人脸特征点的几何位置进行表情分类，该方法的具体步骤为：1)采用三对点法将训练样本集中的人脸图像在不同姿态下进行人脸特征点对齐。由于鼻尖点和两个内侧眼角点不易受人脸表情的影响，因此固定这三点求取相应的仿射变换，通过仿射变换可以在不同姿态下将人脸特征点对齐到相应的标准人脸，尽可能的消除不同人脸形状对于人脸表情识别的影响。2)将训练样本集中非正面姿态k的人脸图像通过步骤1)对齐人脸后，使用高斯过程回归模型学习得到姿态k到正面姿态的映射函数f(k)，不同的姿态k可以学习得到不同的f(k)，通过相应的f(k)就可将姿态k的人脸特征点位置进行姿态归一化，实现非正面人脸特征点位置到正面人脸特征点位置的映射，从而将非正面人脸表情转化到正面人脸姿态来进行识别。3)对训练样本集中不同姿态人脸训练对应姿态的主动表观模型(ActiveAppearanceModel，AAM)，得到不同姿态下的AAM模板，使用多模板AAM法可在估计人脸姿态的同时实现人脸特征点定位。4)对输入的测试人脸表情图像，通过所述步骤3)估计得到人脸姿态k并实现人脸特征点的定位，然后通过所述步骤2)将非正面人脸姿态的特征点归一化到正面人脸姿态，得到其在正面姿态的人脸特征点位置。5)使用基于径向基核函数的支持向量机，将所述步骤4)中得到的正面人脸特征点的几何位置作为特征进行表情分类，得到表情识别结果。本专利技术中，步骤2)中由于人脸水平旋转超过45°时，部分人脸器官上的特征点(如眼睛、眉毛)会因姿态的变化过大而被遮挡，因此可用于姿态归一化的人脸对象主要指-45°～45°水平旋转范围内的非正面人脸表情图像。为体现高斯过程回归在识别性能上的优势，本专利技术还与另一种非线性回归方式——支持向量机回归做了对比。本专利技术的步骤3)中在使用多模板AAM法估计人脸姿态前，人脸区域通过OpenCV库自带人脸检测器得到。训练AAM模板选用了68个人脸特征点，其中左右两侧眉毛各5个，左右眼各6个，鼻子9个，嘴唇20个，人脸轮廓17个。本专利技术的步骤5)中将表情识别结果分为六类，即生气、厌恶、恐惧、高兴、悲伤和惊讶；基于径向基核函数的支持向量机是使用的libsvm包。有益效果：本专利技术方法与现有技术相比，具有以下的优点：1.基于姿态归一化的非正面人脸表情识别方案，将非正面人脸表情识别问题转化为一般的正面人脸表情识别问题，仅使用一个正面人脸分类器即可实现不同姿态的表情识别，减少了分类器数量。2.基于高斯过程回归实现的姿态归一化对特征点定位噪声比较鲁棒，对特征点预测也很准确；使用特征点几何位置作为输入特征，特征维数低，计算量小，充分保障了该方法的实时性。3.使用多模板AAM可以同时实现非正面人脸的姿态估计与人脸特征点的定位，在Multi-PIE库上人脸姿态估计准确率达到96.5％且具有良好的鲁棒性，特征点定位与手工标定点间的平均均方根误差仅为1.49像素。4.使用几何特征和一对一多类SVM的表情识别方法能够有效地识别强度较大的表情，取得良好的识别率以及识别速度，并对各类表情间的变化具有良好的鲁棒性。附图说明图1为本专利技术姿态归一化的非正面人脸表情识别方法框图图2为本专利技术多模板AAM姿态估计方法流程图图3为多模板AAM特征点标定与定位结果图图4为Multi-PIE库下不同姿态下多模板AAM人脸特征点定位误差图5为Multi-PIE库下不同姿态下多模板AAM姿态估计准确率图6为不同非线性回归方式姿态归一化结果比较图图7为用于表情分类的人脸特征点示意图图8为特征点姿态归一化均方根误差比较图图9为不同噪声情况下特征点姿态归一化结果比较图图10为Multi-PIE库下非正面人脸表情识别混淆矩阵图11为Multi-PIE库下非正面与正面人脸表情识别结果比较图具体实施方式下面通过具体实施例对本专利技术的方法作进一步具体说明。(1)基于三对点的人脸对齐预处理人脸对齐是指通过旋转、平移或缩放等仿射变换，将不同大小、形状和倾斜的人脸图像对齐到一个“标准人脸”的过程。为对齐人脸，需要首先提取一些人脸特征点的位置，如眼睛，鼻尖，嘴角等。相关研究表明鼻尖点和两个内侧眼角点不易受人脸表情的影响，因此本专利技术固定这三点通过仿射变换来实现人脸对齐。假定(x,y)为对齐后人脸图像上某一特征点位置，(x′,y′)则对应于其对齐前所处位置，通过仿射变换可以得到两者间关系如下：则给定左侧眼角点位置(xl,yl)，右侧眼角点位置(xr,yr)，鼻尖点位置(xn,yn)，上式可进一步写成可以通过伪逆的方法求解上式，待求解变量为T＝[a,b,tx,ty]T，假定T左侧矩阵用符号A代替，等号右侧的向量为B，则：T＝(ATA)-1(ATB)(3)通过仿射变换T即可实现不同姿态下人脸特征点的对齐，从而方便后继进行表情识别。(2)基于高斯过程回归的姿态归一化姿态归一化在此主要指人脸特征点位置的姿态归一化，即通过高斯过程回归将非正面人脸特征点的位置映射到正面人脸。假定训练样本集由Nk对非正面人脸姿态k和对应的正面人脸姿态特征点组成，记为{Dk,D0}。Dk和D0中的每个元素分别记为和(i＝1,2,…,Nk)，它们均为2d维的向量(d为人脸特征点个数)，所求目标就是要通过高斯过程回归学习映射函数f(k)：通过f(k)将映射到其中，噪声εi～N(0，σ2)，σ2为噪声方差。f(k)可以通过高斯过回归方式来求解。高斯过程的统计特本文档来自技高网...

【技术保护点】
基于姿态归一化的非正面人脸表情识别方法，其特征在于，对训练样本集中的表情图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；对测试样本中的表情图像进行人脸姿态估计和特征点定位，并使用相应姿态的映射函数，将非正面人脸的特征点归一化到正面人脸姿态；采用支持向量机对正面人脸特征点的几何位置进行表情分类。

【技术特征摘要】
1.基于姿态归一化的非正面人脸表情识别方法，其特征在于，对训练样本集中的表情图像通过非线性回归模型学习，得到非正面人脸特征点到正面人脸特征点的映射函数；对测试样本中的表情图像进行人脸姿态估计和特征点定位，并使用相应姿态的映射函数，将非正面人脸的特征点归一化到正面；采用支持向量机对正面人脸特征点的几何位置进行表情分类；具体步骤为：1)采用三对点法将训练样本集中的人脸图像在不同姿态下进行人脸特征点对齐；由于鼻尖点和两个内侧眼角点不易受人脸表情的影响，因此固定这三点求取相应的仿射变换，通过仿射变换可以在不同姿态下将人脸特征点对齐到相应的标准人脸；2)将训练样本集中非正面姿态k的人脸图像通过步骤1)对齐人脸后，使用高斯过程回归模型学习得到姿态k到正面姿态的映射函数f(k)，不同的姿态k可以学习得到不同的f(k)，通过相应的f(k)就可将姿态k的人脸特征点位置进行姿态归一化，实现非正面人脸特征点位置到正面人脸特征点位置的映射，从而将非正面人脸表情转化到正面人脸姿态来进行识别；3)对训练样本集中不同姿态人脸训练对应姿态的主动表观模型，得到不同姿态下的AAM模板，使用多模板AAM法可在估计人脸姿态的同时实现人脸特征点定位；4)对输入的测试人脸表情图像，通过所述步骤3)估计得到人脸姿态k并实现人脸特征点的定位，然后通过所述步骤2)将非正面人脸姿态的特征点归一化到正面人脸姿态，得到其在正面姿态的人脸特征点位置；5)使用基于径向基核函数的支持向量机，将所述步骤4)中得到的正面人脸特征点的几何位置作为特征进行表情分类，得到表情识别结果；所述正面人脸特征点的几何位置包括眼睛、鼻子、嘴唇外侧共37个特征点的二维几何坐标；具体选取的特征点如下：左右两侧眉毛各5个特征点，左右眼各6个特征点，鼻子3个特征点，嘴唇外侧12个特征点；所述非线性回归模型采用高斯过程回归模型，高斯过程回归模型的核函数使用均方指数核函数与线性核函数相结合的形式；假定训练样本集由Nk对非正面人脸姿态k和对应的正面人脸姿态特征点组成，记为{Dk,D0}；Dk和D0中的每个元素分别记为和i＝1,2,…,Nk，它们均为2d维的向量，d为人脸特征点个数，所求目标就是要通过高斯过程回归学习映射函数f(k)：通过f(k)将映射到其中，噪声εi～N（0，σ2)，σ2为噪声方差；f(k)通过高斯过回归方式来求解；高斯过程的统计特性完全由其均值函数和协方差函数所确定，则对于一个新...

【专利技术属性】
技术研发人员：郑文明，冯天从，
申请(专利权)人：东南大学，
类型：发明
国别省市：