一种基于稀疏融合的单演多特征的人脸表情识别方法技术

本发明专利技术公开了一种基于单演多特征的稀疏融合的人脸表情识别方法，包括如下步骤：1、对预处理后的表情图像进行单演滤波处理，获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息；2、利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征，三种特征分别构造相应的稀疏字典；3、利用l1正则化最小二乘法优化三个稀疏字典的权值，通过加权融合来实现人脸表情识别。本发明专利技术能充分提取人脸表情图像的纹理、形状和方向特征，提高表情识别率。

【技术实现步骤摘要】

本专利技术涉及到特征提取方法和分类判别，属于模式识别领域，具体地说是一种基于稀疏融合的单演多特征的人脸表情识别方法。
技术介绍
人脸表情识别作为心理学与计算机学的交叉学科，是人工智能和人机交互领域的重要组成部分。通常人脸表情识别过程分为三个步骤：图像预处理，特征提取，表情识别。特征提取是人脸表情识别的重要过程，典型的人脸表情特征提取方法有：局部二值模式(Local binary pattern，LBP)，Gabor小波以及基于这两者的改进算法，如融合LBP方法和Gabor小波方法的LGBP特征，它能够增强特征对光照和噪声的鲁棒性，但是Gabor小波产生的五个尺度、八个方向特征使得LGBP的特征维数十分庞大。单演二值模式(Monogenic binary pattern,MBP)结合了LBP和单演示波方法，有效地利用了单演幅值特征来表达图像的人脸纹理细节特征，不仅仅对于光照和噪声具有一定的鲁棒性，并且大大降低了时间和空间复杂度，但是其却丢失了大量单演方向和单演相位特征。近年来，研究表明稀疏字典与人类视觉系统原理具有一定的相似性，因此稀疏表示分类器(SRC)逐渐被应用于人脸表情识别，该方法在遮挡或者噪声的影响下依然取得了良好的识别效果。但是在情况复杂的情况下，单一特征往往无法达到良好的识别效果。
技术实现思路
本专利技术为避免上述现有技术存在的不足之处，提出一种基于稀疏表示的单演多特征的人脸表情识别方法，以期利用多种特征对人脸表情图像进行充分描述，利用稀疏融合的方法进行人脸表情的分类识别，从而降低时间复杂度，提高人脸表情识别的准确率。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于单演多特征的稀疏融合的人脸表情识别方法的特点是按如下步骤进行：步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z)，单演相位值Pi(z)，单演方向值Ti(z)，横向变换值纵向变换值i＝1,2,3；步骤4、提取所述人脸表情图像的单演多特征；步骤4.1、提取所述人脸表情图像的HMBP特征；步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息，从而获得6位二进制数Bi(z)；步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数 B i α ( z ) = 0 h i α ( z ) > 0 1 h i α ( z ) ≤ 0 - - - ( 1 ) ]]>步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数 B i β ( z ) = 0 h i β ( z ) > 0 1 h i β ( z ) ≤ 0 - - - ( 2 ) ]]>步骤4.1.4、利用式(3)将提取的和Bi(z)串联起来，从而获得所述像素点z在第i个尺度上的MBP值，记为MBPi(z)： MBP i ( z ) = ( B i α ( z ) , B i β ( z ) , 本文档来自技高网...

【技术保护点】
一种基于单演多特征的稀疏融合的人脸表情识别方法，其特征是按如下步骤进行：步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；利用Haar‑like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z)，单演相位值Pi(z)，单演方向值Ti(z)，横向变换值纵向变换值i＝1,2,3；步骤4、提取所述人脸表情图像的单演多特征；步骤4.1、提取所述人脸表情图像的HMBP特征；步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息，从而获得6位二进制数Bi(z)；步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数Biα(z)=0hiα(z)>01hiα(z)≤0---(1)]]>步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数Biβ(z)=0hiβ(z)>01hiβ(z)≤0---(2)]]>步骤4.1.4、利用式(3)将提取的和Bi(z)串联起来，从而获得所述像素点z在第i个尺度上的MBP值，记为MBPi(z)：MBPi(z)=(Biα(z),Biβ(z),Bi(z))---(3)]]>步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1‑步骤4.1.4进行处理，从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值，并进行直方图统计，从而获得所述像素点z所在的子图像在第i个尺度上的HMBPi特征向量；进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量；步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBPi特征向量按照由左到右、由上到下的顺序进行级联，从而获得相应人脸表情图像在第i个尺度上的HMBPi特征向量；步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量：HMBP＝(HMBP1,HMBP2,HMBP3)   (4)步骤4.2、提取所述人脸表情图像的HMOG特征向量；步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上；步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOGi,bin值，bin∈{1,2,……，9}：MOGi,bin=ΣbinAi(z)---(5)]]>步骤4.2.3、利用式(6)获得所述子图像的HMOGi特征向量：HMOGi＝(MOGi,1,MOGi,2,…,MOGi,9)   (6)步骤4.2.4、重复步骤4.2.1‑步骤4.2.3，获得所述人脸表情图像的所有子图像在第i个尺度上的HMOGi特征，并将所有子图像在第i个尺度上的HMOGi特征按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HMOGi特征；步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量：HMOG＝(HMOG1,HMOG2,HMOG3)   (7)步骤4.3、提取所述人脸表情图像的HEMP特征向量；步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值Ai(z)进行二值化操作，获得所述像素点z的掩膜值Mi(z)：Mi(z)=0Ai(z)≤θ255Ai(z)>θ---(8)]]>式(8)中，θ为所设定的阈值；步骤4.3.2、将所述像素点z的单演相位值pi(z)与掩膜值Mi(z)进行掩膜运算，获得所述像素点z修正后的单演相位值pi′(z)；将所述像素点z的单演幅值Ai(z)与掩膜值Mi(z)进行掩膜运算，获得所述像素点修正后的单演幅值Ai′(z)；步骤4.3.3、将所述像素点z修正后的单演相位值pi′(z)与修正后的单演幅值Ai′(z)作差，从而获得所述像素点z的增强的单演相位值pi″(z)；步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1‑步骤4.3.3处理，获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值，并...

【技术特征摘要】
1.一种基于单演多特征的稀疏融合的人脸表情识别方法，其特征是按如下步骤进行：步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z)，单演相位值Pi(z)，单演方向值Ti(z)，横向变换值纵向变换值i＝1,2,3；步骤4、提取所述人脸表情图像的单演多特征；步骤4.1、提取所述人脸表情图像的HMBP特征；步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息，从而获得6位二进制数Bi(z)；步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数 B i α ( z ) = 0 h i α ( z ) > 0 1 h i α ( z ) ≤ 0 - - - ( 1 ) ]]>步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数 B i β ( z ) = 0 ...

【专利技术属性】
技术研发人员：郑瑶娜，胡敏，余子玺，滕文娣，张柯柯，王晓华，任福继，孙晓，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34