本发明专利技术基于多特征融合的人脸表情自动识别方法，涉及识别图形的方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，步骤是：人脸表情图像及人脸表情重要区域图像预处理；对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征；利用ACILBP算子提取多尺度ACILBP特征直方图；特征融合得到人脸表情特征数据；采用SVM分类器进行人脸表情的训练和预测，实现人脸表情自动识别。本发明专利技术克服了现有技术普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。
【技术实现步骤摘要】
本专利技术的技术方案涉及识别图形的方法，具体地说是基于多特征融合的人脸表情自动识别方法。
技术介绍
人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分。心理学家研究发现在人类进行会话交流时：语言内容占7％；说话时的语调占38％；而说话人的表情占55％。所以人脸表情在人类交往活动中起到了重要的作用。与之相对应的表情识别一直是模式识别与计算机视觉领域中十分活跃的热点。随着人工智能和模式识别的发展，人脸表情识别受到的关注日益提高，在人机交互中的地位越发重要。现今，国内外有很多团队对人脸表情识别进行研究，国内有清华大学、中国科技大学和中科院自动化研究所等，国外有麻省理工学院(MIT)、东京大学、卡耐基梅隆大学(CMU)机器人研究所和日本国际电信技术研究所(ATR)等。人脸表情识别的过程主要包括：图像预处理、特征提取和分类识别，其中特征提取是人脸表情分类的难点与重点。常用特征提取方法分为基于统计特征提取方法和基于频域特征提取方法。基于统计特征提取方法有：线性判别分析方法、主成分分析方法和独立成分分析方法；基于频域特征提取方法有：Gabor特征方法和局部二值模式(以下简称LBP)方法，其中Gabor特征方法可有效提取多尺度多方向人脸表情特征，且其对光照变化和噪声鲁棒性较强，缺点是计算量较大；LBP方法能描述图像局部信息，且具有灰度不变性优点，但仍然存在不足之处：(1)LBP方法过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系，从而使得LBP对于噪声和光照的鲁棒性有待加强；(2)局部信息和整体信息的平衡性有待加强，在统计LBP特征直方图时，若对图像分块过少，则会忽略局部信息，若对图像分块过多，则忽略整体信息。针对LBP方法的不足，Liao等在“Dominantlocalbinarypatternsfortextureclassification”一文中提出了显性二值局部模式(简称DLBP)方法，该方法对于图像的旋转以及噪声、光照有良好的适应性,但数据维度较大，计算复杂度高，不能很好地兼顾局部信息和整体信息关系。CN103971095A公开了一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，该方法首先建立人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库，之后使用多尺度的LBP特征表示人脸表情特征，进而生成稀疏编码方法所需要的字典，通过对新的人脸表情样本求解最优稀疏系数，并累加不同人脸表情的稀疏系数来识别人脸表情样本。但该方法并没有解决LBP过于依赖中心像素点的阈值作用，忽略周围邻近像素点间关系和局部信息、整体信息的平衡性有待加强的不足,识别率不高。CN105005765A公开了一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法，该方法首先通过手工分割的方法提取出表情图像中的“纯脸”区域，并进行预处理；然后通过分块提取Gabor特征统计量，并融合灰度共生矩阵进行表情识别，该方法不能克服光照以及噪声的影响，且没有充分利用面部重要区域纹理信息。总之，现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。
技术实现思路
本专利技术所要解决的技术问题是：提供基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，克服了现有的人脸表情识别方法普遍存在对光照和噪声的鲁棒性差，没有考虑局部信息与整体信息的充分利用因而识别率低下的缺陷。上述ACILBP是AroundCenterInstableLocalBinaryPattern的缩写，中文含义是中心稳定局部二值模式。本专利技术解决该技术问题所采用的技术方案是：基于多特征融合的人脸表情自动识别方法，是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：第一步，人脸表情图像及人脸表情重要区域图像预处理：(1.1)人脸表情图像几何归一化：通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(1)，其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，J(x,y)＝I'(x,y)/I'av*I(x,y)(2)，式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/Fa'v*F(x,y)(3)，式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为对于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor本文档来自技高网...
【技术保护点】
基于多特征融合的人脸表情自动识别方法，其特征在于：是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：第一步，人脸表情图像及人脸表情重要区域图像预处理：(1.1)人脸表情图像几何归一化：通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y) (1)，其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，J(x,y)＝I'(x,y)/I'av*I(x,y) (2)，式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/F′av*F(x,y) (3)，式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：Gb(x0,y0,θ,ω0)=12πσ2exp[-(x02+y02)/(2σ2)]×[exp(jω0x0)-exp(-ω20σ2/2)]---(3),]]>其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝‑xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为对于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，Gt＝[w1 Gb1 w2 Gb2] (4)，由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：对上述第一步得到的人脸表情图像J利用ACILBP算子提取多尺度ACILBP特征直方图，过程是：首先，对第一步得到的人脸表情图像J细化为N个尺度，即在第i个尺度将人脸表情图像划分为Li×Li个子区域，i＝1,…,N，其次，在人脸表情图像J的每一个尺度的每个子区域上统计ACILBP特征直方图的分布序列，将每一尺度的每个子区域ACILBP特征直方图串联作为当前尺度的ACILB...
【技术特征摘要】
1.基于多特征融合的人脸表情自动识别方法，其特征在于：是一种融合人脸表情图像和人脸表情重要区域图像的Gabor特征以及多尺度ACILBP特征直方图的方法，具体步骤如下：第一步，人脸表情图像及人脸表情重要区域图像预处理：(1.1)人脸表情图像几何归一化：通过USB接口输入人脸的RGB图像到计算机中，利用公式(1)将其转换为灰度图像O，O(x,y)＝0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y)(1)，其中R、G和B分别为红色、绿色和蓝色三个通道，(x,y)是图像的像素点坐标，对得到的灰度图像O采用DMF_Meanshift算法进行人脸关键点检测，定位眼睛、鼻子和嘴巴的中心点，并根据面部特征点和几何模型裁剪出人脸表情图像I，将人脸表情图像I几何归一化到M×M’个像素，并将该人脸的双眼矩形区域归一化为U×U’个像素，该人脸的鼻子归一化为V×V’个像素，该人脸的嘴部归一化为W×W’个像素，双眼、鼻子和嘴这三部分构成该人脸表情重要区域图像F，由此完成人脸表情图像几何归一化；(1.2)人脸表情图像直方图的均衡化和人脸表情重要区域图像直方图的均衡化：计算上述(1.1)步人脸表情图像I的直方图，然后根据直方图计算累计分布函数，对人脸表情图像I的概率密度函数做映射变换，得到直方图均衡化的人脸表情图像I’，即完成对人脸表情图像直方图的均衡化；计算上述(1.1)步人脸表情重要区域图像F的直方图，然后根据直方图计算累计分布函数，对人脸表情重要区域图像F的概率密度函数做映射变换，得到直方图均衡化的人脸表情重要区域图像F’，即完成对人脸表情重要区域图像直方图的均衡化；(1.3)直方图均衡化的人脸表情图像的归一化和直方图均衡化的人脸表情重要区域图像灰度的归一化：对上述(1.2)步直方图均衡化的人脸表情图像I’进行灰度归一化，利用公式(2)将直方图均衡化的人脸表情图像I’转换为灰度归一化的人脸表情图像J，J(x,y)＝I'(x,y)/I'av*I(x,y)(2)，式(2)中，I’av是灰度归一化的人脸表情图像J的像素平均值；对上述(1.2)步直方图均衡化的人脸表情重要区域图像F’进行灰度归一化，利用公式(3)将直方图均衡化的人脸表情重要区域图像F’转换为灰度归一化的人脸表情重要区域图像K，K(x,y)＝F'(x,y)/F′av*F(x,y)(3)，式(3)中，F′av是灰度归一化的人脸表情重要区域图像K的像素平均值；至此完成预处理，得到预处理后的人脸表情图像J及人脸表情重要区域图像K，以下简称为人脸表情图像J及人脸表情重要区域图像K；第二步，对人脸表情图像和人脸表情重要区域图像分别提取Gabor特征，并赋予不同权值，融合得到两层人脸表情图像的Gabor特征：将上述第一步得到的人脸表情重要区域图像K作为第一层人脸表情图像，将人脸表情图像J作为第二层人脸表情图像，分别提取Gabor特征，选用5尺度8方向的Gabor滤波器，所用的Gabor滤波器的表达形式如下：Gb(x0,y0,θ,ω0)=12πσ2exp[-(x02+y02)/(2σ2)]×[exp(jω0x0)-exp(-ω20σ2/2)]---(3),]]>其中(x0,y0)为Gabor滤波后的坐标，x0＝xcosθ+ysinθ,y0＝-xsinθ+ycosθ，θ是Gabor滤波器的方向，ω0是中心频率，σ为沿X轴和Y轴方向的标准偏差，σ＝π/ω0，其中，ω0分别为对于每一个ω0，θ相应取值0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；提取出的人脸表情重要区域图像K的Gabor特征矩阵记为Gb1，提取出的人脸表情图像J的Gabor特征矩阵记为Gb2，Gb1和Gb2分别乘以不同权重w1和w2得到总的Gabor特征矩阵记为Gt，w1和w2是经验值，具体公式如下，Gt＝[w1Gb1w2Gb2](4)，由此融合人脸表情图像的Gabor特征和人脸表情重要区域图像的Gabor特征，得到两层人脸表情图像的Gabor特征；第三步，利用ACILBP算子提取多尺度ACILBP特征直方图：对上述第一步得到的人脸表情图像J利用...
【专利技术属性】
技术研发人员：刘教民，司浩强，师硕，刘依，于洋，阎刚，郭迎春，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。