面部表情识别方法及装置制造方法及图纸

技术编号:15763687 阅读:76 留言:0更新日期:2017-07-06 02:06
本发明专利技术公开了一种面部表情识别方法及装置。该方法包括:对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;获取所述刚体归一化形状中面部图像的人脸特征;根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。本发明专利技术不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。

Facial expression recognition method and device

The invention discloses a facial expression recognition method and device. The method comprises the following steps: face detection and positioning key points of facial images, obtained facial image shape; the average shape alignment of the facial image and the shape of the pre acquired facial expression categories, obtain the shape of the rigid body normalized face image acquisition; facial feature facial image of the rigid body in the shape of the normalized; the expression recognition for expression classification according to the forecast of facial expression classifier for face image pre training; weighted voting to determine the facial image of the facial expression category category prediction results. The invention not only can reduce the diversity of the same expression, but also can retain the difference of different expressions, and has good recognition performance.

【技术实现步骤摘要】
面部表情识别方法及装置
本专利技术涉及图像处理技术,尤其涉及一种面部表情识别方法及装置。
技术介绍
随着计算机技术、人工智能技术等相关学科的发展,整个社会的自动化程度不断提高,人们对于类似人与人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力,将从根本上改变人与计算机之间的关系,使计算机能够更好地为人类服务。表情识别是情感理解的基础,是计算机理解人们情感的前提。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系,这将对未来人机交互产生重大意义。几何多样性是影响表情识别性能的一个重要方面。现有技术表情识别方法,通常是先选取一个形状模板,然后让人脸图像向形状模板对齐,通过人脸图像具体对齐的形状模型表示的表情来确定人脸的表情。然而,由于人脸形状各异,通过一个形状模板所能获得识别结果往往不能达到预期,导致人脸的表情识别准确率较低。
技术实现思路
本专利技术实施例所要解决的一个技术问题是:提供一种面部表情识别方法及装置,以提高面部表情识别的准确率。根据本专利技术实施例的一个方面,提供的一种面部表情识别方法,包括:对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;获取所述刚体归一化形状中所述面部图像的人脸特征;根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。进一步的,所述面部图像为样本面部图像或待识别面部图像。进一步的,所述预先获得的面部表情类别的平均形状由如下步骤获取:S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状;S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化,获得所述面部图像的归一化形状;S3、获取所述面部表情类别归一化后所有面部图像的平均形状;S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对;若比对结果一致,将所述预估平均形状作为预先获得的面部表情类别的平均形状,并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状;若比对结果不一致,则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状,迭代执行S2-S4。进一步的,所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。进一步的,所述获取所述刚体归一化形状中所述面部图像的人脸特征包括:根据面部图像的刚体归一化形状,利用欧式空间的子空间理论,基于重构误差提取面部图像的形状特征;将面部图像的原始纹理通过仿射扭曲填充到面部图像所属表情类别的平均形状中,获得面部图像的非刚体归一化表观;根据改进的基于分块的局部二值模式从面部图像的非刚体归一化表观中获取面部图像的纹理特征;将获取的面部图像的纹理特征填充到面部图像的形状特征中获得面部图像的人脸特征。进一步的,所述预先训练的表情分类器包括:当所述面部图像为样本面部图像时,对样本面部图像的人脸特征通过支持向量机算法进行训练获得预先训练的表情分类器。进一步的,所述根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果包括:当所述面部图像为待识别面部图像时,根据预先训练的表情分类器为待识别面部图像的人脸特征分配一个表情类别标签。进一步的,所述对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别包括:根据重构误差的加权投票策略对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。根据本专利技术实施例的另一个方面,提供一种面部表情识别装置,包括:人脸检测单元,用于对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;形状获取单元,用于将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;特征获取单元,用于获取所述刚体归一化形状中所述面部图像的人脸特征;表情分类单元,用于根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;表情判断单元,用于对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。基于本专利技术上述实施例提供的面部表情识别方法及装置,在对齐多个平均形状的情况下,获得由形状特征和纹理特征混合构成的人脸特征,最后通过加权投票的方式确定最终的表情类别,不仅能够减少同类表情的多样性,同时还能够保留不同表情的差异性,具有良好的识别性能。下面通过附图和实施例,对本专利技术的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本专利技术的实施例,并且连同描述一起用于解释本专利技术的原理。参照附图,根据下面的详细描述,可以更加清楚地理解本专利技术,其中:图1是本专利技术面部表情识别方法一个实施例的流程图。图2A至图2F是本专利技术实施例提供的面部表情识别方法中各种形状和表观形式的示意图。图3是本专利技术实施例提供的面部表情识别方法中提取纹理特征的示意图。图4A是本专利技术面部表情识别方法另一个实施例的训练阶段的流程图。图4B是本专利技术面部表情识别方法另一个实施例的测试阶段的流程图。图5是本专利技术面部表情识别装置一个实施例的结构示意图。图6是本专利技术面部表情识别装置另一个实施例的结构示意图。图7是本专利技术面部表情识别方法训练阶段一个具体实施例的流程图。图8是本专利技术面部表情识别方法测试阶段一个具体实施例的流程图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。请参阅图1所示,是本专利技术面部表情识别方法一个实施例的流程图。本实施例的面部表情识别方法包括:步骤102,对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状。其中,人脸区域的检测具体采用经典的维奥拉和琼斯(ViolaandJones)算法,关键点定位具体采用显式回归(ExplicitShapeRegression)算法。如图2A及图2D所示,图2A显示了图2D中面部图像所对应的形状s,其中,形状s采用三角面片来描述,具体是由三角面片所构成的网格中各顶点的坐标的向量来表示,各顶点即为关键点。例如,在待识别面部图像中定位了81个关键点,每个关键点具有二个坐标值(xi,yi),i=1,…,81,则形成162维的形状向量[x1,y1,x2,y2,…,x81,y81]T。在本步骤中,获得面部图像的形状包括获得样本面部图像的形状和待识别面部图像的形状。其中,样本面部图像构成了训练集,训练集中包括多个面部表情类别,每个面部表情类别中包含预设数目个样本面部图像。步骤104,将所述本文档来自技高网...
面部表情识别方法及装置

【技术保护点】
一种面部表情识别方法,其特征在于,包括:对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;获取所述刚体归一化形状中所述面部图像的人脸特征;根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。

【技术特征摘要】
1.一种面部表情识别方法,其特征在于,包括:对面部图像进行人脸区域检测及关键点定位,获得面部图像的形状;将所述面部图像的形状与预先获得的面部表情类别的平均形状对齐,获得所述面部图像的刚体归一化形状;获取所述刚体归一化形状中所述面部图像的人脸特征;根据预先训练的表情分类器对面部图像的人脸特征进行表情识别获得表情类别预测结果;对所述表情类别预测结果进行加权投票确定所述面部图像的表情类别。2.根据权利要求1所述的方法,其特征在于,所述面部图像为样本面部图像或待识别面部图像。3.根据权利要求2所述的方法,其特征在于,所述预先获得的面部表情类别的平均形状由如下步骤获取:S1、在面部表情类别的所有面部图像的形状中选取一副面部图像形状作为所述面部表情类别的预估平均形状;S2、对所述面部表情类别中其余的面部图像形状与所述预估平均形状进行归一化,获得所述面部图像的归一化形状;S3、获取所述面部表情类别归一化后所有面部图像的平均形状;S4、将所述归一化后所有面部图像的平均形状与所述预估平均形状进行比对;若比对结果一致,将所述预估平均形状作为预先获得的面部表情类别的平均形状,并将所述面部图像的归一化形状作为该面部图像的刚体归一化形状;若比对结果不一致,则将S3获取的归一化后所有面部图像的平均形状作为新的预估平均形状,迭代执行S2-S4。4.根据权利要求3所述的方法,其特征在于,所述面部图像的人脸特征包括面部图像的形状特征和面部图像的纹理特征。5.根据权利要求4所述的方法,其特征在于,所述获取所述刚体归一化形状中所述面部图像的人脸特征包括:根据面部图像的刚体归一化形状,利用欧式空间的子空间理论...

【专利技术属性】
技术研发人员:黄磊蔡利君刘昌平张健
申请(专利权)人:北京汉王智远科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1