基于生成对抗网络的多姿态面部表情识别方法技术

本发明专利技术公开了一种基于生成对抗网络的多姿态面部表情识别方法。本发明专利技术基于生成对抗网络的多姿态面部表情识别方法，包括：多面部姿态下的表情识别系统在表情识别过程中加入正面人脸合成模块，将系统检测到的人脸与合成后的正面人脸同时输入到识别网络中，提高在人脸大姿态偏转下的识别性能，从而实现多种面部偏转姿态下的表情识别。本发明专利技术的有益效果：基于提出的生成对抗网络构建的正脸合成模块的多面部姿态表情识别系统的优势主要有：1.本发明专利技术采用基于生成对抗网络的正脸合成模块能够通过输入的任意角度人脸，合成出原始图像的正脸，为表情识别系统提供正脸信息，保障在人脸大姿态偏转时正确识别表情信息。

Multi-pose Facial Expression Recognition Based on Generating Countermeasure Network

【技术实现步骤摘要】
基于生成对抗网络的多姿态面部表情识别方法
本专利技术涉及面部表情领域，具体涉及一种基于生成对抗网络的多姿态面部表情识别方法。
技术介绍
表情是人类表达情感状态和意图的最有力、最自然、最普遍的信号之一。由于面部表情分析在社交机器人、医学治疗、驾驶员疲劳监测以及许多其他人机交互系统中的实际重要性，人们对其进行了大量的研究。早在20世纪，相关研究人员就将人脸表情基本划分为七类，即“恐惧、愤怒、恶心、开心、正常、伤心、惊讶”。在计算机视觉和机器学习领域，针对面部表情识别的各种系统已经被开发出来，用于从面部表情中编码表情信息。近年来，以深度学习为代表的人工智能技术为各个研究领域提供了更强大的技术支持，尤其在计算机视觉领域更是大放异彩。因此研究实现基于深度学习的面部表情识别系统符合当前的研究趋势，对于构建更加高效稳定的人机交互系统有着非常重要的意义和应用前景。人脸表情识别的目的是分析和分类一个给定的面部图像的几种情绪类型，即“恐惧、愤怒、恶心、开心、正常、伤心、惊讶”。在现有的人脸表情识别方法中，大部分都是基于正面或接近正面的人脸图像，而大角度面部偏转或复杂环境下的人脸表情识别问题在很大程度上还本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的多姿态面部表情识别方法，其特征在于，包括：多面部姿态下的表情识别系统在表情识别过程中加入正面人脸合成模块，将系统检测到的人脸与合成后的正面人脸同时输入到识别网络中，提高在人脸大姿态偏转下的识别性能，从而实现多种面部偏转姿态下的表情识别；该系统的具体流程为：S1.输入一张待检测识别的彩色图像，通过图像预处理器将其缩放到尺寸为224*224的图像；S2.将缩放后的图像输入到人脸合成模块；S3.将检测人脸以及合成人脸同时输入到表情识别模块，最终输出结果就是整个系统对人脸表情识别的输出结果。

【技术特征摘要】
1.一种基于生成对抗网络的多姿态面部表情识别方法，其特征在于，包括：多面部姿态下的表情识别系统在表情识别过程中加入正面人脸合成模块，将系统检测到的人脸与合成后的正面人脸同时输入到识别网络中，提高在人脸大姿态偏转下的识别性能，从而实现多种面部偏转姿态下的表情识别；该系统的具体流程为：S1.输入一张待检测识别的彩色图像，通过图像预处理器将其缩放到尺寸为224*224的图像；S2.将缩放后的图像输入到人脸合成模块；S3.将检测人脸以及合成人脸同时输入到表情识别模块，最终输出结果就是整个系统对人脸表情识别的输出结果。2.如权利要求1所述的基于生成对抗网络的多姿态面部表情识别方法，其特征在于，步骤S2的具体流程为：S2-1.将卷积神经网络作为生成器的编码器，将检测到的人脸输入网络中编码得到不同尺度的人脸特征信息；S2-2.将编码器提取的最后一层人脸特征信息裁剪平分为上下两部分，分别通过由反卷积层组成的解码器进行上采样得到上下部分人脸高维特征，通过合并得到整张人脸的高维特征；S2-3.同样将编码器提取的最后一层人脸特征信息，直接输入另外一个解码器中进行上采样，通过融合S2-2得到的正脸高维特征以及编码提取的最后第二层特征信息，最终输出得到保留原始输入身份的正面人脸。3.如权利要求1所述的基于生成对抗网络的多姿态面部表情识别方法，其特征在于，在步骤S2-1中首先使用VGGFace人脸数据集训练卷积神经网络进行人脸识别，网络模型采用视觉几何组网络(VGGNet)结构,将训练得到的VGGNet的卷积层部分作为生成对抗网络生成器的编码网络。这样的设计一方面在生成对抗网络的训练中能加速整个网络的训练过程，另一方面通过一个庞大的人脸数据集预先训练的网络能够更好的提取出人脸关键特征。通过VGGNet主要编码提取其中2个卷积层的高维人脸特征，包括conv4_2和conv5_2。4.如权利要求1所述的基于生成对抗网络的多姿态面部表情识别方法，其特征在于，在步骤S2-2中，将大小为14*14*512的conv5_2层切分为7*14*512的两部分人脸高维特征，即上半部分人脸包含眼睛、眉毛等特征信息，下半部分包含嘴巴、鼻子等特征信息，将这两部分分别输入局部解码器中。为了在保证合成人脸质量的同时减少生成对抗网络的计算复杂度，生成器最终通过编码特征解码的图像大小为128*128*3。所以在输入特征首先进行一次步长为2的卷积操作以及一次最大池化操作，使得训练过程的解码器能够进一步选择获取编码特征的同时，对高维特征进行4倍缩放得到大小为2*4*512的编码信息。然后将编码特征通过反卷积层进行5次上采样不断从输入人脸信息中重建出相对应的大小为64*128*32的部分正面人脸，最后经过一层的卷积操作得到大小为64*128*3的部分人脸图片。合并两部分人脸，即得到128*128*3完整的正脸图片。由于解码器只重建人脸的一部分特征，这使得解码器能够更加关注到人脸的细节特征，尤其对五官这些关键特征的提取。对于步骤2-3中使用的局部解码器得到的正脸高维特征，来自于解码器第4次上采样合并得到的64*64...

【专利技术属性】
技术研发人员：黄鹤，韩子阳，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32