基于多角度神经网络的多姿态人脸情绪识别方法及系统技术方案

本发明专利技术公开了一种基于多角度神经网络的多姿态人脸情绪识别方法及系统，其中，该方法包括：采集原始人脸图像；对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。在本发明专利技术实施例中，在生成对抗网络中通过解开人物个性化特征与姿态之间的相关性，使得模型可以生成其它不同姿态下的人脸表情图像，从而促进人脸识别任务，通过使用多角度卷积神经网络对不同表情图像的姿态信息进行建模，减轻了姿态对人脸表情识别结果的影响。

Multi pose face emotion recognition method and system based on multi angle neural network

【技术实现步骤摘要】
基于多角度神经网络的多姿态人脸情绪识别方法及系统
本专利技术涉及图像处理
，尤其涉及一种基于多角度神经网络的多姿态人脸情绪识别方法及系统。
技术介绍
近几年随着基于深度学习的算法不断优化，机器的计算性能不断提升，人工智能特别是人脸识别的识别率、准确率已大幅提升，已在各行各业得到广泛地使用。人脸识别唯一不可复制、无接触、快速识别等特性，在学校的人员通行、考勤、门禁等场景也得到了成熟地应用。人脸情绪识别(FacialExpressionRecognizatio，FER)技术与人脸识别技术相近似，都需要进行人脸检测，人脸情绪识别通过分析图像或视频中检测到的人脸的情绪，并返回置信度数值，目前可识别高兴、愤怒、恐惧、伤心、惊讶、厌恶、嘟嘴、鬼脸、无表情等9种情绪。人脸情绪识别在校园的主要应用场景包括课堂专注度分析、在线个性化学习等，都是通过摄像头获取人脸信息，进行基于人脸的情绪识别，以人脸情绪识别的结果为依据进行授课内容的自适应调整。在课堂分析中，人脸情绪识别包含7种学生表情，高兴、惊讶、厌恶、难过、愤怒、害怕、中性。传统处理多姿态人脸识别表情的方法主要包括三种：(1)为不同姿态人脸表情图像分别建立对应的表情识别模型；(2)忽略姿态对表情识别结果产生的影响，为不同姿态的人脸表情图像建立单一的表情识别模型；(3)学习不同姿态表情图像间的映射关系进行姿态归一化，得到姿态统一的表情特征，进而为不同姿态的人脸表情图像建立统一的表情识别模型。在第一种方法中，多分类器方式需要训练多种识别模型来应对不断变化的头部姿态。由于每个模型均需要单独调整参数，因此模型的效率低。在第二种方法中，单一分类器由于在训练过程中未考虑姿态因素的影响，无法去除姿态的干扰信息，使得模型最终的识别率通常比较低。在第三种方法中，关键在于学习姿态统一特征，传统特征方法多是根据人脸关键点学习非正脸图像与正脸图像间的映射关系，然后进行人脸姿态归一化，并得到姿态统一人脸表情特征，最后完成多姿态人脸表情识别，但是该方法依赖于人脸关键点定位的准确性，且不是一种端到端的学习，需要为每一种独立学习的任务分别学习参数。目前现有的人脸表情识别方法多是基于手工视觉特征完成的，手工特征的表征能力较弱，尤其在姿态不断变化而造成表情遮挡时，手工特征较难处理这种非线性变化的问题，且容易受到图像光照和个体差异的影响。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于多角度神经网络的多姿态人脸情绪识别方法及系统，可对不同表情图像的姿态信息进行建模，减少了姿态对人脸情绪识别结果的影响；通过生成对抗网络生成多姿态的人脸表情图像，完成多姿态的人脸情绪识别，可以提升人脸表情的识别率。为了解决上述问题，本专利技术提出了一种基于多角度神经网络的多姿态人脸情绪识别方法，所述方法包括：采集原始人脸图像；对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。优选地，所述对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像的步骤，包括：利用Libfacedetection人脸检测库对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像。优选地，所述利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像的步骤，包括：通过所述生成对抗网络的生成器对所述去除冗余信息的人脸图像进行人脸特征提取，获得人脸特征信息；根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像。优选地，所述根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像的步骤，包括：将所述人脸特征信息和人脸姿态编码信息进行串联，输入至所述生成对抗网络的生成器；当加入不同姿态的人脸姿态编码信息时，通过生成器与判别器之间的对抗，生成一张人脸图像所对应的不同姿态的人脸图像。优选地，所述利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果的步骤，包括：将生成的不同姿态的人脸图像和所述原始人脸图像输入训练好的多角度卷积神经网络；获得所述多角度卷积神经网络的分类器的输出；根据所述分类器的输出获得人脸情绪识别结果。相应地，本专利技术还提供一种基于多角度神经网络的多姿态人脸情绪识别系统，所述系统包括：采集模块，用于采集原始人脸图像；预处理模块，用于对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；人脸图像获取模块，用于利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；情绪识别模块，用于利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。优选地，所述预处理模块利用Libfacedetection人脸检测库对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像。优选地，所述人脸图像获取模块包括：特征提取单元，用于通过所述生成对抗网络的生成器对所述去除冗余信息的人脸图像进行人脸特征提取，获得人脸特征信息；生成单元，用于根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像。优选地，所述生成单元包括：串联子单元，用于将所述人脸特征信息和人脸姿态编码信息进行串联，输入至所述生成对抗网络的生成器；生成子单元，用于当加入不同姿态的人脸姿态编码信息时，通过生成器与判别器之间的对抗，生成一张人脸图像所对应的不同姿态的人脸图像。优选地，所述情绪识别模块包括：输入单元，用于将生成的不同姿态的人脸图像和所述原始人脸图像输入训练好的多角度卷积神经网络；输出单元，用于获得所述多角度卷积神经网络的分类器的输出；识别单元，用于根据所述分类器的输出获得人脸情绪识别结果。在本专利技术实施例中，在生成对抗网络(GAN)中通过解开人物个性化特征与姿态之间的相关性，使得模型可以生成其它不同姿态下的人脸表情图像，从而促进人脸识别任务，通过使用多角度卷积神经网络对不同表情图像的姿态信息进行建模，减轻了姿态对人脸表情识别结果的影响。且生成对抗网络与多角度卷积神经网络是端到端的学习，使得它们可以互相促进，并完成多姿态的人脸情绪识别，可以提升人脸表情的识别率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例的基于多角度神经网络的多姿态人脸情绪识别方法的流程示意图；本文档来自技高网...

【技术保护点】
1.一种基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述方法包括：/n采集原始人脸图像；/n对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；/n利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；/n利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。/n

【技术特征摘要】
1.一种基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述方法包括：
采集原始人脸图像；
对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；
利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；
利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。


2.如权利要求1所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像的步骤，包括：
利用Libfacedetection人脸检测库对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像。


3.如权利要求1或2所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像的步骤，包括：
通过所述生成对抗网络的生成器对所述去除冗余信息的人脸图像进行人脸特征提取，获得人脸特征信息；
根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像。


4.如权利要求3所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像的步骤，包括：
将所述人脸特征信息和人脸姿态编码信息进行串联，输入至所述生成对抗网络的生成器；
当加入不同姿态的人脸姿态编码信息时，通过生成器与判别器之间的对抗，生成一张人脸图像所对应的不同姿态的人脸图像。


5.如权利要求1所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果的步骤，包括：
将生成的不同姿态的人脸图像和所述原始人脸图像输入训练好的多角度卷积神经网络；
获得所述多角度卷积神经网络的分类器的输出；...

【专利技术属性】
技术研发人员：刘天元，陈奇松，张玉冲，罗龙，韩高强，
申请(专利权)人：三盟科技股份有限公司，
类型：发明
国别省市：广东;44