基于多角度神经网络的多姿态人脸情绪识别方法及系统技术方案

本发明专利技术公开了一种基于多角度神经网络的多姿态人脸情绪识别方法及系统，其中，该方法包括：采集原始人脸图像；对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。在本发明专利技术实施例中，在生成对抗网络中通过解开人物个性化特征与姿态之间的相关性，使得模型可以生成其它不同姿态下的人脸表情图像，从而促进人脸识别任务，通过使用多角度卷积神经网络对不同表情图像的姿态信息进行建模，减轻了姿态对人脸表情识别结果的影响。

Multi pose face emotion recognition method and system based on multi angle neural network

【技术实现步骤摘要】
基于多角度神经网络的多姿态人脸情绪识别方法及系统
本专利技术涉及图像处理
，尤其涉及一种基于多角度神经网络的多姿态人脸情绪识别方法及系统。
技术介绍
近几年随着基于深度学习的算法不断优化，机器的计算性能不断提升，人工智能特别是人脸识别的识别率、准确率已大幅提升，已在各行各业得到广泛地使用。人脸识别唯一不可复制、无接触、快速识别等特性，在学校的人员通行、考勤、门禁等场景也得到了成熟地应用。人脸情绪识别(FacialExpressionRecognizatio，FER)技术与人脸识别技术相近似，都需要进行人脸检测，人脸情绪识别通过分析图像或视频中检测到的人脸的情绪，并返回置信度数值，目前可识别高兴、愤怒、恐惧、伤心、惊讶、厌恶、嘟嘴、鬼脸、无表情等9种情绪。人脸情绪识别在校园的主要应用场景包括课堂专注度分析、在线个性化学习等，都是通过摄像头获取人脸信息，进行基于人脸的情绪识别，以人脸情绪识别的结果为依据进行授课内容的自适应调整。在课堂分析中，人脸情绪识别包含7种学生表情，高兴、惊讶、厌恶、难过、愤怒、害怕、中性。<br>传统处理多姿态本文档来自技高网...

【技术保护点】
1.一种基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述方法包括：/n采集原始人脸图像；/n对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；/n利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；/n利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。/n

【技术特征摘要】
1.一种基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述方法包括：
采集原始人脸图像；
对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像；
利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像；
利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果。


2.如权利要求1所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像的步骤，包括：
利用Libfacedetection人脸检测库对所述原始人脸图像进行预处理，获得去除冗余信息的人脸图像。


3.如权利要求1或2所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述利用生成对抗网络对所述去除冗余信息的人脸图像进行处理，生成不同姿态的人脸图像的步骤，包括：
通过所述生成对抗网络的生成器对所述去除冗余信息的人脸图像进行人脸特征提取，获得人脸特征信息；
根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像。


4.如权利要求3所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述根据所述人脸特征信息和人脸姿态编码信息生成不同姿态的人脸图像的步骤，包括：
将所述人脸特征信息和人脸姿态编码信息进行串联，输入至所述生成对抗网络的生成器；
当加入不同姿态的人脸姿态编码信息时，通过生成器与判别器之间的对抗，生成一张人脸图像所对应的不同姿态的人脸图像。


5.如权利要求1所述的基于多角度神经网络的多姿态人脸情绪识别方法，其特征在于，所述利用多角度卷积神经网络对生成的不同姿态的人脸图像和所述原始人脸图像进行人脸情绪识别，获得人脸情绪识别结果的步骤，包括：
将生成的不同姿态的人脸图像和所述原始人脸图像输入训练好的多角度卷积神经网络；
获得所述多角度卷积神经网络的分类器的输出；...

【专利技术属性】
技术研发人员：刘天元，陈奇松，张玉冲，罗龙，韩高强，
申请(专利权)人：三盟科技股份有限公司，
类型：发明
国别省市：广东;44