基于对抗学习的角度鲁棒的个性化人脸表情识别方法技术

本发明专利技术公开了一种基于对抗学习的角度鲁棒的个性化人脸表情识别方法，其步骤包括：1、对包含具有N类人脸表情图像的数据库进行图像预处理；2、构建基于对抗学习的特征解耦与领域自适应网络模型；3、使用交替迭代优化的方式训练构建的网络模型；4、利用训练好的模型对待测人脸图像进行预测，实现人脸表情的分类识别。本发明专利技术能同时克服人脸表情识别中的角度和个体间差异对人脸表情识别效果造成的负影响，从而实现人脸表情的精准识别。

【技术实现步骤摘要】
基于对抗学习的角度鲁棒的个性化人脸表情识别方法
本专利技术涉及计算机视觉
，具体而言是一种基于对抗学习的角度鲁棒的个性化人脸表情识别方法。
技术介绍
人脸表情识别是计算机视觉领域中的一个重要研究课题，在人机交互、疲劳检测、犯罪侦察以及医学治疗中有着广泛的应用。目前的人脸表情识别方法多假定面部图像为正脸，而在实际应用场景中用户的相对位置是不固定的，场景是多变的，只有多角度条件的人脸表情识别才能满足实际的需求。因此，近年来科研人员也提出了一些方法应对角度对人脸表情识别的影响。根据如何处理角度变化，这些方法可以分为三类：特定视角分类器方法、单一分类器方法和角度归一化方法。特定视角分类器方法比较直观，即对于不同角度的样本，分别训练对应的分类器，然而受限于有限的训练样本，无法针对每种角度都学得性能鲁棒的分类器。单一分类器方法试图通过大量的样本学得更为鲁棒的分类器，且得益于生成对抗网络和变分自编码器的应用，可以通过样本生成，给分类器的学习带来更丰富、多样化的训练样本。然而高质量样本的生成本身就是一个难以保证的过程，生成的低质量的样本反而会给分类器的学本文档来自技高网...

【技术保护点】
1.一种基于对抗学习的角度鲁棒的个性化人脸表情识别方法，其特征是按如下步骤进行：/n步骤1、对包含具有N类人脸表情图像的数据库进行图像预处理：/n使用MTCNN神经网络算法对数据库中所有人脸表情图像进行人脸检测与矫正，从而得到归一化后的人脸图像数据集，并作为样本集；/n以所述数据库中的个体为划分基准，将所述样本集进行随机划分，得到源域数据集S和目标域数据集T；令源域数据集S中的任意一个样本为x

【技术特征摘要】
1.一种基于对抗学习的角度鲁棒的个性化人脸表情识别方法，其特征是按如下步骤进行：
步骤1、对包含具有N类人脸表情图像的数据库进行图像预处理：
使用MTCNN神经网络算法对数据库中所有人脸表情图像进行人脸检测与矫正，从而得到归一化后的人脸图像数据集，并作为样本集；
以所述数据库中的个体为划分基准，将所述样本集进行随机划分，得到源域数据集S和目标域数据集T；令源域数据集S中的任意一个样本为xs，源域中任意一个样本xs的表情标注为ys，源域中任意一个样本xs的角度标注为ps；令目标域数据集T中的任意一个样本为xt；
步骤2、构建基于对抗学习的特征解耦与领域自适应网络模型，并包括：源域特征提取器Es和目标域特征提取器Et，角度分类器Dp和表情分类器R，角度域判别器Ddp和表情域判别器Dde，源域图像生成器Gs和目标域图像生成器Gt；
所述源域特征提取器Es和目标域特征提取器Et具有相同的网络结构，依次均由一个输入卷积层、M个下采样卷积层、Q个残差卷积层、两个含有W层卷积层的分支构成；且每个卷积层后均接入一个实例正则化层和ReLU激活函数；
所述角度分类器Dp、表情分类器R、角度域判别器Ddp和表情域判别器Dde均是由H层的全连接网络构成；
所述源域图像生成器Gs和目标域图像生成器Gt具有相同的网络结构，依次均由一个输入卷积层、J个上采样反卷积层和一个输出卷积层构成，对于输出卷积层前的每个卷积层，其后均接入一个实例正则化层和ReLU激活函数，对于输出卷积层，其后接入一个Tanh激活函数；
令基于对抗学习的特征解耦与领域自适应网络模型中的所有卷积层、反卷积层、全连接层均使用高斯分布进行权值初始化；
步骤3、基于对抗学习的特征解耦与领域自适应网络模型的四个学习策略，包括有监督学习策略、对抗领域自适应学习策略、交叉对抗特征解耦学习策略以及图像重构学习策略；
步骤3.1、有监督学习策略：
步骤3.3.1、所述源域中任意一个样本xs输入所述源域特征提取器Es中，得到两种特征向量{fse,fsp}，其中，fse表示源域中样本xs的表情相关特征，fsp表示源域中样本xs的角度相关特征；
步骤3.3.2、所述源域中样本xs的角度相关特征fsp输入所述角度分类器Dp中进行角度识别，得到源域中样本xs的角度类别；
利用式(1)建立角度识别的损失函数lp(Es,Dp)：



式(1)中，Sup(·)表示有监督损失函数；
步骤3.3.3、所述源域中样本xs的表情相关特征fse输入所述表情分类器R中进行表情识别，得到源域中样本xs的表情类别；
利用式(2)建立表情识别的损失函数le(Es,R)：



步骤3.2、对抗领域自适应学习策略：
步骤3.2.1、所述目标域中任意一个样本xt输入所述目标域特征提取器Et中，得到两种特征向量{fte,ftp}，其中，fte表示目标域中样本xt的表情相关特征，ftp表示目标域中样本xt的角度相关特征；
步骤3.2.2、所述源域中样本xs的角度相关特征fsp或目标域中样本xt的表情相关特征ftp输入所述角度域判别器Ddp，得到角度相关特征fsp为真或表情相关特征ftp为假的识别结果；
步骤3.2.3、所述源域中样本xs的表情相关特征fse或目标域中样本xt的表情相关特征fte输入所述表情域判别器Dde中，得到表情相关特征fse为真或表情相关特征fte为假的识别结果；
步骤3.2.4、利用式(3)建立对抗学习损失函数ladv(Es,Et,Ddp,Dde)：



步骤3.3、对抗特征解耦学习策略：
步骤3.3.1、所述源域中样本xs的角度相关特征fsp输入所述表情分类器R中，得到源域中样本xs的表情分类结果；
所述源域中样本xs的表情相关特征fse输入角度分类器Dp中，得到所述源域中样本xs的角度分类结果...

【专利技术属性】
技术研发人员：王上飞，王灿，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34