The invention discloses a micro expression recognition method based on normal expression assistance, and the steps include: 1. Preprocessing the micro expression video and normal expression video respectively to construct the micro expression data set and normal expression data set; 2. Constructing the micro expression identity unwrapping network to extract the micro expression related features and identity related features from the micro expression image; 3. Constructing the normal table Emotional identity unwrapping network extracts normal expression related features and identity related features from normal expression images; 4. The micro expression identity unwrapping network and normal expression identity unwrapping network are jointly trained, and the triple loss, anti learning and inequality regularization loss are used to fine tune the micro expression identity unwrapping network, so as to obtain the optimal micro expression identity unwrapping network. The invention can construct a deep neural network suitable for micro expression recognition, so as to improve the accuracy and robustness of micro expression recognition.
【技术实现步骤摘要】
一种基于正常表情辅助的微表情识别方法
本专利技术涉及情感计算领域，具体的是一种基于正常表情辅助的微表情识别方法。
技术介绍
微表情识别作为情感计算的一个分支，近些年得到了广泛而又充分的研究和注意。现有的微表情识别方法可以按照所使用的特征类型分为两类：基于手工制作特征的方法和基于深度特征的方法。梯度直方图(HOG)，光流和三维正交平面局部二值特征(LBP-TOP)是最常用的手工制作特征。随着深度学习的发展，越来越多的领域使用深度神经网络来实现特征提取，在微表情领域，也有很多基于由深度神经网络所提取的特征的方法。然而无论是基于手工制作特征的方法还是基于深度特征的方法，其均存在着根本上无法解决的问题。对于基于手工制作特征的方法，因为其特征基本上只能描述微表情视频或者图像的纹理、时序等浅层特征，并不适合处理微表情识别此类复杂问题，利用这些浅层特征构建出的分类器准确性较差。对于基于深度神经网络的方法，虽然理论上由神经网络产生的特征足够用于微表情的识别，但是其是建立在神经网络训练充分的前提下，而对于微表情识别此类复杂问题，神经网络需要大量的训练数据才能够训练充分，然而现有的微表情数据库均只有几十或上百段视频，远远达不到使得对应的神经网络训练充分的条件，因此基于深度特征的微表情识别方法没有很好的鲁棒性。
技术实现思路
本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于正常表情辅助的微表情识别方法，以期能构建出适用于微表情识别的深度神经网络，从而提高微表情识别的准确性和鲁棒性。本专利技术...
【技术保护点】
1.一种基于正常表情辅助的微表情识别方法，其特征是按如下步骤进行：/n步骤1、构建表情图像数据集：/n步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集D
【技术特征摘要】
1.一种基于正常表情辅助的微表情识别方法，其特征是按如下步骤进行：
步骤1、构建表情图像数据集：
步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集Dtr_1，令IN_1和IE_1表示所述微表情数据集Dtr_1中任意同一个人的中性面部图像和微表情图像，yE_1是微表情图像IE_1相应的微表情的标签；
步骤1.2、从正常表情视频中提取出中性面部图片和正常表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到正常表情数据集DN_2，令IN_2和IE_2是表示所述正常表情数据集DN_2中任意同一个人的中性面部图像和正常表情图像，yE_2是正常表情图像IE_2相应的微表情的标签；
步骤2、构建微表情身份解缠网络F_1，包括微表情编码器E_1，微表情解码器D_1和微表情分类器C_1：
步骤2.1、构建所述编码器E_1，包含一个ResNet18结构与一个双分支结构；
所述ResNet18结构由四个深度残差块组成；
每个深度残差块均依次包含一个卷积核大小为n′×n′的卷积层，两个卷积核大小为n″×n″的卷积层，一个批归一化层和一个ReLU激活函数层；
所述双分支结构的两个支路分别依次包含k个卷积模块和一个非线性函数层；每个卷积模块均包含一个卷积核大小为n″′×n″′的卷积层和一个批归一化层；
步骤2.2、提取微表情相关特征和身份相关特征：
将所述微表情数据集Dtr_1的中性面部图像IN_1输入到编码器E_1，并通过所述双分支结构获得中性面部图像IN_1的特征其中，为中性面部图像IN_1的身份特征，为中性面部图像IN_1的中性表情特征；
同样地，将所述微表情面部图像IE_1输入到所述编码器E_1，并得到微表情面部图像IE_1的特征其中，为微表情面部图像IE_1的身份特征，为微表情面部图像IE_1的微表情特征；
步骤2.3、利用式(1)构建微表情的身份特征相似性损失函数Lsim_1：
步骤2.4、构建所述解码器D_1，依次包含一个非线性函数层，k′个卷积模块，一个上采样层，一个m′×m′卷积层和一个非线性函数层；
所述每个深度残差块均依次包含一个上采样层，一个卷积核大小为m″×m″的卷积层，一个批归一化层和一个非线性函数层；
步骤2.5、重构微表情面部图像：
将所述微表情面部图像IE_1的表情相关特征和中性面部图像IN_1的身份特征拼接后输入到所述解码器D_1中，得到重构的微表情面部图像I′E_1；
步骤2.6、利用式(2)构建微表情面部重建损失函数Lrec_1：
Lrec_1＝||IE_1-I′E_1||2(2)
步骤2.7、构建所述分类器C_1，并依次包含n个线性层；
将所述微表情面部图像IE_1的表情相关特征输入到所述分类器C_1中，得到所述分类器C_1预测微表情面部图像IE_1的表情类别y′E_1；
步骤2.8、利用式(3)构建微表情面部表情分类损失函数Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1}(3)
式(3)中，crossentropy{·}表示交叉熵函数；
步骤2.9、利用式(4)构建微表情身份解缠网络的总损失函数Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1(4)
式(4)中，λ1_1和λ1_2是所设定的参数；
步骤3、构建正常表情身份解缠网络F_2，且F_2与微表情身份解缠网络F_1有相同的结构，并包括正常表情编码器E_2，解码器D_2和分类器C_2：
步骤3.1、构建与所述编码器E_1结构相同的编码器E_2；
步骤3.2、提取正常表情相关特征和身份相关特征：
将正常表情数据集DN_2的中性面部图像IN_2输入到编码器E_2，并通过相应的双分支结构获得中性面部图像IN_2的特征其中，为中性面部图像IN_2的身份特征，为中性面部图像IN_2的中性表情特征；
同样地，将正常表情面部图像IE_2输入到编码器E_2，并得到正常表情面部图像IE_2的特征其中，为正常表情面部图像IE_2的身份特征，为正常表情面部图像IE_2的正常表情特征；
步骤3.3、利用式(5)构建正常表情的身份特征相似性损失函数Lsim_2：
...
【专利技术属性】
技术研发人员：王上飞，夏斌，王伟康，陈恩红，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。