表情识别方法和装置制造方法及图纸

本发明专利技术实施例公开了一种表情识别方法和装置。该表情识别方法包括：依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块；依据人脸表情图像身份归一化模块和表情注意力驱动模块，对表情类别进行判定。通过本发明专利技术，解决了相关技术中由于现有的基于深度学习网络的人脸表情识别方法存在对人脸身份的差异性感知不足，导致表情识别准确率低的问题，达到了提升表情识别准确率的技术效果。果。果。

【技术实现步骤摘要】
表情识别方法和装置


[0001]本专利技术涉及计算机技术应用领域，尤其涉及一种表情识别方法和装置。

技术介绍

[0002]在人脸表情识别系统中，去除人脸身份的差异性是确保表情正确识别的关键。而传统的表情识别方法需要耗费大量的时间和人力，并且无法去除人脸身份对识别造成的干扰。而基于深度学习网络的人脸表情识别通过自动提取高层抽象特征，来削弱人脸身份对表情特征的影响，无需消耗大量资源就可以得到较高的性能。
[0003]相关技术中公开了一种基于深度学习网络的人脸表情识别方法，该方法提出了一个身份感知卷积神经网络。首先，构建了一个新颖的卷积神经网络，能够更深入地对人脸的身份进行感知；其次，提出了一种对表情敏感的对比损失来度量表情的相似性；最后，提出了一种身份敏感的对比损失算法，从身份标签中学习身份的相关信息，实现身份不变的表情识别。但是，该方法存在以下问题：首先，表情敏感的对比损失较难获得表情特征与标签间的映射关系；其次，身份敏感的对比损失以丢掉其他维度特征为代价来降低身份的差异性。因此该方法虽然能够实现人脸的表情识别，但是对身份的感知并不充分。
[0004]针对目前相关技术中由于现有的基于深度学习网络的人脸表情识别方法存在对人脸身份的差异性感知不足，导致表情识别准确率低的问题，目前尚未得到有效的解决。

技术实现思路

[0005]本专利技术实施例提供了一种表情识别方法和装置，以至少解决相关技术中由于现有的基于深度学习网络的人脸表情识别方法存在对人脸身份的差异性感知不足，导致表情识别准确率低的问题。
[0006]根据本专利技术实施例的一个方面，提供了一种表情识别方法，包括：依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块；依据人脸表情图像身份归一化模块和表情注意力驱动模块，对表情类别进行判定。
[0007]可选的，依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块包括：通过预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，并通过过滤与人脸表情图像不相关的身份特征，得到与人脸表情图像相关的特征空间，构建人脸表情图像身份归一化模块。
[0008]进一步地，可选的，该方法还包括：基于神经网络的生成器模块，对基准身份的人脸图像生成各个表情图像，并通过过滤与人脸表情图像不相关的身份特征，得到对待识别人脸表情图像的人脸身份归一化。
[0009]可选的，神经网络的生成器包括：第一生成器子网络和第二生成器子网络，第一生
成器子网络，用于注意力掩码；第二生成器子网络，用于生成颜色掩码；其中，通过输入图像和目标表情的N维面部动作单元特征向量，结合第一生成器子网络，得到注意力掩码；依据注意力机制对人脸区域忽略背景干扰，通过输入图像和目标表情的N维面部动作单元特征向量，结合第二生成器子网络，得到颜色掩码；依据注意力掩码和颜色掩码生成目标表情图像。
[0010]可选的，将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块包括：将图像的信息量与特征相关性分别进行训练，通过计算隐藏层特征图的图像熵，将图像熵作为衡量标准建立支路，并利用通道注意力机制保留隐藏层特征，构建表情注意力驱动模块。
[0011]可选的，依据人脸表情图像身份归一化模块和表情注意力驱动模块，对表情类别进行判定包括：依据人脸表情图像身份归一化模块和表情注意力驱动模块，通过联合图像对抗损失、注意力损失、条件表情损失以及身份损失的加权损失函数来计算网络的训练损失，对表情类别进行判定。
[0012]根据本专利技术实施例的另一个方面，提供了一种表情识别装置，包括：第一构建模块，用于依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；第二构建模块，用于将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块；判定模块，用于依据人脸表情图像身份归一化模块和表情注意力驱动模块，对表情类别进行判定。
[0013]可选的，第一构建模块包括：第一构建单元，用于通过预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，并通过过滤与人脸表情图像不相关的身份特征，得到与人脸表情图像相关的特征空间，构建人脸表情图像身份归一化模块。
[0014]可选的，第二构建模块包括：第二构建单元，用于将图像的信息量与特征相关性分别进行训练，通过计算隐藏层特征图的图像熵，将图像熵作为衡量标准建立支路，并利用通道注意力机制保留隐藏层特征，构建表情注意力驱动模块。
[0015]可选的，判定模块包括：判定单元，用于依据人脸表情图像身份归一化模块和表情注意力驱动模块，通过联合图像对抗损失、注意力损失、条件表情损失以及身份损失的加权损失函数来计算网络的训练损失，对表情类别进行判定。
[0016]本专利技术实施例中，基于依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块；依据人脸表情图像身份归一化模块和表情注意力驱动模块，对表情类别进行判定。也就是说，本专利技术实施例能够解决了由于现有的基于深度学习网络的人脸表情识别方法存在对人脸身份的差异性感知不足，导致表情识别准确率低的问题，从而达到了提升表情识别准确率的技术效果。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1为本专利技术实施例提供的一种表情识别方法的流程示意图；
[0019]图2为本专利技术实施例提供的一种表情识别装置的示意图。
具体实施方式
[0020]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0021]需要说明的是，本专利技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
[0022]根据本专利技术实施例的一个方面，提供了一种表情识别方法，图1为本专利技术实施例提供的一种表情识别方法的流程示意图。如图1所示，本申请实施例提供表情识别方法包括：
[0023]步骤S102，依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；
[0024]可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，其特征在于，包括：依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块；将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块；依据所述人脸表情图像身份归一化模块和所述表情注意力驱动模块，对表情类别进行判定。2.根据权利要求1所述的方法，其特征在于，所述依据预设的基准身份选择策略，将各类身份的人脸表情图像迁移至基准身份的人脸图像上，构建人脸表情图像身份归一化模块包括：通过所述预设的基准身份选择策略，将所述各类身份的人脸表情图像迁移至所述基准身份的人脸图像上，并通过过滤与所述人脸表情图像不相关的身份特征，得到与所述人脸表情图像相关的特征空间，构建所述人脸表情图像身份归一化模块。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于神经网络的生成器模块，对所述基准身份的人脸图像生成各个表情图像，并通过过滤与所述人脸表情图像不相关的身份特征，得到对待识别人脸表情图像的人脸身份归一化。4.根据权利要求3所述的方法，其特征在于，所述神经网络的生成器包括：第一生成器子网络和第二生成器子网络，所述第一生成器子网络，用于注意力掩码；所述第二生成器子网络，用于生成颜色掩码；其中，通过输入图像和目标表情的N维面部动作单元特征向量，结合所述第一生成器子网络，得到所述注意力掩码；依据注意力机制对人脸区域忽略背景干扰，通过输入图像和目标表情的N维面部动作单元特征向量，结合所述第二生成器子网络，得到所述颜色掩码；依据所述注意力掩码和所述颜色掩码生成目标表情图像。5.根据权利要求1所述的方法，其特征在于，所述将图像的信息量和特征相关性分别进行训练，通过通道注意力机制，构建表情注意力驱动模块包括：将图像的信息量与特征相关性分别进行训练，通过计算隐藏层特征图的图像熵，将所述图像熵作为衡量标...

【专利技术属性】
技术研发人员：郭哲，孙博伟，刘雪文，郭号洁，王毅，齐敏，樊养余，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：