人脸情绪的识别方法、装置、设备及存储介质制造方法及图纸

本申请是关于一种人脸情绪的识别方法、装置、设备及存储介质，具体涉及计算机视觉技术领域。该方法包括：确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。基于上述技术方案，可以使用一种可解释的方式进行人脸情绪的识别。以使用一种可解释的方式进行人脸情绪的识别。以使用一种可解释的方式进行人脸情绪的识别。

【技术实现步骤摘要】
人脸情绪的识别方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种人脸情绪的识别方法、装置、设备及存储介质。

技术介绍

[0002]情绪识别在各种领域均有应用，比如：在人机交互领域，通过情绪识别可以支持产品功能；在医疗领域，通过情绪识别可以监控病人的状态。
[0003]针对单张图片的人脸情绪的识别方案，一般存在两个改进方面，一个是使用不同的网络技术以及对应的技巧对情绪进行更好的分类，另一个则是通过多模态的融合，得到更加准确的情绪分类。
[0004]但是，现有的识别方案中，情绪分类的可解释性不好，从而影响情绪识别的效果。

技术实现思路

[0005]本申请提供了一种人脸情绪的识别方法、装置、设备及存储介质，该技术方案如下。
[0006]一方面，提供了人脸情绪的识别方法，所述方法包括：确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。
[0007]又一方面，提供了一种人脸情绪的识别装置，所述装置包括：三维重建表示确定模块，用于确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；情绪系数求解模块，用于求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；人脸情绪确定模块，用于基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。
[0008]又一方面，提供了一种计算机设备，其特征在于，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述的人脸情绪的识别方法。
[0009]又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集
或指令集由处理器加载并执行以实现上述的人脸情绪的识别方法。
[0010]再一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的人脸情绪的识别方法。
[0011]本申请提供的技术方案可以包括以下有益效果：对人脸图片中的人脸建立有三维重建表示，三维重建表示中包含标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，针对目标图片，可以求解使用人脸的三维重建表示时的情绪系数，进而通过求解后的情绪系数，确定目标人脸图片对应的人脸情绪。通过不同情绪的情绪形变样例，对情绪直接建模以得到人脸的三维重建表示，因此具有可解释性的情绪分类，在使用人脸的三维重建表示对目标人脸图片进行情绪识别时，可以提升情绪识别的效果。
附图说明
[0012]为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。
[0014]图2是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。
[0015]图3是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。
[0016]图4是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。
[0017]图5是根据一示例性实施例示出的一种人脸情绪的识别装置的结构方框图。
[0018]图6是根据一示例性实施例提供的一种计算机设备的示意图。
具体实施方式
[0019]下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
[0021]在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
[0022]本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
[0023]本申请提供了一种人脸情绪的识别方法，通过挖掘不同情绪在人脸上的结构化表现，提出一种通过人脸重建的自监督方法，对各类情绪进行直接建模，不需要复杂的设备去采集三维数据，不仅能进行更加准确和具有可解释性的情绪分类，也能对不同的情绪的置信度进行更加准确的判定，从而更加有助于情绪识别的改进和应用。
[0024]下面，对本申请提供的技术方案进行进一步说明。
[0025]图1是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。该方法应用于计算机设备中。如图1所示，该人脸情绪的识别方法可以包括如下步骤：步骤110：确定人脸的三维重建表示，三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数。
[0026]在本申请实施例中，对人脸图片中的人脸建立有三维重建表示，且三维重建表示中包括如下三个方面的内容：（1）标准人脸标准人脸指的是由所有人脸的平均值构成的一张人脸。
[0027]（2）不同脸型的脸型形变样例人脸可以具备不同的脸型，每个脸型形变样例对应于一种脸型。此外，每个脸型形变样例对应有脸型系数，脸型系数用于指示相应脸型形变样例的权重。
[0028]（3）不同情绪的情绪形变样例人脸可以具备不同的情绪，每个情绪对应有多个情绪形变样例。此外，每个情绪形变样例对应有情绪系数，情绪系数用于指示相应情绪形变样例的权重。
[0029]可以理解的是，基于上述形式的人脸的三维重建表示，由于人脸的三维重建表示中包括不同情绪的情绪形变样例，因此，人脸的三维重建表示具有可解释性的情绪分类。
[0030]步骤120：求解目标人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸情绪的识别方法，其特征在于，所述方法包括：确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。2.根据权利要求1所述的方法，其特征在于，所述确定人脸的三维重建表示，包括：获取多张对应于不同脸型的无表情人脸图片；对多张所述无表情人脸图片的人脸三维网格进行主成分分析，得到所述标准人脸和所述不同脸型的脸型形变样例；获取多张对应于不同情绪的情绪标注人脸图片；在去除脸型的影响后，对多张所述情绪标注人脸图片的人脸三维网格进行主成分分析，得到所述不同情绪的情绪形变样例；通过所述标准人脸、所述不同脸型的脸型形变样例、所述不同情绪的情绪形变样例，确定所述人脸的三维重建表示。3.根据权利要求2所述的方法，其特征在于，所述在去除脸型的影响后，对多张所述情绪标注人脸图片的人脸三维网格进行主成分分析，得到所述不同情绪的情绪形变样例，包括：针对标注为目标情绪的目标情绪标注人脸图片，对所述目标情绪标注人脸图片的人脸三维网格去除不同脸型的脸型形变样例的加权和，得到所述目标情绪标注人脸图片的优化图片；对所述目标情绪标注人脸图片的优化图片进行主成分分析，得到所述目标情绪的情绪形变样例。4.根据权利要求1所述的方法，其特征在于，所述求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数，包括：建立所述目标人脸图片对应的人脸损失，所述人脸损失表示所述目标人脸图片使用所述人脸的三维重建表示时的损失；通过最小化所述人脸损失，求解所述目标人脸图片对应的所述人脸的三维重建表示的情绪系数。5.根据权利要求4所述的方法，其特征在于，所述人脸损失包括如下中的至少一种：关键点损失，用于指示所述人脸的三维重建表示投影到二维图像上时，关键点的损失；人脸重建损失，用于指示投影的所...

【专利技术属性】
技术研发人员：袁施薇，李发成，张如高，虞正华，
申请(专利权)人：苏州魔视智能科技有限公司，
类型：发明
国别省市：