一种基于数字人的异常表情识别方法和装置制造方法及图纸

本公开提供一种基于数字人的异常表情识别方法和装置，其中所述方法包括：根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；基于第二面部表情参数进行处理，生成对应的第二表情图像；计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情，从而可以自动辨别出异常表情，缓解测试人员的负担，提升处理效率。处理效率。处理效率。

【技术实现步骤摘要】
一种基于数字人的异常表情识别方法和装置


[0001]本公开涉及人工智能
，尤其涉及一种基于数字人的异常表情识别方法和装置。

技术介绍

[0002]数字人，指具有数字化外形的虚拟人物，其依赖显示设备存在，并拥有人的相貌和举止。
[0003]以数字人输出表情为例，需要通过数字人驱动算法根据输入的测试数据生成数字人表情动画，从而赋予数字人各种表情。现有技术中，在评估数字人驱动算法的效果时，依赖于测试人员的主观评价。测试人员需要认真观看数字人表情动画的每一帧细节，排查是否有异常的奇怪表情。该过程非常耗时耗力，效率低下。

技术实现思路

[0004]本公开提供一种基于数字人的异常表情识别方法和装置，以解决现有技术中存在的异常图像排查耗时耗力、效率低下的技术缺陷。
[0005]第一方面，本公开实施例提供一种基于数字人的异常表情识别方法，包括：
[0006]根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；
[0007]基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；
[0008]将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；其中，所述评估模型为通过面部表情样本参数和表情样本图像组成的训练集进行有监督训练得到；
[0009]基于第二面部表情参数进行处理，生成对应的第二表情图像；
[0010]计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情。
[0011]根据本公开提供的一种基于数字人的异常表情识别方法，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数，包括：
[0012]将所述面部驱动信息输入至预训练的面部驱动模型，生成表情信息中每一帧表情对应的第一面部表情参数；其中，所述面部驱动信息包括图像、视频、文字中的至少一种；
[0013]其中，所述面部驱动模型由样本驱动信息和样本表情参数进行训练得到。
[0014]根据本公开提供的一种基于数字人的异常表情识别方法，基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像，包括：
[0015]将每一帧表情对应的第一面部表情参数输入至渲染模型，生成第一三维数字人形象；
[0016]将所述第一三维数字人形象投影到二维平面，生成所述第一表情图像。
[0017]根据本公开提供的一种基于数字人的异常表情识别方法，基于第二面部表情参数进行处理，生成对应的第二表情图像，包括：
[0018]将每一帧表情对应的所述第二面部表情参数输入至渲染模型，生成第二三维数字人形象；
[0019]将所述第二三维数字人形象投影到二维平面，生成所述第二表情图像。
[0020]根据本公开提供的一种基于数字人的异常表情识别方法，在确定该帧表情为异常表情后，所述方法还包括：
[0021]修正该帧表情，得到修正后的表情信息，并基于修正后的表情信息生成数字人的表情动画。
[0022]第二方面，本公开实施例提供了一种基于数字人的异常表情识别装置，包括：
[0023]表情参数生成模块，用于根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；
[0024]第一图像处理模块，用于基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；
[0025]评估模块，用于将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；其中，所述评估模型为通过面部表情样本参数和表情样本图像组成的训练集进行有监督训练得到；
[0026]第二图像处理模块，用于基于第二面部表情参数进行处理，生成对应的第二表情图像；
[0027]标记模块，用于计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情。
[0028]根据本公开提供的一种基于数字人的异常表情识别装置，所述第一图像处理模块，具体用于：
[0029]将每一帧表情对应的第一面部表情参数输入至渲染模型，生成第一三维数字人形象；
[0030]将所述第一三维数字人形象投影到二维平面，生成所述第一表情图像。
[0031]根据本公开提供的一种基于数字人的异常表情识别装置，所述第二图像处理模块，具体用于：
[0032]将每一帧表情对应的所述第二面部表情参数输入至渲染模型，生成第二三维数字人形象；
[0033]将所述第二三维数字人形象投影到二维平面，生成所述第二表情图像。
[0034]第三方面，本公开提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。
[0035]第四方面，本公开提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。
[0036]第五方面，本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于数字人的异常表情识别方法的步骤。
[0037]本公开提供的基于数字人的异常表情识别方法和装置，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；基于每一帧表情对应的第一面
部表情参数进行处理，生成对应的第一表情图像；然后将第一表情图像输入至预训练的评估模型，得到第二面部表情参数基于第二面部表情参数进行处理，生成对应的第二表情图像；计算每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情，从而可以自动辨别出异常表情，缓解测试人员的负担，提升处理效率。
附图说明
[0038]为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本公开实施例提供的基于数字人的异常表情识别方法的流程示意图之一；
[0040]图2是本公开实施例提供的基于数字人的异常表情识别方法的流程示意图之二；
[0041]图3是根据本公开实施例提供的异常表情识别方法生成的第一表情图像的示意图；
[0042]图4是根据本公开实施例提供的异常表情识别方法生成的第二表情图像的示意图；
[0043]图5是本公开实施例提供的基于数字人的异常表情识别装置的结构示意图；
[0044]图6是本公开提供的电子设备的结构示意图。
具体实施方式
[0045]为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字人的异常表情识别方法，其特征在于，包括：根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数；基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像；将第一表情图像输入至预训练的评估模型，得到第二面部表情参数；其中，所述评估模型为通过面部表情样本参数和表情样本图像组成的训练集进行有监督训练得到；基于第二面部表情参数进行处理，生成对应的第二表情图像；计算所述每一帧表情对应的第一表情图像和第二表情图像的相似度，在确定所述相似度小于阈值的情况下，标记该帧表情为异常表情。2.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，根据输入的面部驱动信息，生成表情信息中每一帧表情对应的第一面部表情参数，包括：将所述面部驱动信息输入至预训练的面部驱动模型，生成表情信息中每一帧表情对应的第一面部表情参数；其中，所述面部驱动信息包括图像、视频、文字、语音中的至少一种；其中，所述面部驱动模型由样本驱动信息和样本表情参数进行训练得到。3.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，基于每一帧表情对应的第一面部表情参数进行处理，生成对应的第一表情图像，包括：将每一帧表情对应的第一面部表情参数输入至渲染模型，生成第一三维数字人形象；将所述第一三维数字人形象投影到二维平面，生成所述第一表情图像。4.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，基于第二面部表情参数进行处理，生成对应的第二表情图像，包括：将每一帧表情对应的所述第二面部表情参数输入至渲染模型，生成第二三维数字人形象；将所述第二三维数字人形象投影到二维平面，生成所述第二表情图像。5.根据权利要求1所述的基于数字人的异常表情识别方法，其特征在于，在确定该帧表情为异常表情后，所述方法还包括：修正该帧表情，得到修正后的表情信息，并基于修正后的表情信息生成数字人的表情动画。6....

【专利技术属性】
技术研发人员：李显涛，郭聪，王林芳，陈峰，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：