一种虚拟角色人脸处理方法、装置、设备、存储介质及产品制造方法及图纸

本申请实施例提供了一种虚拟角色人脸处理方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过获取二维无表情人脸图像，利用形变参数模型确定二维无表情人脸图像的人脸形变参数，并根据人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，用户只需要上传二维无表情人脸图像，即可根据人脸形变参数对三维可形变的标准人脸模型进行调整，得到反映二维无表情人脸图像中人脸特征的虚拟人脸模型，在简化虚拟角色捏脸操作的同时，提高虚拟角色人脸处理效果。虚拟角色人脸处理效果。虚拟角色人脸处理效果。

【技术实现步骤摘要】
一种虚拟角色人脸处理方法、装置、设备、存储介质及产品


[0001]本申请实施例涉及图像处理
，尤其涉及一种虚拟角色人脸处理方法、装置、设备、存储介质及产品。

技术介绍

[0002]随着图像处理技术的发展，用户经常使用脸部特征与自己相似的虚拟角色来与其他用户进行互动，用户一般通过对标准人脸模型进行捏脸的方式生成脸部特征与自己相似的虚拟角色。
[0003]目前传统的捏脸方式是在捏脸控制面板上设置用于调整标准人脸模型的脸部特征的拖动条，用户通过拖动条调整标准人脸模型的脸部特征，从而生成用户预期的虚拟角色。但是这种虚拟角色的人脸处理操作较为复杂和繁琐，一般需要专业的技术人员才能实现满意的效果，普通用户难以生成预期的虚拟角色，虚拟角色的人脸处理效果较差。

技术实现思路

[0004]本申请实施例提供一种虚拟角色人脸处理方法、装置、设备、存储介质及产品，以解决相关技术中虚拟角色的人脸处理操作较为复杂和繁琐，虚拟角色的人脸处理效果较差的技术问题，简化人脸处理操作，提高虚拟角色的人脸处理效果。
[0005]在第一方面，本申请实施例提供了一种虚拟角色人脸处理方法，包括：
[0006]获取二维无表情人脸图像；
[0007]将所述二维无表情人脸图像输入至训练好的形变参数模型，通过所述形变参数模型对所述二维无表情人脸图像进行分析处理，得到反映所述二维无表情人脸图像中人脸特征的人脸形变参数；
[0008]基于所述人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，所述标准人脸模型为三维可形变人脸模型。
[0009]在第二方面，本申请实施例提供了一种虚拟角色人脸处理装置，包括图像获取模块、参数获取模块和人脸生成模块，其中：
[0010]所述图像获取模块，配置为获取二维无表情人脸图像；
[0011]所述参数获取模块，配置为将所述二维无表情人脸图像输入至训练好的形变参数模型，通过所述形变参数模型对所述二维无表情人脸图像进行分析处理，得到反映所述二维无表情人脸图像中人脸特征的人脸形变参数；
[0012]所述人脸生成模块，配置为基于所述人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，所述标准人脸模型为三维可形变人脸模型。
[0013]在第三方面，本申请实施例提供了一种虚拟角色人脸处理设备，包括：存储器以及一个或多个处理器；
[0014]所述存储器，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现如第一方面所述的虚拟角色人脸处理方法。
[0016]在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的虚拟角色人脸处理方法。
[0017]在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的虚拟角色人脸处理方法。
[0018]本申请实施例通过获取二维无表情人脸图像，利用形变参数模型确定二维无表情人脸图像的人脸形变参数，并根据人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，用户只需要上传二维无表情人脸图像，即可根据人脸形变参数对三维可形变的标准人脸模型进行调整，得到反映二维无表情人脸图像中人脸特征的虚拟人脸模型，在简化虚拟角色捏脸操作的同时，提高虚拟角色人脸处理效果。
附图说明
[0019]图1是本申请实施例提供的一种虚拟角色人脸处理方法的流程图；
[0020]图2是本申请实施例提供的一种关键点集合的配准流程示意图；
[0021]图3是本申请实施例提供的一种配准结果示意图；
[0022]图4是本申请实施例提供的一种虚拟角色人脸处理装置的结构示意图；
[0023]图5是本申请实施例提供的一种虚拟角色人脸处理设备的结构示意图。
具体实施方式
[0024]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0025]本申请提供的虚拟角色人脸处理方法可应用于直播、游戏等虚拟角色的捏脸场景，例如在直播场景中，在主播希望创建具备自身特征的虚拟角色与观众进行互动时，主播可通过提供二维无表情人脸图像自动生成虚拟人脸模型，旨在通过形变参数模型确定二维无表情人脸图像的人脸形变参数，并根据人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，简化人脸处理操作，提高虚拟角色的人脸处理效果。对于传统的虚拟角色人脸处理方案，一般是由用户通过捏脸控制面板上得脸部特征拖动条调整标准人脸模型的脸部特征，以生成用户预期的虚拟角色，或者是由专业人员(例如专业的捏脸师)通过长时间的捏脸操作生成虚拟角色，存在人脸处理操作较为复杂和繁琐，虚拟角色的人脸处理效果较差的技术问题。基于此，提供本申请实施例的一种虚拟角色人脸处理方法，以解决现有虚拟角
色人脸处理方案操作较为复杂和繁琐，虚拟角色的人脸处理效果较差的技术问题。
[0026]图1给出了本申请实施例提供的一种虚拟角色人脸处理方法的流程图，本申请实施例提供的虚拟角色人脸处理方法可以由虚拟角色人脸处理装置来执行，该虚拟角色人脸处理装置可以通过硬件和/或软件的方式实现，并集成在虚拟角色人脸处理设备中。
[0027]下述以虚拟角色人脸处理装置执行虚拟角色人脸处理方法为例进行描述。
[0028]参考图1，该虚拟角色人脸处理方法包括：
[0029]S101：获取二维无表情人脸图像。
[0030]本方案提供的二维无表情人脸图像为需要进行虚拟角色捏脸的用户提供的正脸无表情的二维人脸图像，二维无表情人脸图像可通过摄像装置进行拍摄得到，也可以是通过用户指定的下载地址进行下载得到，还可以是从本地存储位置(例如相册)进行获取。
[0031]示例性的，获取用户提供的二维无表情人脸图像，例如，主播在需要创建虚拟人脸模型时，可通过虚拟角色人脸处理设备(例如手机、电脑等)拍摄自身正脸无表情的人脸图像作为二维无表情人脸图像。后续将基于用户提供的二维无表情人脸图像生成反映二维无表情人脸图像中的人脸特征的虚拟人脸模型。
[0032]S102：将二维无表情人脸图像输入至训练好的形变参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色人脸处理方法，其特征在于，包括：获取二维无表情人脸图像；将所述二维无表情人脸图像输入至训练好的形变参数模型，通过所述形变参数模型对所述二维无表情人脸图像进行分析处理，得到反映所述二维无表情人脸图像中人脸特征的人脸形变参数；基于所述人脸形变参数和设定的标准人脸模型生成虚拟人脸模型，所述标准人脸模型为三维可形变人脸模型。2.根据权利要求1所述的虚拟角色人脸处理方法，其特征在于，所述形变参数模型基于二维无表情人脸样本图像和人脸样本形变参数进行训练得到，所述人脸样本图像参数基于人脸样本三维关键点集合以及虚拟角色关键点集合的配准结果确定。3.根据权利要求2所述的虚拟角色人脸处理方法，其特征在于，所述人脸样本三维关键点集合以及所述虚拟角色关键点集合的配准包括：基于第一关键点数量，对所述人脸样本三维关键点集合以及所述虚拟角色关键点集合进行配准处理，得到第一缩放因子、第一旋转矩阵和第一平移向量；基于第二关键点数量，对所述人脸样本三维关键点集合以及所述虚拟角色关键点集合进行配准处理，得到第二缩放因子、第二旋转矩阵和第二平移向量，所述第二关键点数量大于所述第一关键点数量；基于所述第二缩放因子、所述第二旋转矩阵和所述第二平移向量，确定在所述虚拟角色关键点集合中，与所述人脸样本三维关键点集合匹配的关键点编号集合。4.根据权利要求3所述的虚拟角色人脸处理方法，其特征在于，所述人脸样本三维关键点集合以及所述虚拟角色关键点集合的配准基于以下公式进行：其中，s
*
为需要求解的缩放因子，R
*
为需要求解的旋转矩阵，t
*
为需要求解的平移向量，s为调优过程的缩放因子，R为调优过程的旋转矩阵，t为调优过程的平移向量，P
t
为虚拟角色关键点集合，为人脸样本三维关键点集合P
s
的第i个人脸样本三维关键点，为虚拟角色关键点集合P
t
的第i个虚拟角色关键点。5.根据权利要求3所述的虚拟角色人脸处理方法，其特征在于，所述人脸样本图像参数基于以下公式进行确定：其中，α
*
为需要求解的人脸样本图像参数，α为调优过程的人脸...

【专利技术属性】
技术研发人员：杨云，吴腾，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：