人脸驱动方法和装置制造方法及图纸

本申请实施例了提供一种人脸驱动方法，该人脸驱动方法包括：获取待驱动图像的第一面部特征；获取驱动源图像的第二面部特征和关键点特征；根据所述关键点特征和所述第二面部特征，获取深度特征；将所述第一面部特征、所述第二面部特征、所述关键点特征和所述深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像；其中，所述目标驱动图像为所述待驱动图像在所述驱动源图像驱动下形成的图像。本申请实施例的技术方案可以利用深度特征精确地解析驱动源图像的人脸三维结构，从而为人脸驱动给提供更丰富的人脸信息，有效提高人脸驱动的表现效果和精度。度。度。

【技术实现步骤摘要】
人脸驱动方法和装置


[0001]本申请实施例涉及图像处理
，尤其涉及一种人脸驱动方法、装置、计算机设备、计算机可读存储介质。

技术介绍

[0002]随着神经网络和计算机技术的快速发展，人脸驱动技术开始应用于计算机游戏、动画制作等领域。人脸驱动技术可以基于真实人脸来驱动三维渲染器面部模型或者2D图像的虚拟人脸，从而实现虚拟人脸和真实人脸在说话、表情和面部细节等多方面的同步。
[0003]现有的人脸驱动技术，驱动效果差，从而影响用户的使用体验。
[0004]需要说明的是，上述内容并不必然是现有技术，也不用于限制本申请的专利保护范围。

技术实现思路

[0005]本申请实施例提供一种人脸驱动方法、装置、计算机设备、计算机可读存储介质，以解决或缓解上面提出的一项或更多项技术问题。
[0006]本申请实施例的一个方面提供了一种人脸驱动方法，所述方法包括：
[0007]获取待驱动图像的第一面部特征；
[0008]获取驱动源图像的第二面部特征和关键点特征；
[0009]根据所述关键点特征和所述第二面部特征，获取深度特征；
[0010]将所述第一面部特征、所述第二面部特征、所述关键点特征和所述深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像；其中，所述目标驱动图像为所述待驱动图像在所述驱动源图像驱动下形成的图像。
[0011]可选地，所述获取驱动源图像的第二面部特征和关键点特征，包括：
[0012]通过预先训练好的3D模型，获取所述驱动源图像中关键点的3D点云信息；
[0013]其中，3D点云信息包括平移参数和旋转参数；所述平移参数用于表示所述关键点在三维坐标系中的移动距离；所述旋转参数用于表示所述关键点在所述三维坐标系的旋转角度。
[0014]可选地，所述根据所述关键点特征图和所述第二面部特征，获取深度特征，包括：
[0015]根据所述关键点特征和所述第二面部特征，获取第一融合特征；
[0016]将所述第一融合特征输入到预先训练好的面部深度网络中，以获取所述深度特征。
[0017]可选地，所述根据所述关键点特征和所述第二面部特征，获取第一融合特征，包括：
[0018]通过调制解调方式将所述关键点特征加载到所述第二面部特征中，以获取所述第一融合特征。
[0019]可选地，所述目标神经网络包括交叉注意力机制网络。
[0020]可选地，所述交叉注意力机制网络包括编码层、第一卷积层、第二卷积层和第三卷积层；对应地，所述通过所述目标神经网络输出所述目标驱动图像，包括：
[0021]根据所述关键点特征和所述深度特征，获取第二融合特征；
[0022]将所述第二融合特征输入到所述编码层；
[0023]将所述编码层的输出数据经由所述第一卷积层进行卷积操作，以获取第一矩阵；
[0024]根据所述第一面部特征和所述第二面部特征，获取第三融合特征；
[0025]将所述第三融合特征输入到所述第二卷积层，以获取第二矩阵；
[0026]将所述第三融合特征输入到所述第三卷积层，以获取第三矩阵；
[0027]根据所述第一矩阵和所述第二矩阵，获取光流特征；
[0028]根据所述光流特征和所述第三矩阵，获取所述目标驱动图像。
[0029]可选地，根据所述光流特征和所述第三矩阵，获取所述目标驱动图像，包括：
[0030]根据所述第一矩阵和所述第二矩阵，确定维度值；
[0031]根据所述光流特征、所述第三矩阵和所述维度值，获取所述目标驱动图像。
[0032]本申请实施例的另一个方面提供了一种人脸驱动装置，所述装置包括：
[0033]第一获取模块，用于获取待驱动图像的第一面部特征；
[0034]第二获取模块，用于获取驱动源图像的第二面部特征和关键点特征；其中，所述驱动源图像用于驱动所述待驱动图像，以形成目标驱动图像；
[0035]第三获取模块，用于根据所述关键点特征和所述第二面部特征，获取深度特征；
[0036]输出模块，用于将所述第一面部特征、第二面部特征、关键点特征和深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像。
[0037]本申请实施例的另一个方面提供了一种计算机设备，包括：
[0038]至少一个处理器；及
[0039]与所述至少一个处理器通信连接的存储器；
[0040]其中：所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0041]本申请实施例的另一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如上所述的方法。
[0042]本申请实施例采用上述技术方案可以包括如下优势：
[0043]采用驱动源图像的第二面部特征和关键点特征获取驱动源图像的深度特征。然后，利用驱动源图像驱动所述待驱动图像的过程中，可以结合驱动源图像的关键点特征、深度特征和第二面部特征，来影响待驱动图像的第一面部特征，从而实现动作、表情等的精确同步。由于利用了深度特征精确地解析驱动源图像的人脸三维结构，从而为人脸驱动给提供更丰富的人脸信息，有效提高人脸驱动的表现效果和精度。
附图说明
[0044]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0045]图1示意性示出了根据本申请实施例一的人脸驱动方法的运行环境图；
[0046]图2示意性示出了根据本申请实施例一的人脸驱动方法的流程图；
[0047]图3示意性示出了图2中步骤S202的子步骤流程图；
[0048]图4示意性示出了图2中步骤S204的子步骤流程图；
[0049]图5示意性示出了图4中步骤S400的子步骤流程图；
[0050]图6示意性示出了图2中步骤S206的子步骤流程图；
[0051]图7示意性示出了图6中步骤S614的子步骤流程图；
[0052]图8A～图8C是本申请实施例一的人脸驱动方法的应用示例示意图；
[0053]图9示意性示出了根据本申请实施例二的人脸驱动装置的框图；及
[0054]图10示意性示出了根据本申请实施例三中的计算机设备的硬件架构示意图。
具体实施方式
[0055]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸驱动方法，其特征在于，所述方法包括：获取待驱动图像的第一面部特征；获取驱动源图像的第二面部特征和关键点特征；根据所述关键点特征和所述第二面部特征，获取深度特征；将所述第一面部特征、所述第二面部特征、所述关键点特征和所述深度特征输入到预先训练好的目标神经网络中，通过所述目标神经网络输出所述目标驱动图像；其中，所述目标驱动图像为所述待驱动图像在所述驱动源图像驱动下形成的图像。2.根据权利要求1所述的方法，其特征在于，所述获取驱动源图像的第二面部特征和关键点特征，包括：通过预先训练好的3D模型，获取所述驱动源图像中关键点的3D点云信息；其中，3D点云信息包括平移参数和旋转参数；所述平移参数用于表示所述关键点在三维坐标系中的移动距离；所述旋转参数用于表示所述关键点在所述三维坐标系的旋转角度。3.根据权利要求1所述的方法，其特征在于，所述根据所述关键点特征图和所述第二面部特征，获取深度特征，包括：根据所述关键点特征和所述第二面部特征，获取第一融合特征；将所述第一融合特征输入到预先训练好的面部深度网络中，以获取所述深度特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述关键点特征和所述第二面部特征，获取第一融合特征，包括：通过调制解调方式将所述关键点特征加载到所述第二面部特征中，以获取所述第一融合特征。5.根据权利要求1至4所述的方法，其特征在于，所述目标神经网络包括交叉注意力机制网络。6.根据权利要求5所述的方法，其特征在于，所述交叉注意力机制网络包括编码层、第一卷积层、第二卷积层和第三卷积层；对应地，所述通过所述目标神经网络输出所述目标驱动图像，包括：根据所述关键点特征和所述深度特征，获取第二融合特征；将所述...

【专利技术属性】
技术研发人员：李亘杰，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：