三维面部模型的重构方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种三维面部模型的重构方法和装置、存储介质及电子设备。其中，该方法包括：获取目标对象的目标面部图像；对目标面部图像进行特征提取，得到目标对象的表情特征；利用与表情特征相匹配的表情表征向量，和与目标面部图像对应的重构参考表征向量，确定出目标面部图像的三维重构参数，其中，重构参考表征向量包括：与目标面部图像的像素特征相匹配的像素表征向量、与目标对象的面部特征相匹配的面部表征向量；按照三维重构参数对目标面部图像进行三维重构，得到与目标对象相匹配的三维面部模型。本发明专利技术解决了现有三维面部模型的重构方法得到的面部模型的准确性较低的技术问题。问题。问题。

【技术实现步骤摘要】
三维面部模型的重构方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种三维面部模型的重构方法和装置、存储介质及电子设备。

技术介绍

[0002]如今在很多应用中，为了丰富用户的产品体验，可以利用用户的真实面部图像重构得到三维面部模型。比如在元宇宙中，重构后的三维面部模型可以用于生成元宇宙的可操控头部；又比如在一些3D游戏中，可以利用人脸重构得到与真实用户面部特征接近的虚拟游戏角色的面部。
[0003]目前较为常见的重构方式是：获取用户面部图像，提取面部图像中的关键点特征，并基于关键点特征生成对应的三维面部模型参数。再按照三维面部模型参数的定义，将上述真实的人脸特征迁移到对应的虚拟角色的面部。这里的三维面部模型的重构方法受到固定的参数定义标准的限制，使得迁移后的虚拟角色的表情很难实现精细化的表达，从而导致三维面部模型的重构结果的准确性较低的问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种三维面部模型的重构方法和装置、存储介质及电子设备，以至少解决现有三维面部模型的重构方法得到的面部模型的准确性较低的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种三维面部模型的重构方法，包括：获取目标对象的目标面部图像；对上述目标面部图像进行特征提取，得到上述目标对象的表情特征；利用与上述表情特征相匹配的表情表征向量，和与上述目标面部图像对应的重构参考表征向量，确定出上述目标面部图像的三维重构参数，其中，上述重构参考表征向量包括：与上述目标面部图像的像素特征相匹配的像素表征向量、与上述目标对象的面部特征相匹配的面部表征向量；按照上述三维重构参数对上述目标面部图像进行三维重构，得到与上述目标对象相匹配的三维面部模型。
[0007]根据本专利技术实施例的另一方面，还提供了一种三维面部模型的重构装置，包括：获取单元，用于获取目标对象的目标面部图像；提取单元，用于对上述目标面部图像进行特征提取，得到上述目标对象的表情特征；确定单元，用于利用与上述表情特征相匹配的表情表征向量，和与上述目标面部图像对应的重构参考表征向量，确定出上述目标面部图像的三维重构参数，其中，上述重构参考表征向量包括：与上述目标面部图像的像素特征相匹配的像素表征向量、与上述目标对象的面部特征相匹配的面部表征向量；重构单元，用于按照上述三维重构参数对上述目标面部图像进行三维重构，得到与上述目标对象相匹配的三维面部模型。
[0008]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述三维
面部模型的重构方法。
[0009]根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上三维面部模型的重构方法。
[0010]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的三维面部模型的重构方法。
[0011]在本专利技术实施例中，采用获取目标对象的目标面部图像；对目标面部图像进行特征提取，得到目标对象的表情特征；利用与表情特征相匹配的表情表征向量，和与目标面部图像对应的重构参考表征向量，确定出目标面部图像的三维重构参数，其中，重构参考表征向量包括：与目标面部图像的像素特征相匹配的像素表征向量、与目标对象的面部特征相匹配的面部表征向量；进而按照三维重构参数对目标面部图像进行三维重构，得到与目标对象相匹配的三维面部模型。在本实施例中，通过基于目标对象的表情表征向量以及重构参考表征向量确定出三维重构参数，从而在获取三维重构参数的过程中，着重采纳了目标对象的表情特征，进而提高了生成的三维面部模型的在表情特征上的精确程度，解决了现有三维面部模型的重构方法得到的面部模型的准确性较低的技术问题。
附图说明
[0012]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0013]图1是根据本专利技术实施例的一种可选的三维面部模型的重构方法的硬件环境的示意图；
[0014]图2是根据本专利技术实施例的一种可选的三维面部模型的重构方法的流程图；
[0015]图3是根据本专利技术实施例的一种可选的三维面部模型的重构方法的示意图；
[0016]图4是根据本专利技术实施例的另一种可选的三维面部模型的重构方法的示意图；
[0017]图5是根据本专利技术实施例的又一种可选的三维面部模型的重构方法的示意图；
[0018]图6是根据本专利技术实施例的又一种可选的三维面部模型的重构方法的示意图；
[0019]图7是根据本专利技术实施例的又一种可选的三维面部模型的重构方法的示意图；
[0020]图8是根据本专利技术实施例的另一种可选的三维面部模型的重构方法的流程图；
[0021]图9是根据本专利技术实施例的一种可选的三维面部模型的重构装置的结构示意图；
[0022]图10是根据本专利技术实施例的一种可选的电子设备的结构示意图。
具体实施方式
[0023]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]以下对本申请将使用的名词进行说明：
[0026]深度学习：是机器学习的分支，基于神经网络架构，对数据的表征学习，分为无监督、半监督、全监督的学习，已经被广泛应用在计算机视觉、语音识别、自然语言处理等领域；
[0027]3D人脸重建：是指根据单张图片或多张图片，重建出3D人脸的任务。
[0028]根据本专利技术实施例的一个方面，提供了一种三维面部模型的重构方法，作为一种可选的实施方式，上述三维面部模型的重构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维面部模型的重构方法，其特征在于，包括：获取目标对象的目标面部图像；对所述目标面部图像进行特征提取，得到所述目标对象的表情特征；利用与所述表情特征相匹配的表情表征向量，和与所述目标面部图像对应的重构参考表征向量，确定出所述目标面部图像的三维重构参数，其中，所述重构参考表征向量包括：与所述目标面部图像的像素特征相匹配的像素表征向量、与所述目标对象的面部特征相匹配的面部表征向量；按照所述三维重构参数对所述目标面部图像进行三维重构，得到与所述目标对象相匹配的三维面部模型。2.根据权利要求1所述的方法，其特征在于，所述利用与所述表情特征相匹配的表情表征向量，和与所述目标面部图像对应的重构参考表征向量，确定出所述目标面部图像的三维重构参数包括：在三维重构参数预测网络中，对所述表情表征向量、所述像素表征向量以及所述面部表征向量中的面部轮廓表征向量和面部关键点表征向量进行融合得到多模表征向量，其中，所述三维重构参数预测网络为对样本面部图像的样本像素特征、所述样本面部图像中样本对象的样本面部特征及样本表情特征进行深度学习后得到的深度神经网络，所述样本面部图像包括与同一样本对象匹配的不同表情图像；基于所述多模表征向量预测出所述目标面部图像的所述三维重构参数。3.根据权利要求2所述的方法，其特征在于，在所述获取目标对象的目标面部图像之前，还包括：获取多个所述样本面部图像；将多个所述样本面部图像输入初始化的三维重构参数预测网络进行训练，直至达到收敛条件，其中，所述收敛条件用于指示训练输出的连续多个多模损失值均小于目标阈值，所述多模损失值为对像素损失值、面部损失值、关键点损失值及表情损失值进行加权求和得到的。4.根据权利要求3所述的方法，其特征在于，所述将多个所述样本面部图像输入初始化的三维重构参数预测网络进行训练包括：从多个所述样本面部图像中获取与同一个样本对象对应的表情图像子集，其中，所述表情图像子集中包括所述样本对象的不同表情图像；将各个所述表情图像子集依次作为当前表情图像子集，并执行以下操作：从所述当前表情图像子集中获取第一表情图像和第二表情图像；将所述第一表情图像的第一表情参数替换为所述第二表情图像的第二表情参数，得到第一参考表情图像，并获取所述第一表情图像与所述第一参考表情图像之间的第一距离；将所述第二表情图像的第二表情参数替换为所述第一表情图像的所述第一表情参数，得到第二参考表情图像，并获取所述第二表情图像与所述第二参考表情图像之间的第二距离；基于所述第一距离和所述第二距离，确定所述表情损失值。5.根据权利要求3所述的方法，其特征在于，所述将多个所述...

【专利技术属性】
技术研发人员：张昕昳，朱俊伟，贺珂珂，朱飞达，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：