用于人脸重建的网络训练方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种用于人脸重建的网络训练方法、装置、设备及存储介质，其包括：获取第一目标对象的多帧第一人脸图像；将每帧第一人脸图像分别输入至对应的系数回归网络，以得到每帧第一人脸图像的人脸重建系数，各系数回归网络具有相同的网络参数，人脸重建系数包括：身份系数和表情系数；根据人脸重建系数得到对应帧第一人脸图像的二维重建图像；根据第一人脸图像、相应的二维重建图像和人脸重建系数构建系数回归网络的损失函数，损失函数包括各帧第一人脸图像的无监督训练损失函数和身份约束损失函数；根据损失函数更新系数回归网络的网络参数。采用上述方法可以解决重建三维人脸图像时表情系数重建准确性低的技术问题。题。题。

【技术实现步骤摘要】
用于人脸重建的网络训练方法、装置、设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种用于人脸重建的网络训练方法、装置、设备及存储介质。

技术介绍

[0002]随着网络通信技术(尤其是5G通信技术)的发展，用户足不出户便可利用通信设备(如手机、电脑等)享受视频通话、网上课堂、网上会议等网络通信资源。目前，视频交流是网络通信技术中一种常见的场景，视频交流时通话双方可以看到对方当前的人脸图像。然而，随着视频交流的广泛应用，用户的安全意识也在提高，有些场景下，用户不希望将自己的真实人像展示给其他人看，此时，可以使用虚拟的卡通图像替代真实人像。
[0003]使用卡通图像时，可以将用户当前真实人像的表情、头部动作姿势迁移到卡通图像上，以使卡通图像与真实人像具有相同的表情、头部动作姿势。一些相关技术中，迁移时，先利用真实人像重建出三维人脸图像，以得到表情系数和位姿系数，再将表情系数和位姿系数迁移到对应的卡通图像。然而，在重建三维人脸图像时，通常只注重三维人脸图像的准确性问题，忽略了三维人脸图像表情系数的准确性问题。例如，真实人像的表情为眯眼，但是重建三维人脸图像时，会直接将眼睛识别为小眼，而没有识别出眯眼的表情。这样，将三维人脸图像的表情系数、位姿系数迁移到卡通图像时，卡通图像无法做出眯眼的动作，进而降低了卡通图像的准确性。

技术实现思路

[0004]本申请实施例提供了一种用于人脸重建的网络训练方法、装置、设备及存储介质，以解决相关技术中重建三维人脸图像时表情系数重建准确性低的技术问题。
[0005]第一方面，本申请一个实施例提供了一种用于人脸重建的网络训练方法，包括：
[0006]获取第一目标对象的多帧第一人脸图像；
[0007]将每帧所述第一人脸图像分别输入至对应的系数回归网络，以得到每帧所述第一人脸图像的人脸重建系数，各所述系数回归网络具有相同的网络参数，所述人脸重建系数包括身份系数和表情系数；
[0008]根据所述人脸重建系数得到对应帧所述第一人脸图像的二维重建图像；
[0009]根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建所述系数回归网络的损失函数，所述损失函数包括各帧第一人脸图像的无监督训练损失函数和身份约束损失函数；
[0010]根据所述损失函数更新所述系数回归网络的网络参数。
[0011]第二方面，本申请一个实施例还提供了一种用于人脸重建的网络训练装置，包括：
[0012]图像获取模块，用于获取第一目标对象的多帧第一人脸图像；
[0013]图像输入模块，用于将每帧所述第一人脸图像分别输入至对应的系数回归网络，以得到每帧所述第一人脸图像的人脸重建系数，各所述系数回归网络具有相同的网络参
数，所述人脸重建系数包括身份系数和表情系数；
[0014]图像重建模块，用于根据所述人脸重建系数得到对应帧所述第一人脸图像的二维重建图像；
[0015]损失构建模块，用于根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建所述系数回归网络的损失函数，所述损失函数包括各帧第一人脸图像的无监督训练损失函数和身份约束损失函数；
[0016]参数更新模块，用于根据所述损失函数更新所述系数回归网络的网络参数。
[0017]第三方面，本申请一个实施例还提供了一种用于人脸重建的网络训练设备，包括：
[0018]一个或多个处理器；
[0019]存储器，用于存储一个或多个程序；
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的用于人脸重建的网络训练方法。
[0021]第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的用于人脸重建的网络训练方法。
[0022]在本申请一个实施例中，通过获取多帧包含同一目标对象的第一人脸图像，并利用具有相同网络参数的各系数回归网络处理各帧第一人脸图像，以得到人脸重建系数，之后，根据人脸重建系数重建出第一人脸图像对应的二维重建图像，根据第一人脸图像、二维重建图像和人脸重建系数构建无监督训练损失函数和身份约束损失函数，进而基于无监督训练损失函数和身份约束损失函数更新系数回归网络的网络参数的技术手段，解决了重建三维人脸图像时表情系数重建准确性低的技术问题。通过系数回归网络分别输出身份系数和表情系数，可以实现身份系数和表情系数的分别确定，并且，基于身份约束损失函数可以保证身份系数的准确性，即促使系数回归网络基于同一个人的不同图像可以得到相同的人脸身份，该人脸身份无关表情，进而保证了表情系数的准确性。同时，除了对身份系数的准确性进行了约束，还结合第一人脸图像、二维重建图像和人脸重建系数构建了无监督训练损失函数，提高了损失函数的合理性，进而在基于损失函数训练系数共享网络时，提高了系数共享网络的性能，进一步保证了表情系数的准确性。
附图说明
[0023]图1为本申请一个实施例提供的一种用于人脸重建的网络训练方法的流程图；
[0024]图2为本申请一个实施例提供的一种用于人脸重建的网络训练方法的流程图；
[0025]图3为本申请一个实施例提供的一种用于人脸重建的网络训练方法的流程图；
[0026]图4为本申请一个实施例提供的一种互斥表情对示意图；
[0027]图5为本申请一个实施例提供的一种用于人脸重建的网络训练方法的框架示意图；
[0028]图6为本申请一个实施例提供的一种系数回归网络的应用流程示意图；
[0029]图7为本申请一个实施例中提供的虚拟图像生成框架图；
[0030]图8为本申请一个实施例提供的一种用于人脸重建的网络训练装置的结构示意图；
[0031]图9为本申请实施例提供的一种用于人脸重建的网络训练设备的结构示意图。
具体实施方式
[0032]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0033]基于真实人脸重建三维人脸图像时，可以采用传统方法和基于深度学习的方法。其中，传统方法是：将真实人脸中的人脸关键点和重建的三维人脸图像中的人脸关键点投影到相同的二维平面，并根据平面中同一语义的人脸关键点(如真实人脸中表示鼻尖的人脸关键点和三维人脸图像中表示鼻尖的人脸关键点具有相同的语义)间的位置误差进行模型拟合，即调整三维人脸图像中的关键点，以使得三维人脸图像仅可能贴近真实人脸。基于深度学习的方法是：根据大量的二维真实人脸图像训练出三维人脸重建模型，通过该三维人脸重建模型重建出三维人脸图像。无论上述哪种方式重建三维人脸图像，都无法保证重建时表情系数的准确性。
[0034]基于此，本申请实施例中提供一种用于人脸重建的网络训练方法、装置、设备及存储介质，以在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于人脸重建的网络训练方法，其特征在于，包括：获取第一目标对象的多帧第一人脸图像；将每帧所述第一人脸图像分别输入至对应的系数回归网络，以得到每帧所述第一人脸图像的人脸重建系数，各所述系数回归网络具有相同的网络参数，所述人脸重建系数包括身份系数和表情系数；根据所述人脸重建系数得到对应帧所述第一人脸图像的二维重建图像；根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建所述系数回归网络的损失函数，所述损失函数包括各帧第一人脸图像的无监督训练损失函数和身份约束损失函数；根据所述损失函数更新所述系数回归网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述人脸重建系数还包括纹理系数和位姿系数，所述根据所述人脸重建系数得到对应帧所述第一人脸图像的二维重建图像包括：根据所述身份系数和所述表情系数重建对应帧所述第一人脸图像的三维人脸形状，并根据所述纹理系数重建对应帧所述第一人脸图像的三维人脸纹理；根据所述位姿系数、所述三维人脸形状和所述三维人脸纹理渲染得到对应帧所述第一人脸图像的二维重建图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述身份系数和所述表情系数重建对应帧所述第一人脸图像的三维人脸形状包括：将所述身份系数和所述表情系数分别应用于对应的身份基和表情基，并结合预先构建的平均人脸形状，得到对应帧所述第一人脸图像的三维人脸形状；所述根据所述纹理系数重建对应帧所述第一人脸图像的三维人脸纹理包括：将所述纹理系数应用于对应的纹理基，并结合预先构建的平均人脸纹理，得到对应帧第一人脸图像的三维人脸纹理。4.根据权利要求2所述的方法，其特征在于，所述根据所述位姿系数、所述三维人脸形状和所述三维人脸纹理渲染得到对应帧所述第一人脸图像的二维重建图像包括：将所述位姿系数应用于透视投影模型；将所述透视投影模型、所述三维人脸形状和所述三维人脸纹理输入至渲染器，通过所述渲染器渲染得到对应帧所述第一人脸图像的二维重建图像。5.根据权利要求2或4所述的方法，其特征在于，所述人脸重建系数还包括光照系数；所述根据所述位姿系数、所述三维人脸形状和所述三维人脸纹理渲染得到对应帧所述第一人脸图像的二维重建图像之前，还包括：将所述光照系数应用于光照模型；将所述三维人脸纹理输入至所述光照模型，通过所述光照模型在所述三维人脸纹理中添加所述第一人脸图像所在的环境光照。6.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建系数回归网络的身份约束损失函数包括：获取各帧所述第一人脸图像对应的身份标签系数；将各所述身份标签系数的平均系数作为伪标签监督系数；
计算所述第一人脸图像的身份系数与所述伪标签监督系数之间的均方误差，并根据所述均方误差得到身份约束损失函数。7.根据权利要求2所述的方法，其特征在于，所述无监督训练损失函数包括：所述第一人脸图像的图像重构损失函数、图像感知损失函数、关键点损失函数和正则损失函数中的至少一种，所述无监督训练损失函数包括：所述第一人脸图像的图像重构损失函数，根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建无监督训练损失函数包括：利用L2范数计算第一人脸图像和相应二维重建图像间的像素误差，并根据所述像素误差得到所述第一人脸图像的图像重构损失函数；所述无监督训练损失函数包括：所述第一人脸图像的图像感知损失函数，根据所述第一人脸图像、相应的二维重建图像和所述人脸重建系数构建无监督训练损失函数包括：利用人脸识别网络分别提取所述第一人脸图像的第一图像特征和对应二维重建图像的第二图像特征；计算所述第一图像特征和所述第二图像特征之间的相似度，并根据所述相似度得到所...

【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：