三维人脸模型重建方法技术

本申请涉及一种三维人脸模型重建方法

【技术实现步骤摘要】
三维人脸模型重建方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种三维人脸模型重建方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]近年来，随着人脸三维重建技术的进步，在保证速度
、
精度和稳定性的前提下，已经实现由单张二维面部图像到对应的三维面部数据的转换
。
[0003]目前，在三维人脸重建任务中，为了确保重建精度，对于用户输入的
RGB
人脸图像，三维人脸重建算法需要同时重建出输入人脸的身份和表情
。
[0004]然而，在实际应用中，一般需要对重建的三维人脸模型进行二次设计和开发，若在重建三维人脸模型时，重建输入人脸图像的表情，则在对重建的三维人脸模型进行二次设计和开发时存在较大的难度
。

技术实现思路

[0005]本申请提供了一种三维人脸模型重建方法
、
装置
、
电子设备及存储介质，以解决现有技术中在重建三维人脸模型时，重建输入人脸图像的表情，则在对重建的三维人脸模型进行二次设计和开发时存在较大难度的技术问题
。
[0006]第一方面，本申请提供了一种三维人脸模型重建方法，所述方法包括：
[0007]获取人脸图像，并构建所述人脸图像对应的初始三维人脸形状和初始纹理贴图；
[0008]将所述初始三维人脸形状映射在预设的纹理空间，得到所述初始三维人脸形状对应的初始形状贴图；
[0009]将所述初始形状贴图和所述初始纹理贴图输入预先训练的表情消除模型，得到消除表情特征后的目标形状贴图和目标纹理贴图；
[0010]将所述目标形状贴图和所述目标纹理贴图在三维空间进行映射，得到无表情的目标三维人脸模型
。
[0011]作为一个可能的实现方式，所述构建所述人脸图像对应的初始三维人脸形状和初始纹理贴图，包括：
[0012]确定所述人脸图像对应的目标特征系数，其中，不同的人脸图像对应不同的特征系数；
[0013]将所述目标特征系数输入预设的基底模型，得到所述基底模型输出的所述人脸图像对应的初始三维人脸形状和初始纹理贴图
。
[0014]作为一个可能的实现方式，所述确定所述人脸图像对应的目标特征系数，包括：
[0015]获取当前的特征系数
、
脸部姿态，以及光照系数；
[0016]将所述特征系数输入所述基底模型，获取所述基底模型生成的第一三维人脸形状和第一纹理贴图；
[0017]将所述第一三维人脸形状
、
所述第一纹理贴图
、
所述脸部姿态，以及所述光照系
数，输入预设的可微渲染器，得到第一渲染图像；
[0018]基于所述第一渲染图像和所述人脸图像，确定损失值，并确定所述损失值是否小于预设的损失值阈值；
[0019]在确定所述损失值小于所述损失值阈值的情况下，基于当前的所述特征系数，确定所述人脸图像对应的目标特征系数；
[0020]在确定所述损失值大于或等于所述损失值阈值的情况下，根据所述损失值调节当前的所述特征系数
、
所述脸部姿态，以及所述光照系数，并将调节后的特征系数
、
脸部姿态，以及光照系数，作为当前的特征系数
、
脸部姿态，以及光照系数，返回执行所述获取当前的特征系数
、
脸部姿态，以及光照系数的步骤
。
[0021]作为一个可能的实现方式，所述特征系数包括身份系数
、
表情系数，以及纹理贴图系数，所述基于所述第一渲染图像和所述人脸图像，确定损失值，包括：
[0022]将所述表情系数设为第一值；
[0023]将所述身份系数
、
所述第一值，以及所述纹理贴图系数，输入所述基底模型，获取所述基底模型生成的第二三维人脸形状和第二纹理贴图；
[0024]将所述第二三维人脸形状
、
所述第二纹理贴图
、
所述脸部姿态，以及所述光照系数输入所述可微渲染器，得到第二渲染图像；
[0025]根据所述第一渲染图像
、
所述第二渲染图像，以及所述人脸图像，确定损失值
。
[0026]作为一个可能的实现方式，所述根据所述第一渲染图像
、
所述第二渲染图像，以及所述人脸图像，确定损失值，包括：
[0027]通过预设的关键点检测模型检测所述人脸图像的人脸关键点集合；针对每一关键点，确定所述关键点与所述第一三维人脸形状或所述第二三维人脸形状中对应关键点的第一关键点误差；根据每一关键点对应的第一关键点误差，确定所述第一三维人脸形状或所述第二三维人脸形状与所述人脸图像对应的关键点误差；
[0028]通过预设的区域检测模型检测所述人脸图像的脸部区域；确定所述第一渲染图像的脸部区域与所述人脸图像的脸部区域的像素值误差；
[0029]将所述人脸图像和所述第二渲染图像分别输入预设的身份特征提取模型，得到所述人脸图像对应的第一身份特征，以及所述第二渲染图像对应的第二身份特征；通过预设的身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差；
[0030]通过预设的正则化误差函数，确定所述身份系数
、
所述表情系数，以及所述纹理贴图系数之间的正则化误差；
[0031]将所述关键点误差
、
所述像素值误差
、
所述身份特征误差，以及所述正则化误差进行加权求和，得到所述损失值
。
[0032]作为一个可能的实现方式，所述通过预设的身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差，包括：
[0033]通过以下身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差：
[0034]其中，所述
L
id
为身份特征误差，所述
I
为人脸图像，所述
I
″
为所述第二渲染图像，所述
φ
i
为所述身份特征提取模型的第
i
层卷积特征，所述
φ
i
(I)
为所述第一身份特征，所述
φ
i
(I
″
)
为所述第二身份特征
。
[0035]作为一个可能的实现方式，所述特征系数包括身份系数
、
表情系数，以及纹理贴图系数，所述基于当前的所述特征系数，确定所述人脸图像对应的目标特征系数，包括：
[0036]将当前的所述特征系数中的表情系数设置为预设的第一值；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维人脸模型重建方法，其特征在于，所述方法包括：获取人脸图像，并构建所述人脸图像对应的初始三维人脸形状和初始纹理贴图；将所述初始三维人脸形状映射在预设的纹理空间，得到所述初始三维人脸形状对应的初始形状贴图；将所述初始形状贴图和所述初始纹理贴图输入预先训练的表情消除模型，得到消除表情特征后的目标形状贴图和目标纹理贴图；将所述目标形状贴图和所述目标纹理贴图在三维空间进行映射，得到无表情的目标三维人脸模型
。2.
根据权利要求1所述的方法，其特征在于，所述构建所述人脸图像对应的初始三维人脸形状和初始纹理贴图，包括：确定所述人脸图像对应的目标特征系数，其中，不同的人脸图像对应不同的特征系数；将所述目标特征系数输入预设的基底模型，得到所述基底模型输出的所述人脸图像对应的初始三维人脸形状和初始纹理贴图
。3.
根据权利要求2所述的方法，其特征在于，所述确定所述人脸图像对应的目标特征系数，包括：获取当前的特征系数
、
脸部姿态，以及光照系数；将所述特征系数输入所述基底模型，获取所述基底模型生成的第一三维人脸形状和第一纹理贴图；将所述第一三维人脸形状
、
所述第一纹理贴图
、
所述脸部姿态，以及所述光照系数，输入预设的可微渲染器，得到第一渲染图像；基于所述第一渲染图像和所述人脸图像，确定损失值，并确定所述损失值是否小于预设的损失值阈值；在确定所述损失值小于所述损失值阈值的情况下，基于当前的所述特征系数，确定所述人脸图像对应的目标特征系数；在确定所述损失值大于或等于所述损失值阈值的情况下，根据所述损失值调节当前的所述特征系数
、
所述脸部姿态，以及所述光照系数，并将调节后的特征系数
、
脸部姿态，以及光照系数，作为当前的特征系数
、
脸部姿态，以及光照系数，返回执行所述获取当前的特征系数
、
脸部姿态，以及光照系数的步骤
。4.
根据权利要求3所述的方法，其特征在于，所述特征系数包括身份系数
、
表情系数，以及纹理贴图系数，所述基于所述第一渲染图像和所述人脸图像，确定损失值，包括：将所述表情系数设为第一值；将所述身份系数
、
所述第一值，以及所述纹理贴图系数，输入所述基底模型，获取所述基底模型生成的第二三维人脸形状和第二纹理贴图；将所述第二三维人脸形状
、
所述第二纹理贴图
、
所述脸部姿态，以及所述光照系数输入所述可微渲染器，得到第二渲染图像；根据所述第一渲染图像
、
所述第二渲染图像，以及所述人脸图像，确定损失值
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述第一渲染图像
、
所述第二渲染图像，以及所述人脸图像，确定损失值，包括：通过预设的关键点检测模型检测所述人脸图像的人脸关键点集合；针对每一关键点，
确定所述关键点与所述第一三维人脸形状或所述第二三维人脸形状中对应关键点的第一关键点误差；根据每一关键点对应的第一关键点误差，确定所述第一三维人脸形状或所述第二三维人脸形状与所述人脸图像对应的关键点误差；通过预设的区域检测模型检测所述人脸图像的脸部区域；确定所述第一渲染图像的脸部区域与所述人脸图像的脸部区域的像素值误差；将所述人脸图像和所述第二渲染图像分别输入预设的身份特征提取模型，得到所述人脸图像对应的第一身份特征，以及所述第二渲染图像对应的第二身份特征；通过预设的身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差；通过预设的正则化误差函数，确定所述身份系数
、
所述表情系数，以及所述纹理贴图系数之间的正则化误差；将所述关键点误差
、
所述像素值误差
、
所述身份特征误差，以及所述正则化误差进行加权求和，得到所述损失值
。6.
根据权利要求5所述的方法，其特征在于，所述通过预设的身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差，包括：通过以下身份一致性函数，对所述第一身份特征和所述第二身份特征进行处理，得到所述第二渲染图像与所述人脸图像之间的身份特征误差：其中，所述
L
id
为身份特征误差，所述
I
为人脸图像，所述
I
″
为所述第二渲染图像，所述
φ
i
为所述身份特征提取模型的第
i
层卷积特征，所述
φ
i
(I)
为所述第一身份特征，所述
φ
i
(I
″
...

【专利技术属性】
技术研发人员：梁彦军，路香菊，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：