基于参数化模型的人脸细节重建和编辑方法及装置制造方法及图纸

本申请提出了一种基于参数化模型的人脸细节重建和编辑方法，包括：对人脸图片进行人脸关键点检测获取关键点；求解FaceScape双线性模型的身份系数和表情系数；对求解后的FaceScape双线性模型进行解耦，将人脸图片展开到贴图空间使三维人脸的关键点上每个顶点的颜色值对应于人脸图片的关键点上对应像素的颜色值；根据固定表情系数，以及用户设置的身份系数和年龄系数计算偏置贴图；将偏置贴图中的灰度值作为每个顶点的变形量，并根据其对三维人脸的关键点上每个顶点的位置信息进行更新，对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染，根据渲染后的人脸图像生成人脸重建结果。本申请提升了参数化人脸模型的重建质量，并生成带动态皱纹细节的人脸动画。画。画。

【技术实现步骤摘要】
基于参数化模型的人脸细节重建和编辑方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种基于参数化模型的人脸细节重建和编辑方法以及装置。

技术介绍

[0002]参数化模型，包括morphable model和blendshape model，能够通过身份系数或者表情系数表示训练集以外的身份或表情，并通过对线性人脸基进行插值生成三维人脸。
[0003]参数化人脸模型能够通过输入身份系数、表情系数对线性人脸基进行插值，在三维人脸重建、三维人脸动画中有广泛的应用。但是，这些参数化模型只能表达人脸大尺度的形状和变形，生成的三维人脸表面平滑，缺乏真实感，丢失了表面高频的皱纹、眉毛等细节形状。双线性模型结合了morphable model和blendshape model，同时具有身份系数和表情系数，能够表达新用户的不同表情的人脸。
[0004]FaceScape模型是最近公开的一个双线性人脸模型，相比之前的双线性人脸模型具有更强的表达能力。但是，即使是FaceScape模型，生成的人脸仍然缺乏皱纹等细节几何，导致渲染出的人脸缺乏真实感。

技术实现思路

[0005]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本申请的第一个目的在于提出一种基于参数化模型的人脸细节重建和编辑方法，解决了现有方法生成的三维人脸缺乏真实感的技术问题，通过对人脸细节的身份、表情信息进行解耦处理，使用相同的表情系数控制生成人脸细节对应的表情，使生成的三维人脸具有和输入图片一致的人脸细节，实现了提升参数化人脸模型的重建质量，并生成带动态皱纹细节的人脸动画的目的。本申请通过固定身份系数和年龄系数，将重建的表情系数替换为经过动画师调整后的表情系数，即可生成同身份人脸的不同表情，在原始表情系数和调整后的表情系数间进行线性插值，即可产生平滑过渡的人脸动画，同时本申请支持对人脸细节的年龄进行单独控制，通过固定身份系数和表情系数，增大或减小年龄系数，可以生成同一个身份的人脸变老或者变年轻的效果。
[0007]本申请提出了一个从训练数据中对人脸身份、表情、年龄特征进行解耦的方法，一个基于非线性参数化细节模型从图片中的重建算法，和一个对重建结果进行表情、年龄编辑的算法。这些算法共同作用，完成从图片中重建出人脸细节，并通过语义编辑生成人脸动画的任务。
[0008]本申请的第二个目的在于提出一种基于参数化模型的人脸细节重建和编辑方法装置。
[0009]为达上述目的，本申请第一方面实施例提出了一种基于参数化模型的人脸细节重建和编辑方法，包括：对人脸图片进行人脸关键点检测，获取人脸图片的关键点；求解FaceScape双线性模型的身份系数和表情系数；对求解后的FaceScape双线性模型进行解
耦，将人脸图片展开到贴图空间，使得三维人脸的关键点上每个顶点的颜色值对应于人脸图片的关键点上对应像素的颜色值；根据固定表情系数，以及用户设置的身份系数和年龄系数计算偏置贴图；将偏置贴图中的灰度值作为每个顶点的变形量，根据每个顶点的变形量对三维人脸的关键点上每个顶点的位置信息进行更新，并对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染，根据渲染后的人脸图像生成人脸重建结果。
[0010]可选地，在本申请的一个实施例中，在对人脸图片进行人脸关键点检测之前，还包括：
[0011]训练变分自动编码器，并训练第一判别器和第二判别器；
[0012]根据第一判别器和第二判别器，引导变分自动编码器将参数空间划分为互相解耦的身份系数、表情系数和年龄系数。
[0013]可选地，在本申请的一个实施例中，训练变分自动编码器，并训练第一判别器和第二判别器，包括：
[0014]使用FaceScape的额外标注读取每个训练数据的年龄系数和表情系数；
[0015]对年龄系数进行线性归化；
[0016]将线性归化后的年龄系数和表情系数与变分自动编码器的原始参数空间进行拼接，根据拼接后的年龄系数、表情系数和原始参数训练变分自动编码器；
[0017]将年龄系数、表情系数和变分自动编码器的原始参数作为训练数据对第一判别器和第二判别器进行第一次训练；
[0018]从训练数据中取出一个训练批次，对第一判别器和第二判别器进行第二次训练。
[0019]可选地，在本申请的一个实施例中，采用随机梯度下降法训练变分自动编码器，第一判别器和第二判别器采用全连接的多层感知机二分类网络的结构。
[0020]可选地，在本申请的一个实施例中，第一次训练，包括：
[0021]将表情系数和原始参数进行拼接作为第一判别器的输入；
[0022]将年龄系数和原始参数进行拼接作为第二判别器的输入；
[0023]使用交叉熵损失函数，约束第一判别器和第二判别器的输入，以使第一判别器和第二判别器的输出为假值。
[0024]可选地，在本申请的一个实施例中，第二次训练，包括：
[0025]将一个训练批次中的表情系数和原始参数进行拼接作为第一判别器的输入；
[0026]将一个训练批次中的年龄系数和原始参数进行拼接作为第二判别器的输入；
[0027]使用交叉熵损失函数，约束第一判别器和第二判别器的输入，以使第一判别器和所二判别器的输出为真值。
[0028]可选地，在本申请的一个实施例中，根据固定表情系数，以及用户设置的身份系数和年龄系数计算偏置贴图，包括：
[0029]将固定表情系数作为变分自动编码器的解码器的输入，根据作为变量的身份系数和年龄系数计算解码器解码后的偏置贴图。
[0030]可选地，在本申请的一个实施例中，变形量包括每个顶点沿着所在位置的法向量，移动所对应的偏置贴图中的灰度值相等的有向距离，其中，根据每个顶点的变形量对三维人脸的关键点上每个顶点的位置信息进行更新，并对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染，以得到渲染后的人脸图像，包括：
[0031]根据每个顶点的变形量计算每个顶点更新后位置的法向量，将每个顶点更新后位置的法向量代入漫反射的渲染方程以得到渲染后的人脸图像。
[0032]可选地，在本申请的一个实施例中，在根据渲染后的人脸图像生成人脸重建结果之后，还包括：
[0033]对人脸重建结果进行编辑；
[0034]其中，对人脸重建结果进行编辑，包括：将原始表情系数替换为经过调整后的表情系数，在原始表情系数和调整后的表情系数间进行线性插值，以生成人脸动画，人脸动画中人脸图片的身份系数和年龄系数是固定值；
[0035]或者，将原始年龄系数替换为经过调整后的年龄系数，在原始年龄系数和调整后的年龄系数间进行线性插值，以生成人脸动画，人脸动画中人脸图片的身份系数和表情系数是固定值。
[0036]为达上述目的，本申请第二方面实施例提出了一种基于参数化模型的人脸细节重建和编辑装置，包括：
[0037]检测模块，用于对人脸图片进行人脸关键点检测，获取人脸图片的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于参数化模型的人脸细节重建和编辑方法，其特征在于，包括以下步骤：对人脸图片进行人脸关键点检测，获取所述人脸图片的关键点；求解FaceScape双线性模型的身份系数和表情系数；对求解后的FaceScape双线性模型进行解耦，将所述人脸图片展开到贴图空间，使得三维人脸的关键点上每个顶点的颜色值对应于所述人脸图片的关键点上对应像素的颜色值；根据固定表情系数，以及用户设置的身份系数和年龄系数计算偏置贴图；将所述偏置贴图中的灰度值作为每个顶点的变形量，根据所述每个顶点的变形量对三维人脸的关键点上每个顶点的位置信息进行更新，并对更新后的三维人脸的关键点上每个顶点的位置信息进行渲染，根据渲染后的人脸图像生成人脸重建结果。2.如权利要求1所述的方法，其特征在于，在对人脸图片进行人脸关键点检测之前，还包括：训练变分自动编码器，并训练第一判别器和第二判别器；根据所述第一判别器和第二判别器，引导所述变分自动编码器将参数空间划分为互相解耦的身份系数、表情系数和年龄系数。3.如权利要求1所述的方法，其特征在于，所述训练变分自动编码器，并训练第一判别器和第二判别器，包括：使用FaceScape的额外标注读取每个训练数据的年龄系数和表情系数；对年龄系数进行线性归化；将线性归化后的年龄系数和所述表情系数与变分自动编码器的原始参数空间进行拼接，根据拼接后的年龄系数、表情系数和原始参数训练所述变分自动编码器；将年龄系数、表情系数和变分自动编码器的原始参数作为训练数据对所述第一判别器和第二判别器进行第一次训练；从训练数据中取出一个训练批次，对所述第一判别器和所述第二判别器进行第二次训练。4.如权利要求2或3所述的方法，其特征在于，采用随机梯度下降法训练所述变分自动编码器，所述第一判别器和所述第二判别器采用全连接的多层感知机二分类网络的结构。5.如权利要求3所述的方法，其特征在于，所述第一次训练，包括：将表情系数和原始参数进行拼接作为所述第一判别器的输入；将年龄系数和原始参数进行拼接作为所述第二判别器的输入；使用交叉熵损失函数，约束所述第一判别器和所述第二判别器的输入，以使所述第一判别器和所述第二判别器的输出为假值。6.如权利要求3所述的方法，其特征在于，所述第二次训练，包括：将一个训练批次中的表情系数和原始参数进行拼接作为第一判别器的输入；将一个训练批次中的年龄系数和原始参数进行拼接作为所述第二判别器的输入；使...

【专利技术属性】
技术研发人员：徐枫，凌精望，
申请(专利权)人：清华大学，
类型：发明
国别省市：