三维人脸重建方法和装置制造方法及图纸

本申请实施例公开了三维人脸重建方法和装置。该方法的一具体实施方式包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。该实施方式实现了用于构建三维人脸模型的特征向量的表达能力的提升，从而可以构建出更准确、更多样化的三维人脸模型。

3-D Face Reconstruction Method and Device

The embodiment of this application discloses a three-dimensional face reconstruction method and device. One specific implementation of the method includes: input the acquired two-dimensional face image into the trained three-dimensional face reconstruction model and obtain the feature coefficients corresponding to the feature vectors used to construct the three-dimensional face model. The feature vectors are derived from the training of the three-dimensional face reconstruction model, and the three-dimensional face image corresponding to the two-dimensional face image is constructed based on the feature vectors and the corresponding feature coefficients. Face model. In this implementation, the expression ability of feature vectors used to construct three-dimensional face models is improved, so that more accurate and diversified three-dimensional face models can be constructed.

【技术实现步骤摘要】
三维人脸重建方法和装置
本申请实施例涉及计算机
，具体涉及图像处理
，尤其涉及三维人脸重建方法和装置。
技术介绍
三维人脸重建，是从一幅或多幅二维人脸图像重建出三维人脸模型的技术。通常三维人脸重建技术是基于人脸的眼镜、鼻子、嘴巴等关键点之间的三维拓扑关系，由二维人脸图像中这些关键点的相对位置进行映射来构建三维人脸模型。在构建三维人脸模型时，需要通过复杂的人脸注册过程来获取一组特征基向量，由特征基向量与不同人脸对应的特征基向量对应的系数来表征不同的三维人脸模型。然而由于注册过程所获得的特征基向量的表达能力受到注册人脸多样性的限制，对于复杂多变的人脸，三维人脸模型无法准确地体现出人脸特征。
技术实现思路
本申请实施例提出了三维人脸重建方法和装置。第一方面，本申请实施例提供了一种三维人脸重建方法，包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出；基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。在一些实施例中，上述方法还包括：基于样本数据训练得出已训练的人脸三维重建模型，样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。在一些实施例中，上述基于样本数据训练得出已训练的人脸三维重建模型，包括：将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；从已获取的三维基础人脸模型中提取出待训练的特征向量；采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型。在一些实施例中，上述基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，包括：根据待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的特征向量构建样本图像的三维人脸模型预测结果；基于样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的特征向量和待训练的人脸重建模型中的重建参数，以使基于待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。在一些实施例中，上述特征向量包括身份特征向量；样本人脸图像集合包括第一样本人脸图像集合，第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及上述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对第一人脸模型进行降维处理，提取出待训练的身份特征向量。在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，包括：基于待训练的身份特征向量构建待训练的第一人脸重建模型，根据待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的身份特征向量和待训练的第一人脸重建模型中的重建参数，以使基于待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。在一些实施例中，上述特征向量还包括表情特征向量；上述样本人脸图像集合还包括第二样本人脸图像集合，第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及上述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对第二人脸模型进行降维处理，提取出待训练的表情特征向量。在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：基于已训练的第一人脸重建模型以及待训练的表情特征向量构建待训练的第二人脸重建模型，根据待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的表情特征向量和待训练的第二人脸重建模型中的重建参数，以使基于待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；根据待训练的第三人脸重建模型对样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第一样本人脸图像集合和第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；基于样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待修正的身份特征向量、待修正的表情特征向量和待训练的第三人脸重建模型中的重建参数，以使基于待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。在一些实施例中，上述方法还包括：利用与目标虚拟形象对应的转换矩阵将二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。第二方面，本申请实施例提供了一种三维人脸重建装置，包括：预测单元，被配置成将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出；重建单元，被配置成基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。在一些实施例中，上述装置还包括：训练单元，被配置成基于样本数据训练得出已训练的人脸三维重建模型，样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。在一些实施例中，上述训练单元进一步被配置成按照如下方式训练得出已训练的人脸三维重建模型：将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本本文档来自技高网...

【技术保护点】
1.一种三维人脸重建方法，包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，所述特征向量基于对人脸三维重建模型的训练得出；基于所述特征向量和对应的特征系数构建所述二维人脸图像对应的三维人脸模型。

【技术特征摘要】
1.一种三维人脸重建方法，包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，所述特征向量基于对人脸三维重建模型的训练得出；基于所述特征向量和对应的特征系数构建所述二维人脸图像对应的三维人脸模型。2.根据权利要求1所述的方法，其中，所述方法还包括：基于样本数据训练得出所述已训练的人脸三维重建模型，所述样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。3.根据权利要求2所述的方法，其中，所述基于样本数据训练得出所述已训练的人脸三维重建模型，包括：将所述样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；从已获取的三维基础人脸模型中提取出待训练的特征向量；采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型。4.根据权利要求3所述的方法，其中，所述基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，包括：根据所述待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的特征向量构建样本图像的三维人脸模型预测结果；基于所述样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的特征向量和所述待训练的人脸重建模型中的重建参数，以使基于所述待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。5.根据权利要求3所述的方法，其中，所述特征向量包括身份特征向量；所述样本人脸图像集合包括第一样本人脸图像集合，所述第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及所述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对所述三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对所述第一人脸模型进行降维处理，提取出待训练的身份特征向量。6.根据权利要求5所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，包括：基于所述待训练的身份特征向量构建待训练的第一人脸重建模型，根据所述待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；基于所述第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的身份特征向量和所述待训练的第一人脸重建模型中的重建参数，以使基于所述待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。7.根据权利要求6所述的方法，其中，所述特征向量还包括表情特征向量；所述样本人脸图像集合还包括第二样本人脸图像集合，所述第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及所述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对所述三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对所述第二人脸模型进行降维处理，提取出待训练的表情特征向量。8.根据权利要求7所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：基于已训练的第一人脸重建模型以及所述待训练的表情特征向量构建待训练的第二人脸重建模型，根据所述待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；基于所述第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的表情特征向量和所述待训练的第二人脸重建模型中的重建参数，以使基于所述待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。9.根据权利要求8所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；根据所述待训练的第三人脸重建模型对所述样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建所述第一样本人脸图像集合和所述第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；基于所述样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待修正的身份特征向量、待修正的表情特征向量和所述待训练的第三人脸重建模型中的重建参数，以使基于所述待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。10.根据权利要求1-9任一项所述的方法，其中，所述方法还包括：利用与目标虚拟形象对应的转换矩阵将所述二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中所述转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。11.一种三维人脸重建装置，包括：预测单元，被配置成将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的...

【专利技术属性】
技术研发人员：彭哲，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11