三维人脸表情基建立方法及装置、存储介质及电子设备制造方法及图纸

本公开涉及图像处理技术领域，具体涉及一种三维人脸表情基建立方法及装置、计算机可读存储介质及电子设备，方法包括：提取输入数据中的目标人脸图像的目标关键点，根据目标关键点和平均人脸模型中的与目标关键点对应的初始关键点确定摄像机投影矩阵，平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；利用摄像机投影矩阵根据目标关键点、平均人脸模型参考三维人脸模型以及初始关键点计算得到与目标人脸图像相对应的目标三维人脸模型；利用目标三维人脸模型生成与目标人脸图像相对应的目标三维人脸表情基。本公开实施例的技术方案能够克服现有技术中得到的表情基模型效果较差且计算量较大的问题。

【技术实现步骤摘要】
三维人脸表情基建立方法及装置、存储介质及电子设备
本公开涉及图像处理
，具体而言，涉及一种三维人脸表情基建立方法及装置、计算机可读存储介质及电子设备。
技术介绍
随着互联网的发展，三维人脸表情基建立的技术也广泛应用于动画制作、游戏制作、人机交互、影视广告等方面。但是，现有技术中的三维人脸表情基建立方法自动化程度低，标椎不一致，得到的表情基模型效果较差，且计算量较大。因此，有必要设计一种新的三维人脸表情基建立方法。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种三维人脸表情基建立方法及装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服现有技术中的三维人脸表情基建立方法自动化程度低，标椎不一致，得到的表情基模型效果较差且计算量较大的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的第一方面，提供了一种三维人脸表情基建立方法，包括：提取输入数据中的目标人脸图像的目标关键点，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，其中，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型；>利用所述目标三维人脸模型生成与所述目标人脸图像相对应的目标三维人脸表情基。在本公开的一种示例性实施例中，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型，包括：统计分析所述人脸模型数据集，获取PCA人脸参数化模型；计算所述PCA人脸参数化模型的平均脸模型作为所述参考三维人脸模型。在本公开的一种示例性实施例中，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，包括：确定所述目标关键点、所述初始关键点与所述摄像机投影矩阵之间的数学关系；根据所述数学关系通过最小化重投影误差估计所述摄像机投影矩阵。在本公开的一种示例性实施例中，利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型，包括：建立所述目标三维人脸模型与所述参考三维人脸模型的参数关系；调整所述参数关系使得所述初始关键点经摄像机投影矩阵投影后与所述目标关键点重合；利用修改后参数关系和所述参考三维人脸模型计算所述目标三维人脸模型。在本公开的一种示例性实施例中，在利用修改后参数关系和所述参考三维人脸模型计算所述目标三维人脸模型之前，所述方法还包括：利用所述目标关键点和所述初始关键点，经过多次迭代优化所述摄像机投影矩阵和所述参数关系。在本公开的一种示例性实施例中，利用所述目标三维人脸模型生成与所述目标人脸图像相对应的目标三维人脸表情基，包括：获取模板表情基，并根据所述参考三维人脸模型和模板表情基确定参考表情变化三角面片；根据所述参考表情变化三角面片从所述目标三维人脸模型中选取目标表情变化三角面片；根据所述参考表情变化三角面片调整所述目标表情变化三角面片。在本公开的一种示例性实施例中，根据所述参考表情变化三角面片调整所述目标表情变化三角面片，包括：根据所述参考表情变化三角面片的尺寸及表情，同比例调整所述目标表情变化三角面片中的表情。在本公开的一种示例性实施例中，所述输入数据包括单幅人脸图像、多幅人脸图像或多帧RGB-D人脸数据。根据本公开的一个方面，提供一种三维人脸表情基建立装置，包括：估计模块，用于提取输入数据中的目标人脸图像的目标关键点，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，其中，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；计算模块，用于利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型；生成模块，用于利用所述目标三维人脸模型生成与所述目标人脸图像相对应的目标三维人脸表情基。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任意一项所述的三维人脸表情基建立方法。根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任意一项所述的三维人脸表情基建立方法。本公开实施例提供的技术方案可以包括以下有益效果：本公开的一种实施例所提供的三维人脸表情基建立方法中，通过提取输入数据中的目标人脸图像的目标关键点，根据目标关键点和平均人脸模型中的与目标关键点对应的初始关键点确定摄像机投影矩阵，其中，平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；利用摄像机投影矩阵根据目标关键点、平均人脸模型参考三维人脸模型以及初始关键点计算得到与目标人脸图像相对应的目标三维人脸模型；利用目标三维人脸模型生成与目标人脸图像相对应的目标三维人脸表情基。相较于现有技术，利用目标关键点和初始关键点来计算投影矩阵，并计算目标三维人脸模型，能够较少计算量，减轻服务器的计算压力，利用数据集中的数据获取参考三维人脸模型，然后通过像机投影矩阵根据目标关键点和初始关键点计算目标三维人脸模型，通过摄像机投影矩阵的计算能够使得得到的三维人脸表情基的模型效果较好。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出本公开示例性实施例中三维人脸表情基建立方法的流程图；图2示意性示出本公开示例性实施例中摄像机模型示意图；图3示意性示出本公开示例性实施例中输入数据为RGB-D图像时人脸关键点提取示意图；图4示意性示出本公开示例性实施例中由参考三维人脸模型通过参数话变形得到目标参考模型的示意图；图5示意性示出本公开示例性实施例中模板表情基获取的示意图；图6示意性示出本公开示例性实施例中表情基迁移示意图；图7示意性示出本公开示例性实施例中表情基mask说明图；图8示意性示出本公开示例性实施例中模板表情基的示意图；图9示意性示出本公开示例性实施例中一种三本文档来自技高网...

【技术保护点】
1.一种三维人脸表情基建立方法，其特征在于，包括：/n提取输入数据中的目标人脸图像的目标关键点，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，其中，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；/n利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型；/n利用所述目标三维人脸模型生成与所述目标人脸图像相对应的目标三维人脸表情基。/n

【技术特征摘要】
1.一种三维人脸表情基建立方法，其特征在于，包括：
提取输入数据中的目标人脸图像的目标关键点，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，其中，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型；
利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型；
利用所述目标三维人脸模型生成与所述目标人脸图像相对应的目标三维人脸表情基。


2.根据权利要求1所述的方法，其特征在于，所述平均人脸模型为根据人脸模型数据集处理得到参考三维人脸模型，包括：
统计分析所述人脸模型数据集，获取PCA人脸参数化模型；
计算所述PCA人脸参数化模型的平均脸模型作为所述参考三维人脸模型。


3.根据权利要求1所述的方法，其特征在于，根据所述目标关键点和平均人脸模型中的与所述目标关键点对应的初始关键点确定摄像机投影矩阵，包括：
确定所述目标关键点、所述初始关键点与所述摄像机投影矩阵之间的数学关系；
根据所述数学关系通过最小化重投影误差估计所述摄像机投影矩阵。


4.根据权利要求1所述的方法，其特征在于，利用所述摄像机投影矩阵根据所述目标关键点、所述平均人脸模型参考三维人脸模型以及所述初始关键点计算得到与所述目标人脸图像相对应的目标三维人脸模型，包括：
建立所述目标三维人脸模型与所述参考三维人脸模型的参数关系；
调整所述参数关系使得所述初始关键点经摄像机投影矩阵投影后与所述目标关键点重合；
利用修改后参数关系和所述参考三维人脸模型计算所述目标三维人脸模型。


5.根据权利要求4所述的方法，其特征在于，在利用修改后参数关系和所述参考三维人脸模型计算所述目标三维人脸模型之前，所述方法还包括：
利用所述目标关键点和所述初始关键点，经过多次迭代优化所述摄像机投影矩...

【专利技术属性】
技术研发人员：陈康，季胜裕，马明洋，李培，张伟东，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33