三维人脸模型和三维人头模型生成方法和生成装置制造方法及图纸

本公开提供了一种三维人脸和人头模型生成方法、三维人脸和人头模型生成装置以及计算机可读存储介质。该三维人脸模型生成方法包括：获取第一特定人群的N个三维人脸模型；获取第二特定人群的参数化三维人脸模型；对于第一特定人群的N个三维人脸模型中的每一个，确定多个第一残差对应的权重向量；根据第二特定人群的参数化三维人脸模型和N个权重向量，获得第二特定人群的N个新三维人脸模型；对第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得第一特定人群的N个新三维人脸模型；以及对第一特定人群的N个新三维人脸模型执行主成分分析，获得第一特定人群的参数化三维人脸模型。

Generation Method and Device of Three-dimensional Face Model and Three-dimensional Head Model

The present disclosure provides a method for generating three-dimensional face and head models, a device for generating three-dimensional face and head models, and a computer readable storage medium. The three-dimensional face model generation method includes: obtaining N three-dimensional face models of the first specific population; obtaining parameterized three-dimensional face models of the second specific population; determining the weight vectors corresponding to multiple first residuals for each of the N three-dimensional face models of the first specific population; and according to the parameters of the second specific population. Three-dimensional face model and N weight vectors are transformed to obtain N new three-dimensional face models for the second specific population; each of the N new three-dimensional face models for the second specific population is registered and transformed to obtain N new three-dimensional face models for the first specific population; and the executors of the N new three-dimensional face models for the first specific population are also obtained. Component analysis is used to obtain the parameterized three-dimensional face model of the first specific population.

【技术实现步骤摘要】
三维人脸模型和三维人头模型生成方法和生成装置
本公开涉及图像处理领域，更具体地，本公开涉及一种三维人脸模型生成方法、三维人头模型生成方法、三维人脸模型生成装置、三维人头模型生成装置以及计算机可读存储介质。
技术介绍
参数化三维人脸和人头模型是三维面部形状和纹理的强大统计模型，在人脸识别、人脸三维重建、人脸图像渲染等方法都有着广泛应用。由于参数化三维人脸和人头模型的建立需要依靠大量的人头样本，而不同地域的人群在其面部特征上有着明显的区别，从而使得基于某一人群(例如，欧洲人)的样本建立的参数化三维人脸模型无法准确的刻画出另一人群(例如，亚洲人)的人脸特征，而且现有的参数化三维人脸模型不包含全头信息，很难满足日益发展的三维算法的要求。
技术实现思路
鉴于上述问题而提出了本公开。本公开提供了一种三维人脸模型生成方法、三维人头模型生成方法、三维人脸模型生成装置、三维人头模型生成装置以及计算机可读存储介质。根据本公开的一个方面，提供了一种三维人脸模型生成方法，包括：获取第一特定人群的N个三维人脸模型，N为大于2的整数；获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。根据本公开的另一个方面，提供了一种三维人头模型生成方法，包括：获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；获取初始三维人头模型；根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。根据本公开的又一个方面，提供了一种三维人脸模型生成装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述三维人脸模型生成装置执行如上所述的三维人脸模型生成方法。根据本公开的又一个方面，提供了一种三维人头模型生成装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述三维人头模型生成装置执行如上所述的三维人头模型生成方法。根据本公开的再一个方面，提供了一种三维人脸模型生成装置，包括：第一获取单元，用于获取第一特定人群的N个三维人脸模型，N为大于2的整数；第二获取单元，用于获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；权重向量确定单元，用于对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；第三获取单元，用于根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；注册变形单元，用于对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及主成分分析单元，用于对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。根据本公开的再一个方面，提供了一种三维人头模型生成装置，包括：第一获取单元，用于获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；第二获取单元，用于获取初始三维人头模型；第一注册变形单元，用于根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；第二注册变形单元，用于基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及模型确定单元，用于确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如上所述的三维人脸模型生成方法或如上所述的三维人头模型生成方法。如上所述，根据本公开的三维人脸模型生成方法、三维人脸模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型，获得另一人群的参数化三维人脸模型，而无需重新从大量的人脸图像样本建立新的另一人群的参数化三维人脸模型。此外，根据本公开的三维人头模型生成方法、三维人头模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型和通用的全头模型，获得该特定人群的参数化三维人头模型，而无需重新从大量的人头图像样本建立新的该特定人群的参数化三维人头模型。要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是图示根据本公开的实施例的三维人脸模型生成方法的流程图。图2A到2E是图示根据本公开的实施例的三维人脸模型生成过程的示意图。图3是图示根据本公开的实施例的三维人脸模型生成装置的框图。图4是图示根据本公开的实施例的三维人脸模型生成装置的硬件框图。图5是图示根据本公开的实施例的三维人头模型生成方法的流程图。图6A到6D是图示根据本公开的实施例的三维人头模型生成过程的示意图。图7是图示根据本公开的实施例的三维人头模型生成装置的框图。图8是图示根据本公开的实施例的三维人头模型生成装置的硬件框图。图9是图示根据本公开的本文档来自技高网...

【技术保护点】
1.一种三维人脸模型生成方法，包括：获取第一特定人群的N个三维人脸模型，N为大于2的整数；获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。

【技术特征摘要】
1.一种三维人脸模型生成方法，包括：获取第一特定人群的N个三维人脸模型，N为大于2的整数；获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。2.如权利要求1所述的三维人脸模型生成方法，其中，所述对所述N个新三维人脸模型的每一个执行注册变形包括：从所述N个新三维人脸模型的每一个选择控制顶点，对所述N个新三维人脸模型的每一个执行注册变形。3.如权利要求2所述的三维人脸模型生成方法，其中，所述控制顶点包括所述新三维人脸模型中位于面部区域的点。4.如权利要求1所述的三维人脸模型生成方法，还包括：根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注人脸特征点；其中，所述对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量包括：以所述人脸特征点作为约束条件，确定所述多个第一残差对应的权重向量。5.一种三维人头模型生成方法，包括：获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；获取初始三维人头模型；根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。6.如权利要求5所述的三维人头模型生成方法，其中，所述基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形包括：选择所述初始人头模型中对应于面部区域的关键点作为约束条件，对所述初始人头模型执行注册变形，使得所述对应于所述每一个分量的三维人头模型在所述关键点与所述每一个分量的相似度最大。7.如权利要求5所述的三维人头模型生成方法，其中，根据权利要求1到4的任一项所述的三维人脸模...

【专利技术属性】
技术研发人员：李悦，杜兴逸，马里千，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11