一种人脸重建方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种人脸重建方法、装置、设备和存储介质。该方法包括：对接收到的多帧人脸图像数据进行人脸关键点的提取；对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；基于所述第二主成分分析系数构建目标三维人脸模型。通过该方法实现了基于数据驱动的方法，快速有效的将接收到的多帧人脸图像数据处理为三维人脸模型的有益效果。而且多幅图像的分别重建是可以并行计算的，因此本方法在多核CPU上更容易取得更快的速度。

A Face Reconstruction Method, Device, Equipment and Storage Media

The invention discloses a face reconstruction method, device, device and storage medium. The method includes: extracting the key points of the face from the received multi-frame face image data; building the original three-dimensional face model for each frame of face image data to obtain the first principal component analysis coefficient according to some of the key points of the face image data; and modifying the first principal component according to all the key points of the face image data of each frame. The second principal component analysis coefficient is obtained by analyzing the coefficients, and the target three-dimensional face model is constructed based on the second principal component analysis coefficient. Through this method, a data-driven method is realized, which can quickly and effectively process the received multi-frame face image data into a three-dimensional face model. Moreover, multi-image reconstruction can be done in parallel, so this method is easier to achieve faster speed on multi-core CPU.

【技术实现步骤摘要】
一种人脸重建方法、装置、设备和存储介质
本专利技术实施例涉及图像处理技术，尤其涉及一种人脸重建方法、装置、设备和存储介质。
技术介绍
人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像。因此，通过图像创建逼真的三维人脸模型是亟待解决的问题。但从图像创建逼真的三维人脸模型是一个非常困难的工作，目前的主流方法是使用三维可形变模型(3DMM)，从主成分分析(PCA)的参数空间根据图像提供的约束信息来建立三维人脸模型。为了得到逼真人脸，大多数方法采用了“合成-分析”的方法，通过“渲染-匹配”重建再渲染的循环来建模。但是这种方式是比较慢的，特别是在应用场景并不考虑人脸的细节，而是集中在中等尺度的面部几何形状的重建的情况下。现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型。尤其是在用于各类图像、视频中的人脸特效的使用场景中，现有技术不能满足用户对于时效和准确性的要求。
技术实现思路
本专利技术提供一种人脸重建方法、装置、设备和存储介质，以实现快速的得到准确的三维人脸模型。第一方面，本专利技术实施例提供了一种人脸重建方法，包括：对接收到的多帧人脸图像数据进行人脸关键点的提取；对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；基于所述第二主成分分析系数构建目标三维人脸模型。第二方面，本专利技术实施例还提供了一种人脸重建装置，包括：关键点提取模块，用于对接收到的多帧人脸图像数据进行人脸关键点的提取；第一系数获得模块，用于对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；第二系数获取模块，用于根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；人脸模型构建模块，用于基于所述第二主成分分析系数构建目标三维人脸模型。第三方面，本专利技术实施例还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的人脸重建方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的一种人脸重建方法。本专利技术通过首先对每一帧图分别重建人脸参数，然后再将所有图像放在一起做第二次优化，改进重建结果，解决了现有技术无法在设备性能一般，同时时效要求高的情况下提供很好的三维人脸模型的问题。本专利技术采用的方法是首先单图建模再多图优化，相比于现有技术中采用的先“合成-分析”再“渲染-匹配”最后重建再渲染的循环来建模，具有数据量小、速度快的优势。同时，单图建模是可以并行计算的，因此本方法在多核中央处理器(CPU)上可以取得更快的处理速度。附图说明图1为本专利技术实施例一提供的一种人脸重建方法的流程图；图2A为本专利技术实施例二提供的一种人脸重建方法的流程图；图2B为本专利技术实施例二提供的设置第一目标函数的第一点约束项的流程图；图2C为本专利技术实施例二提供的设置第二目标函数的第二点约束项的流程图；图3为本专利技术实施例三提供的一种人脸重建装置的结构图；图4为本专利技术实施例四提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种人脸重建方法的流程图。人脸表情动画技术多是数据驱动的，需要建立该面部的三维模型，三维模型可以大大增加表情动画的表现力。现阶段所有的人脸表情效果都离不开该三维模型。因此本实施例中的技术方案，可选的是适用于各类图像、视频中的人脸特效。可以理解的是，本方案也适用于其他应用场景中，只要存在通过对多帧人脸二维图像数据的处理，构建三维人脸模型的场景。该方法由一种人脸重建装置来执行，该装置可以由软件和/或软件的方式实现，通常配置于电子设备中，该电子设备需要具备能采集图像信息的摄像设备，以及能够支持本专利技术运算量的中央处理器。该电子设备可选的是手机、平板或者计算机设备。参考图1，该方法包括：S101、对接收到的多帧人脸图像数据进行人脸关键点的提取。在具体实现中，对每帧人脸图像数据进行人脸关键点的提取，在每帧人脸图像数据上均获得预设个数的人脸关键点。人脸关键点是人脸图像数据中能够代表人脸特征的人脸关键点。其中，人脸图像数据的来源包括用户输入的同一个人的多帧图像，也包括从视频流中截取的同一个的人脸图像数据。具体的，将多帧人脸图像输入至训练好的卷积神经网络，以提取每帧人脸图像数据上的人脸关键点。可选的，可以从每帧人脸图像数据中均提取106个人脸关键点。S102、对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数。在具体实现中，可以通过主成分分析(PCA)模型来构建原始三维人脸模型。主成分分析可以理解为x＝m+p×α这样一个线性模型，x是重建后的三维人脸模型，m是主成分分析参考系数，p是主成分分析矩阵，α是主成分分析系数。所以主成分分析模型可以简单地描述为：一个人脸，是在平均大众脸的基础上进行改变，改变的方式以通过主成分分析系数α来描述。其中，主成分分析参考系数通常被设置为平均大众脸的数据。主成分分析矩阵通常被设置为缩放后的人脸关键点向量构成的矩阵。其中，主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标(即主成分)，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的结果更加科学有效的数据信息。由此确定的系数为主成分分析系数。应当知道的是，第一主成分分析系数与后续提到的第二主成分分析系数实际上都是主成分分析系数，只是为了便于区别而取的不同名字。当然，后续的第一主成分分析参考系数和第二主成分分析参考系数实际上都是主成分分析参考系数。人脸重建装置根据每帧人脸图像数据(尤其是部分人脸关键点)，将二维图像重建为三维人脸模型。当然，此时重建出来的原始三维人脸模型与真实的三维人脸并不一定一致，还需要在原始三维人脸模型的基础上进行修正，以使最终重建的目标三维人脸模型逼近于真实的三维人脸。S103、根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获本文档来自技高网...

【技术保护点】
1.一种人脸重建方法，其特征在于，包括：对接收到的多帧人脸图像数据进行人脸关键点的提取；对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；基于所述第二主成分分析系数构建目标三维人脸模型。

【技术特征摘要】
1.一种人脸重建方法，其特征在于，包括：对接收到的多帧人脸图像数据进行人脸关键点的提取；对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数；根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数；基于所述第二主成分分析系数构建目标三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述对每帧人脸图像数据分别建立原始三维人脸模型，以针对每帧人脸图像数据，根据部分所述人脸关键点获得第一主成分分析系数，包括：基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项；基于所述第一主成分分析系数设置第一目标函数的第一正则化项；在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值。3.根据权利要求2所述的方法，其特征在于，所述基于部分所述人脸关键点与第一主成分分析系数设置第一目标函数的第一点约束项，包括：对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值；将所述第一特征值投影到二维空间，获得第二特征值；计算所述第二特征值与部分所述人脸关键点之间的第一距离；采用所述第一距离设置第一目标函数的第一点约束项。4.根据权利要求3所述的方法，其特征在于，所述对第一主成分分析参考系数、缩放后的部分所述人脸关键点与第一主成分分析系数进行主成分分析运算，获得第一特征值，包括：获取第一主成分分析参考系数；对部分所述人脸关键点进行缩放；计算缩放后的部分所述人脸关键点与第一主成分分析系数之间的第一乘积；将所述第一主成分分析参考系数与所述第一乘积之间的和值设置为第一特征值。5.根据权利要求2所述的方法，其特征在于，所述在所述第一点约束项与所述第一正则化项的约束下，对所述第一目标函数求解，获得所述第一主成分分析系数的值，包括：对所述第一目标函数迭代，计算所述第一主成分分析系数的值，使得第一距离最小、且所述第一主成分分析系数满足高斯分布。6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据每帧人脸图像数据的全部所述人脸关键点修正所述第一主成分分析系数，获得第二主成分分析系数，包括：基于全部所述人脸关键点与第二主成分分析系数设置第二目标函数的...

【专利技术属性】
技术研发人员：刘更代，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44