三维人脸重建的方法、装置、系统及计算机存储介质制造方法及图纸

本发明专利技术实施例提供了一种三维人脸重建的方法、装置、系统及计算机存储介质。该方法包括：将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，第一向量表示人脸的M个形状点的三维坐标，第二向量表示所述人脸的三维姿态；利用第二向量对标准三维人脸模型进行调整，使得调整后的标准三维人脸模型的三维姿态与所述人脸的三维姿态一致；基于所述M个形状点，对调整后的标准三维人脸模型进行变形，得到所述人脸对应的三维人脸模型。本发明专利技术实施例在考虑待处理人脸图像中人脸的三维姿态的基础上得到待处理人脸图像中人脸的三维人脸模型，该过程可以准确地描述该待处理人脸图像中的人脸信息，从而该三维人脸重建的结果更加贴近真实人脸。

Method, Device, System and Computer Storage Media for 3D Face Reconstruction

The embodiment of the present invention provides a method, device, system and computer storage medium for three-dimensional face reconstruction. The method includes: input the image to be processed into the trained estimation network to get the first vector and the second vector, the first vector represents the three-dimensional coordinates of the M shape points of the face, and the second vector represents the three-dimensional pose of the face; use the second vector to adjust the standard three-dimensional face model to make the adjusted one. The three-dimensional pose of the standard three-dimensional face model is consistent with the three-dimensional pose of the face. Based on the M shape points, the adjusted standard three-dimensional face model is deformed and the corresponding three-dimensional face model of the face is obtained. The embodiment of the present invention obtains the three-dimensional face model of the face in the face image to be processed on the basis of considering the three-dimensional pose of the face in the face image to be processed. The process can accurately describe the face information in the face image to be processed, so that the result of the three-dimensional face reconstruction is closer to the real face.

【技术实现步骤摘要】
三维人脸重建的方法、装置、系统及计算机存储介质
本专利技术涉及图像处理领域，更具体地涉及一种三维人脸重建的方法、装置、系统及计算机存储介质。
技术介绍
人脸三维重建是人脸相关技术中的一项核心技术。随着深度摄像头的普及，以及移动终端处理能力的提升，手机端三维人脸重建逐渐成为可能。诸多人脸娱乐、美化、变形等方面的手机应用程序(APP)均开始使用三维重建方法。人脸三维重建技术指从一张人脸图像恢复出其对应的三维人脸。该三维人脸的通常表示为几千个稠密的三维点组成的网格面片。由于缺乏相关的深度信息，单张图像恢复三维人脸是一个病态的问题，因此一般需借助于额外的信息进行三维人脸重建。一类方法从采集好的三维人脸数据库构建一个三维人脸可变性模型，继而分别定位出人脸二维形状点和可变性模型上的对应三维点，通过计算形状点到对应三维点的变形系数，来变形整个三维模型，以此作为三维人脸点云的近似。另一类方法则需要多张人脸图像来估计人脸深度值，继而通过后处理操作得到人脸三维点。然而，由于人脸的变形是非刚体变形，不同的人脸图像存在各种差异，直接拟合的人脸系数或估算的人脸深度信息很难准确，并且多次迭代对应的优化问题耗时长，很难做到实时。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种三维人脸重建的方法、装置、系统及计算机存储介质，能够考虑人脸的三维姿态，且在标准三维人脸模型的基础上进行调整和变形，不仅得到的人脸深度信息准确，并且该过程耗时短，能够实时进行。根据本专利技术的一方面，提供了一种三维人脸重建的方法，所述方法包括：将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，其中，所述第一向量表示所述待处理人脸图像中人脸的M个形状点的三维坐标，所述第二向量表示所述待处理人脸图像中人脸的三维姿态，M为正整数；利用所述第二向量对标准三维人脸模型进行调整，使得所述标准三维人脸模型的三维姿态与所述待处理人脸图像中的人脸的三维姿态一致；基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型。在本专利技术的一个实施例中，所述估计网络包括形状点估计网络和姿态估计网络，所述将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，包括：将待处理人脸图像输入至训练好的所述形状点估计网络，得到所述第一向量；将所述待处理图像输入至训练好的所述姿态估计网络，得到所述第二向量。在本专利技术的一个实施例中，所述形状点估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括M个形状点三维坐标；利用所述三维人脸数据库对所述形状点估计网络进行训练。在本专利技术的一个实施例中，所述姿态估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括表示所述人脸图像中人脸的三维姿态的三维向量；利用所述三维人脸数据库对所述形状点估计网络进行训练。在本专利技术的一个实施例中，所述形状点估计网络和所述姿态估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括M个形状点三维坐标以及表示所述人脸图像中人脸的三维姿态的三维向量；利用所述三维人脸数据库对所述估计网络进行训练。在本专利技术的一个实施例中，所述利用所述第二向量对标准三维人脸模型进行调整，包括：利用所述第二向量，将所述标准三维人脸模型进行旋转，以得到所述调整后的标准三维人脸模型。在本专利技术的一个实施例中，所述基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型，包括：将所述M个形状点与所述调整后的标准三维人脸模型中的对应三维坐标点进行匹配；采用捆绑调整的方法将所述调整后的标准三维人脸模型中的三维坐标点进行变形，得到变形后的标准三维人脸模型，以使所述M个形状点与所匹配的对应三维坐标点之间的差值最小。在本专利技术的一个实施例中，所述标准三维人脸模型包括N个三维坐标点以及对应的三角面片，其中N为正整数且N远大于M。在本专利技术的一个实施例中，所述三维姿态包括俯仰角、偏航角和翻滚角。根据本专利技术的另一方面，提供了一种三维人脸重建的装置，所述装置用于实现前述方面或各个实施例所述方法的步骤，所述装置包括：估计模块，用于将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，其中，所述第一向量表示所述待处理人脸图像中人脸的M个形状点的三维坐标，所述第二向量表示所述待处理人脸图像中人脸的三维姿态，M为正整数；调整模块，用于利用所述第二向量对标准三维人脸模型进行调整，使得所述标准三维人脸模型的三维姿态与所述待处理人脸图像中的人脸的三维姿态一致；变形模块，用于基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型。根据本专利技术的又一方面，提供了一种三维人脸重建的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面及各个示例所述的三维人脸重建的方法的步骤。根据本专利技术的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面及各个示例所述的三维人脸重建的方法的步骤。本专利技术实施例在考虑待处理人脸图像中人脸的三维姿态的基础上得到待处理人脸图像中人脸的三维人脸模型，该过程可以准确地描述该待处理人脸图像中的人脸信息，从而该三维人脸重建的处理结果更加贴近真实人脸。并且，该过程无需通过多次迭代实现，极大地缩短了处理时长，保证了实时性，效率高，容易在移动终端等设备上实现。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是本专利技术实施例的电子设备的一个示意性框图；图2是本专利技术实施例的三维人脸重建的方法的一个示意性流程图；图3是本专利技术实施例的三维人脸重建的方法的另一个示意性流程图；图4是本专利技术实施例的三维人脸重建的装置的一个示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。本专利技术实施例可以应用于电子设备，图1所示为本专利技术实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。所述处理器102可以包括中央处理单元(Centr本文档来自技高网...

【技术保护点】
1.一种三维人脸重建的方法，其特征在于，所述方法包括：将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，其中，所述第一向量表示所述待处理人脸图像中人脸的M个形状点的三维坐标，所述第二向量表示所述待处理人脸图像中人脸的三维姿态，M为正整数；利用所述第二向量对标准三维人脸模型进行调整，使得所述标准三维人脸模型的三维姿态与所述待处理人脸图像中的人脸的三维姿态一致；基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型。

【技术特征摘要】
1.一种三维人脸重建的方法，其特征在于，所述方法包括：将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，其中，所述第一向量表示所述待处理人脸图像中人脸的M个形状点的三维坐标，所述第二向量表示所述待处理人脸图像中人脸的三维姿态，M为正整数；利用所述第二向量对标准三维人脸模型进行调整，使得所述标准三维人脸模型的三维姿态与所述待处理人脸图像中的人脸的三维姿态一致；基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述估计网络包括形状点估计网络和姿态估计网络，所述将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，包括：将待处理人脸图像输入至训练好的所述形状点估计网络，得到所述第一向量；将所述待处理图像输入至训练好的所述姿态估计网络，得到所述第二向量。3.根据权利要求2所述的方法，其特征在于，所述形状点估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括M个形状点三维坐标；利用所述三维人脸数据库对所述形状点估计网络进行训练。4.根据权利要求2所述的方法，其特征在于，所述姿态估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括表示所述人脸图像中人脸的三维姿态的三维向量；利用所述三维人脸数据库对所述形状点估计网络进行训练。5.根据权利要求1所述的方法，其特征在于，所述估计网络通过如下方式训练得到：构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括M个形状点三维坐标以及表示所述人脸图像中人脸的三维姿态的三维向量；利用所述三维人脸数据库对所述估计网络进行训练。6.根据权利要求1所述的方法，其特征在于，所述利用所述第二向量对标准三维人脸模型进行调整，包括...

【专利技术属性】
技术研发人员：熊鹏飞，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11