一种三维人脸重建方法及其系统、装置、存储介质制造方法及图纸

本发明专利技术公开了一种三维人脸重建方法及其系统、装置、存储介质，通过卷积神经网络模型直接从原始人脸图像中得到标准姿态下的三维人脸图像，再将所述三维人脸图像缩放后与原始人体模型进行拟合变形，可以有效地减少了对输入的原始人脸图像的限制，降低了三维人脸重建过程的运算量，提高了三维人脸重建的效率，提高了重建得出的三维人脸图像的精确度；并且，通过三维人脸图像和原始人体模型的拟合变形，可以实现最终输出三维人体模型，而不单单是三维脸部图像，从而有效地保证了重建后输出的完整性。

A 3D Face Reconstruction Method and Its System, Device and Storage Media

【技术实现步骤摘要】
一种三维人脸重建方法及其系统、装置、存储介质
本专利技术涉及人脸识别
，尤其是一种三维人脸重建方法及其系统、装置、存储介质。
技术介绍
人脸是人类日常情感表达、交流最重要和最直接的载体，三维人脸建模一直备受关注，在游戏、影视特效、虚拟现实、辅助医疗等领域都有非常广阔的应用前景，是计算机视觉中的一个重要研究课题。目前三维人脸重建的方法大多是获取多张同一人脸不同拍摄角度的图像，通过对齐、拼接、拟合等运算得到三维人脸图像。但这类方法的运算量较大，效率低下，生成的三维人脸图像精度不高。并且得出的效果只是三维脸部图像，并非三维人体图像模型，缺少完整性。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种三维人脸重建方法及其系统、装置、存储介质，能够提高三维人脸重建的效率和精度，并且能够输出三维人体模型。本专利技术解决其问题所采用的技术方案是：第一方面，本专利技术实施例提出了一种三维人脸重建方法，包括：获取用于进行三维人脸重建的原始人脸图像；获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像；获取所述原始人脸图像的性别属性和对应性别的原始人体模型；将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形；对所述拟合变形后的原始人体模型进行渲染，得到三维人体模型。进一步，所述获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像，包括：采用OpenCV库和Dlib库获得原始人脸图像的人脸特征点、人脸区域及对应人脸的旋转矩阵，并将人脸区域裁剪成特定分辨率的图像；以裁剪后的图像作为卷积神经网络模型的输入，输出得到对应姿态下的初步三维人脸图像数据，包括三维人脸坐标点集、坐标点对应的RGB值以及三角网格面集；利用三维人脸坐标点集和旋转矩阵进行矩阵运算，得到标准姿态下的三维人脸图像。进一步，所述获取所述原始人脸图像的性别属性和对应性别的原始人体模型，包括：采用高层特征和低层特征结合的神经网络对原始人脸图像进行性别识别；根据原始人脸图像的性别选择对应的原始人体模型；获取所述原始人体模型的脸部数据。进一步，所述获取所述原始人体模型的脸部数据，包括：对原始人体模型进行关键点检测，确定原始人体模型的脸部区域；对原始人体模型的脸部区域和其他部位区域的坐标点赋予不同的值，得到原始人体模型的脸部数据；将原始人体模型的脸部数据写入储存文件。进一步，所述将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形，包括：通过三维人脸图像和原始人体模型的脸部区域的部位距离的比值确定缩放系数；利用所述缩放系数将三维人脸图像缩放至与原始人体模型的脸部区域的大小相近；构建代价函数求解最优解，使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形。进一步，所述部位距离的比值包括左眼角到右眼角水平距离的比值、两嘴角水平距离的比值、眉毛到下嘴唇垂直距离的比值、鼻尖到下巴垂直距离的比值中的至少一种。第二方面，本专利技术实施例还提出了一种三维人脸重建系统，包括：数据获取单元，用于获取用于进行三维人脸重建的原始人脸图像，以及获取所述原始人脸图像的性别属性和对应性别的原始人体模型；人脸重建单元，用于获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像；拟合变形单元，用于将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形；渲染单元，用于对所述拟合变形后的原始人体模型进行渲染，得到三维人体模型。进一步，还包括：个性化设置单元，用于对三维人体模型的脸部区域进行表情融合变形和脸部形状调整；显示单元，用于显示三维人体模型，以及显示个性化设置界面。第三方面，本专利技术实施例还提出了一种三维人脸重建装置，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本专利技术第一方面所述的方法。第四方面，本专利技术实施例还提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本专利技术第一方面所述的方法。本专利技术实施例中提供的一个或多个技术方案，至少具有如下有益效果：本专利技术实施例提供的一种三维人脸重建方法，通过卷积神经网络模型直接从原始人脸图像中得到标准姿态下的三维人脸图像，再将所述三维人脸图像缩放后与原始人体模型进行拟合变形，可以有效地减少了对输入的原始人脸图像的限制，降低了三维人脸重建过程的运算量，提高了三维人脸重建的效率，提高了重建得出的三维人脸图像的精确度；并且，通过三维人脸图像和原始人体模型的拟合变形，可以实现最终输出三维人体模型，而不单单是三维脸部图像，从而有效地保证了重建后输出的完整性。本专利技术实施例提供的一种三维人脸重建系统，人脸重建单元通过卷积神经网络模型直接从原始人脸图像中得到标准姿态下的三维人脸图像，拟合变形单元再将所述三维人脸图像缩放后与原始人体模型进行拟合变形，可以有效地减少了对输入的原始人脸图像的限制，降低了三维人脸重建过程的运算量，提高了三维人脸重建的效率，提高了重建得出的三维人脸图像的精确度；并且，拟合变形单元通过三维人脸图像和原始人体模型的拟合变形，可以实现最终输出三维人体模型，而不单单是三维脸部图像，从而有效地保证了重建后输出的完整性。附图说明下面结合附图和实例对本专利技术作进一步说明。图1是本专利技术一种三维人脸重建方法的一个实施例的流程图；图2是本专利技术一种三维人脸重建方法的一个实施例中获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像的流程图；图3是本专利技术一种三维人脸重建方法的一个实施例中获取所述原始人脸图像的性别属性和对应性别的原始人体模型的流程图；图4是本专利技术一种三维人脸重建方法的一个实施例中获取所述原始人体模型的脸部数据的流程图；图5是本专利技术一种三维人脸重建方法的一个实施例中将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形的流程图；图6是本专利技术一种三维人脸重建方法的另一个实施例的流程图；图7是本专利技术一种三维人脸重建系统的示意图；图8是本专利技术一种三维人脸重建装置的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，如果不冲突，本专利技术实施例中的各个特征可以相互结合，均在本专利技术的保护范围之内。另外，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻本文档来自技高网...

【技术保护点】
1.一种三维人脸重建方法，其特征在于，包括：获取用于进行三维人脸重建的原始人脸图像；获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像；获取所述原始人脸图像的性别属性和对应性别的原始人体模型；将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形；对所述拟合变形后的原始人体模型进行渲染，得到三维人体模型。

【技术特征摘要】
1.一种三维人脸重建方法，其特征在于，包括：获取用于进行三维人脸重建的原始人脸图像；获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像；获取所述原始人脸图像的性别属性和对应性别的原始人体模型；将所述三维人脸图像缩放至与所述原始人体模型脸部大小相近，再使原始人体模型的脸部区域对缩放后的三维人脸图像进行拟合变形；对所述拟合变形后的原始人体模型进行渲染，得到三维人体模型。2.根据权利要求1所述的一种三维人脸重建方法，其特征在于，所述获取所述原始人脸图像的人脸特征点、人脸区域和旋转矩阵，采用卷积神经网络模型定位所述原始人脸图像从二维平面结构到三维空间结构的映射，得到标准姿态下的三维人脸图像，包括：采用OpenCV库和Dlib库获得原始人脸图像的人脸特征点、人脸区域及对应人脸的旋转矩阵，并将人脸区域裁剪成特定分辨率的图像；以裁剪后的图像作为卷积神经网络模型的输入，输出得到对应姿态下的初步三维人脸图像数据，包括三维人脸坐标点集、坐标点对应的RGB值以及三角网格面集；利用三维人脸坐标点集和旋转矩阵进行矩阵运算，得到标准姿态下的三维人脸图像。3.根据权利要求1所述的一种三维人脸重建方法，其特征在于，所述获取所述原始人脸图像的性别属性和对应性别的原始人体模型，包括：采用高层特征和低层特征结合的神经网络对原始人脸图像进行性别识别；根据原始人脸图像的性别选择对应的原始人体模型；获取所述原始人体模型的脸部数据。4.根据权利要求3所述的一种三维人脸重建方法，其特征在于，所述获取所述原始人体模型的脸部数据，包括：对原始人体模型进行关键点检测，确定原始人体模型的脸部区域；对原始人体模型的脸部区域和其他部位区域的坐标点赋予不同的值，得到原始人体模型的脸部数据；将原始人体模型的脸部数据写入储存文件。5.根据权利要求1所述的一种三维人脸重建方法，其特征在于，所述将所述三维人脸图像缩放至...

【专利技术属性】
技术研发人员：徐颖，翟懿奎，江子义，李基伟，甘俊英，周健文，杜锡坤，郑俊杰，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东,44