三维模型生成方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种三维模型生成方法及装置，其中，该方法包括：获取包括第一人脸的第一图像；基于所述第一图像，确定包括第一人脸的轮廓信息的第一点云数据；基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸的细节信息的第二点云数据；基于所述第一反射率信息以及所述第二点云数据，生成所述第一人脸的三维模型。本公开示例得到的第一人脸的三维模型中，既包括了第一人脸的反射率信息，又包含了第一人脸的轮廓信息和细节信息，因而生成的第一人脸的三维模型具有更高的真实度。

【技术实现步骤摘要】
三维模型生成方法、装置、计算机设备及存储介质
本公开涉及三维重建
，具体而言，涉及一种三维模型生成方法、装置、计算机设备及存储介质。
技术介绍
数字化人脸三维模型生成在影视，游戏，虚拟社交等领域有着重要的作用。基于单张图片人脸生成(重建)的方法由于数据采集仅依赖廉价的网络摄像头，且方便在移动端应用，因而有着巨大的应用价值。当前的人脸三维模型生成方法，存在生成的人脸三维模型精度低的问题。
技术实现思路
本公开实施例至少提供一种三维模型生成方法、装置、计算机设备及存储介质。第一方面，本公开实施例提供了一种三维模型生成方法，包括：获取包括第一人脸的第一图像；基于所述第一图像，确定包括第一人脸的轮廓信息的第一点云数据；基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸的细节信息的第二点云数据；基于所述第一反射率信息以及所述第二点云数据，生成所述第一人脸的三维模型。首先基于第一图像，确定包括第一人脸的轮廓信息的第一点云数据，然后基于第一点云数据以及第一图像，确定第一人脸的第一反射率信息、以及包括第一人脸的细节信息的第二点云数据，并基于第一反射率信息以及第二点云数据得到三维模型，使得得到的第一人脸的三维模型中，既包括了第一人脸的反射率信息，又包含了第一人脸的轮廓信息和细节信息，因而生成的第一人脸的三维模型具有更高的真实度。一种可能的实施方式中，所述基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸细节信息的第二点云数据，包括：基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一人脸纹理图；对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息；以及对所述第一人脸纹理图进行人脸细节的预测处理，并基于所述人脸细节的预测处理的结果，得到所述第一人脸的第二点云数据。这样，通过对第一人脸纹理图的第一反射率信息和人脸细节的预测处理，得到包括了人脸轮廓、人脸细节、以及人脸反射率的第二点云数据，该第二点云数据能够更精确的表征人脸的三维模型。一种可能的实施方式中，所述第一点云数据包括：构成所述第一人脸的多个第一点云点分别在相机坐标系下的三维坐标值、以及不同所述第一点云点之间的连接关系信息。一种可能的实施方式中，所述基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一人脸纹理图，包括：基于多个所述第一点云点分别在相机坐标系下的三维坐标值，将多个所述第一点云点分别与所述第一图像中的多个第一像素点进行对齐处理；基于对齐处理的结果、不同所述第一点云点之间的连接关系信息以及所述第一图像中各个第一像素点的第一像素值，确定构成所述第一人脸的多个面片分别对应的第二像素值；其中，任一所述面片为由至少三个具有连接关系的第一点云点构成；基于所述多个面片分别对应的第二像素值，生成所述第一人脸纹理图。这样，生成的第一人脸纹理图中会尽可能的保留第一图像中的特征，进而能够基于第一人脸纹理图更好的得到人脸的三维模型。一种可能的实施方式中，所述人脸细节的预测处理的结果包括：所述第一人脸的第一人脸细节信息；所述基于所述细节预测处理的结果，得到所述第一人脸的第二点云数据，包括：将所述第一点云数据以及所述第一人脸细节信息进行融合处理，得到所述第二点云数据。一种可能的实施方式中，所述第一人脸细节信息包括：多个所述第一点云点中的每个第一点云点在与所述每个第一点云点对应的第一法向量方向的移动距离；所述对所述第一点云数据以及所述第一人脸细节信息进行融合处理，生成所述第二点云数据，包括：基于多个所述第一点云点中的每个第一点云点在与所述每个第一点云点对应的第一法向量方向的移动距离、以及所述每个点云点在相机坐标系中的三维坐标值，对每个所述第一点云点在所述相机坐标系中的位置进行调整；基于多个所述第一点云点的调整结果，得到所述第二点云数据。一种可能的实施方式中，所述对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息，包括：利用预先训练的第一神经网络对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息。一种可能的实施方式中，采用下述方式训练所述第一神经网络：获取包括第二人脸的第二图像，并基于所述第二图像，得到包括第二人脸的轮廓信息的第三点云数据；基于所述第三点云数据，得到第二人脸的第二人脸纹理图；利用待训练的第三神经网络，对所述第二人脸纹理图进行反射率的预测处理、以及光照的预测处理，得到所述第二人脸的第二反射率信息、及所述第二人脸的第一光照信息；以及，利用待训练的第一神经网络，对所述第二人脸纹理图进行反射率的预测处理，得到所述第二人脸的第三反射率信息；利用所述第二反射率信息、所述第一光照信息以及所述第三反射率信息，对所述待训练的第一神经网络和待训练的第三神经网络进行联合训练，得到训练好的第一神经网络。一种可能的实施方式中，所述利用所述第二反射率信息、所述第一光照信息、以及所述第三反射率信息，对所述待训练的第一神经网络和待训练的第三神经网络进行联合训练，包括：利用所述第二反射率信息、所述第一光照信息，确定所述待训练的第三神经网络的第一损失；以及，利用所述第二反射率信息、所述第一光照信息、以及所述第三反射率信息，确定所述待训练的第一神经网络的第二损失；基于所述第一损失，更新所述待训练的第三神经网络，并基于所述第二损失，更新所述待训练的第一神经网络的网络参数；经过对所述待训练的第三神经网络和所述待训练的第一神经网络的网络参数的多轮更新，得到所述训练好的第一神经网络。一种可能的实施方式中，所述利用所述第二反射率信息、所述第一光照信息，确定所述待训练的第三神经网络的第一损失，包括：基于所述第三点云数据，确定所述第三点云数据中多个第三点云点分别对应的第二法向量；基于所述第二法向量、所述第二反射率信息、以及所述第一光照信息，生成所述第二人脸的第三人脸纹理图；基于所述第二人脸纹理图以及所述第三人脸纹理图，生成所述第一损失。一种可能的实施方式中，所述利用所述第二反射率信息、所述第一光照信息、以及所述第三反射率信息，确定所述待训练的第一神经网络的第二损失，包括：基于所述第二反射率信息、以及所述第三反射率信息，确定第一子损失；基于所述第二法向量、所述第三反射率信息、以及所述第一光照信息，生成所述第二人脸的第四人脸纹理图，并基于所述第四人脸纹理图、以及所述第二人脸纹理图，生成第二子损失；以及基于所述第四人脸纹理图的特征图、和所述第二人脸纹理图的特征图，生成第三子损失；基于所述第一子损失、所述第二子损失、和所述第三子损失，得到所述第二损失。一种可能的实施方式中，所述对所述人脸纹理图进行细节预测处理，并基于所述细节预测处理的结果，得到所述第一人脸的第二点云数据，包括：利用预先训练的第二神经网络对所述第一人脸纹理图进行细节预测处理，得到所述第一人脸的第一人脸细节信息。一种可能的实施方式中，采用下述方式训练所述第二神经网络：利用待训练的第本文档来自技高网...

【技术保护点】
1.一种三维模型生成方法，其特征在于，包括：/n获取包括第一人脸的第一图像；/n基于所述第一图像，确定包括第一人脸的轮廓信息的第一点云数据；/n基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸的细节信息的第二点云数据；/n基于所述第一反射率信息以及所述第二点云数据，生成所述第一人脸的三维模型。/n

【技术特征摘要】
1.一种三维模型生成方法，其特征在于，包括：
获取包括第一人脸的第一图像；
基于所述第一图像，确定包括第一人脸的轮廓信息的第一点云数据；
基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸的细节信息的第二点云数据；
基于所述第一反射率信息以及所述第二点云数据，生成所述第一人脸的三维模型。


2.根据权利要求1所述的三维模型生成方法，其特征在于，所述基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一反射率信息以及包括所述第一人脸细节信息的第二点云数据，包括：
基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一人脸纹理图；
对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息；以及
对所述第一人脸纹理图进行人脸细节的预测处理，并基于所述人脸细节的预测处理的结果，得到所述第一人脸的第二点云数据。


3.根据权利要求2所述的三维模型生成方法，其特征在于，所述第一点云数据包括：构成所述第一人脸的多个第一点云点分别在相机坐标系下的三维坐标值、以及不同所述第一点云点之间的连接关系信息。


4.根据权利要求3所述的三维模型生成方法，其特征在于，所述基于所述第一点云数据以及所述第一图像，确定所述第一人脸的第一人脸纹理图，包括：
基于多个所述第一点云点分别在相机坐标系下的三维坐标值，将多个所述第一点云点分别与所述第一图像中的多个第一像素点进行对齐处理；
基于对齐处理的结果、不同所述第一点云点之间的连接关系信息以及所述第一图像中各个第一像素点的第一像素值，确定构成所述第一人脸的多个面片分别对应的第二像素值；其中，任一所述面片为由至少三个具有连接关系的第一点云点构成；
基于所述多个面片分别对应的第二像素值，生成所述第一人脸纹理图。


5.根据权利要求2-4任一项所述的三维模型生成方法，其特征在于，所述人脸细节的预测处理的结果包括：所述第一人脸的第一人脸细节信息；
所述基于所述细节预测处理的结果，得到所述第一人脸的第二点云数据，包括：
将所述第一点云数据以及所述第一人脸细节信息进行融合处理，得到所述第二点云数据。


6.根据权利要求5所述的三维模型生成方法，其特征在于，所述第一人脸细节信息包括：多个所述第一点云点中的每个第一点云点在与所述每个第一点云点对应的第一法向量方向的移动距离；
所述对所述第一点云数据以及所述第一人脸细节信息进行融合处理，生成所述第二点云数据，包括：
基于多个所述第一点云点中的每个第一点云点在与所述每个第一点云点对应的第一法向量方向的移动距离、以及所述每个点云点在相机坐标系中的三维坐标值，对每个所述第一点云点在所述相机坐标系中的位置进行调整；
基于多个所述第一点云点的调整结果，得到所述第二点云数据。


7.根据权利要求2-6任一项所述的三维模型生成方法，其特征在于，所述对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息，包括：
利用预先训练的第一神经网络对所述第一人脸纹理图进行反射率信息的预测处理，得到所述第一人脸的第一反射率信息。


8.根据权利要求7所述的三维模型生成方法，其特征在于，采用下述方式训练所述第一神经网络：
获取包括第二人脸的第二图像，并基于所述第二图像，得到包括第二人脸的轮廓信息的第三点云数据；
基于所述第三点云数据，得到第二人脸的第二人脸纹理图；
利用待训练的第三神经网络，对所述第二人脸纹理图进行反射率的预测处理、以及光照的预测处理，得到所述第二人脸的第二反射率信息、及所述第二人脸的第一光照信息；
以及，利用待训练的第一神经网络，对所述第二人脸纹理图进行反射率的预测处理，得到所述第二人脸的第三反射率信息；
利用所述第二反射率信息、所述第一光照信息以及所述第三反射率信息，对所述待训练的第一神经网络和待训练的第三神经网络进行联合...

【专利技术属性】
技术研发人员：王鹏睿，林纯泽，王权，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11