三维人体重建方法、装置、设备及存储介质制造方法及图纸

本公开实施例提供一种三维人体重建方法、装置、设备及存储介质，其中，该方法可以包括：基于目标人体的单张人体图像进行人体几何重建，得到目标人体的三维网格模型；基于单张人体图像，对目标人体的局部部位进行局部几何重建，得到局部部位的三维网格模型；将局部部位的三维网格模型与目标人体的三维网格模型进行融合，得到初始三维模型；根据初始三维模型和单张人体图像，进行人体纹理的重建，得到目标人体的三维人体模型。本公开实施例使得目标人体的三维网格模型中的局部部位更加清晰和准确，提高了局部部位的重建效果。

【技术实现步骤摘要】
三维人体重建方法、装置、设备及存储介质
本公开涉及图像处理技术，具体涉及一种三维人体重建方法、装置、设备及存储介质。
技术介绍
三维人体重建是计算机视觉与计算机图形学领域的重要问题。重建出来的人体数字模型在很多领域有着重要应用，如人体测量、虚拟试衣、虚拟主播、游戏角色自定义设计、虚拟现实社交等。其中，如何将真实世界中的人体投射到虚拟世界中得到三维人体数字模型是一种重要问题。然而，三维人体的数字化重建是很复杂的，需要扫描者围绕扫描目标进行多角度无死角的连续扫描；并且，重建结果存在着局部重建效果不够精细的问题。
技术实现思路
有鉴于此，本公开实施例至少提供一种三维人体重建方法、装置、设备及存储介质。第一方面，提供一种三维人体重建方法，所述方法包括：基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型；基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型；根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型。在一个例子中，所述基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型，包括：通过第一深度神经网络分支对所述目标人体的单张人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述单张人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到所述目标人体的三维网格模型。在一个例子中，所述第一深度神经网络分支包括：全局特征子网络和第一拟合子网络；所述第二深度神经网络分支包括：局部特征子网络和第二拟合子网络；所述通过第一深度神经网络分支对所述目标人体的单张人体图像进行三维重建，得到第一人体模型，包括：通过所述全局特征子网络对所述单张人体图像进行特征提取，得到第一图像特征；通过所述第一拟合子网络基于所述第一图像特征得到所述第一人体模型；所述通过第二深度神经网络分支对所述单张人体图像中的局部图像进行三维重建，得到第二人体模型，包括：通过所述局部特征子网络对所述局部图像进行特征提取，得到第二图像特征；通过所述第二拟合子网络基于所述第二图像特征以及所述第一拟合子网络输出的中间特征，得到所述第二人体模型。在一个例子中，所述基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型，包括：对所述目标人体的单张人体图像进行特征提取，得到第三图像特征；根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维网格模型。在一个例子中，所述将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型，包括：根据所述目标人体的单张人体图像，获得所述局部部位的多个关键点；确定所述多个关键点在所述目标人体的三维网格模型上对应的第一模型关键点的信息，以及，确定所述多个关键点在所述局部部位的三维网格模型上对应的第二模型关键点的信息；基于所述第一模型关键点的信息和所述第二模型关键点的信息，将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型。在一个例子中，所述基于所述第一模型关键点的信息和所述第二模型关键点的信息，将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型，包括：基于所述第一模型关键点的信息和所述第二模型关键点的信息，确定所述目标人体的三维网格模型与所述局部部位的三维网格模型间的坐标变换关系；根据所述坐标变换关系，将所述局部部位的三维网格模型变换到所述目标人体的三维网格模型的坐标系下；在变换后的坐标系下将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型。在一个例子中，所述单张人体图像包括：目标人体的正面纹理和背景图像；所述根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型，包括：对所述单张人体图像进行人体分割，得到第一分割掩码、第二分割掩码和目标人体的正面纹理；其中，所述第一分割掩码对应所述正面纹理的掩码区域，所述第二分割掩码对应于目标人体的背面纹理的掩码区域；将所述正面纹理、所述第一分割掩码和第二分割掩码，输入纹理生成网络，得到所述目标人体的所述背面纹理；基于所述背面纹理和正面纹理，得到所述目标人体对应的带有纹理的三维人体模型。在一个例子中，所述纹理生成网络的训练，包括如下处理：根据辅助正面纹理、第三分割掩码和第四分割掩码，训练辅助纹理生成网络，其中，所述第三分割掩码对应目标人体的掩码区域，所述第四分割掩码对应所述目标人体的背面纹理的掩码区域；在所述辅助纹理生成网络训练完成之后，基于所述目标人体的正面纹理、所述第一分割掩码和所述第二分割掩码，训练所述纹理生成网络，其中，所述辅助正面纹理比所述正面纹理的分辨率低，所述纹理生成网络的网络参数包括：训练完成的所述辅助纹理生成网络的至少部分网络参数。在一个例子中，所述目标人体的局部部位是所述目标人体的人脸；和/或，所述单张人体图像是RGB图像。在一个例子中，所述方法还包括：在所述基于目标人体的单张人体图像进行人体几何重建时，还得到所述目标人体的人体骨骼结构；在所述得到目标人体的三维人体模型之后，还基于所述三维人体模型和所述人体骨骼结构，确定用于驱动所述三维人体模型的蒙皮权重。第二方面，提供一种三维人体重建装置，所述装置包括：整体重建模块，用于基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型；局部重建模块，用于基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；融合处理模块，用于将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型；纹理重建模块，用于根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型。在一个例子中，所述整体重建模块，在用于得到所述目标人体的三维网格模型时，包括：通过第一深度神经网络分支对所述目标人体的单张人体图像进行三维重建，得到第一人体模型；通过第二深度神经网络分支对所述单张人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；对所述融合人体模型进行网格化处理，得到所述目标人体的三维网格模型。在一个例子中，所述局部重建模块，具体用于：对所述目标人体的单张人体图像进行特征提取，得到第三图像特征；根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维本文档来自技高网...

【技术保护点】
1.一种三维人体重建方法，其特征在于，所述方法包括：/n基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型；/n基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；/n将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型；/n根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型。/n

【技术特征摘要】
1.一种三维人体重建方法，其特征在于，所述方法包括：
基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型；
基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型；
将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型；
根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型。


2.根据权利要求1所述的方法，其特征在于，所述基于目标人体的单张人体图像进行人体几何重建，得到所述目标人体的三维网格模型，包括：
通过第一深度神经网络分支对所述目标人体的单张人体图像进行三维重建，得到第一人体模型；
通过第二深度神经网络分支对所述单张人体图像中的局部图像进行三维重建，得到第二人体模型；其中，所述局部图像包括所述目标人体的局部区域；
将所述第一人体模型和第二人体模型进行融合，得到融合人体模型；
对所述融合人体模型进行网格化处理，得到所述目标人体的三维网格模型。


3.根据权利要求2所述的方法，其特征在于，所述第一深度神经网络分支包括：全局特征子网络和第一拟合子网络；所述第二深度神经网络分支包括：局部特征子网络和第二拟合子网络；
所述通过第一深度神经网络分支对所述目标人体的单张人体图像进行三维重建，得到第一人体模型，包括：通过所述全局特征子网络对所述单张人体图像进行特征提取，得到第一图像特征；通过所述第一拟合子网络基于所述第一图像特征得到所述第一人体模型；
所述通过第二深度神经网络分支对所述单张人体图像中的局部图像进行三维重建，得到第二人体模型，包括：通过所述局部特征子网络对所述局部图像进行特征提取，得到第二图像特征；通过所述第二拟合子网络基于所述第二图像特征以及所述第一拟合子网络输出的中间特征，得到所述第二人体模型。


4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述目标人体的单张人体图像，对所述目标人体的局部部位进行局部几何重建，得到所述局部部位的三维网格模型，包括：
对所述目标人体的单张人体图像进行特征提取，得到第三图像特征；
根据所述第三图像特征、以及所述局部部位的三维拓扑模板，确定所述局部部位的三维网格模型。


5.根据权利要求1至4任一所述的方法，其特征在于，所述将所述局部部位的三维网格模型与所述目标人体的三维网格模型进行融合，得到初始三维模型，包括：
根据所述目标人体的单张人体图像，获得所述局部部位的多个关键点；
确定所述多个关键点在所述目标人体的三维网格模型上对应的第一模型关键点的信息，以及，确定所述多个关键点在所述局部部位的三维网格模型上对应的第二模型关键点的信息；
基于所述第一模型关键点的信息和所述第二模型关键点的信息，将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型。


6.根据权利要求5所述的方法，其特征在于，所述基于所述第一模型关键点的信息和所述第二模型关键点的信息，将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型，包括：
基于所述第一模型关键点的信息和所述第二模型关键点的信息，确定所述目标人体的三维网格模型与所述局部部位的三维网格模型间的坐标变换关系；
根据所述坐标变换关系，将所述局部部位的三维网格模型变换到所述目标人体的三维网格模型的坐标系下；
在变换后的坐标系下将所述局部部位的三维网格模型融合至所述目标人体的三维网格模型，得到所述初始三维模型。


7.根据权利要求1至6任一所述的方法，其特征在于，所述单张人体图像包括：目标人体的正面纹理和背景图像；
所述根据所述初始三维模型和所述单张人体图像，进行所述目标人体的人体纹理的重建，得到所述目标人体的三维人体模型，包括：
对所述单张人体图像进行人体分割，得到第一分割掩码、第二分割掩码和目标人体的正面纹理；其中，所述第一分割掩码对应所述正面纹理的掩码区域，所述第二分割掩码对应于目标人体的背面纹理的掩码区域；
将所述正面纹理、所述第一分割掩码和第二分割掩码，输入纹理生成网络，得到所述目标人体的所述背面纹理；
基于所述背面纹理和正面纹理，得到所述目标人体对应的带有纹理的三维人体模型。


8.根据权利要求7所述的方法，其特征在于，所述纹理生成网络的训练，包括如下处理：
根据辅助正面纹理、第三分割掩码和第四分割掩码，训练辅助纹理生成网络，其中，所述第三分割掩码对应目标人体的掩码区域，所述第四分割掩码对应所述目标人体的背面纹理的掩码区域；
在所述辅助纹理生成网络训练完成之后，基于所述目标人体的正面纹理、所述第一分割掩码和所述第二分割掩码，训练所述纹理生成网络，其中，所述辅助正面纹理比所述正面纹理的分辨率低，所述纹理生成网络的网络参数包括：训练完成的所述辅助纹理生成网络的至少部分网络参数。

<...

【专利技术属性】
技术研发人员：宋勃宇，邓又铭，刘文韬，钱晨，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：广东;44