【技术实现步骤摘要】
本申请实施例涉及三维重建，特别涉及一种三维重建方法、装置、设备及存储介质。
技术介绍
1、三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。
2、相关技术中，通过学习一个连续的三维空间中的颜色和密度函数来表示场景，并通过体积渲染对三维物体和纹理进行渲染，从而通过对渲染图的监督优化mlp(multilayerperceptron，多层感知器)网络。
3、而体积渲染过程中需要在每条视角射线上统计数百个采样点的预测值，且每次迭代需要运行数十万次mlp网络的推理，具有较大的参数量，且需要消耗大量时间，并且训练完成的mlp网络需要运行行进立方体(marching cube)算法以得到几何表达，导致几何模型的精度较低。
技术实现思路
1、本申请实施例提供了一种三维重建方法、装置、设备及存储介质，能够减少三维重建过程中的参数量，提高三维重建效率。所述技术方案如下：
2、一方面，本申请实施例提供了一种三维重建方法，所述方法包括：
3、从三平面特征中提取空间四面体的网格顶点的网格顶点特征，所述三平面特征为所述空间四面体在三个轴相交的二维平面上的特征表示；
4、基于所述网格顶点特征，通过网格重建网络对目标物体进行网格重建，得到所述目标物体对应的三维网格；
5、基于所述三维网格，通过可微渲染网络进行可微渲染，得到所述三维
6、基于所述渲染预测图和真实拍摄图之间的预测损失，对所述三平面特征、所述网格重建网络以及所述可微渲染网络进行训练，所述真实拍摄图为基于各个相机位姿对所述目标物体进行拍摄得到；
7、在训练完成的情况下，基于所述网格顶点特征，通过所述网格重建网络和所述可微渲染网络对所述目标物体进行模型重建，得到所述目标物体对应的目标三维模型。
8、另一方面，本申请实施例提供了一种三维重建装置，所述装置包括：
9、特征提取模块，用于从三平面特征中提取空间四面体的网格顶点的网格顶点特征，所述三平面特征为所述空间四面体在三个轴相交的二维平面上的特征表示；
10、第一重建模块，用于基于所述网格顶点特征，通过网格重建网络对目标物体进行网格重建，得到所述目标物体对应的三维网格；
11、渲染模块，用于基于所述三维网格，通过可微渲染网络进行可微渲染，得到所述三维网格在各个相机位姿下的渲染预测图；
12、训练模块，用于基于所述渲染预测图和真实拍摄图之间的预测损失，对所述三平面特征、所述网格重建网络以及所述可微渲染网络进行训练，所述真实拍摄图为基于各个相机位姿对所述目标物体进行拍摄得到；
13、第二重建模块，用于在训练完成的情况下，基于所述网格顶点特征，通过所述网格重建网络和所述可微渲染网络对所述目标物体进行模型重建，得到所述目标物体对应的目标三维模型。
14、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条计算机指令，所述至少一条计算机指令用于被所述处理器执行以实现如上述方面所述的三维重建方法。
15、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现如上述方面所述的三维重建方法。
16、另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如上述方面所述的三维重建方法。
17、本申请实施例中，通过构建空间四面体的三平面特征，将三维空间内网格顶点的网格顶点特征转换为三个轴相交的二维平面上的顶点特征，从而在从三平面特征中提取网格顶点特征之后，可以根据网格顶点特征，通过网格重建网络对目标物体进行三维重建，得到目标物体对应的三维网格，进而基于该三维网格，通过可微渲染网络进行可微渲染，得到三维网格在各个相机位姿下的渲染预测图，从而基于渲染预测图和真实拍摄图之间的预测损失，分别对三平面特征、网格重建网络以及可微渲染网络进行训练，即可以得到经过参数更新的三平面特征、网格重建网络以及可微渲染网络。在训练完成的情况下，根据网格顶点特征，利用网格重建网络和可微渲染网络对目标物体进行模型重建，即可以得到目标物体对应的目标三维模型。
18、采用本申请实施例提供的方案，通过将三维空间内网格顶点的网格顶点特征转换为三个轴相交的二维平面上的顶点特征，以二维平面数据的形式表示三维网格顶点的网格顶点特征，可以大大减少网络训练过程中的参数量，提高训练效率。并且在减少参数量的同时，通过依次分别进行网格重建以及可微渲染，优化了训练效果，从而提高了目标三维模型的重建质量。
本文档来自技高网...【技术保护点】
1.一种三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述网格顶点特征，通过网格重建网络对目标物体进行网格重建，得到所述目标物体对应的三维网格，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述三维网格，通过可微渲染网络进行可微渲染，得到所述三维网格在各个相机位姿下的渲染预测图，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述相机位姿，对所述三维网格进行多视角光栅化处理，得到所述三维网格在各个相机位姿下的密集像素图，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述密集像素图，确定所述表面顶点的表面顶点特征，包括：
6.根据权利要求3所述的方法，其特征在于，所述基于所述表面顶点特征，通过所述可微渲染网络进行可微渲染，得到所述三维网格在各个相机位姿下的所述渲染预测图，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述渲染预测图和真实拍摄图之间的预测损失，对所述三平面特征、所述网格重建网络以及所述可微渲染网络进行训练，
8.根据权利要求1所述的方法，其特征在于，所述从三平面特征中提取空间四面体的网格顶点的网格顶点特征，包括：
9.根据权利要求8所述的方法，其特征在于，所述基于所述第i网格顶点坐标，从经过第i-1轮训练的三平面特征中提取第i网格顶点特征，包括：
10.根据权利要求1所述的方法，其特征在于，所述从三平面特征中提取空间四面体的网格顶点的网格顶点特征，包括：
11.根据权利要求1所述的方法，其特征在于，所述基于所述网格顶点特征，通过所述网格重建网络和所述可微渲染网络对所述目标物体进行模型重建，得到所述目标物体对应的目标三维模型，包括：
12.一种三维重建装置，其特征在于，所述装置包括：
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条计算机指令，所述至少一条计算机指令用于被所述处理器执行以实现如权利要求1至11任一所述的三维重建方法。
14.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行以实现如权利要求1至11任一所述的三维重建方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至11任一所述的三维重建方法。
...【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述网格顶点特征，通过网格重建网络对目标物体进行网格重建，得到所述目标物体对应的三维网格，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述三维网格，通过可微渲染网络进行可微渲染，得到所述三维网格在各个相机位姿下的渲染预测图，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述相机位姿，对所述三维网格进行多视角光栅化处理，得到所述三维网格在各个相机位姿下的密集像素图，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述密集像素图，确定所述表面顶点的表面顶点特征，包括：
6.根据权利要求3所述的方法，其特征在于，所述基于所述表面顶点特征，通过所述可微渲染网络进行可微渲染，得到所述三维网格在各个相机位姿下的所述渲染预测图，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述渲染预测图和真实拍摄图之间的预测损失，对所述三平面特征、所述网格重建网络以及所述可微渲染网络进行训练，包括：
8.根据权利要求1所述的方法，其特征在于，所述从三平面特征中提取空间四面体的网格顶点的网格顶点特征，包括：
9.根据权利要求8所述的方法，...
【专利技术属性】
技术研发人员：陈申周，嵇盼，刘伟哲，尚太章，李宏东，
申请(专利权)人：中霸集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。