一种三维重建方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了计算机技术领域内的一种三维重建方法、装置、电子设备及可读存储介质。本申请以同一被观测对象在多个视角下的图像为基础，利用二维卷积UNet网络基于各图像的平面图像特征构建包裹被观测对象的代价体；之后利用三维卷积UNet网络得到每一体素的三维融合特征，使得每一体素的特征能够增强弱纹理表示；进而利用Transformer基于各体素的三维融合特征得到每一空间点的点融合特征，利用多层感知机基于所有空间点的点融合特征输出各空间点的颜色、符号距离和语义分割结果，并计算相应损失，以构建得到三维重建模型。该方案能够增强弱纹理的特征表示，并联合二维图像特征增强三维特征的表示能力，提高了三维重建质量。量。量。

【技术实现步骤摘要】
一种三维重建方法、装置、电子设备及可读存储介质


[0001]本申请涉及计算机
，特别涉及一种三维重建方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前，传统的三维重建方法基于输入的RGB图像预测深度图，然后基于深度图获得最终的重建图像，该方法依赖于特征匹配和深度估计的准确度，而输入图像中墙面、桌面等弱纹理区域，难以进行精准的特征匹配和深度估计。可见，传统方案对于弱纹理平面难以完成高质量重建，会降低重建图像的精准度。
[0003]因此，如何提高弱纹理平面的重建效果，是本领域技术人员需要解决的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种三维重建方法、装置、电子设备及可读存储介质，以提高弱纹理平面的重建效果。其具体方案如下：第一方面，本申请提供了一种三维重建方法，包括：将从训练集中获取到的同一被观测对象在多个视角下的图像输入二维卷积UNet网络，以使所述二维卷积UNet网络构建包裹所述被观测对象的代价体；将所述代价体输入三维卷积UNet网络，以使所述三维卷积UNet网络输出所述代价体中每一体素的三维融合特征；利用Transformer基于各体素的三维融合特征计算新视角下所述代价体的所有空间点的点特征，并将每一空间点的点特征与其所匹配图像的颜色特征融合，得到每一空间点的点融合特征；将所有空间点的点融合特征输入多层感知机，以使所述多层感知机输出各空间点的颜色、符号距离和语义分割结果；针对各空间点的颜色、符号距离和语义分割结果计算颜色损失、深度损失、平面法向损失和语义分割损失，并基于颜色损失、深度损失、平面法向损失和语义分割损失确定综合损失；若所述综合损失符合预设条件，则当前二维卷积UNet网络、当前三维卷积UNet网络、当前Transformer和当前多层感知机构建为三维重建模型，并利用所述三维重建模型对目标对象进行三维表面重建。
[0005]可选地，所述利用Transformer基于各体素的三维融合特征计算新视角下所述代价体的所有空间点的点特征，包括：在新视角下对所述代价体进行光线采样，并利用Transformer对每一采样点的邻域体素的三维融合特征进行自适应插值计算，得到每一采样点的采样点特征，得到新视角下所述代价体的所有空间点的点特征。
[0006]可选地，还包括：
若所述综合损失不符合预设条件，则利用所述综合损失优化当前二维卷积UNet网络、当前三维卷积UNet网络、当前Transformer和当前多层感知机的网络参数，并利用所述训练集迭代训练优化后的二维卷积UNet网络、优化后的三维卷积UNet网络、优化后的Transformer和优化后的多层感知机。
[0007]可选地，所述利用所述三维重建模型对目标对象进行三维表面重建，包括：利用所述三维重建模型处理所述目标对象在多个视角下的图像，得到处理结果；基于所述处理结果得到所述目标对象的三维表面重建结果。
[0008]可选地，所述利用所述三维重建模型处理所述目标对象在多个视角下的图像，得到处理结果，包括：将所述目标对象在多个视角下的图像输入所述三维重建模型，以使所述三维重建模型输出所述目标对象的多个符号距离集合；将所述多个符号距离集合作为所述处理结果。
[0009]可选地，所述基于所述处理结果得到所述目标对象的三维表面重建结果，包括：利用Marching Cubes算法对所述处理结果进行筛选和计算，得到所述目标对象的三维表面重建结果。
[0010]可选地，所述基于所述处理结果得到所述目标对象的三维表面重建结果，包括：从所述处理结果中获取所述目标对象的同一三维空间点的所有符号距离值，保留其中最小的一个，得到所述目标对象的每一三维空间点的最小符号距离值；基于所述目标对象的所有三维空间点的最小符号距离值得到所述目标对象的三维表面重建结果。
[0011]可选地，所述针对各空间点的颜色、符号距离和语义分割结果计算颜色损失、深度损失、平面法向损失和语义分割损失，包括：基于各空间点的颜色、符号距离和语义分割结果进行体渲染，确定新视角下的预测图像的颜色预测值和语义分割预测值；以所述训练集中的所述被观测对象在新视角下的已有图像为基准，计算颜色预测值与所述已有图像的颜色真值之间的颜色损失；计算所述多层感知机输出的各空间点的符号距离与基于所述已有图像的深度图确定的距离真值之间的深度损失；计算所述预测图像的平面法向预测值与所述已有图像的平面法向真值之间的平面法向损失；计算语义分割预测值与所述已有图像的语义分割真值之间的语义分割损失。
[0012]可选地，所述颜色损失的计算公式为：；表示所述颜色损失，表示颜色预测值，表示所述已有图像的颜色真值，表示所述预测图像中的任意像素点，N表示所述预测图像中的像素点总数。
[0013]可选地，所述深度损失的计算公式为：；表示所述深度损失，表示基于所述已有图像的深度图确定的距离真值，表示任意空间点与新视角所对应观测点的距离，S
v
表示代价体S中的任意体素。
[0014]可选地，所述平面法向损失的计算公式为：；表示所述平面法向损失，x
r
表示采样光线与所述预测图像中的任意像素点r的交点，n(x
r
)为交点x
r
处的平
面法向预测值，n
t
表示交点x
r
处的平面法向真值，N
b
表示像素点r所在平面，表示像素点r的语义分割预测值。
[0015]可选地，所述语义分割损失的计算公式为： ；表示所述语义分割损失，表示所述预测图像中的任意像素点r的语义分割预测值，表示所述已有图像中的像素点r的语义分割真值，N表示所述预测图像中的像素点总数。
[0016]可选地，所述基于颜色损失、深度损失、平面法向损失和语义分割损失确定综合损失，包括：按照目标公式计算所述综合损失，所述目标公式为：，表示所述综合损失，表示所述颜色损失，表示所述深度损失，表示所述平面法向损失，表示所述语义分割损失。
[0017]可选地，所述将从训练集中获取到的同一被观测对象在多个视角下的图像输入二维卷积UNet网络，以使所述二维卷积UNet网络构建包裹所述被观测对象的代价体，包括：将获取到的图像输入所述二维卷积UNet网络，以使所述二维卷积UNet网络提取每一图像的平面图像特征，并基于各图像的平面图像构建包裹所述被观测对象的代价体。
[0018]可选地，所述将所述代价体输入三维卷积UNet网络，以使所述三维卷积UNet网络输出所述代价体中每一体素的三维融合特征，包括：将所述代价体输入所述三维卷积UNet网络，以使所述三维卷积UNet网络提取所述代价体中每一体素的三维特征，并将每一体素的三维特征与其所匹配图像的平面图像特征融合，得到每一体素的三维融合特征。
[0019]第二方面，本申请提供了一种三维重建方法，包括：获取同一室内场景在多个视角下的图像；将所述室内场景在多个视角下的图像输入三维重建模型，以使所述三维重建模型输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：将从训练集中获取到的同一被观测对象在多个视角下的图像输入二维卷积UNet网络，以使所述二维卷积UNet网络构建包裹所述被观测对象的代价体；将所述代价体输入三维卷积UNet网络，以使所述三维卷积UNet网络输出所述代价体中每一体素的三维融合特征；利用Transformer基于各体素的三维融合特征计算新视角下所述代价体的所有空间点的点特征，并将每一空间点的点特征与其所匹配图像的颜色特征融合，得到每一空间点的点融合特征；将所有空间点的点融合特征输入多层感知机，以使所述多层感知机输出各空间点的颜色、符号距离和语义分割结果；针对各空间点的颜色、符号距离和语义分割结果计算颜色损失、深度损失、平面法向损失和语义分割损失，并基于颜色损失、深度损失、平面法向损失和语义分割损失确定综合损失；若所述综合损失符合预设条件，则当前二维卷积UNet网络、当前三维卷积UNet网络、当前Transformer和当前多层感知机构建为三维重建模型，并利用所述三维重建模型对目标对象进行三维表面重建。2.根据权利要求1所述的一种三维重建方法，其特征在于，所述利用Transformer基于各体素的三维融合特征计算新视角下所述代价体的所有空间点的点特征，包括：在新视角下对所述代价体进行光线采样，并利用Transformer对每一采样点的邻域体素的三维融合特征进行自适应插值计算，得到每一采样点的采样点特征，得到新视角下所述代价体的所有空间点的点特征。3.根据权利要求1所述的一种三维重建方法，其特征在于，还包括：若所述综合损失不符合预设条件，则利用所述综合损失优化当前二维卷积UNet网络、当前三维卷积UNet网络、当前Transformer和当前多层感知机的网络参数，并利用所述训练集迭代训练优化后的二维卷积UNet网络、优化后的三维卷积UNet网络、优化后的Transformer和优化后的多层感知机。4.根据权利要求1所述的一种三维重建方法，其特征在于，所述利用所述三维重建模型对目标对象进行三维表面重建，包括：利用所述三维重建模型处理所述目标对象在多个视角下的图像，得到处理结果；基于所述处理结果得到所述目标对象的三维表面重建结果。5.根据权利要求4所述的一种三维重建方法，其特征在于，所述利用所述三维重建模型处理所述目标对象在多个视角下的图像，得到处理结果，包括：将所述目标对象在多个视角下的图像输入所述三维重建模型，以使所述三维重建模型输出所述目标对象的多个符号距离集合；将所述多个符号距离集合作为所述处理结果。6.根据权利要求4所述的一种三维重建方法，其特征在于，所述基于所述处理结果得到所述目标对象的三维表面重建结果，包括：利用Marching Cubes算法对所述处理结果进行筛选和计算，得到所述目标对象的三维表面重建结果。
7.根据权利要求4所述的一种三维重建方法，其特征在于，所述基于所述处理结果得到所述目标对象的三维表面重建结果，包括：从所述处理结果中获取所述目标对象的同一三维空间点的所有符号距离值，保留其中最小的一个，得到所述目标对象的每一三维空间点的最小符号距离值；基于所述目标对象的所有三维空间点的最小符号距离值得到所述目标对象的三维表面重建结果。8.根据权利要求1所述的一种三维重建方法，其特征在于，所述针对各空间点的颜色、符号距离和语义分割结果计算颜色损失、深度损失、平面法向损失和语义分割损失，包括：基于各空间点的颜色、符号距离和语义分割结果进行体渲染，确定新视角下的预测图像的颜色预测值和语义分割预测值；以所述训练集中的所述被观测对象在新视角下的已有图像为基准，计算颜色预测值与所述已有图像的颜色真值之间的颜色损失；计算所述多层感知机输出的各空间点的符号距离与基于所述已有图像的深度图确定的距离真值之间的深度损失；计算所述预测图像的平面法向预测值与所述已有图像的平面法向真值之间的平面法向损失；计算语义分割预测值与所述已有图像的语义分割真值之间的语义分割损失。9.根据权利要求8所述的一种三维重建方法，其特征在于，所述颜色损失的计算公式为：；表示所述颜色损失，表示颜色预测值，表示所述已有图像的颜色真值，表示所述预测图像中的任意像素点，N表示所述预测图像中的像素点总数。10.根据权利要求8所述的一种三维重建方法，其特征在于，所述深度损失的计算公式为：；表示所述深度损失，表示基于所述已有图像的深度图确定的距离真值，表示任意空间点与新视角所对应观测点的距离，S
v
表示代价体S中的任意...

【专利技术属性】
技术研发人员：卢丽华，赵雅倩，李茹杨，魏辉，李仁刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：