【技术实现步骤摘要】
本专利技术属于曲面重建，具体涉及一种基于深度融合约束的神经隐式曲面重建方法。
技术介绍
1、如今，随着计算机视觉与现代计算机图形学技术的发展，三维重建领域的研究也愈加火热。为了迎接数字世界的到来，数字孪生、虚拟现实、增强现实的发展也在不断更新换代，神经隐式表面重建就是在这些技术的鼓舞下不断发展的。传统的多视图三维重建方法用于从多视图输入图像中恢复场景的三维几何信息，利用运动恢复结构(structurefrom motion,sfm)技术，提取和匹配相邻视图的特征，并估计摄像机参数和稀疏的三维点，通过多视图观察同一场景，恢复场景的几何结构。采用多视图立体视觉(multi-viewstereo,mvs)对每个视图估计稠密深度图。完成深度图的估计后，将所有视图的深度图融合为稠密点云，并使用表面重建方法(如筛选出的泊松表面重建)从点云重建表面，得到最终的三维模型。传统方法在各种场合都取得了巨大的成功，能够重建精确的三维形状，并已广泛应用于多个领域。然而，由于多个中间步骤的相对独立，可能出现曲面的不完全性。同时，在纹理较少的区域，密集特征匹配的困难导致传统方法在这些区域上表现较差。
2、根据曲面的表示方式可以分为显式表示和隐式表示。不同于显式表示(点云、体素、网格等)，隐式表示不受分辨率的限制，能够在任意分辨率下提取表面。常用符号距离函数(sdf)用于隐式表达。sdf可由神经网络表示，通过学习从连续的空间坐标映射到sdf值，实现曲面的重建。隐式表征的方法与传统方法的多视图立体匹配相比，在处理镜面、反光和低纹理区域有更好的表现力
3、近年来，神经辐射场(nerf)的提出极大促进了三维重建方向的发展，节省了传统三维重建的工作流程和时间开支。nerf的主要工作在于新视点的合成，能够渲染出和输入图像一样的逼真场景。但是，在三维场景的生成上表现的不尽人意，通过nerf生成的三维网格会出现模糊、空洞等现象。为了更好的将体绘制和符号距离函数结合起来，neus的出现极大提高了隐式表征在三维重建中的质量，将sdf转换成密度函数促进了体绘制与sdf之间的联系。但通过观察neus重建出的场景，可以发现渲染的颜色和场景几何之间存在偏差，尤其是在纹理不充足的区域表现出的结果不尽如人意。
4、综上所述，亟需一种隐式曲面重建方法，以提高三维模型的重建效果。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出了一种基于深度融合约束的神经隐式曲面重建方法，该方法包括：获取待重建图像及其摄像机内外参数并将其输入到训练好的神经隐式曲面重建模型中，得到重建的高保真表面；
2、神经隐式曲面重建模型的训练过程包括：
3、s1：获取待重建图像及其摄像机内外参数；根据待重建图像获取待重建物体表面的稀疏3d点，根据摄像机内外参数从待重建物体所在空间中沿光线采样三维空间点；
4、s2：采用omnidata预训练模型对待重建图像进行处理，得到深度信息和法线信息；
5、s3：将沿光线采样的三维空间点输入到mlp模块中进行处理，得到三维空间点的符号距离值和颜色场；mlp模块包括sdf网络和颜色场网络；
6、s4：根据三维空间点的符号距离值和颜色场，采用体绘制网络对三维空间点进行体绘制，得到重建的三维信息；计算颜色损失；
7、s5：根据稀疏3d点对sdf网络进行sdf显式约束并计算sdf监督损失和正则化损失；
8、s6：对重建的三维信息进行几何一致性约束，根据深度信息和法线信息计算深度一致性损失和法线一致性损失；
9、s7：根据颜色损失、sdf监督损失、正则化损失、深度一致性损失和法线一致性损失计算模型总损失并根据模型总损失调整模型参数，得到训练好的神经隐式曲面重建模型。
10、优选的，计算颜色损失的公式为：
11、
12、其中，lcolor表示颜色损失，n表示渲染图像上采样像素的数量，ci表示待重建图像第i个像素的rgb颜色值，表示经过体绘制网路处理后生成的第i个像素的rgb颜色值。
13、优选的，计算sdf监督损失的公式为：
14、
15、其中，lsdf表示sdf监督损失，pj表示第j个可见点，pi表示视图vi的可见点集合，ni表示视图vi的可见点数量，表示sdf网络生成的第j个可见点的符号距离值，sdf(pj)表示第j个可见点的真实符号距离值。
16、优选的，计算正则化损失的公式为：
17、
18、其中，leikonal表示正则化损失，n表示渲染图像上采样像素的数量，表示sdf网络在第i个可见点的梯度。
19、优选的，步骤s5中，得到重建的三维信息的过程包括：
20、将三维空间点的符号距离值转换为密度值；根据密度值和颜色场进行渲染，得到物体重建的三维信息。
21、进一步的，将图像的符号距离值转换为密度值的公式为：
22、
23、其中，σβ(s)表示符号距离值s转换后的密度值，β表示可学习参数，s表示符号距离值。
24、优选的，计算深度一致性损失的公式为：
25、
26、其中，ldepth表示深度一致性损失，r表示沿着视图方向v投射一条射线，r表示射线集，ω表示比例，表示与当前射线相交的表面的估计深度，q表示位移，表示单目深度，||·||表示尺度不变损失函数。
27、优选的，计算法线一致性损失的公式为：
28、
29、其中，lnormal表示法线一致性损失，r表示沿着视图方向v投射一条射线，r表示射线集，表示与当前射线相交的估计法线，表示rgb图像的法线贴图，||·||1表示l1损失。
30、优选的，计算模型总损失的方式为将颜色损失、sdf监督损失、正则化损失、深度一致性损失和法线一致性损失加权求和。
31、本专利技术的有益效果为：本专利技术将sdf显式约束、几何一致性约束等多种约束项进行深度融合从而提升物体表面的重建精度。对比现有的技术，本专利技术不仅能精细的恢复复杂几何表面还能更好的重建低纹理和平滑区域；本专利技术在不占用过多计算资源的情况下，在模型中嵌入omnidata的预训练模型，用于获取深度信息和法线信息。相比于现有技术，获得的深度、法线信息能够对预测的信息进行约束，而且不需要单目深度相机获取。通过几何信息的约束能够使平滑区域的重建效果更好，提升图像重建质量。
本文档来自技高网...【技术保护点】
1.一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，包括：获取待重建图像及其摄像机内外参数并将其输入到训练好的神经隐式曲面重建模型中，得到重建的高保真表面；
2.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算颜色损失的公式为：
3.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算SDF监督损失的公式为：
4.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算正则化损失的公式为：
5.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，步骤S5中，得到重建的三维信息的过程包括：
6.根据权利要求5所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，将图像的符号距离值转换为密度值的公式为：
7.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算深度一致性损失的公式为：
8.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，
9.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算模型总损失的方式为将颜色损失、SDF监督损失、正则化损失、深度一致性损失和法线一致性损失加权求和。
...【技术特征摘要】
1.一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，包括：获取待重建图像及其摄像机内外参数并将其输入到训练好的神经隐式曲面重建模型中，得到重建的高保真表面；
2.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算颜色损失的公式为：
3.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算sdf监督损失的公式为：
4.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，计算正则化损失的公式为：
5.根据权利要求1所述的一种基于深度融合约束的神经隐式曲面重建方法，其特征在于，步...
【专利技术属性】
技术研发人员：付蔚，吴新宇，童世华，吕贝哲，周祥，陈孟麟，徐阳，殷雍翔，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。