【技术实现步骤摘要】
本专利技术涉及针对室内场景的三维重建，具体涉及一种利用不同视角下几何以及颜色一致性进行约束，以及使用自适应掩码引导神经辐射场训练的三维重建方法和装置。
技术介绍
1、从一系列多视角图像中恢复三维场景是一项重要的视觉任务。包括利用相机获取二维图像，然后通过计算机视觉和图形学的相关方法，重建出真实世界的三维场景或物体。三维重建技术在多个领域有着广泛应用，如虚拟现实(virtual reality)、现实增强(augmented reality)、机器人导航、场景设计等。
2、基于多视图立体匹配的三维重建技术，在较多无纹理区域以及光照变化的室内场合中常出现重建失败的情况。随着深度学习的发展，越来越多的研究开始采用基于深度学习的方法进行三维重建。这些方法通过训练神经网络，学习从单目图像到深度、法向量等三维信息的映射关系，再通过深度融合的方法重建物体表面。但该类方法常因为缺少多视角下的一致性，难以满足重建精度要求。目前，利用神经辐射场(neural radiance field)直接对整个场景进行建模学习成为新的三维重建技术方向。神经辐射场直接利用多视角图像作为监督信号，在保持多视角一致性的同时，也抑制了图像噪声带来的一定影响。
3、专利文献cn117152357a公开的一种基于射线引导和表面优化的神经辐射场三维重建方法，在不影响重建质量的情况下减少计算量。其方法减少采样光线数量，但表面重建精度上存在局限性；专利文献cn117036612a公开了一种将神经辐射场中的体密度转化为sdf，并使用多视角图像一致性来提高重
技术实现思路
1、针对现有的基于神经辐射场难以重建复杂的室内场景表面的问题，本专利技术提供了一种基于自适应掩码的神经辐射场三维重建方法和装置。
2、本专利技术在神经辐射场训练过程中，针对当前重建模型在不同视角下渲染得到的法向量是否存在一致性，以及视角是否存在遮挡来获取光线掩码。在掩码的引导下，针对不同重建区域自适应使用不同损失函数进行神经辐射场的训练。除此之外，本专利技术进一步提出了使用多视角下深度几何一致性，以及视角解耦颜色的一致性，来进一步提高场景重建的准确性。
3、本专利技术的第一个方面提供一种基于自适应掩码的神经辐射场三维重建方法，具体步骤如下：
4、步骤1：利用相机获取室内场景的多视角图像{ik}k＝1…n，并通过sfm(structurefrom motion)方法获取每张图像对应的位姿{pk}k＝1…n；
5、步骤2：利用现有的单目图像法向量估计模型(如omnidata)，估计每张图像对应的法向量图
6、步骤3：借助图像位姿，将采样光线r上的采样点x输入几何网络fg，获取对应的几何特征向量z和符号距离函数(sdf)值
7、步骤4：利用视角解耦颜色网络以及视角耦合颜色网络从几何网络的输出值中获取采样点x对应的视角解耦颜色和视角耦合颜色
8、步骤4-1：根据空间中法向量的定义，对于所获得sdf值求偏导，获得对应的法向量
9、
10、步骤4-2：根据颜色与视角是否耦合，将法向量几何特征向量z，以及视角v进行连接整合，并输入对应颜色网络获取视角耦合颜色和视角解耦颜色将两种颜色相加，获取采样点x对应的颜色
11、步骤5：根据体积渲染(公式2-公式4)，结合sdf预测值对采样光线r上的采样点的颜色以及法向量进行积分获取采样光线对应的渲染颜色渲染视角解耦颜色渲染法向量渲染深度
12、
13、
14、
15、步骤6：类似步骤3-步骤5，在采样光线r附近随机产生一条虚拟光线rv，并利用网络预测对应的渲染颜色渲染视角解耦颜色渲染法向量渲染深度
16、步骤7：利用给定的监督信号，计算对应的损失函数值；
17、步骤7-1：利用给定二维图像，监督渲染颜色
18、
19、步骤7-2：利用模型估计的法向量监督渲染法向量
20、
21、步骤7-3：根据三维空间下的深度几何一致性，监督当前采样光线r与虚拟光线rv的渲染深度；
22、
23、步骤7-4：根据不同视角下，视角解耦颜色的颜色一致性，监督当前采样光线r与虚拟光线rv的渲染颜色；除此之外，因实际场景中仅存在少量光线解耦颜色，增加针对光线解耦颜色的l1正则化；
24、
25、
26、步骤7-5：为进一步提高sdf值的预测准确性，对其进行eikonal正则化；
27、
28、步骤8：根据当前模型的渲染法向量是否满足多视角下的法向量一致性，以及视角是否存在遮挡，获取对应的掩码(mask)来自适应选择不同损失函数进行反向传播，优化模型参数；
29、步骤8-1：如果当前模型训练迭代次数n未超过设定值nt，则监督所有光线渲染颜色和渲染法向量，整体损失函数为；
30、
31、步骤8-2：如果当前模型训练迭代次数n超过设定值nt，则计算对应的多个光线掩码，选择不同的监督信号指导模型的训练；
32、步骤8-2-1：根据当前采样光线r与虚拟光线rv的渲染法向量之间的差异是否小于阈值∈，来计算自适应检查掩码
33、
34、
35、步骤8-2-2：根据虚拟光线rv的起始点ov对应的sdf值是否大于零，即在物体外部，来计算虚拟视线rv的有效性掩码
36、
37、步骤8-2-3：根据沿光线采样点预测的sdf值符号变化，来判断视线是否存在遮挡，计算视线的遮挡掩码(包括当前采样射线r和虚拟射线rv)；
38、
39、
40、
41、步骤8-2-4：整合所计算的光线掩码，计算有效虚拟视角以及不存在视线遮挡，但不符合多视角渲染法向量一致性的光线掩码以及符合一致性的光线掩码
42、
43、
44、步骤8-2-5：利用光线掩码，计算整体的损失函数
45、
46、步骤8-3：利用损失函数优化几何网络fg、颜色网络和参数；
47、步骤9：检查当前训练迭代次数n，如果小于设定次数n，则重复步骤3-步骤8；否则停止训练；
48、步骤10：利用训练好的模型，预测获取空间点的sdf值；结合matching cube算法提取场景几何表面。
49、本专利技术的第二个方面涉及一种基于自适应掩码的神经辐射场三维重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本专利技术的基于自适应掩码的神经辐射场三维重建方法。
50、本专利技术的第三个方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本专利技术的本文档来自技高网...
【技术保护点】
1.一种基于自适应掩码的神经辐射场三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤2所述的单目图像法向量估计模型是Omnidata模型。
3.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤4具体包括：
4.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤7具体包括：
5.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤8具体包括：
6.一种基于自适应掩码的神经辐射场三维重建方法装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5中任一项所述的基于自适应掩码的神经辐射场三维重建方法。
7.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-5中任一项所述的基于自适应掩码的神经辐射场三维重建方法。
【技术特征摘要】
1.一种基于自适应掩码的神经辐射场三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤2所述的单目图像法向量估计模型是omnidata模型。
3.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤4具体包括：
4.根据权利要求1所述的基于自适应掩码的神经辐射场三维重建方法，其特征在于，步骤7具体包括：
5.根据权利要求1所述的基于自适...
【专利技术属性】
技术研发人员：禹鑫燚，陆利钦，徐光锴，欧林林，沈春华，张卫东，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。