【技术实现步骤摘要】
本专利技术图像处理，尤其涉及一种基于三维场景的稀疏重建方法和装置。
技术介绍
1、在室内三维场景的重建领域，传统的室内重建方法通常依赖于精确的相机参数和大量的图像特征点，但在复杂的室内环境中，这些参数往往难以获取，并且图像特征点的匹配存在一定的误差。近年来，神经辐射场成为一种有效的方法，用于综合考虑图像的几何和光照信息，以获得更为真实的场景重建结果。神经辐射场通过学习场景中的每个点的密度和颜色，能够更好地捕捉场景的三维结构和外观。神经辐射场的引入，使得室内场景的重建更加鲁棒，能够在存在噪声和不确定性的情况下，更好地还原真实场景的几何结构和光照变化。
2、神经辐射场不仅仅用于对图像进行渲染，还可以作为优化目标，与图像特征点同时进行优化，从而更好地还原场景的三维结构。然而，为了保证较好的重建效果，神经辐射场需要庞大的输入图像数量和准确的相机参数，对于用户获取室内场景数据较不友好，准确且大量的图像数据获取困难。
3、因此，亟需提出一种基于三维场景的稀疏重建方法和装置，用以解决现有技术中对数据数量和准确性要求较高的问题。
技术实现思路
1、本专利技术提供一种基于三维场景的稀疏重建方法和装置，用以解决现有技术中对数据数量和准确性要求较高的问题，使得输入视角稀疏和位姿不准确的图像数据即可实现较为准确的场景重建，降低对输入数据在数量和准确性上的要求。
2、本专利技术提供一种基于三维场景的稀疏重建方法，所述方法包括：
3、获取目标场景的稀疏图像以及目
4、将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，以得到所述场景重建网络输出的新视角下的场景图像；
5、其中，所述场景重建网络是利用稀疏图像样本的几何参数与相机位姿参数进行训练得到的。
6、在一些实施例中，所述场景重建网络包括：
7、图像特征模块，所述图像特征模块用于从输入的稀疏图像中提取特征点的位置和描述子；
8、特征点匹配模块，所述特征点匹配模块用于基于输入的一对图像的特征点集合和描述子集合，得到不同图像上同一特征点的相似度；
9、多视角深度预测模块，所述多视角深度预测模块用于得到输入的稀疏图像中，目标像素点的深度和置信度；
10、单目深度预测模块，所述单目深度预测模块用于将输入的稀疏图像转换为深度图像；
11、位姿优化模块，所述位姿优化模块用于根据各特征点的误差和置信度，优化场景的几何参数和相机位姿；
12、几何细化模块，所述几何细化模块用于对神经辐射场进行几何监督，以得到新视角下的场景图像。
13、在一些实施例中，将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，以得到所述场景重建网络输出的新视角下的场景图像，具体包括：
14、将所述稀疏图像输入预先训练的图像特征模块，以得到所述图像特征模块输出的所述稀疏图像中特征点的位置和描述子；
15、将所述稀疏图像中相关图像的特征点的位置和描述子输入预先训练的特征点匹配模块，以得到所述特征点匹配模块输出的相似度和偏差；
16、利用特征点和特征点的匹配结果，预测每个特征点的误差和置信度；
17、将各特征点的误差和置信度输入位姿优化模块，以得到优化场景的几何参数和相机位姿；
18、将稀疏图像的目标像素点的位置、参考图像和位姿输入预先训练的多视角深度预测模块，以得到所述目标像素点的位置深度和置信度；将稀疏图像输入预先训练的单目深度预测网络，以得到图像的单目深度；
19、将多个所述目标像素点的位置深度和所述单目深度输入预先训练的几何细化模块，在所述几何细化模块中对神经辐射场进行几何监督，以得到新视角下的场景图像。
20、在一些实施例中，对神经辐射场进行几何监督，之后还包括：
21、通过体渲染对几何监督后得到的场景图像进行渲染，以得到最终场景图像。
22、在一些实施例中，所述多视角深度预测模块的网络架构包括：
23、第一注意力模块，所述第一注意力模块用于对稀疏图像中光线上的深度采样点对应的各个不同图像特征进行聚合，得到视差特征；
24、第二注意力模块，所述第二注意力模块用于对光线上的不同视差特征进行比较，得到每个深度点的概率。
25、在一些实施例中，对神经辐射场进行几何监督的损失函数的表达式为：
26、
27、
28、
29、其中，为体渲染模块渲染的深度置信度，为体渲染模块渲染的深度值；s(r)为深度预测模块预测的深度置信度，z(r)为深度预测模块预测的深度值。
30、本专利技术还提供一种基于三维场景的稀疏重建装置，所述装置包括：
31、数据获取单元，用于获取目标场景的稀疏图像以及目标相机的粗糙相机参数；
32、图像重构单元，用于将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，以得到所述场景重建网络输出的新视角下的场景图像；
33、其中，所述场景重建网络是利用稀疏图像样本的几何参数与相机位姿参数进行训练得到的。
34、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于三维场景的稀疏重建方法。
35、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于三维场景的稀疏重建方法。
36、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于三维场景的稀疏重建方法。
37、本专利技术提供的基于三维场景的稀疏重建方法和装置，通过获取目标场景的稀疏图像以及目标相机的粗糙相机参数；将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，即可得到所述场景重建网络输出的新视角下的场景图像；其中，所述场景重建网络是利用稀疏图像样本的几何参数与相机位姿参数进行训练得到的。在具体使用场景中，首先拍摄场景的稀疏图像，获取粗糙的相机参数，利用图像特征点及其匹配预测每个图像特征点的误差和置信度，利用神经辐射场和图像特征点同时优化场景的粗糙几何和相机位姿，得到精确位姿后利用单目和多目深度预测网络获得图像的单目深度及其不确定度，结合单目和多视图深度给神经辐射场以全面而精确几何监督；最终通过渲染操作获得新视角下的场景图像，完成稀疏视角下的室内三维场景重建方法。从而解决了现有技术中对数据数量和准确性要求较高的问题，使得输入视角稀疏和位姿不准确的图像数据即可实现较为准确的场景重建，降低了对输入数据在数量和准确性上的要求。
本文档来自技高网...【技术保护点】
1.一种基于三维场景的稀疏重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于三维场景的稀疏重建方法，其特征在于，所述场景重建网络包括：
3.根据权利要求2所述的基于三维场景的稀疏重建方法，其特征在于，将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，以得到所述场景重建网络输出的新视角下的场景图像，具体包括：
4.根据权利要求3所述的基于三维场景的稀疏重建方法，其特征在于，对神经辐射场进行几何监督，之后还包括：
5.根据权利要求2所述的基于三维场景的稀疏重建方法，其特征在于，所述多视角深度预测模块的网络架构包括：
6.根据权利要求3所述的基于三维场景的稀疏重建方法，其特征在于，对神经辐射场进行几何监督的损失函数的表达式为：
7.一种基于三维场景的稀疏重建装置，其特征在于，所述装置包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于三维场景的稀疏重建方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于三维场景的稀疏重建方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于三维场景的稀疏重建方法。
...【技术特征摘要】
1.一种基于三维场景的稀疏重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于三维场景的稀疏重建方法，其特征在于，所述场景重建网络包括：
3.根据权利要求2所述的基于三维场景的稀疏重建方法，其特征在于，将所述稀疏图像和所述粗糙相机参数输入预先训练的场景重建网络中，以得到所述场景重建网络输出的新视角下的场景图像，具体包括：
4.根据权利要求3所述的基于三维场景的稀疏重建方法，其特征在于，对神经辐射场进行几何监督，之后还包括：
5.根据权利要求2所述的基于三维场景的稀疏重建方法，其特征在于，所述多视角深度预测模块的网络架构包括：
6.根据权利要求3所述的基于三维场景的稀疏重建方法，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。