【技术实现步骤摘要】
本专利技术涉及大规模场景的三维重建领域，具体涉及适应大规模场景的分区nerf三维重建方法、系统和存储介质。
技术介绍
1、在大规模场景的三维重建领域，目前的主要数据来源分为雷达和视觉两大类。雷达基的三维重建技术依赖于高成本的雷达设备来扫描对象并获取点云数据，但这种方法在大规模应用时面临数据采集效率低和成本高昂的问题。相比之下，视觉三维重建虽然在精度上有所不足，但它能够提供更丰富的细节信息，并且图像采集设备更为简单和经济，因此在成本效益方面具有显著优势。
2、然而，在传统的神经辐射场（nerf）模型中，存在诸多局限性。这些模型通常仅依赖于一个基础的8层感知机网络，限制了其在大规模场景下捕捉细节的能力。尽管增加神经网络层数能提升模型的复杂度，但这样做会大幅增加训练时间，并可能引发梯度消失等问题。此外，当模型出现局部缺陷时，整个场景需要重新建模，这进一步增加了时间和计算成本。
技术实现思路
1、本专利技术的目的在于提供提升效率和成本效益的适应大规模场景的分区nerf三维重建方法、系统和存储介质。
2、为了达到上述目的，本专利技术采用这样的技术方案：
3、适应大规模场景的分区nerf三维重建方法，包括如下依次执行的步骤：
4、s1：对重建对象进行环绕式全方位图像采集，获得图像数据集；
5、s2：由主节点服务器使用sfm算法对所述图像数据集进行稀疏重建，获取所述图像数据集中的内参数据和外参数据；
6、s3：所述主节点服务
7、步骤s3的分区处理包括如下步骤：
8、s3-1：所述主节点服务器先对重建对象的尺寸和复杂度进行综合评估，再将重建对象的场景进行智能分区；
9、s3-2：所述主节点服务器为每个分区创建一个专用的json文件，将各分区的图像对应的内参数据、外参数据和分区边界整理并保存到一个结构化的json文件中；
10、s3-3：所述主节点服务器将各分区的所述图像数据和对应的json文件分发到相应的从节点服务器；
11、s4：各从节点服务器对接收到的所述图像数据及其外参数据执行分层采样策略，将采样获得的体素样本投入到nerf模型中训练，获得对应的nerf区域模型；
12、s5：所述主节点服务器对各所述从节点服务器的nerf区域模型进行逻辑合并。
13、优选的，步骤s1中图像采集的步骤如下：
14、s1-1：使用搭载无畸变相机的无人机以稳定和系统的方式环绕重建对象进行全方位拍摄，同时详细记录每张图像的exif信息；
15、s1-2：分析各所述图像的特征点密度，剔除那些特征点稀少或缺失的图像，对于被剔除的图像进行调整角度拍摄；
16、s1-3：调整图像至特定的分辨率，同时确保不损害图像的质量。
17、优选的，对所述图像数据集的稀疏重建结构进行评估，检查是否存在误匹配或定位不准确的问题，若是，则对匹配出错的图像重新调整特征提取和匹配流程，优化结构，否则，执行下一步骤。
18、优选的，步骤s4中的nerf的多层感知机的训练步骤如下：
19、s4-1：从节点服务器执行分层采样策略：第一次采用均匀采样器进行体素样本的等距采样，以描绘出场景的大致空间结构；第二第采用概率密度采样器进行体素样本采样，根据第一次采样的结构判断空间密度，在空间密度大的区域进行高概率采样，获取体素样本；
20、s4-2：将所述体素样本的空间位置信息和光线入射方向分别进行傅里叶特征编码，傅里叶特征编码的编码公式为：
21、；
22、其中，为待编码的向量，是一个可变参数；
23、s4-3：将编码后的所述体素样本输入nerf的多层感知机中进行训练；
24、s4-4：nerf的多层感知机在训练过程中可以得到光线路径上的体素样本的颜色和密度，并对体素样本进行渲染，其渲染方程为：
25、；
26、其中，为渲染结果的颜色值， k为光线路径上样本点的数量，为样本点对渲染结果的影响权重，和分别为样本点的颜色和密度，其中，为两相邻样本点的空间距离；
27、整个nerf的损失函数为：
28、；
29、其中，为第一次采样经渲染得到的颜色，为第二次采样点经渲染所得到的颜色，为图片像素颜色。
30、优选的，步骤s5中的逻辑合并包括如下步骤：
31、s5-1：所述主节点服务器在逻辑层面上进行模型合并，针对当前的观测方向，所述主节点服务器计算光线路径并确定它穿过的具体区域；
32、s5-2：所述主节点服务器基于光线穿过的具体区域分配采样任务给相应的从节点服务器，从节点在区域模型中进行采样，采样活动严格限制在各自区域的边界内，采集的数据包括体素坐标、颜色和密度；
33、s5-3：所述主节点服务器利用经典渲染方程累计计算每个分区的体素颜色以及合成最终观测到的颜色，最终观测到的颜色计算公式为:
34、；
35、其中， n为观测路径经过的分区号，为在分区 n采集的样本点的数量，为分区 n内样本点对渲染结果的影响权重，为最终渲染的颜色。
36、一种三维重建系统，包括存储器和处理器，所述存储器中存储有所述处理器的可执行命令，所述处理器中配置有经由执行所述可执行命令来实现上述任一项所述的方法。
37、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述任一项所述的方法。
38、通过采用前述设计方案，本专利技术的有益效果是：本专利技术引入了创新性的分区nerf方法，通过将大型场景细化为众多小型场景区域，从而使每个分区的nerf多层感知机能够专注于学习各自区域内的图像信息；这种方法极大地提升了nerf三维模型在细节上的表现力，并使得对模型局部缺陷的精准修复成为可能，有效实现了模型的解耦合；此外，本专利技术还精心设计了一套分布式训练平台，显著缩短了模型训练所需的时间，并减少了对高性能计算资源的依赖；这一技术创新不仅在提高模型的细节准确度方面取得了显著进展，也在提升整体训练效率方面实现了重大突破，为三维重建
带来了革命性的改变。
【技术保护点】
1.适应大规模场景的分区NeRF三维重建方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的适应大规模场景的分区NeRF三维重建方法，其特征在于：步骤S1中图像采集的步骤如下：
3.如权利要求1所述的适应大规模场景的分区NeRF三维重建方法，其特征在于：对所述图像数据集的稀疏重建结构进行评估，检查是否存在误匹配或定位不准确的问题，若是，则对匹配出错的图像重新调整特征提取和匹配流程，优化结构，否则，执行下一步骤。
4.如权利要求1所述的适应大规模场景的分区NeRF三维重建方法，其特征在于：步骤S4中的NeRF的多层感知机的训练步骤如下：
5.如权利要求1所述的适应大规模场景的分区NeRF三维重建方法，其特征在于：步骤S5中的逻辑合并包括如下步骤：
6.一种三维重建系统，其特征在于：包括存储器和处理器，所述存储器中存储有所述处理器的可执行命令，所述处理器中配置有经由执行所述可执行命令来实现权利要求1至5任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序执
...【技术特征摘要】
1.适应大规模场景的分区nerf三维重建方法，其特征在于：包括如下依次执行的步骤：
2.如权利要求1所述的适应大规模场景的分区nerf三维重建方法，其特征在于：步骤s1中图像采集的步骤如下：
3.如权利要求1所述的适应大规模场景的分区nerf三维重建方法，其特征在于：对所述图像数据集的稀疏重建结构进行评估，检查是否存在误匹配或定位不准确的问题，若是，则对匹配出错的图像重新调整特征提取和匹配流程，优化结构，否则，执行下一步骤。
4.如权利要求1所述的适应大规模场景的分区nerf三...
【专利技术属性】
技术研发人员：连明昌，赖志卿，戴玲凤，何富雄，陈豪，陈松航，骆炜，王耀宗，张剑铭，王森林，钟浪，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。