一种基于神经辐射场的室内场景三维重建系统及方法技术方案

本申请提供一种基于神经辐射场的室内场景三维重建系统及方法，该系统包括：端设备、边缘设备和云设备；端设备用于采集当前室内场景的视觉信息，并将视觉信息传输到云设备；云设备接收到视觉信息后，将视觉信息输入到预设的初始化神经辐射场模型，以利用视觉信息，对初始化神经辐射场模型进行模型训练，得到当前室内场景的隐式三维模型，并将隐式三维模型发送到边缘设备；边缘设备接收隐式三维模型，将隐式三维模型转换为显式三维模型，并将显式三维模型发送到端设备。将原本受限于计算、内存资源和渲染速度等因素限制而仅能用于小型物体重建的神经辐射场用于大规模的室内场景三维重建，提高了室内场景的三维重建精度。提高了室内场景的三维重建精度。提高了室内场景的三维重建精度。

【技术实现步骤摘要】
一种基于神经辐射场的室内场景三维重建系统及方法


[0001]本申请涉及三维建模
，尤其涉及一种基于神经辐射场的室内场景三维重建系统及方法。

技术介绍

[0002]室内场景三维重建的目的是使用相机等设备对室内场景进行扫描，生成一个精确完整的三维模型。三维重建是一个集场景扫描、数据处理、场景建模等过程于一体的复杂系统。
[0003]在现有技术中，通常是利用运动恢复结构算法（Structure from Motion，简称：SfM）和多视角立体视觉算法（Multi
‑
View Stereo，简称：MVS），对一组输入的二维图像进行稀疏重建，通过多视角立体匹配等原理确定每幅图像的深度、相机位姿和环境的空间几何关系，再将深度融合成截断带符号距离函数（Truncated Signed Distance Function，简称：TSDF）等模型，从而恢复出该场景3D形状。
[0004]但是，由于SfM重建的三维点来源于特征匹配，这个特性使其只能生成稀疏点云结果，基于特征点扩散的MVS算法在特征点稀少的位置会出现孔洞，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的室内场景三维重建系统，其特征在于，包括：端设备、边缘设备和云设备；所述端设备用于采集当前室内场景的视觉信息，并将所述视觉信息传输到所述云设备；所述云设备接收到所述视觉信息后，将所述视觉信息输入到预设的初始化神经辐射场模型，以利用所述视觉信息，对所述初始化神经辐射场模型进行模型训练，得到所述当前室内场景的隐式三维模型，并将所述隐式三维模型发送到所述边缘设备；所述边缘设备接收所述隐式三维模型，将所述隐式三维模型转换为显式三维模型，并将所述显式三维模型发送到所述端设备，以供所述端设备对所述显式三维模型进行显示和交互。2.根据权利要求1所述的系统，其特征在于，所述视觉信息包括场景图像和各所述场景图像对应的相机位姿信息，所述相机位姿信息包括相机位置和观测角度，所述云设备具体用于：根据所述相机位姿信息，随机采样相机在不同相机位置下发出的多条射线；根据每条射线上的空间点的坐标和对应的观测角度，构建各所述空间点对应的模型训练向量；将所述模型训练向量转换为高维模型训练向量；基于各所述空间点对应的高维模型训练向量，对所述初始化神经辐射场模型进行模型训练，得到所述当前室内场景的隐式三维模型。3.根据权利要求2所述的系统，其特征在于，所述云设备具体用于：将各所述空间点对应的高维模型训练向量输入到所述初始化神经辐射场模型，以得到各所述空间点的颜色和体密度；根据一条射线上的所有空间点的颜色和体密度，估计该射线在所述场景图像上的像素颜色；利用预设的损失函数，根据所述像素颜色的估计结果和所述场景图像所表征的像素颜色的真值，计算当前神经辐射场模型的输出损失；以减小所述输出损失为目标，按照反向传播梯度调整所述当前神经辐射场模型的模型参数，以得到所述当前室内场景的隐式三维模型。4.根据权利要求3所述的系统，其特征在于，所述云设备具体用于：基于如下公式估计任一射线在所述场景图像上的像素颜色：其中，表示该射线上的第个空间点的颜色，表示所述第个空间点的体密度，表示第个空间点的体密度，表示空间点的采样间隔。5.根据权利要求1所述的系统，其特征在于，所述边缘设备具体用于：从所述当前室内场景中选取多个采样点；根据各所述采样点在所述隐式三维模型中的特征信息，对所有所述采样点进行聚类，以得到所述当前室内...

【专利技术属性】
技术研发人员：牛胜仁，魏辉，李茹杨，卢丽华，徐哲，赵雅倩，李仁刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：