一种基于神经辐射场的室外无界场景三维重建方法及系统技术方案

本发明专利技术公开了一种基于神经辐射场的室外无界场景三维重建方法及系统，包括获取待重建场景的RGB图像集，计算每一张图像对应的相机参数及稀疏点云；对所有图像根据内容进行图像分割，生成掩膜图，实现前景与背景的分离，得到每张图像中前景区域的深度范围和背景区域的深度范围；基于重建需求将掩膜图分为前景图像集、背景图像集与全图像集；输入待重建场景的前景图像集、背景图像集、全图像集及相机参数，基于神经辐射场技术重建场景的神经辐射场隐式模型，可分别获得前景物体模型、背景环境模型以及全场景模型，最后由体渲染技术实现隐式三维模型的可视化。本发明专利技术相较于其他神经辐射场三维重建技术，本方法在室外场景模型的清晰度更高。度更高。度更高。

【技术实现步骤摘要】
一种基于神经辐射场的室外无界场景三维重建方法及系统


[0001]本专利技术涉及图像三维重建，特别涉及一种基于神经辐射场的室外无界场景三维重建方法及系统。

技术介绍

[0002]目前，基于神经辐射场(NeRF)的隐式三维重建技术已经在一些小范围场景中实现了很好的重建与可视化效果。神经辐射场的输入是多视角图像和图像对应的相机参数，通过深度神经网络的多层感知机(MLP)来隐式表征场景的几何和纹理信息，然后由体渲染技术来进行不同视角方向的图像合成，以此达到三维重建的目的。
[0003]但是，神经辐射场在“无界”的室外场景中，由于相机可能指向任何方向，待重建对象也可能位于任何距离处，现有的NeRF模型通常会产生模糊的渲染，特别是对于远方的物体难以成功重建。另外，由于神经辐射场得到的是一个隐式模型，因此很难直接对其进行编辑，也无法从整体模型中分离出需要的子模型。除此之外，由于神经辐射场的多视角训练图像需要保持信息一致性，而对于图像中出现移动物体的情况，其很容易重建出错误的隐式模型。
[0004]因此，如何有效提升室外场景的重建效果，以及单独重建场景中感兴趣的区域或者去除前景中的移动物体，是当前基于神经辐射场进行三维重建过程中亟需解决的问题。

技术实现思路

[0005]为了克服现有技术的上述缺点与不足，本专利技术的目的在于提供一种基于神经辐射场的室外无界场景三维重建方法及系统。
[0006]本专利技术有效改善神经辐射场在室外等“无边界”场景中的三维重建效果，同时提供单独重建场景中的物体前景或环境背景的方案。
[0007]本专利技术的目的通过以下技术方案实现：
[0008]一种基于神经辐射场的室外无界场景三维重建方法，包括：
[0009]获取待重建场景的N张多视角RGB图像集计算每一张图像对应的相机参数及稀疏点云；
[0010]对所有图像根据内容进行图像分割，生成掩膜图，实现前景与背景的分离，并进一步得到每张图像中前景区域的深度范围和背景区域的深度范围；
[0011]基于重建需求将掩膜图分为前景图像集、背景图像集与全图像集；
[0012]输入待重建场景的前景图像集、背景图像集、全图像集及相机参数，基于神经辐射场技术重建场景的神经辐射场隐式模型，可分别获得前景物体模型、背景环境模型以及全场景模型，最后由体渲染技术实现隐式三维模型的可视化。
[0013]进一步，所述计算每一张图像对应的相机参数及稀疏点云，具体为：
[0014]利用尺度不变特征变换算法提取所有图像的特征点，并在图像间对特征点进行匹配；
[0015]依靠匹配的特征点，利用Colmap实现增量式运动恢复结构算法用于恢复每张图像的相机参数，并得到图像中匹配点对应的空间位置；
[0016]在三维空间中依次重建图像集中所有图像中的匹配点，获得稀疏点云，同时获取各图像对应的相机参数。
[0017]进一步，所述对所有图像根据内容进行图像分割，生成掩膜图，具体是通过一个端到端的神经网络实现前景和背景分割，生成掩膜；
[0018]所述端到端的神经网络包括一个由ResNet构成的编码器以及两个解码器；
[0019]基于ResNet的编码器：用于对每张图像进行下采样，提取对应特征，获得不同尺度的特征图；
[0020]一个解码器用于生成三分图，将整个图像分为前景图像、背景图像及全图像；
[0021]另一个解码器用于生成掩膜图，前景区域S
f
像素灰度为0，背景区域S
b
像素灰度为1；
[0022]利用掩膜图将图像数据集分为前景图像集、背景图像集与全图像集。
[0023]进一步，输入待重建场景的前景图像集、背景图像集、全图像集及相机参数，基于神经辐射场技术重建场景的神经辐射场隐式模型，可分别获得前景物体模型、背景环境模型以及全场景模型，具体为：
[0024]对场景所在的欧几里得空间进行空间映射，将远方物体映射到近处；
[0025]通过神经辐射场模型实现从粗到细的采样策略，得到回归体积密度σ和与视角相关的辐射值c，所述神经辐射场模型包括两个多层感知机的深度神经网络；
[0026]由体渲染技术实现隐式三维模型的可视化；
[0027]利用反向传播算法对三维隐式模型进行训练。
[0028]进一步，所述对场景所在的欧几里得空间进行空间映射，将远方物体映射到近处，具体为：
[0029]若前景目标区域的最大深度为以为下限阈值k
min
，以为上限阈值k
max
；
[0030]对于深度大于等于k
min
的采样点坐标x，在阈值范围[k
min
,k
max
]内进行如下映射：
[0031][0032]对于深度小于等于k
min
的采样点，不进行空间映射。
[0033]进一步，通过神经辐射场模型，回归得到体积密度σ和与视角相关的辐射值c，所述神经辐射场模型包括两个多层感知机的深度神经网络，具体为：
[0034]第一个多层感知机的深度神经网络是将每条光线上的均匀采样点坐标作为输入，输出采样点的体积密度和高维向量；
[0035]第二个多层感知机的深度神经网络将采样点的坐标、观测方向及高维向量作为输入，输出在该观测方向的辐射值。
[0036]进一步，所述由体渲染技术实现隐式三维模型的可视化，具体为：
[0037]基于各采样点的体积密度σ和与视角相关的辐射c，可获得像素点光线对应的像素点颜色，通过数值积分形式的体渲染方程得到每一条射线渲染的颜色，即为该
射线对应的像素颜色C：
[0038][0039]T表示沿光线的累积透射率，代表光线传播过程中未被任何其他粒子阻挡的概率，表示为：
[0040][0041]渲染所有像素，得到渲染图像作为该视角下的模型可视化结果。
[0042]进一步，所述反向传播算法具体为：
[0043]输入一个视角方向，由上述神经辐射场得到体积密度σ及与视角相关的辐射值c，根据体渲染技术得到该视角方向的图像。将这种方式渲染得到的图像与真实在该视角下拍摄的图像之间的差异作为损失值，反向传播过程就是通过最小化这个损失值来优化神经辐射场参数的过程，优化的目的是使渲染得到的图像与实际场景图像一致。参数更新完成后，神经辐射场模型即可表示实际场景，重建完成。
[0044]一种基于神经辐射场的室外无界场景三维重建系统，包括：
[0045]图像获取模块：用于多视角RGB图像的获取、预处理与存储，以及将图像上传至其他模块。该模块部署在终端；
[0046]掩膜获取模块：用于对图像获取模块上传的图像数据进行前景与背景分割，生成掩膜，该模块部署在云端；
[0047]稀疏重建模块，用于执行运动恢复结构算法，实现恢复相机位姿和稀疏点云的功能，该模块部署在云端；
[0048]神经辐射场重建模块，用于利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的室外无界场景三维重建方法，其特征在于，包括：获取待重建场景的N张多视角RGB图像集计算每一张图像对应的相机参数及稀疏点云；对所有图像根据内容进行图像分割，生成掩膜图，实现前景与背景的分离，并进一步得到每张图像中前景区域的深度范围和背景区域的深度范围；基于重建需求将掩膜图分为前景图像集、背景图像集与全图像集；输入待重建场景的前景图像集、背景图像集、全图像集及相机参数，基于神经辐射场技术重建场景的神经辐射场隐式模型，分别获得前景物体模型、背景环境模型以及全场景模型，最后由体渲染技术实现隐式三维模型的可视化。2.根据权利要求1所述的室外无界场景三维重建方法，其特征在于，所述计算每一张图像对应的相机参数及稀疏点云，具体为：利用尺度不变特征变换算法提取所有图像的特征点，并在图像间对特征点进行匹配；依靠匹配的特征点，利用colmap实现增量式运动恢复结构算法用于恢复每张图像的相机参数，并得到图像中匹配点对应的空间位置；在三维空间中依次重建图像集中所有图像中的匹配点，获得稀疏点云，同时获取各图像对应的相机参数。3.根据权利要求1所述的室外无界场景三维重建方法，其特征在于，所述对所有图像根据内容进行图像分割，生成掩膜图，具体是通过一个端到端的神经网络实现前景和背景分割，生成掩膜；所述端到端的神经网络包括一个基于ResNet的编码器以及两个解码器；基于ResNet的编码器：用于对每张图像进行下采样，提取对应特征，获得不同尺度的特征图；一个解码器用于生成三分图，将整个图像分为前景图像、背景图像及全图像；另一个解码器用于生成掩膜图，前景区域S
f
像素灰度为0，背景区域S
b
像素灰度为1；利用掩膜图将图像数据集分为前景图像集、背景图像集与全图像集。4.根据权利要求1所述的室外无界场景三维重建方法，其特征在于，输入待重建场景的前景图像集、背景图像集、全图像集及相机参数，基于神经辐射场技术重建场景的神经辐射场隐式模型，可分别获得前景物体模型、背景环境模型以及全场景模型，具体为：对场景所在的欧几里得空间进行空间映射，将远方物体映射到近处；通过神经辐射场隐式模型实现从粗到细的采样策略，得到回归体积密度σ和与视角相关的辐射值c，所述神经辐射场隐式模型包括两个多层感知机的深度神经网络；由体渲染技术实现隐式三维模型的可视化；利用反向传播算法对三维隐式模型进行训练。5.根据权利要求4所述的室外无界场景三维重建方法，其特征在于，所述对场景所在的欧几里得空间进行空间映射，将远方物体映射到近处，具体为：若前景目标区域的最大深度为以为下限阈值k
min<...

【专利技术属性】
技术研发人员：梁凌宇，张驰，许勇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：