一种室外大规模三维场景重建方法、系统、设备和介质技术方案

本发明专利技术公开了一种室外大规模三维场景重建方法、系统、设备和介质，属于三维场景重建的技术领域。该方法包括：获取室外场景数据集，根据室外场景数据集获取场景重建数据集；构建三维场景重建模型，在场景重建数据集上迭代训练三维场景重建模型；将待处理的相机轨迹输入训练后的三维场景重建模型，输出场景重建的结果；其中，三维场景重建模型包括外观编码模块、颜色预测模块、图卷积模块和距离场表示模块。本发明专利技术的三维场景重建模型，通过图卷积模块对采样点位置、距离场和预测颜色向量进行信息的传递，改进预测质量，有效解决了室外大规模场景重建表面不精确和训练效率低下的问题，提升训练三维重建模型的效率的同时，提高了场景重建表面精度。建表面精度。建表面精度。

【技术实现步骤摘要】
一种室外大规模三维场景重建方法、系统、设备和介质


[0001]本专利技术涉及三维场景重建的
，尤其涉及一种室外大规模三维场景重建方法、系统、设备和介质。

技术介绍

[0002]在三维重建领域，基于神经辐射场的方法已经取得了很多突破性的进展。然而，对于大规模的室外场景，当前的方法都存在生成表面不精确和训练时间长的问题。许多研究通过基于符号距离函数的方法来解决表面不精确问题；一些研究通过混合采样策略提高了三维重建模型的渲染速度。上述方法虽然一定程度上缓解了表面精度和训练速度问题，但仍没有一个兼顾精度和速度的模型能泛化到更大规模的室外场景。因此，如何在室外大规模场景数据上训练出一个场景表面生成精确且训练效率高的模型是一个亟待解决的难题。

技术实现思路

[0003]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种室外大规模三维场景重建方法、系统、设备和介质。
[0004]本专利技术所采用的技术方案是：一种室外大规模三维场景重建方法，包括以下步骤：获取室外场景数据集，根据所述室外场景数据集获取场景重建数据集；构建三维场景重建模型，在所述场景重建数据集上迭代训练所述三维场景重建模型；将待处理的相机轨迹输入训练后的三维场景重建模型，输出场景重建的结果；其中，所述三维场景重建模型包括外观编码模块、颜色预测模块、图卷积模块和距离场表示模块；对所述三维场景重建模型进行训练的步骤，包括：在所述场景重建数据集的图像光线中，使用多层次采样策略在光线上采样若干个点，将采样得到的点输入距离场表示模块，获得SDF预测向量；将光线所属图像输入外观编码模块进行编码，得到外观编码；将光线采样点位置、光线视角方向以及相对应图片的外观编码输入颜色预测模块，得到该光线在其所属图像中的颜色预测向量；将光线采样点位置、SDF预测向量和颜色预测向量输入图卷积模块，以更新SDF预测向量和颜色预测向量；将SDF预测向量和颜色预测向量输入图卷积模块的预测头得到预测值；训练外观编码模块、距离场表示模块、颜色预测模块和图卷积模块，更新外观编码模块、距离场表示模块、颜色预测模块和图卷积模块的参数直至收敛，得到训练后的三维场景重建模型。
[0005]进一步地，所述室外场景数据集包括多张室外场景的RGB图像，且不同时间段或角度采样的图像具有较大的外观差异；
所述根据所述室外场景数据集获取场景重建数据集，包括：基于所述室外场景数据集，通过运动恢复结构技术生成场景重建数据集；其中所述场景重建数据集包括室外场景数据集图像、相机参数、室外场景数据集图像中每个像素对应的光线、场景的稀疏点云和关键点的深度信息。
[0006]进一步地，所述多层次采样策略的工作方式为：根据所述场景重建数据集中的稀疏点云生成粗略体素，将光线与粗略体素的两个交点形成的线段作为采样区域；将训练模型的距离场预测值缓存至稀疏体素，并从稀疏体素查询表面位置，以生成新样本；其中稀疏体素由粗略体素建立深度为的八叉树得到，且周期性更新。
[0007]进一步地，所述将采样得到的点输入距离场表示模块，获得SDF预测向量，包括：将光线上的采样点输入距离场表示模块，得到SDF预测向量，通过图卷积模块和多层感知机最后一层得到SDF预测值，并通过零水平集提取场景表面，计算公式为：，计算公式为：其中，表示SDF预测向量，表示用于预测SDF但不包含最后一层的多层感知机；表示采样点的维度为3。
[0008]进一步地，所述颜色预测向量的表达式为：式中，为采样点，为光线视角方向，为外观编码，表示用于预测颜色值的多层感知机（不包含最后一层）；将所述颜色预测向量经过图卷积模块得到颜色预测值，得到该光线对应像素点的颜色；对于图像上的像素点，记该像素发射光线为，则像素点的颜色的表达式为：其中，是权重函数。
[0009]进一步地，所述将SDF预测向量和颜色预测向量输入图卷积模块的预测头得到预测值，包括：将SDF预测向量和颜色预测向量输入双层图卷积网络以及各自图卷积网络的预测头，得到预测值，表达式如下：，表达式如下：，表达式如下：，表达式如下：
其中，为第一层图卷积层，为第二层图卷积层，表示用于预测SDF的多层感知机的最后一层，表示用于预测颜色值的多层感知机的最后一层。
[0010]进一步地，所述训练外观编码模块、距离场表示模块、颜色预测模块和图卷积模块，包括：使用多任务损失函数在场景重建数据集上训练外观编码模块、距离场表示模块、颜色预测模块和图卷积模块；所述多任务损失函数的表达式如下：式中，是超参数，颜色损失的计算公式为：深度损失函数的计算公式为：掩码损失函数的计算公式为：其中，表示多任务损失函数，表示L1损失函数，表示KL散度函数，表示二元交叉熵函数；表示像素点的渲染颜色和真实颜色，表示高斯分布，表示关键点的SFM深度、重投影误差和渲染光线终止距离；表示掩码值和沿相机光线的权重加和。
[0011]本专利技术所采用的另一技术方案是：一种室外大规模三维场景重建系统，包括：数据获取模块，用于获取室外场景数据集，根据所述室外场景数据集获取场景重建数据集；模型构建模块，用于构建三维场景重建模型，在所述场景重建数据集上迭代训练所述三维场景重建模型；结果输出模块，用于将待处理的相机轨迹输入训练后的三维场景重建模型，输出场景重建的结果；其中，所述三维场景重建模型包括外观编码模块、颜色预测模块、图卷积模块和距离场表示模块；对所述三维场景重建模型进行训练的步骤，包括：在所述场景重建数据集的图像光线中，使用多层次采样策略在光线上采样若干个点，将采样得到的点输入距离场表示模块，获得SDF预测向量；将光线所属图像输入外观编码模块进行编码，得到外观编码；将光线采样点位置、光线视角方向以及相对应图片的外观编码输入颜色预测模块，得到该光线在其所属图像中的颜色预测向量；
将光线采样点位置、SDF预测向量和颜色预测向量输入图卷积模块，以更新SDF预测向量和颜色预测向量；将SDF预测向量和颜色预测向量输入图卷积模块的预测头得到预测值；训练外观编码模块、距离场表示模块、颜色预测模块和图卷积模块，更新外观编码模块、距离场表示模块、颜色预测模块和图卷积模块的参数直至收敛，得到训练后的三维场景重建模型。
[0012]本专利技术所采用的另一技术方案是：一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
[0013]本专利技术所采用的另一技术方案是：一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0014]本专利技术的有益效果是：本专利技术的三维场景重建模型，通过图卷积模块对采样点位置、距离场和预测颜色向量进行信息的传递，改进预测质量，有效解决了室外大规模场景重建表面不精确和训练效率低下的问题，提升训练三维重建模型的效率的同时，提高了场景重建表面精度。
附图说明
[0015]为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室外大规模三维场景重建方法，其特征在于，包括以下步骤：获取室外场景数据集，根据所述室外场景数据集获取场景重建数据集；构建三维场景重建模型，在所述场景重建数据集上迭代训练所述三维场景重建模型；将待处理的相机轨迹输入训练后的三维场景重建模型，输出场景重建的结果；其中，所述三维场景重建模型包括外观编码模块、颜色预测模块、图卷积模块和距离场表示模块；对所述三维场景重建模型进行训练的步骤，包括：在所述场景重建数据集的图像光线中，使用多层次采样策略在光线上采样若干个点，将采样得到的点输入距离场表示模块，获得SDF预测向量；将光线所属图像输入外观编码模块进行编码，得到外观编码；将光线采样点位置、光线视角方向以及相对应图片的外观编码输入颜色预测模块，得到该光线在其所属图像中的颜色预测向量；将光线采样点位置、SDF预测向量和颜色预测向量输入图卷积模块，以更新SDF预测向量和颜色预测向量；将SDF预测向量和颜色预测向量输入图卷积模块的预测头得到预测值；训练外观编码模块、距离场表示模块、颜色预测模块和图卷积模块，更新外观编码模块、距离场表示模块、颜色预测模块和图卷积模块的参数直至收敛，得到训练后的三维场景重建模型。2.根据权利要求1所述的一种室外大规模三维场景重建方法，其特征在于，所述室外场景数据集包括多张室外场景的RGB图像；所述根据所述室外场景数据集获取场景重建数据集，包括：基于所述室外场景数据集，通过运动恢复结构技术生成场景重建数据集；其中所述场景重建数据集包括室外场景数据集图像、相机参数、室外场景数据集图像中每个像素对应的光线、场景的稀疏点云和关键点的深度信息。3.根据权利要求1所述的一种室外大规模三维场景重建方法，其特征在于，所述多层次采样策略的工作方式为：根据所述场景重建数据集中的稀疏点云生成粗略体素，将光线与粗略体素的两个交点形成的线段作为采样区域；将训练模型的距离场预测值缓存至稀疏体素，并从稀疏体素查询表面位置，以生成新样本；其中稀疏体素由粗略体素建立深度为的八叉树得到，且周期性更新。4.根据权利要求1所述的一种室外大规模三维场景重建方法，其特征在于，所述将采样得到的点输入距离场表示模块，获得SDF预测向量，包括：将光线上的采样点输入距离场表示模块，得到SDF预测向量，通过图卷积模块和多层感知机最后一层得到SDF预测值，并通过零水平集提取场景表面，计算公式为：，计算公式为：其中，表示SDF预测向量，表示用于预测SDF但不包含最后一层的多层感知
机；表示采样点的维度为3。5.根据权利要求1所述的一种室外大规模三维场景重建方法，其特征在于，所述颜色预测向量的表达式为：式中，为采样点，为光线视角方向，为外观编码，表示用于预测颜色值的多层感知机；将所述颜色预测向量经过图卷积模块得到颜色预测值，得到该光线对应像素点的颜色；对于图像上的像素点，记该像素发射光线为，则像素点的颜色的表达式为：其中，...

【专利技术属性】
技术研发人员：吴庆耀，霍东健，胡灏，李利，张木树，谭明奎，杜卿，
申请(专利权)人：广东广物互联网科技有限公司，
类型：发明
国别省市：