基于伪平面约束的室内场景三维重建方法技术

本发明专利技术公开了一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：使用图像分割算法利用颜色聚类将原始输入图像分割成伪平面；在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：在颜色渲染约束部分，对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域。本发明专利技术省去了耗费高昂的三维建模或是数据采集过程，而是运用少量的图像数据来训练神经网络，以经济的方式实现高精度的场景生成。度的场景生成。度的场景生成。

【技术实现步骤摘要】
基于伪平面约束的室内场景三维重建方法


[0001]本专利技术涉及一种室内三维场景重建技术，旨在结合计算机算法和低成本数据重建适用于虚拟现实任务的高质量、高精度的室内场景，属于计算机视觉和图形学技术结合的领域。

技术介绍

[0002]传统的室内场景重建技术主要基于技术人员的手动三维建模，或是基于RBGD摄像机扫描并使用COLMAP等技术重建点云。这两类方式的效率都很低：前者需要大量的人力和计算资源；后者则需要昂贵的采集设备。

技术实现思路

[0003]本专利技术要解决的技术问题是：传统的室内场景重建技术效率低下。
[0004]为了解决上述技术问题，本专利技术的技术方案是提供了一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：
[0005]步骤1、使用图像分割算法利用颜色聚类将原始输入图像分割成一系列具有相似特征的由相邻像素构成的不规则像素块，这些不规则像素块被称之为超像素，并进一步将这些超像素区域定义为伪平面；
[0006]步骤2、在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：
[0007]第一阶段：在每一个伪平面内随机采样至少4条随机光线，并将其输入到神经网络之中，根据神经网络输出的SDF结果计算出每条随机光线相关的深度值；结合深度值和相机内参将这些随机光线对应的像素点映射到空间当中再利用最小二乘法计算出粗粒度的伪平面参数；
[0008]第二阶段：在粗粒度伪平面内随机采样更多的随机光线，使用与第一阶段相同的方法计算出更为精确的细粒度的伪平面参数，从而得到精确的伪平面参数；
[0009]在得到精确的伪平面参数之后，约束空间中随机光线对应的采样点到平面的距离与采样点对应的SDF值一致来规范平面区域变得平整；
[0010]步骤3、在颜色渲染约束部分：
[0011]对于除无纹理区域外的其他区域采用通用的约束随机光线对应的预测颜色和真实图像颜色一致的规范策略；
[0012]对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域，具体包括以下步骤：
[0013]步骤301、首先使用DSO算法直接处理原始图像来提取一系列关键点；
[0014]步骤302、分别以各关键点为中心使用n
×
n的高斯核来计算整张图片的采样概率图，概率图中，关键点具有最高采样概率，以关键点为中心的n
×
n高斯核区域概率次之，其余区域概率最低；
[0015]步骤303、使用该概率图来采样得到随机光线；
[0016]步骤304、约束步骤303获得的随机光线对应的预测颜色和真实图像颜色一致。
[0017]优选地，步骤2中，所述场景几何信息由以下方法获得：
[0018]步骤201、以从一组带有相机参数标定的多视角图片中提取的空间点和视角方向组合而成的采样光线作为输入，使用全连接神经网络来提取底层空间特征；
[0019]步骤202、使用有向距离场模块，以底层空间特征为输入，解析输出由有符号距离函数定义的体密度数据，该体密度数据中包含的所述场景几何信息被用于所述几何约束。
[0020]优选地，以所述步骤201获得的底层空间特征为输入，通过分割渲染模块解析输出伪平面置信度，并使用不同视角下的超像素分割交叉熵损失来约束伪平面置信度尽可能的准确；
[0021]则在所述步骤2中，求解伪平面参数时，给参与计算伪平面参数和平面约束的点赋予权重的优化策略，采用所述分割渲染模块解析输出的伪平面置信度作为不同的点的权重，由权重点重新计算得到伪平面参数结果。
[0022]优选地，在所述步骤3中，颜色信息采用以下方法获得：
[0023]以所述步骤201获得的底层空间特征为输入，通过颜色渲染模块解析输出颜色数据并利用体渲染技术生成颜色信息，颜色信息被用于所述颜色渲染约束。
[0024]优选地，所采用的基础损失函数如下式所示：
[0025][0026]其中：是颜色渲染约束损失，是约束渲染的图片与真实图片相近的损失；是深度约束损失，是约束渲染的深度与真实的深度相近的损失；是约束整个有向距离场处处均匀的Eikonal损失。
[0027]优选地，针对平面几何约束的损失函数如下式所示：
[0028][0029]其中：是伪平面参数的权重；s(x)是预测的有向距离值；是真实的有向距离值。
[0030]优选地，针对分割融合的损失函数如下式所示：
[0031][0032]其中，是针对累积分割sigmoid概率的交叉熵损失，是针对重采样点的分割sigmoid概率的交叉熵损失，他们分别对由粗糙到精细的两步伪平面分割做约束。
[0033]本专利技术基于最近一段时间以来在新视角生成领域取得了重大突破的神经辐射场技术，从一系列带有相机位置信息的图像数据中学习到场景的颜色信息以及几何信息，并依赖隐式神经表达和体渲染等方法重建出高质量的室内场景。这一过程省去了耗费高昂的三维建模或是数据采集过程，而是运用少量的图像数据来训练神经网络，以经济的方式实现高精度的场景生成。
附图说明
[0034]图1为本专利技术的整体框架图。左上角阐释了本专利技术中的基于关键点指导的随机光线采样策略，首先使用DSO算法直接处理输入图像提取得到关键点，再以关键点为中心根据高斯距离求解得到采样概率，用于指导光线采样。右下角解释了两步优化平面参数算法的流程，首先根绝神经网络输出的SDF来求解得到粗粒度的平面参数，之后在粗粒度平面内随机重采样更多的点来求解得到细粒度的更精确的平面参数。左下角阐明了整个算法使用到的约束损失，包括深度损失、颜色渲染损失、分割渲染损失以及平面约束损失。
具体实施方式
[0035]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0036]本实施例公开了一种基于伪平面约束的室内场景三维重建方法，给定一组带有相机标定的室内场景图片作为本实施例公开方法的输入，通过本实施例公开的方法重建出该室内场景的高精度三维几何结构。为此，我们设计了一种全新的基于伪平面的平面几何约束算法来重建室内场景几何结构，又针对颜色渲染约束和伪平面约束的弱点分别提出了两种优化方式，进一步提升其在几何重建方面的准确度。
[0037]由于室内场景存在大量的无纹理区域，例如墙面、地面、桌面等，如果仅仅使用渲染约束无法在这些区域生成光滑平整的重建结果，因此需要引入额外的几何约束。如果直接使用预训练的几何网络生成的法向和深度结果去约束场景虽然能够产生较好的重建结果，但是所需的成本较高。而如果使用曼哈顿假设来约束墙面和地面虽然也能够生成较为真实的重建结果，但是该假设存在较大的局限性，无法拓展到非曼哈顿室内场景以及墙面和地面被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于伪平面约束的室内场景三维重建方法，其特征在于，包括以下步骤：步骤1、使用图像分割算法利用颜色聚类将原始输入图像分割成一系列具有相似特征的由相邻像素构成的不规则像素块，这些不规则像素块被称之为超像素，并进一步将这些超像素区域定义为伪平面；步骤2、在几何约束部分，求解伪平面参数时，利用场景几何信息提出了由粗到细的两阶段伪平面参数优化求解策略：第一阶段：在每一个伪平面内随机采样至少4条随机光线，并将其输入到神经网络之中，根据神经网络输出的SDF结果计算出每条随机光线相关的深度值；结合深度值和相机内参将这些随机光线对应的像素点映射到空间当中再利用最小二乘法计算出粗粒度的伪平面参数；第二阶段：在粗粒度伪平面内随机采样更多的随机光线，使用与第一阶段相同的方法计算出更为精确的细粒度的伪平面参数，从而得到精确的伪平面参数；在得到精确的伪平面参数之后，约束空间中随机光线对应的采样点到平面的距离与采样点对应的SDF值一致来规范平面区域变得平整；步骤3、在颜色渲染约束部分：对于除无纹理区域外的其他区域采用通用的约束随机光线对应的预测颜色和真实图像颜色一致的规范策略；对于无纹理区域，采用基于关键点指导的光线采样策略来优化采样多出现在颜色变化较为明显的富纹理区域，具体包括以下步骤：步骤301、首先使用DSO算法直接处理原始图像来提取一系列关键点；步骤302、分别以各关键点为中心使用n
×
n的高斯核来计算整张图片的采样概率图，概率图中，关键点具有最高采样概率，以关键点为中心的n
×
n高斯核区域概率次之，其余区域概率最低；步骤303、使用该概率图来采样得到随机光线；步骤304、约束步骤303获得的随机光线对应的预测颜色和真实图像颜色一致。2.如权利要求1所述的一种基于伪平面约束的室内场景三维重建方法，其特征在于，步骤2中，所述场景几何信息由以下方法获得：步骤201、以从一组带有相机参数标定的多视角图片...

【专利技术属性】
技术研发人员：高盛华，于劲鹏，李晶，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：