本发明专利技术公开了一种基于回归网络的三维室内结构图估计方法，首先基于Pointnet++的点云特征提取；然后通过最远点采样选取采样点，通过采样点筛选网络进行筛选，根据筛选得到的最近邻采样点构建候选角点点簇；计算候选角点点簇中距离质心最近的点，通过角点回归网络得到候选角点，最后根据获取的候选角点实现三维结构化模型的重建。本发明专利技术在对建筑场景进行重建时，通过对原始点云提取建筑角点进行端到端的估计，大大提高了估计的准确度。大大提高了估计的准确度。大大提高了估计的准确度。
【技术实现步骤摘要】
一种基于回归网络的三维室内结构图估计方法
[0001]本专利属于计算机图形学中的三维模型重建领域，是一种充分利用神经学习及回归网络的三维室内结构估计方法，通过网络学习得到室内角点信息，从而更准确地提取出线面结构性元素获取建筑结构，可以应用于当前盛行的AR和VR领域。
技术介绍
[0002]目前，对室内场景的数字化研究受到越来越多的关注，真实场景的数据化能够让我们可以从任意视角充分观察场景的各个部分。室内场景的结构化重建成为了一个定义明确的新兴课题，特别是针对常见和结构化的多房间室内环境开发，如住宅、办公室或公共建筑，这些领域的常用解决方法包括基于全景图和视频的虚拟建筑重建方法或者通过获得的视觉或激光数据映射到参考平面测量的方法。
[0003]基于设备获得原始数据，一般的表面重建方法专注于生产准确密集的三维模型，以确保还原甚至最小的几何形状和外观细节。从这个意义上说，他们的主要目标是提供组成输入场景的所有表面的最精确的表示，而不考虑其结构和语义，或者可能只利用它们来最大化输出表面模型的保真度。但是对于室内结构化重建，我们更希望解决方案集中于抽象出简化的高级结构化模型，因此我们把基本任务放在发现结构元素，如房间、墙壁、门，并将它们组合为三维结构形状和视觉表示。
[0004]室内结构化重建的输出可以被用于室内装修设计人员的房屋初始设计结构图，结合室内平面图的参数信息在三维模型中对房屋进行装修设计工作。目前室内结构化重建领域在使用传统数学方法时，往往会使用平面拟合等拟合方法检测模型内的平面柱面等结构来还原出房间主干以得到室内布局，但是室内家居物体在平面检测的过程中常常会对检测结果有所影响。因此我们考虑不借助拟合的检测方法，采用形态学方法提取壁面。随后利用无监督学习来拟合壁面线段，以提高壁面识别的准确度，这也避免了在传统方法中对房屋结构的曼哈顿假设以及对模型的预处理步骤，同时通过无监督学习可以较大程度地提升模型构建的效率与速度。
技术实现思路
[0005]针对现有技术中存在的不足，本专利技术提供一种基于回归网络的三维室内结构图估计方法。
[0006]本专利技术的输入为稠密室内三维点云模型，给定N个点的输入三维点云，通过点云特征学习主干采样提取更高维度的周围点云特征，利用最远点采样生成角点候选。随后通过transformer结构对候选点进行处理，进一步细化候选点特征。此时的角点候选与groundtruth之间仍然存在位置误差，基于三维坐标信息(xyz)及两点的距离信息，构建回归网络，训练候选点接近真值点。获取到角点后，基于角点构建线段及平面，恢复建筑高级结构化模型。
[0007]一种基于回归网络的三维室内结构图估计方法，包括以下步骤：
[0008]步骤(1)、基于Pointnet++的点云特征提取；
[0009]步骤(2)、通过最远点采样选取采样点，通过采样点筛选网络进行筛选，根据筛选得到的最近邻采样点构建候选角点点簇；
[0010]步骤(3)、计算候选角点点簇中距离质心最近的点，通过角点回归网络得到回归后的点坐标，也即是候选角点；
[0011]步骤(4)、根据获取的候选角点实现三维结构化模型的重建；
[0012]进一步的，步骤(1)具体方法如下：
[0013]使用PointNet++模块作为点云特征学习的backbone(网络主干)，进行点云特征提取。经过点云的局部特征提取，每个点的维度从3维的坐标维度增加到(3+C)维，增加的C维特征是通过对整个场景的周边感知获得的局部特征。
[0014]进一步的，步骤(2)具体方法如下；
[0015]从原始点云中经过FPS(最远点采样)选取出M个采样点。具体的实现过程是，FPS从原始点云中随机抽样的一个点作为第一个候选点开始，迭代地选择距离已选点最远的点纳入候选，直到选择M个采样点。
[0016]采样点均匀的分布在建筑点云的外部边界上，在采样点中不一定包括角点，但是可以通过采样点搜索近邻的点去寻找角点。首先，确定真值点个数M1(M1<M)，通过采样点筛选网络确定采样点中距离真值点最近的M1个最近邻采样点。
[0017]在得到M1个最近邻采样点后，基于M1个最近邻采样点，寻找距离每个点最近邻的S
‑
1个点形成点云簇团即候选角点点簇。
[0018]进一步的，步骤(3)具体方法如下；
[0019]在该阶段中，计算点云簇团中距离质心最近的点，使用该点在训练过程中迭代的趋近真值点来获得候选角点。使用FPS之前的特征点跳跃链接到点云簇团，得到点簇数量为M1，点簇中点数量为S，特征点通道数为3+C的数据。通过角点回归网络，用质心和真值点的距离、方向向量的值作为监督数据训练4维偏移量，再以质心为起始点，以偏移量为基准，进行平移得到候选角点，使角点逐步接近真值点。
[0020]进一步的，步骤(4)、具体方法如下；
[0021]基于曼哈顿假设利用候选角点构造房间3D模型，由建筑先验信息可知，天花板角点和地板角是一一对应的关系，因此，先绘制天花板地板平面，然后依次连接天花板地板平面的角点，形成房间3D模型。
[0022]本专利技术有益效果如下：
[0023](1)本专利技术在对建筑场景进行重建时，通过对原始点云提取建筑角点进行端到端的估计，大大提高了估计的准确度。
[0024](2)本专利技术方法新颖，使用四元表示法表示平面并进行判别训练，区别与以往根据关键点、边缘线段的建筑模型估计方法。
[0025](3)本专利技术在应用过程中对应用场景没有如预设的约束条件，无需平面拟合及曼哈顿假设等的先验信息，应用场景更加广泛，方法可以得到完整准确的室内重建模型。
附图说明
[0026]图1为本专利技术实施例方法流程图；
[0027]图2为PointNet++网络模块结构示意图；
[0028]图3为本专利技术实施例网络特征学习架构。
具体实施方式
[0029]下面结合本专利的附图来对专利技术专利的具体实施进行详细描述。
[0030]结合图1、图3，本专利技术一种基于回归网络的三维室内结构图估计方法，主要包含以下步骤：
[0031]步骤(1)、基于Pointnet++的点云特征提取:
[0032]在该阶段中，我们使用图2的PointNet++网络模块作为点云特征学习的Backbone(网络主干)。利用Pointnet++网络中的四个抽象层(fourset
‑
abstractionlayers)对输入的三维点云进行降采样，并提取局部特征。然后利用两个特征传播层(featurepropagation layers)对点进行上采样，生成具有更高维度的特征点，即经过点云的局部特征提取，每个点的维度从3维的坐标维度增加到(3+C)维，增加的C维特征是每个点对场景的周边感知生成的。提取的特征是点云场景中的局部特征，局部特征在步骤2、3中被用作网络训练的输入。
[0033]步骤(2)、通过最远本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于回归网络的三维室内结构图估计方法，其特征在于，包括以下步骤：步骤(1)、基于Pointnet++的点云特征提取；步骤(2)、通过最远点采样选取采样点，通过采样点筛选网络进行筛选，根据筛选得到的最近邻采样点构建候选角点点簇；步骤(3)、计算候选角点点簇中距离质心最近的点，通过角点回归网络得到回归后的点坐标，也即是候选角点；步骤(4)、根据获取的候选角点实现三维结构化模型的重建。2.根据权利要求1所述的一种基于回归网络的三维室内结构图估计方法，其特征在于，步骤(1)具体方法如下：使用PointNet++模块作为点云特征学习的backbone，进行点云特征提取；经过点云的局部特征提取，每个点的维度从3维的坐标维度增加到3+C维，增加的C维特征是通过对整个场景的周边感知获得的局部特征。3.根据权利要求2所述的一种基于回归网络的三维室内结构图估计方法，其特征在于，步骤(2)具体方法如下；从原始点云中经过最远点采样FPS选取出M个采样点；具体的实现过程是，FPS从原始点云中随机抽样的一个点作为第一个候选点开始，迭代地选择距离已选点最远的点纳入候选，直到选择M个采样点；采样点均匀的分布在建筑点云的外部边界上，在采样点中不一定包括角点，但是可以通过采样点搜索近邻的点去寻找角点；首先，确定真值点个数M1(M1<M)，通过采样点筛选网络确定采样点中距离真值点最近的M1个最近邻采样点；在得到M1个最近邻采样点后，基于M1个最近邻采样点，寻找距离每个点最近邻的S
‑
1个点形成点云簇团即候选角点点簇。4.根据权利要求3所述的一种基于回归网络的三维室内结构图估计方法，其特征在于，步骤(3)具体方法如下；在该阶段中，计算点云簇团中距离质心最近的点，使用该点在训练过程中迭代的趋近真值点来获得候选角点；使用FPS之前的特征点跳跃链接到点云簇团，得到点簇数量为M1，点簇中点数量为S，特征点通道数为3+C的数据；通过角点回归网络，用质心和真值点的距离、方向向量的值作为监督数据训练4维偏移量，再以质心为起始点，以偏移量为基准，进行平移得到候选角点，使角点逐步接近真值点。5.根据权利要求4所述的一种基于回归网络的三维室内结构图估计方法，其特征在于，步骤(4)、具体方法如下；在该阶段中，得到了步骤(3)输出的候选角点，由建筑先验信息可知，天花板角点和地板角点一般是一一对应的关系，因此，先绘制天花板地板平面，然后依次连接...
【专利技术属性】
技术研发人员：颜成钢，汪奇挺，朱尊杰，魏宇鑫，傅晟，高宇涵，孙垚棋，陈楚翘，王鸿奎，王廷宇，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。