一种基于RAP的三维场景重建方法技术

本发明专利技术公开了一种基于RAP的三维场景重建方法，其从非结构化和嘈杂的原始扫描点云中提取平面的规则安排，该方法主要分三阶段进行：S1、初始化阶段，首先通过扫描设备获取一组点云集，通过将平面与输入点云之间进行局部拟合生成一组原始平面。S2、候选平面的生成，对每对平面创建附加到原始点集的附加候选平面，生成一组更大的候选集元，形成丰富的点云集合，此步骤有效的假设了可能的关系，并允许可靠的基元在数据不太可靠的部分创建潜在的优秀候选者。S3RAP选择，在RAP选择阶段，通过能量最小化，从中选择RAP作为输入数据的最终抽象。本发明专利技术在具有噪声、和数据缺失的情况下依然具有较好的鲁棒性。

A method of 3D scene reconstruction based on RAP

The invention discloses a method of 3D scene reconstruction based on RAP, which extracts plane rules from unstructured and noisy original scanning point clouds. This method is mainly divided into three stages: S1, initialization stage, first to obtain a set of point clouds by scanning equipment, through the part between the plane and the input point cloud. A set of original planes is generated by fitting. S2, the generation of the candidate plane, creates an additional candidate plane attached to the original point set for each pair of planes, generates a larger set of candidate sets, and forms a rich set of point clouds. This step effectively assumes possible relationships and allows a reliable base element to create a potential candidate in the unreliable part of the data. S3RAP selects, in the RAP selection stage, selects RAP as the final abstraction of input data through energy minimization. The invention is still robust under noise and data loss.

【技术实现步骤摘要】
一种基于RAP的三维场景重建方法
本专利技术涉及计算机视觉领域，特别是涉及一种基于RAP的三维场景重建方法。
技术介绍
三维重建就是对三维物体建立起适合计算机表达和处理的数学模型的过程，也是将客观世界中的三维物体真实的再现在计算机中的关键技术。它被应用于文化遗产保护、计算机视觉、医学图像处理、逆向工程、数字媒体创作和虚拟现实等领域，有着广泛的发展前景和应用价值。三维重建在人机交互、增强现实、文物保护、影视娱乐、逆向工程、医学等应用上作为核心技术起着重要的作用。现在点云信息很容易获得，它们可以记录室内或室外的环境信息，包含大量的样品。在数据分析的背景下，场景重建的一种解释是揭示全局场景特征，而不是关注局部细节，例如通过一个完整的表面重构获得的信息，在人造场景的背景下，我们观察到场景的特征通常被编码成内部和跨对象之间的关系形式。由于许多物体主要由平面面构成，人造场景可以很好地抽象为平面的集合以及他们之间的相互关系。在具有噪音的、不完整的和异常值的数据情况下，去平衡各平面之间的相互关系成为一个很大的挑战。目前最常用的点云重构方法是由Schnabel等人在2007年使用的RANSAC逐步提取最合适的基元，或者它的变种。该方法具有吸引力，因为它的简单性、可伸缩性和概率性保证。然而，这样的局部和增量分析很容易忽略全局场景级结构。之后提出了各种改进，然而这些算法都很大程度上依赖于最初的基元集。因此，申请人提出一种基于RAP的三维场景重建方法，其采用全局性的方法来同时选择一组平面及其关系，其提取的不是单独的基元，而是提取基元集合。该方法可以在具有噪声、采样发生变化和数据缺失的情况下依然具有较好的鲁棒性。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种基于RAP的三维场景重建方法。为实现上述目的，本专利技术提供了一种基于RAP方法的场景重建方法，包括以下步骤：S1、平面检测；S2、候选平面的生成；S3、RAP选择。作为本专利技术的进一步改进，S1、平面检测，包括如下步骤：S11、通过区域增长法分割点集S，目的是将具有一致法线的附近点划分在一块，使用本地PCA分析将S转换成一组定向的点集，从底部开始，将S完全划分成一组点云集{Si}；S12、如果点i的欧式距离ρ内的点j的方向与Si内点的方向相差小于T，则将其分为点Si；S13、重复S12，将搜索区域扩展到组中任何新点的欧式距离ρ内，在每次迭代中，计算本地平面Pi的最小二乘拟合，这些平面具有有限的范围，再基于在Si的投影剪切到一个边界框；作为本专利技术的进一步改进，S2、候选平面的生成，包括如下步骤：S21、在初始设置P中创建平面Pj，来拟合一个定向点集Sj，然而从全局的角度来看，Sj可能更好地被另一个平面所解释，这个平面来自将平面Pi旋转并将其平移到Sj获得一个新平面；S22、将S31中获得的新平面表示成Pi→j，它可以作为初始Pj＝Pj→j的替代选择，因此每个点集Sj现在与一组{P1→j，P2→j。。。}相关联；这里的Pj＝Pj→j，可根据Sj中的点重新定位其它Pi→j的有限范围；S23、可能的平面间关系的数量进一步增加了每个Pi可以旋转到Sj上的方式的数量，但我们选择最合适的一个，最终生成候选集为RAP的配置提供丰富的候选集；初始化阶检测到的平面是基于局部拟合，因此可能受到噪音和异常值的影响。单纯的检测这些噪音形状片段之间的关系和规律是困难的，偏差有可能随着距离的增大而增大。相反，根据预期内的平面关系，显示生成了额外的平面，作为推测的一组平面，安排相对与最初的集合。大多数这些推测的平面最终会被丢弃，但是他们有帮助恢复一些欠采样或嘈杂的平面。同初始化的平面一起，这个扩大的候选平面集合使我们能够寻找一个良好的全局RAP作为一个选择问题。作为本专利技术的进一步改进，S3、RAP选择，包括如下步骤：RAP选择问题可以作为一个从丰富候选集合P～中选择子集的问题，假如用一个对应的二进制指示变量x_(i→j)∈{0,1}来表示任何一个候选的选择P_(i→j)∈P～。二进制向量[x_(i→j),…]对应于候选平面的选择，即RAP；将RAP提取问题作为通过使用二进制选择变量使值最小化，本案以一种以数据为本的方式来平衡这一场景，并选择一种可能的平面布局。S41、将RAP提取问题编码以三种形式的加权组合:λ∈[0,1],为了确保我们给每个点集Sj分配至少一个原始的候选对象Pi→j，需要例如，λ＝1，所有x_(j→j)＝1,j＝1,2,…,剩余的其他变量为0，只有最初局部的合适平面被选择。S42、计算总的数据拟合误差，作为个体数据拟合误差的总和，用Ed(Pi→j,Sj)来表示由Pi→j提取点集Sj的误差函数，因此Edata：＝∑j∑ixi→jEd(Pi→j,Sj)(2)即使是错误的平面选择也可以满足约束条件并且需要的数据量小。为了促使平面安排的规则性，在RAP中的每一对平面之间建立一个无向的不规则度量Irr，将Eirr表示为：Eirr：＝∑j,i,l,kxi→jxk→lIrr(Pi→j,Pk→l)(3)在这里我们重新设计了E_irr函数，很显然，应该单独调整的平面或物体的集群并不是事先知道的。所以引入第二层次的指标变量。对于每一个内部规则的坐标系，在优化中增加一个二元辅助变量xi∈[0,1]，因此不规则项可以表示为：Eirr＊：＝∑i,kxixkIrr(Pi→i,Pk→k)(4)最初的指示变量xi→j哪个平面作为帧被选择，因此xi＝maxjxi→j，本质上，在新的不规则测量Eirr中，选择一个新的框架的成本变得不那么依赖于解决方案中类似的面向对象的数量，如果在候选生成步骤中创建的任何候选平面都被选择了，那么相应的辅助变量应该被激活；我们用下面的约束来编码这个行为：如果任何候选平面{Pi→j}是通过初始化选择的平面{Pi→i}生成的，那么辅助节点xi表示帧i对不规则性的贡献；对每一个初始化方向的平面i，我们把最大条件编码为一个单一的二次方程约束的形式：因此，得到了最终的公式：λ∈[0,1]，受和等式(5)两个条件的限制，注意，最小化产生了RAP提取，即所选的一组平面及其相互关系。作为本专利技术的进一步改进，我们的主要贡献是全局框架的规则安排，以至于空间远处的物体能够影响近似的规则性，由于从过度分割开始，我们使用空间平滑项来使相邻斑块选择相同的平面方向。我们加强了不平滑的补偿处理能力：Espat：＝∑j,i,l,kxi→jxk→lneigh(sj,sl)Cspat(7)空间补偿Cspat＝(1-λ)/10，其与不规则权重相关。本专利技术的有益效果是：本专利技术可以在具有噪声和数据缺失等情况下依然具有较好的鲁棒性。附图说明图1是本专利技术一种基于RAP的三维场景重建方法具体实施方式的重建流程图。图2是本专利技术一种基于RAP的三维场景重建方法具体实施方式的算法概述图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明：参见图1-图2，一种基于RAP的三维场景重建方法，包括如下步骤：S1、平面检测S11、利用深度相机或手持扫描仪获取一组点云S；S12、通过简单的区域分割法划分点云S，将具有一致法线的点划分在一块；S13、使用本地PCA分析将S转换成一组定向的点集，从底部开始，将S完全划分成一组点云本文档来自技高网...

【技术保护点】
1.一种基于RAP方法的场景重建方法，其特征是：包括以下步骤：S1、平面检测；S2、候选平面的生成；S3、RAP选择。

【技术特征摘要】
1.一种基于RAP方法的场景重建方法，其特征是：包括以下步骤：S1、平面检测；S2、候选平面的生成；S3、RAP选择。2.根据权利要求1所述的基于RAP方法的场景重建方法，其特征是：S1、平面检测，包括如下步骤：S11、通过区域增长法分割点集S，目的是将具有一致法线的附近点划分在一块，使用本地PCA分析将S转换成一组定向的点集，从底部开始，将S完全划分成一组点云集{Si}；S12、如果点i的欧式距离ρ内的点j的方向与Si内点的方向相差小于T，则将其分为点Si；S13、重复S12，将搜索区域扩展到组中任何新点的欧式距离ρ内，在每次迭代中，计算本地平面Pi的最小二乘拟合，这样就得到了最初的候选原始平面P:＝{Pi}。3.根据权利要求1所述的基于RAP方法的场景重建方法，其特征是：S2、候选平面的生成，包括如下步骤：S21、在初始设置P中创建平面Pj，来拟合一个定向点集Sj，然而从全局的角度来看，Sj可能更好地被另一个平面所解释，这个平面来自将平面Pi旋转并将其平移到Sj获得的一个新平面；S22、将S31中获得的新平面表示成Pi→j，它可作为初始Pj＝Pj→j的替代选择，因此每个点集Sj现在与一组{P1→j，P2→j……}相关联；这里的Pj＝Pj→j，可根据Sj中的点重新定位其它Pi→j的有限范围；S23、可能的平面间关系的数量进一步增加了每个Pi可以旋转到Sj上的方式的数量，但在此选择最合适的一个，最终生成候选集4.根据权利要求1所述的基于RAP方法的场景重建方法，其特征是：S3、RAP选择，包括如下步骤：S41、将RAP提取问题编码以三种形式的加权组合:λ∈[0,1],为了确保我们给每个点集Sj分配至少一个原始的候选对象Pi→j，需要S42、计算总的数据拟合误差，作为个...

【专利技术属性】
技术研发人员：王国强，陈学伟，张斌，骞志彦，
申请(专利权)人：视缘上海智能科技有限公司，
类型：发明
国别省市：上海,31