一种基于SFM的点云孔洞修补方法技术

本发明专利技术公开了一种基于SFM的点云孔洞修补方法，该方法实现步骤为：(1)利用光栅投影法和SFM方法分别获取点云数据后，再利用光栅投影法中获取的点云二维相位信息，提取三维点云孔洞的边界点；(2)对SFM获取的点云数据集和光栅投影法获取的点云数据集进行配准；(3)在SFM获取的数据集上提取光栅投影获取点云中孔洞区域的补充点；(4)基于补充点，利用径向基函数实现进一步孔洞修补。本发明专利技术算法鲁棒，修补效果精确度高，并且能够更多地恢复物体的细节信息。

A point cloud hole repair method based on SFM

The invention discloses a method for repairing the holes of SFM point cloud based on the method comprises the following steps: (1) to obtain the point cloud data by using grating projection method and SFM method, and then use the point cloud information acquisition of two-dimensional phase grating projection method in the extraction of 3D point cloud hole boundary points (2;) point cloud data acquisition for SFM point cloud data sets and grating projection sets were registered; (3) adding point in the SFM data set to obtain point cloud hole extraction grating projection area; (4) based on the supplement, using radial basis function to achieve a hole repairing. The invention has robust algorithm, high precision of repair effect and can restore more details of the object.

【技术实现步骤摘要】
一种基于SFM的点云孔洞修补方法
：本专利技术涉及一种基于SFM的点云孔洞修补方法，属于点云后处理

技术介绍
：在三维测量的过程中，由于物体的形状复杂或者测量方式本身的缺陷，三维点云数据常常存在孔洞。光栅投影测量法具有速度快，自动化程度高等特点，但是由于测量时需要投射辅助光，所得点云数据会由于物体本身的遮挡和被测物体表面的反射率等原因而产生孔洞区域。孔洞的存在严重影响点云后续的操作。因此，孔洞的修补工作不可缺少。孔洞修补的难点在于：1.如何准确的提取孔洞边界；2.如何在孔洞区域获取更多的信息以使修补的点更加贴合原始形状。孔洞边界的提取是孔洞修补的第一个工作，它的准确性直接影响孔洞修补的结果。现有的点云孔洞边界点提取方法主要在三维的基础上进行，主要分为基于点云网格的提取方法和直接在点云上提取边界点的方法。前者计算复杂，易将采样不够均匀的点云的内部点也当做边界点；后者通常需要计算点和邻域点的关系，且易受噪声的影响。通过实际测量可以发现点云边界点在二维相位图中特征明显，而利用二维相位来提取孔洞边界免去了在三维方法中需要建立网格或者计算邻域信息，显著提高了边界点提取的效率。因此本文利用点云二维相位信息来提取提取孔洞边界。现有的孔洞修补算法大致分为两类:一类是直接利用点云孔洞周边的邻域信息，连续性或者曲率来进行孔洞修补，例如利用样条曲线，神经网络等方法进行插值，从而修补孔洞。该类算法简单易行，不需要任何地补充信息。但是对于曲率变化较大或者形状较为复杂的点云孔洞，由于信息缺失过多，修补效果并不理想。另一类主要通过获取附加信息再结合点云孔洞周边的结构进行修补。比如YannQuinsat等提出了使用先验CAD模型和孔洞区域邻域的连续性作为约束条件进行孔洞修补。MPanchetti等提出了利用对应图片的二维信息和点云网格之间的曲率信息来修补孔洞。这类方法对于复杂的孔洞区域修补效果良好，但是不论是先验CAD的模型的建立，还是二维像素与三维点云之间的配准，都会导致算法整体复杂度较高。
技术实现思路
技术问题：针对孔洞修复过程中孔洞区域信息较少，复杂的孔洞修补效果不够理想的问题，结合三维重建中已经较成熟的融合SFM和激光扫描获取点云信息的技术，本专利技术提供了一种基于SFM的点云孔洞修补方法。本专利技术通过获取SFM的点云数据来补充孔洞部分的信息，指导孔洞修补，这些补充信息可以有效地帮助恢复点云孔洞的信息，提高孔洞修补结果的精确度，并且恢复更多的信息。又利用点云的二维相位信息提取点云的边界点，降低了边界点定位的复杂度。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于SFM的点云孔洞修补方法，包括以下步骤：步骤1：点云孔洞边界获取：利用在光栅投影中获取的点云二维相位信息来提取点云孔洞边界；首先提取出点云的边界点；然后去除点云的外边界点；步骤2：对两幅点云进行配准：首先利用基于共面四点集的RANSAC算法进行粗配准，然后利用改进的ICP算法进行精确配准；步骤3：提取补充点：在完成配准后，利用步骤1中得到的点云孔洞边界，提取出SFM法获取的点云Ps在光栅投影法获取的点云Pw中孔洞区域的补充点IP；步骤4：利用径向基函数填补点云孔洞区域：首先将孔洞边界点向二维平面投影获取点云边界特征多边形，接着利用边界特征多边形的特征进行插值，获得初始修补点集FP＝{fpi,i＝1,2,3,...n}，然后根据径向基函数调整初始修补点集从而获得最终修补点集；优选的：所述步骤1中利用二维相位信息来提取点云孔洞边界的步骤如下：步骤1.1：获取点云的二维边界点：二维相位图的大小为M*N，p[m][n]相为相位图上的某一点，设点云的边界点的集合为B，则当p[m][n]满足公式时，p[m][n]∈B；其中是相位跳变的阈值；步骤1.2：提取点云的外部边界点：在二维相位图像上，外部轮廓点的特征为B中每一行的初始和最终非零点；设外部轮廓线上的点的集合为S，当p[m][n]满足公式时，p[m][n]∈S；其中m＝1，2，...M，所以孔洞的边界点Hp＝{p[m][n]|p[m][n]∈B-S}；步骤1.3：计算点云孔洞边界点的三维坐标：已知点云数据的坐标[XcYcZc]与相位图上的对应点p[m][n]＝θ有如下对应关系，其中，θ为相位值；a1,a2,a3,a4,a5,a6,a7,a8为系统参量；ρ为比例因子；Ac为3*3摄像机内部参量矩阵；并且a1,a2,a3,a4,a5,a6,a7,a8Ac可以通过系统的标定获得；因此代入孔洞边界点的二维相位坐标，通过以上两个公式即可计算出对应的孔洞边界三维坐标点H＝{hi,i＝1,2,3...n}；优选的：所述步骤2中点云配准的步骤如下：步骤2.1：初始配准：在初始配准中，为了增加配准效率，首先在Pw和Ps中分别划分出对应的特征明显的区域；在Pw特征区域中，利用RANSAC方法随机选取任意不共线的四点，并在Ps中找到对应的点，计算得出相对应的变换矩阵M；经过r次迭代后，选取使得两片点云匹配误差最小的变换矩阵M。利用M，获取初始匹配结果；步骤2.2：精确配准：在精确配准中，首先对于Pw中的每一点p,在Ps中寻找到欧氏距离最近的四个点，并求出这四个点所构成的最小邻域的重心，构成点对；然后利用最小二乘法计算参数R,t；将最终结果应用于Ps中，得到配准后的点云集Ps'；优选的：所述步骤3中筛选补充点IP的方法为：对于所述步骤2中配准后的点云Ps'中的每一点，计算它是否在所述步骤1提取出的孔洞边界点H＝{hi，i＝1,2,3...n}包围盒中，若是则认为否则不是；增加了补充点的点云集合为NP＝{Pω∪IP}；优选的：所述步骤4中利用径向基函数填补孔洞区域的步骤为：步骤4.1：提取孔洞特征多边形：用最小二乘法将步骤1提取出来的点云孔洞点H＝{hi，i＝1,2,3...n}投影到二维平面获得投影矩阵PM，形成孔洞特征多边形；步骤4.2：获取粗修复点：获取孔洞特征多边形的边长，取边长的均值d作为步长在孔洞区域进行插值从而获得二维平面上的修补点；利用步骤4.2中获取的PM将插值点映射回三维平面，获取粗修复点FP＝{fpi,i＝1,2,3,...n}；步骤4.3：修补孔洞：首先对步骤3中添加了信息补充点的点云集合NP建立kd树，然后对FP中任意的一个点fpi选取k个邻域点，利用RBF函数建立空间曲面，最后根据梯度条件使得fpi向曲面调整以满足点云表面曲率要求；其中每一点fpi对应的空间曲面方程为F(x,y,z)＝p0+p1x+p2y+p3z+β其中β为误差项，且空间曲面方程的未知数ωj,p0,p1,p2,p3可以通过求解公式QA＝B获得；其中A＝[ω1ω2…ωnp0p1p2p3]TB＝[δ1δ2…δn0000]T，实验中δi为误差值，δ1＝δ2＝…＝δn＝0.1，N＝{Nix，Niy，Niz，i＝1,2…，6}，Dij＝|Ni-Nj|3/2i＝1,2,...，6,j＝1,2,...6，实验中δi为误差值，δ1＝δ2＝...＝δn＝0.1，N＝{Nix，Niy，Niz，i＝1,2...，6}，Dij＝|Ni-Nj|3/2i＝1,2,…，6,j＝1,2,...6。有益效果：本专利技术提供的一种基于SFM的孔洞修补算法，相比现有技术，具有以本文档来自技高网...

【技术保护点】
一种基于SFM的点云孔洞修补方法，其特征在于包括以下步骤：步骤1：点云孔洞边界获取：利用在光栅投影中获取的点云二维相位信息来提取点云孔洞边界。首先提取出点云的内外边界点；第二步去除点云的外边界点；步骤2：对两幅点云进行配准：首先利用基于共面四点集的RANSAC算法进行粗配准，然后利用改进的ICP算法进行精确配准；步骤3：提取补充点：在完成配准后，利用步骤1中得到的点云孔洞边界，提取出SFM法获取的点云Ps在光栅投影法获取的点云Pw中孔洞区域的补充点IP；步骤4：利用径向基函数填补点云孔洞区域：首先将孔洞边界点向二维平面投影获取点云边界特征多边形，然后利用边界特征多边形的特征进行插值，获得初始修补点集FP＝{fpi,i＝1,2,3,...n}，然后根据径向基函数调整初始修补点集从而获得最终修补点集。

【技术特征摘要】
1.一种基于SFM的点云孔洞修补方法，其特征在于包括以下步骤：步骤1：点云孔洞边界获取：利用在光栅投影中获取的点云二维相位信息来提取点云孔洞边界。首先提取出点云的内外边界点；第二步去除点云的外边界点；步骤2：对两幅点云进行配准：首先利用基于共面四点集的RANSAC算法进行粗配准，然后利用改进的ICP算法进行精确配准；步骤3：提取补充点：在完成配准后，利用步骤1中得到的点云孔洞边界，提取出SFM法获取的点云Ps在光栅投影法获取的点云Pw中孔洞区域的补充点IP；步骤4：利用径向基函数填补点云孔洞区域：首先将孔洞边界点向二维平面投影获取点云边界特征多边形，然后利用边界特征多边形的特征进行插值，获得初始修补点集FP＝{fpi,i＝1,2,3,...n}，然后根据径向基函数调整初始修补点集从而获得最终修补点集。2.根据权利要求1所述的基于SFM的点云孔洞修补方法，其特征在于步骤1中，利用二维相位信息来提取点云孔洞边界的步骤如下：步骤1.1：获取点云的二维边界点：二维相位图的大小为M*N，p[m][n]为相位图上的某一点，设点云的边界点的集合为B，则当p[m][n]满足公式时，p[m][n]∈B，其中是相位跳变的阈值；步骤1.2：提取点云的外部边界点：在二维相位图像上，外部轮廓点的特征为B中每一行的初始和最终非零点，设外部轮廓线上的点的集合为S，当p[m][n]满足公式时，p[m][n]∈S，其中m＝1，2，...M，所以孔洞的边界点Hp＝{p[m][n]|p[m][n]∈B-S}；步骤1.3：计算点云孔洞边界点的三维坐标：已知点云数据的坐标[XcYcZc]T与相位图上的对应点p[m][n]＝θ有如下对应关系，

【专利技术属性】
技术研发人员：盖绍彦，达飞鹏，曾露露，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32