一种基于多模态特征的规则三维彩色点云配准方法技术

本发明专利技术涉及三维点云数据处理与三维场景重建技术领域，一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：(1)获取三维彩色点云数据，(2)提取图像数据，(3)图像特征点提取，(4)图像特征点匹配，(5)提取点云数据，(6)点云特征点提取，(7)点云特征点匹配，(8)三维彩色点云粗配准，(9)三维彩色点云精配准。本发明专利技术具有以下优点：一是，本发明专利技术利用点云和图像两种模态信息，提取多模态特征，构建多模态匹配点对，充分发挥了三维彩色点云的多模态优势；二是，本发明专利技术首先利用多模态匹配点对进行粗配准，给出较为准确的匹配初值，并将其应用到精配准中，既减少了配准时间，又提高了配准精度。

A Regular Three-dimensional Color Point Cloud Registration Method Based on Multi-modal Features

The invention relates to the technical field of three-dimensional point cloud data processing and three-dimensional scene reconstruction. A regular three-dimensional color point cloud registration method based on multi-modal features includes the following steps: (1) acquiring three-dimensional color point cloud data, (2) extracting image data, (3) extracting image feature points, (4) matching image feature points, (5) extracting point cloud data, (6) extracting point cloud feature points, (7) extracting point cloud feature points. Matching, (8) coarse registration of three-dimensional color point clouds, (9) precise registration of three-dimensional color point clouds. The invention has the following advantages: firstly, the invention utilizes point cloud and image two modal information to extract multi-modal features and construct multi-modal matching point pairs, thus giving full play to the multi-modal advantages of three-dimensional color point clouds; secondly, the invention first uses multi-modal matching point pairs for rough registration, gives relatively accurate initial matching values, and applies them to precise registration, which reduces the number of matching points. The registration time also improves the registration accuracy.

【技术实现步骤摘要】
一种基于多模态特征的规则三维彩色点云配准方法
本专利技术涉及一种基于多模态特征的规则三维彩色点云配准方法，属于三维点云数据处理与三维场景重建

技术介绍
随着信息科学技术的发展，计算机视觉、虚拟现实、3D打印、模式识别等领域在飞速进步，三维彩色点云得到了越来越广泛地应用。三维彩色点云数据是由点云数据和图像数据两种模态信息融合而成，其中，点云数据通过激光扫描仪得到，记录了物体的几何位置信息，图像数据通过彩色相机得到，记录了物体的颜色纹理信息。因此，三维彩色点云数据是三维点云数据的进一步发展，能更立体形象地描述现实世界。其中，规则三维彩色点云数据是一种规则分布的三维彩色点云数据，其按照矩形网格分布排列。在使用三维彩色激光扫描测距系统对实际场景进行扫描测量时，由于视野限制和物体遮挡等原因，通常不能在同一个视角下一次性扫描得到实际场景的全部三维彩色点云数据。因此，需要让三维彩色激光扫描测距系统在不同视角下对被测场景进行扫描，然后将多个视角下扫描得到的三维彩色点云数据变换到同一个坐标系下，获得实际场景的完整三维彩色点云数据，这个过程就是三维彩色点云数据的配准。目前较为常用的点云配准算法是迭代最近点算法(ICP算法)，其原理是迭代地对待配准点云集的对应点对进行选择，每次迭代时，对于一个点云集中的每个点都需要在另一个点云集中搜索离它距离最近的点，组成对应点对，并计算可以使对应点对之间的距离之和最小的旋转平移矩阵，最后利用旋转平移矩阵对待配准点云进行坐标变换，以实现点云配准。但这种算法仍存在一些不足：1)需要提供一个较好的配准初值；2)在搜索对应点对时，由于点云数据量较大，搜索耗时较长；3)迭代结果可能会陷入局部收敛的情况。
技术实现思路
为了解决现有技术中存在的不足，本专利技术目的是提供一种基于多模态特征的规则三维彩色点云配准方法，充分利用图像颜色信息和点云形状信息。该方法针对实际场景，首先利用三维彩色激光扫描测距系统，在两个不同的位置分别对同一场景进行扫描，得到两个规则的三维彩色点云数据，然后分别从中提取图像数据和点云数据，利用SIFT特征构建图像匹配点对，利用曲率极值构建点云匹配点对，并用其求取两个三维彩色点云之间的旋转矩阵和平移向量，最后将之应用到三维彩色点云配准中。该方法充分利用了三维彩色点云的多模态信息——图像信息和点云信息，计算了三维彩色点云的多模态特征——图像特征和点云特征，提供了一个准确的配准初值，减少了ICP算法的匹配次数，提高了配准精度和配准速度，较好地解决了传统配准方法初值设置难、配准效率低的问题，充分发挥了三维彩色点云的多模态优势。为了实现上述专利技术目的，解决现有技术中所存在的问题，本专利技术采取的技术方案是：一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{pij＝(xij,yij,zij,rij,gij,bij)|1≤i≤n,1≤j≤m}和其中，pij为规则三维彩色点云数据P中的彩色点，(xi,yi,zi)为彩色点pij的坐标，(rij,gij,bij)为彩色点pij的颜色，n为规则三维彩色点云数据P的行数，m为规则三维彩色点云数据P的列数，为规则三维彩色点云数据中的彩色点，为彩色点的坐标，为彩色点的颜色，为规则三维彩色点云数据的行数，为规则三维彩色点云数据的列数，i为规则三维彩色点云数据的扫描行号，j为规则三维彩色点云数据的扫描列号，规则三维彩色点云数据由点云数据和图像数据两种模态融合而成，并按照矩形网格分布规则化排列；步骤2、提取图像数据，根据规则三维彩色点云数据的组织形式，分别从规则三维彩色点云数据P和中提取图像数据C＝{cij＝(rij,gij,bij)|1≤i≤n,1≤j≤m}和步骤3、图像特征点提取，在图像模态中，利用SIFT算法分别提取图像C和中的特征点，并构建其的特征向量；步骤4、图像特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配图像C和的特征点，构建两幅图像的匹配点对；步骤5、提取点云数据，分别从规则三维彩色点云数据P和中提取点云数据S＝{sij＝(xij,yij,zij)|1≤i≤n,1≤j≤m}和步骤6、点云特征点提取，按照扫描行号将点云S分解为n条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的横向特征点，按照扫描列号将点云S分解为m条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的纵向特征点，点云S的横向特征点和纵向特征点构成了点云S的特征点；按照扫描行号将点云分解为条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云的横向特征点，按照扫描列号将点云分解为条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云的纵向特征点，点云的横向特征点和纵向特征点构成了点云的特征点，具体包括以下子步骤：(a)、按照扫描行号i，将点云S分解为n条横向线点云S＝{Si|1≤i≤n}，其中，Si＝{sij＝(xij,yij,zij)|1≤j≤m}为第i条横向线点云；(b)、利用累积弦长参数化方法，计算横向线点云Si中每一个离散点sij的累计弦长参数tij，按照公式(1)进行描述，离散点sij＝(xij,yij,zij)与参数值tij之间一一对应，用离散矢量函数表示为sij＝s(tij)＝(xij＝x(tij),yij＝y(tij),zij＝z(tij))，tij∈{ti1,ti2,..,tim}；(c)、根据连续函数导数的定义，分别估算离散函数xij＝x(tij)、yij＝y(tij)和zij＝z(tij)在tij处的导数，按照公式(2)、公式(3)和公式(4)进行描述，其中，m1为计算半径，则离散矢量函数sij＝s(tij)在tij处的导数为，s′ij＝s′(tij)＝(x′ij＝x′(tij),y′ij＝y′(tij),z′ij＝z′(tij))(5)(d)、结合连续曲线切向量计算公式，利用离散导数，估算横向线点云Si中离散点sij在tij处的单位切向量为，令则可得(e)、结合连续曲线曲率计算公式，利用离散导数，估算横向线点云Si中离散点sij在tij处的曲率为，其中，可利用与公式(2)、公式(3)和公式(4)相同的方法求出；(f)、利用步骤6子步骤(b)～(e)，求取所有横向线点云中离散点的曲率，沿着横向线点云提取局部曲率极值点，作为点云S的横向特征点；(g)、按照扫描列号j，将点云S分解为m条纵向线点云，利用与步骤6子步骤(b)～(f)相同的方法，获取点云S的纵向特征点；(h)、点云S的横向特征点和纵向特征点就构成了点云S的特征点；(i)、利用与步骤6子步骤(a)～(h)相同的方法，获取点云的特征点；步骤7、点云特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配点云S和的特征点，构建两个点云的匹配点对；步骤8、三维彩色点云粗配准，根据扫描行号和扫描列号，将图像匹配点对和点云匹配点对映射回三维彩色点云空间，合并形成三维彩色点云匹配点对，利用三维彩色点云匹配点对的坐标信息，求取规则三维彩色点云P本文档来自技高网...

【技术保护点】
1.一种基于多模态特征的规则三维彩色点云配准方法，其特征在于包括以下步骤：步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{pij＝(xij,yij,zij,rij,gij,bij)|1≤i≤n,1≤j≤m}和

【技术特征摘要】
1.一种基于多模态特征的规则三维彩色点云配准方法，其特征在于包括以下步骤：步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{pij＝(xij,yij,zij,rij,gij,bij)|1≤i≤n,1≤j≤m}和其中，pij为规则三维彩色点云数据P中的彩色点，(xi,yi,zi)为彩色点pij的坐标，(rij,gij,bij)为彩色点pij的颜色，n为规则三维彩色点云数据P的行数，m为规则三维彩色点云数据P的列数，为规则三维彩色点云数据中的彩色点，为彩色点的坐标，为彩色点的颜色，为规则三维彩色点云数据的行数，为规则三维彩色点云数据的列数，i为规则三维彩色点云数据的扫描行号，j为规则三维彩色点云数据的扫描列号，规则三维彩色点云数据由点云数据和图像数据两种模态融合而成，并按照矩形网格分布规则化排列；步骤2、提取图像数据，根据规则三维彩色点云数据的组织形式，分别从规则三维彩色点云数据P和中提取图像数据C＝{cij＝(rij,gij,bij)|1≤i≤n,1≤j≤m}和步骤3、图像特征点提取，在图像模态中，利用SIFT算法分别提取图像C和中的特征点，并构建其的特征向量；步骤4、图像特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配图像C和的特征点，构建两幅图像的匹配点对；步骤5、提取点云数据，分别从规则三维彩色点云数据P和中提取点云数据S＝{sij＝(xij,yij,zij)|1≤i≤n,1≤j≤m}和步骤6、点云特征点提取，按照扫描行号将点云S分解为n条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的横向特征点，按照扫描列号将点云S分解为m条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的纵向特征点，点云S的横向特征点和纵向特征点构成了点云S的特征点；按照扫描行号将点云分解为条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云的横向特征点，按照扫描列号将点云分解为条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云的纵向特征点，点云的横向特征点和纵向特征点构成了点云的特征点，具体包括以下子步骤：(a)、按照扫描行号i，将点云S分解为n条横向线点云S＝{Si|1≤i≤n}，其中，Si＝{sij＝(xij,yij,zij)|1≤j...

【专利技术属性】
技术研发人员：安毅，王玮，王磊，马蕊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21