三维点云配准方法、装置、系统和存储介质制造方法及图纸

本发明专利技术提供了一种三维点云配准方法、装置、系统和存储介质，发明专利技术提供的点云配准方法，通过将在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，并根据在后纹理图的纹理点云映射关系在在后纹理图的点云中选择与去重后的纹理图的点云作为在后纹理图的残缺点云，以减少点云配准过程中，参与点云配准计算的点的个数，有效降低了点云配准过程中的计算量。同时在处理多个点云数据的配准的过程中，通过将每一次配准后的点云映射至下一在后纹理图对应的残缺点云中，直至所有的纹理图都处理完成，以得到被测物体的点云，与将在后点云数据均映射到第一点云中的方式相比，有效降低了计算量，且计算精度更高。且计算精度更高。且计算精度更高。

【技术实现步骤摘要】
三维点云配准方法、装置、系统和存储介质


[0001]本专利技术涉及三维建模领域，具体的一种三维点云配准方法、装置、系统和存储介质。

技术介绍

[0002]目前室内场景点云配准方法多数是基于传统的配准算法，比如ICP(最近点迭代法)、NTD(正态分布算法)、SAC(采样一致性算法)以及FPFH(快速点特征直方图)等，传统的点云配准算法都是基于获得的三维点云数据上进行处理，因此对于点云获取有较高的要求，当得到的点云内部包含较多的噪声点时配准情况经常会出错。
[0003]同时，对于拼接后点云冗余点的去除，传统算法是采用点云滤波的算法进行去除，当参与拼接的点云越来越多时，所需要进行的滤波操作也会不断增多，对于非重复部分点云的滤波操作，无疑会加大算法耗时，同时加大对内存的消耗。

技术实现思路

[0004]基于上述现状，本专利技术的主要目的在于提供一种三维点云配准方法、装置、系统和存储介质以提高配准效率。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种三维点云配准方法，包括步骤：
[0007]S100，获取被测物体多张纹理图和对应的深度图，其中每两张相邻纹理图上具有重复部分；
[0008]S200，将每一张纹理图及其对应的深度图进行处理，以得到每一张纹理图的点云，同时建立起每一张纹理图的二维坐标与对应点云的三维坐标之间的纹理点云映射关系；
[0009]S300，建立配准映射关系，所述配准映射关系以两张相邻纹理图中在后纹理图的点云的三维坐标系为基础，将在先纹理图的点云映射至在后纹理图的点云时形成的映射关系；
[0010]S400，将两张相邻纹理图中的在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，并根据在后纹理图的纹理点云映射关系在在后纹理图的点云中选择与去重后的纹理图的点云生成在后纹理图的残缺点云；
[0011]S500，根据所述配准映射关系将在先纹理图的点云映射至在后纹理图的残缺点云，以得到配准后的点云，并将每一次配准后的点云映射至下一在后纹理图对应的残缺点云，直至所有的纹理图都处理完成，以得到所述被测物体的点云。
[0012]优选地，所述纹理点云映射关系通过如下步骤建立：
[0013]将每一张深度图中每一像素的坐标与深度相机的内参矩阵进行乘法运算，得到每一像素在深度相机坐标系中的三维坐标，其中所述深度相机的坐标系设定为世界坐标系；
[0014]将所述深度相机和纹理相机进行标定，建立深度纹理三维变换矩阵；
[0015]将每一像素在深度相机坐标系中的三维坐标与所述深度纹理三维变换矩阵进行
乘法运算，得到每一像素在纹理相机坐标系的三维坐标；
[0016]将所述每一像素在纹理相机坐标系的三维坐标与所述纹理相机的内参矩阵进行乘法运算，得到纹理图中每一像素的二维坐标；
[0017]将纹理图中每一像素的二维坐标与每一像素在深度相机坐标系中的三维坐标建立关联，从而建立起所述纹理点云映射关系。
[0018]优选地，将建立关联的纹理图中每一像素的二维坐标与每一像素在深度相机坐标系中的三维坐标对应存储在查找表中，其中，根据纹理点云映射关系生成残缺点云的步骤包括：将去重后的纹理图中的每一个坐标到所述查找表中查询，得到对应的每一像素在深度相机坐标系中的三维坐标，所述每一像素在深度相机坐标系中的三维坐标即为所述在后纹理图的残缺点云的三维坐标。
[0019]优选地，所述配准映射关系通过如下方式获得：
[0020]分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对，其中，所述在先纹理图中的特征点为第一特征点，所述在后纹理图中的特征点为第二特征点；
[0021]通过在先纹理图对应的查找表，查找所述第一特征点对应的在先点云的三维坐标，通过在后纹理图对应的查找表，查找所述第二特征点对应的在后点云的三维坐标；
[0022]根据所述在先点云的三维坐标和所述在后点云的三维坐标，以在后纹理图的点云的三维坐标系为基础，建立所述配准映射关系。
[0023]优选地，所述将两张相邻纹理图中的在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，包括如下步骤：
[0024]分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对；
[0025]找出至少四个所述二维特征点对，并根据其计算所述在后纹理图变换至所述在先纹理图的第一变换矩阵，以及所述在先纹理图变换至所述在后纹理图的第二变换矩阵；
[0026]在所述在后纹理图的二维坐标系中，生成与所述在后纹理图每一像素的二维坐标一致的第一模板图像，所述第一模板图像中每一像素的像素值均设为1；
[0027]将所述第一模板图像中每一像素的坐标和像素值与所述第一变换矩阵进行乘法运算，得到第一模板图像一次映射至在先纹理图坐标系中每一像素的坐标和像素值；
[0028]将一次映射后的每一像素的坐标和像素值与所述第二变换矩阵进行乘法运算，得到二次映射后的每一像素的坐标和像素值；
[0029]将所述二次映射后的每一像素的坐标的像素值与所述在后纹理图中坐标相同的像素点的像素值相乘，其中所得到的计算结果中像素值为0的坐标为相邻纹理图的非重复部分，不为0的为相邻纹理图的重复部分；及
[0030]将所述在后纹理图与所述计算出的重复部分进行减法运算，得到去重后的纹理图。
[0031]优选地，利用SuperGlue神经网络模型分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对。
[0032]优选地，所述在后纹理图和所述在先纹理图之间重复部分的比例小于预设值。
[0033]一种三维点云配准装置，包括：
[0034]图片获取模块，获取被测物体多张纹理图和对应的深度图，其中每两张相邻纹理图上具有重复部分；
[0035]纹理点云映射关系建立模块，将每一张纹理图及其对应的深度图进行处理，以得到每一张纹理图的点云，同时建立起每一张纹理图的二维坐标与对应点云的三维坐标之间的纹理点云映射关系；
[0036]配准映射关系建立模块，建立配准映射关系，所述配准映射关系以两张相邻纹理图中在后纹理图的点云的三维坐标系为基础，将在先纹理图的点云映射至在后纹理图的点云时形成的映射关系；
[0037]残缺点云生成模块，将两张相邻纹理图中的在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，并根据在后纹理图的纹理点云映射关系在在后纹理图的点云中选择与去重后的纹理图的点云生成在后纹理图的残缺点云；
[0038]配准模块，根据所述配准映射关系将在先纹理图的点云映射至在后纹理图的残缺点云，以得到配准后的点云，并将每一次配准后的点云映射至下一在后纹理图对应的残缺点云，直至所有的纹理图都处理完成，以得到所述被测物体的点云。
[0039]优选地，所述纹理点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维点云配准方法，其特征在于，包括步骤：S100，获取被测物体多张纹理图和对应的深度图，其中每两张相邻纹理图上具有重复部分；S200，将每一张纹理图及其对应的深度图进行处理，以得到每一张纹理图的点云，同时建立起每一张纹理图的二维坐标与对应点云的三维坐标之间的纹理点云映射关系；S300，建立配准映射关系，所述配准映射关系以两张相邻纹理图中在后纹理图的点云的三维坐标系为基础，将在先纹理图的点云映射至在后纹理图的点云时形成的映射关系；S400，将两张相邻纹理图中的在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，并根据在后纹理图的纹理点云映射关系在在后纹理图的点云中选择与去重后的纹理图的点云生成在后纹理图的残缺点云；S500，根据所述配准映射关系将在先纹理图的点云映射至在后纹理图的残缺点云，以得到配准后的点云，并将每一次配准后的点云映射至下一在后纹理图对应的残缺点云，直至所有的纹理图都处理完成，以得到所述被测物体的点云。2.根据权利要求1所述的方法，其特征在于，所述纹理点云映射关系通过如下步骤建立：将每一张深度图中每一像素的坐标与深度相机的内参矩阵进行乘法运算，得到每一像素在深度相机坐标系中的三维坐标，其中所述深度相机的坐标系设定为世界坐标系；将所述深度相机和纹理相机进行标定，建立深度纹理三维变换矩阵；将每一像素在深度相机坐标系中的三维坐标与所述深度纹理三维变换矩阵进行乘法运算，得到每一像素在纹理相机坐标系的三维坐标；将所述每一像素在纹理相机坐标系的三维坐标与所述纹理相机的内参矩阵进行乘法运算，得到纹理图中每一像素的二维坐标；将纹理图中每一像素的二维坐标与每一像素在深度相机坐标系中的三维坐标建立关联，从而建立起所述纹理点云映射关系。3.根据权利要求2所述的方法，其特征在于，将建立关联的纹理图中每一像素的二维坐标与每一像素在深度相机坐标系中的三维坐标对应存储在查找表中，其中，根据纹理点云映射关系生成残缺点云的步骤包括：将去重后的纹理图中的每一个坐标到所述查找表中查询，得到对应的每一像素在深度相机坐标系中的三维坐标，所述每一像素在深度相机坐标系中的三维坐标即为所述在后纹理图的残缺点云的三维坐标。4.根据权利要求3所述的方法，其特征在于，所述配准映射关系通过如下方式获得：分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对，其中，所述在先纹理图中的特征点为第一特征点，所述在后纹理图中的特征点为第二特征点；通过在先纹理图对应的查找表，查找所述第一特征点对应的在先点云的三维坐标，通过在后纹理图对应的查找表，查找所述第二特征点对应的在后点云的三维坐标；根据所述在先点云的三维坐标和所述在后点云的三维坐标，以在后纹理图的点云的三维坐标系为基础，建立所述配准映射关系。5.根据权利要求2所述的方法，其特征在于，所述将两张相邻纹理图中的在后纹理图与在先纹理图的重复部分去除，以得到去重后的纹理图，包括如下步骤：
分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对；找出至少四个所述二维特征点对，并根据其计算所述在后纹理图变换至所述在先纹理图的第一变换矩阵，以及所述在先纹理图变换至所述在后纹理图的第二变换矩阵；在所述在后纹理图的二维坐标系中，生成与所述在后纹理图每一像素的二维坐标一致的第一模板图像，所述第一模板图像中每一像素的像素值均设为1；将所述第一模板图像中每一像素的坐标和像素值与所述第一变换矩阵进行乘法运算，得到第一模板图像一次映射至在先纹理图坐标系中每一像素的坐标和像素值；将一次映射后的每一像素的坐标和像素值与所述第二变换矩阵进行乘法运算，得到二次映射后的每一像素的坐标和像素值；将所述二次映射后的每一像素的坐标的像素值与所述在后纹理图中坐标相同的像素点的像素值相乘，其中所得到的计算结果中像素值为0的坐标为相邻纹理图的非重复部分，不为0的为相邻纹理图的重复部分；及将所述在后纹理图与所述计算出的重复部分进行减法运算，得到去重后的纹理图。6.根据权利要求4所述的方法，其特征在于，利用SuperGlue神经网络模型分别在所述在先纹理图和所述在后纹理图中提取多个特征点并进行两两配对，得到多个配对成功的二维特征点对。7.根据权利要求1所述的方法，其特征在于，所述在后纹理图和所述在先纹理图之间重复部分的比例小于预设值。8.一种三维点云配准装置，其特征在于，包括：图片获取模块，获取被测物体多张纹理图和对应的深度图，其中每两张相邻纹理图上具有重复部分；纹理点云映射关系建立模块，将每一张纹理图及其对应的深度图进行处理，以得到每一张纹理图...

【专利技术属性】
技术研发人员：汤其剑，蔡银河，张曼英，彭翔，刘晓利，何文奇，朱青，
申请(专利权)人：深圳市安华光电技术有限公司，
类型：发明
国别省市：