一种基于深度学习的三维测量分割方法技术

本申请公开了一种基于深度学习的三维测量分割方法，使用深度模型自动分割识别工件点云，在深度学习网络模型上，为了将全局特征和局部特征融合学习，深度学习网络模型基于特征融合的思想，使用U

【技术实现步骤摘要】
一种基于深度学习的三维测量分割方法


[0001]本申请涉及三维测量这一领域，更具体地说，尤其涉及一种基于深度学习的三维测量分割方法。

技术介绍

[0002]在三维测量中，通常需要测量的参数包括物体或场景的三维坐标、尺寸、形状、曲率、倾斜度、表面质量等，这些参数可以通过不同的测量方法来获取。但使用卡尺、游标卡尺、螺旋测微计等设备的接触式机械测量需要很大的人工和时间成本；基于结构光的非接触式三维测量方法可以简单、快速且大批量的测量物体的三维坐标和表面形状等信息，非常适用于在位加工的测量。然而非接触式三维测量得到的点云除了我们所需要的工件点云外，定位夹具、底座平台等也会被扫描出来，因此，点云分割是三维点云测量时的重要预处理过程，点云分割的精确度影响着后续拼接、重建以及加工的精度。
[0003]点云分割是指将三维点云按照预设的标准进行分类和分割成多个子点集的过程。目前，常见的点云分割方法包括传统的基于几何形状和拓扑结构的方法和基于深度学习的方法。传统点云分割稳定性好，能够处理高密度点云数据，并且对于简单场景可达到较高的分割精度；但是需要调节很多参数，且对噪音敏感、对不同形状的点云难以适应、对点密度变化敏感、不能处理点云之间的复杂关系，需要的人工成本比较大。近年来深度学习技术的发展已经在一定程度上解决了这些问题。深度学习点云分割是将点云输入到深度学习网络中即可得到每个点的预测分类，它准确性高、处理速度快，适用于复杂场景、能够处理大规模数据，且大大减少了使用时的人工成本。然而，现有的网络模型大多依赖点云空间坐标关系选取感受域来学习点云特征，随着提取特征维度的增加，只考虑空间坐标关系并不能选取特征最为突出的感受域进行学习，并且在此基础上也只强调学习了感受域的局部特征。如何全面的学习点云特征，兼顾全局特征和局部特征，网络模型的设计仍有待提升。

技术实现思路

[0004]本申请的目的在于针对上述现有技术的不足，提出一种基于深度学习的三维测量分割算法。
[0005]本申请提出的基于深度学习的三维测量分割算法，使用深度模型自动分割识别工件点云，在深度学习网络模型上，为了将全局特征和局部特征融合学习，深度学习网络模型基于特征融合的思想，使用U
‑
Net网络结构，在采样层使用基于点云相似度的差异度下采样，旨在解决选取编码层每层特征最为突出的感受域来学习点云特征的问题；深度学习网络模型通过自注意力机制提取优化感受域局部特征，借鉴多层感知机混合器里的空间混合多层感知机建立感受域之间的全局联系提取感受域全局特征，在此基础上通过卷积网络进行局部特征和全局特征的特征融合学习，以提高工件点云自动识别分割的准确性。
[0006]本申请的技术方案为：
[0007]一种基于深度学习的三维测量分割方法,包括以下步骤:
[0008]步骤1,使用结构光扫描仪扫描工件场景点云，并利用输入嵌入层进行输入嵌入得到模型输入的原始点云；
[0009]步骤2,先使用采样层和分组层提取当前输入点云的感受域,再通过邻域自注意力层提取和优化感受域的局部特征,然后通过空间混合多层感知机提取感受域全局特征,最后通过2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征；
[0010]步骤3,将上一层编码层特征作为输入，再次重复步骤2的编码操作两次得到整个点云的编码特征；
[0011]步骤4,先将整个点云的编码特征通过邻域自注意力层优化，拼接到对应层的编码特征上,然后将拼接特征通过特征传播层解码得到一层解码层特征；
[0012]步骤5,将上一层解码层特征作为输入，再次重复步骤4的解码操作两次直到将解码层特征拼接到最初的原始点云进行解码，获得点云每个点的解码层特征；
[0013]步骤6,利用全连接网络得到点云中每个点的预测分类,实现分割任务。
[0014]进一步,所述步骤1具体包括:
[0015]步骤1.1,扫描得到的点云的集合为P＝(p0,p1,
…
,p
n
‑1)∈R3,每个点包含(x,y,z,n
x
,n
y
,n
z
,R,G,B)三维坐标、法向量信息和颜色信息；
[0016]步骤1.2,使用输入嵌入层对扫描点云进行输入嵌入使点云的特征维度扩充到32维，输入嵌入层为线性层和多头自注意力层。
[0017]进一步,所述步骤2具体包括:
[0018]步骤2.1,先使用采样层提取感受域中心点,然后使用分组层提取感受域中心点的近邻点构成感受域,采样层使用差异度下采样,分组层使用K均值聚类算法；
[0019]步骤2.2,使用邻域自注意力层提取和优化感受域的局部特征,通过自注意力机制建立感受域内近邻点之间的联系调整特征权重实现提取和优化感受域的局部特征；
[0020]步骤2.3,使用空间混合多层感知机提取感受域全局特征,通过线性变换建立所有感受域之间的联系，提取感受域全局特征；
[0021]步骤2.4,使用2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征。
[0022]进一步,所述步骤3具体包括:
[0023]步骤3.1,将通过输入嵌入的特征定义为原始点云特征；
[0024]步骤3.2,遵循U
‑
Net结构，编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1；感受域半径分别为0.2,0.4,1；近邻点数分别为32,64,128；提取的特征维度分别为128,256,1024；三层感受域分别定义为感受域1、感受域2和感受域3。得到的编码特征分别定义为编码特征1、编码特征2和编码特征3；
[0025]步骤3.2.1,搜索近邻点时,当感受域内的近邻点的个数不够时,则重复第一个点的坐标。
[0026]进一步,所述步骤4具体包括:
[0027]步骤4.1,利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接；
[0028]步骤4.2,利用特征传播层对拼接的点云特征进行解码传播到感受域2上，得到解码特征1。
[0029]进一步,所述步骤5具体包括:
[0030]步骤5.1,在第一层解码的基础上进行第二层解码；
[0031]步骤5.1.1,利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接；
[0032]步骤5.1.2,利用特征传播层对拼接的点云特征进行解码传播到感受域1上，得到解码特征2；
[0033]步骤5.2,在第二层解码的基础上进行第三层解码；
[0034]步骤5.2.1,利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接；
[0035]步骤5.2.2,利用特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的三维测量分割方法,其特征在于，包括以下步骤:步骤1,使用深度模型自动分割识别工件点云；步骤2,先使用采样层和分组层提取当前输入点云的感受域,再通过邻域自注意力层提取和优化感受域的局部特征,然后通过空间混合多层感知机提取感受域全局特征,最后通过2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征；步骤3,将上一层编码层特征作为输入，再次重复步骤2的编码操作两次得到整个点云的编码特征；步骤4,先将整个点云的编码特征通过邻域自注意力层优化，拼接到对应层的编码特征上,然后将拼接特征通过特征传播层解码得到一层解码层特征；步骤5,将上一层解码层特征作为输入，再次重复步骤4的解码操作两次直到将解码层特征拼接到最初的原始点云进行解码，获得点云每个点的解码层特征；步骤6,利用全连接网络得到点云中每个点的预测分类,实现分割任务。2.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于，所述步骤1包括:使用结构光扫描仪扫描工件场景点云，并利用输入嵌入层进行输入嵌入得到模型输入的原始点云；包括以下子步骤：步骤1.1,扫描得到的点云的集合为P＝(p0,p1,
…
,p
n
‑1)∈R3,每个点包含(x,y,z,n
x
,n
y
,n
z
,R,G,B)三维坐标、法向量信息和颜色信息；步骤1.2,使用输入嵌入层对扫描点云进行输入嵌入使点云的特征维度扩充到32维，输入嵌入层为线性层和多头自注意力层。3.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于，所述步骤2包括以下子步骤:步骤2.1,先使用采样层提取感受域中心点,然后使用分组层提取感受域中心点的近邻点构成感受域,采样层使用差异度下采样,分组层使用K均值聚类算法；步骤2.2,使用邻域自注意力层提取和优化感受域的局部特征,通过自注意力机制建立感受域内近邻点之间的联系调整特征权重实现提取和优化感受域的局部特征；步骤2.3,使用空间混合多层感知机提取感受域全局特征,通过线性变换建立所有感受域之间的联系，提取感受域全局特征；步骤2.4,使用2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征。4.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于，所述步骤3包括以下子步骤:步骤3.1,将通过输入嵌入的特征定义为原始点云特征；步骤3.2,遵循U
‑
Net结构，编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1；感受域半径分别为0.2,0.4,1；近邻点数分别为32,64,128；提取的特征维度分别为128,256,1024；三层感受域分别定义为感受域1、感受域2和感受域3；得到的编码特征分别定义为编码特征1、编码特征2和编码特征3；步骤3.2.1,搜索近邻点时,当感受域内的近邻点的个数不够时,则重复第一个点的坐标。5.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于，所述步
骤4包括以下子步骤：步骤4.1,利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接；步骤4.2,利用特征传播层对拼接的点云特征进行解码传播到感受域2上，得到解码特征1。6.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于，所述步骤5具体包括以下子步骤:步骤5.1,在第一层解码的基础上进行第二层解码；步骤5.1.1,利用K均值聚类算法搜索感受域1最近的3个...

【专利技术属性】
技术研发人员：张雷，田宇，卢磊，樊成，梁福生，
申请(专利权)人：苏州大学，
类型：发明
国别省市：