一种基于自适应选择邻域的点云分类和分割方法及系统技术方案

本发明专利技术涉及一种基于自适应选择邻域的点云分类和分割方法及系统，其方法包括：S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；S2：将中心点和邻居点经过两个局部特征学习模块，得到中心点的第一层和第二层局部特征；S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与其他点进行全局信息交互，输出中心点全局特征；S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果。本发明专利技术提供的方法选取出最合适的邻域点，丢弃冗余的邻域点，降低算法复杂度。法复杂度。法复杂度。

【技术实现步骤摘要】
一种基于自适应选择邻域的点云分类和分割方法及系统


[0001]本专利技术涉及人工智能与点云分类分割
，具体涉及一种基于自适应选择邻域的点云分类和分割方法及系统。

技术介绍

[0002]近年来随着自动驾驶技术和机器人领域的不断发展，3D点云受到越来越多的关注。点云是无序点的集合，点云中的点主要由三维坐标表示，有时也会包括颜色信息和强度信息。点云相较于2D图像的优势在于提供了丰富的三维空间结构信息，对于自动驾驶等技术的发展很重要，因此对于3D点云的研究是十分必要的。目前点云在3D物体识别、分割、目标检测等领域进行了大量的研究，但由于点云自身的无序性和数据结构不规则，使得点云的分类和分割等任务面临着很大的挑战。
[0003]当前对于点云的处理主要有三种方法：三维体素法、多视图法、基于点的深度学习的方法。三维体素法将点云转换为三维体素网格，然后使用三维卷积神经网络进行处理，但是这种数据格式的转换会造成大量的冗余数据，要求很高的分辨率，使得计算量大大增加，同时，如果追求计算效率，采用低分辨率的体素网格，局部结构信息又会丢失。多视图法将点云转换成多个视角的二维图片，然后使用二维卷积神经网络处理，这种方法是以二维图像的形式来处理点云，这不可避免地会丢失三维结构信息，同时对于点云的分割任务，这种很难取得理想的效果。基于点的深度学习的方法相较于前两种方法的优势很明显，这种方法直接以点云作为输入，不经过预处理，计算量相对较小，因此成为当前的主流方向。斯坦福大学提出的PointNet是这一方向的开创性工作，它直接以点云作为输入，使用共享的多层感知机(MLP)和对称的Max Pooling函数解决了点云的无序性和排列不变性。在点云的分类分割任务上取得了较为理想的效果。但PointNet只是独立地处理点云中的各个点，点与点之间的联系没有考虑，因此缺失了捕捉局部结构信息的能力。后续的PointNet++虽然能够提取出局部特征，但是在局部区域内使用了Max Pooling得到局部特征，并没有考虑局部区域内点间的交互。DGCNN通过考虑中心点和邻居点的联系，提出了边缘卷积的方法；RSCNN通过中心点和邻居点间的几何位置关系学习相应点的权值系数，更好地学习到点云的几何形状；PointWeb是通过考虑局部区域内任意两点间的相互影响去更好地改善局部特征；GAC通过结合点间坐标差信息和特征差信息为不同的邻居点赋予不同的权重系数；这些方法都是先使用K
‑
nearest neighbor(KNN)算法或球查询算法得到固定的邻域，然后专注于如何通过点间的关系来有效地提取局部特征，但是这些方法没有选取出最合适的邻域点并丢弃冗余的邻域点。因此，如何选取出最合适、最具代表性的邻域成为一个亟待解决的问题。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供一种基于自适应选择邻域的点云分类和分割方法及系统。
[0005]本专利技术技术解决方案为：一种基于自适应选择邻域的点云分类和分割方法，包括：
[0006]步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点；
[0007]步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征；
[0008]步骤S3：将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征；
[0009]步骤S4：将所述中心点第一层局部特征、中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。
[0010]本专利技术与现有技术相比，具有以下优点：
[0011]本专利技术提出一种自适应选择邻域的点云分类和分割方法，为中心点选出关系最相近，最具代表性的邻居点，并丢弃冗余点，以降低算法复杂度。本专利技术采用局部特征提取模块和全局信息交互模块相融合的方法，不仅能有效捕捉点的局部信息，也能在整个点云中捕捉到特性相近的点，增强了特征表示。本专利技术提出的方法提高了在点云分类和分割任务上的精度。
附图说明
[0012]图1为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割方法的流程图；
[0013]图2为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点的流程图；
[0014]图3A为本专利技术实施例中是经过KNN算法所得到邻域的示意图；
[0015]图3B为本专利技术实施例中是经过本专利技术方法经过自适应选择得到邻域的示意图；
[0016]图4为本专利技术实施例中的自适应选择邻域模块的结构示意图；
[0017]图5为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S2：将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征的流程图；
[0018]图6为本专利技术实施例中第一局部特征学习模块和第二局部特征学习模块的结构示意图；
[0019]图7为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征的流程图；
[0020]图8为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果的流程图；
[0021]图9A是本专利技术实施例中ground truth的示意图；
[0022]图9B是本专利技术实施例的模型预测的结果的示意图；
[0023]图9C是本专利技术实施例中误差图的示意图；
[0024]图10为本专利技术实施例中一种基于自适应选择邻域的点云分类和分割系统的结构框图。
具体实施方式
[0025]本专利技术提供了一种基于自适应选择邻域的点云分类和分割方法，选取出最合适的邻域点，丢弃冗余的邻域点，降低算法复杂度，并且有利于点的特征学习。
[0026]如图1所示，本专利技术实施例提供的一种基于自适应选择邻域的点云分类和分割方法，包括下述步骤：
[0027]步骤S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；
[0028]步骤S2：将中心点和邻居点经过两个局部特征学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应选择邻域的点云分类和分割方法，其特征在于，包括：步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点；步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征；步骤S3：将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征；步骤S4：将所述中心点第一层局部特征、中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。2.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点，具体包括：步骤S11：根据公式(1)获得所述中心点和邻居点特征：f
i
＝δ{bn{MLP(p
i
)}}，f
j
＝δ{bn{MLP(p
j
)}}f
i
，f
j
∈R
C
ꢀꢀꢀ
(1)其中，将点云中的每个点作为中心点i，其初始的邻居点j是通过K
‑
nearest neighbor(KNN)算法获得的，p
i
，p
j
分别是所述中心点和所述邻居点的原始三维坐标，所述中心点特征f
i
和所述邻居点特征f
j
由其原始三维坐标通过MLP转换所得，f
i
和f
j
是实数域R的长度为C的特征向量，MLP为多层感知机；δ是激活函数，bn是BatchNorm函数；步骤S12：根据公式(2)计算所述邻居点的权重：w
ij(a)
＝MLP{(p
j
‑
p
i
)，(f
j
‑
f
i
)}
ꢀꢀ
(2)其中，w
ij(a)
∈R
C
是邻居点j的权重向量；f
j
‑
f
i
是所述邻居点和所述中心点的特征差；{，}表示特征维度上进行拼接；步骤S13：将w
ij(a)
值从大到小排序，取前K个点作为所述中心点的自适应邻居点，该K个自适应邻居点作为所述中心点的最终邻居点输入到后续的网络中；步骤S14：根据公式(3)聚合所述邻居点特征，得到所述中心点的特征：f
iout
＝A(w
ij(a)
·
f
j
)，f
iout
∈R
C
ꢀꢀꢀ
(3)其中，.是向量对应元素相乘；A是聚合函数，用于将所述中心点的邻居点的特征聚合成中心点的特征，输出f
iout
是所有点云中所有点的特征，即i＝1，2，3...N，N是点云中点的数目。3.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征，具体包括：步骤S21：根据下述公式(4)，计算所述中心点和所述邻居点间的位置关系：
p
ij
＝(dist
3D
，p
j
‑
p
i
，p
i
，p
j
)
ꢀꢀꢀ
(4)其中，dist
3D
是两点间的几何距离；步骤S22：所述第一局部特征学习模块中权重系数以及所述邻居点加权特征的计算公式(5)～(6)如下所示；w
ij(c1)
＝MLP{(p
ij
)} (5)其中，所述第一层局部特征学习模块的输入特征f
1j
是所述自适应选择邻域模块中相应点的输出特征，即对点j，f
1j
＝f
jout
，j＝1，2，3，...N，为区分模块的层数，记特征维度数C＝c1；w
ij(c1)
∈R
c1
，f
1j
∈R
c1
为邻居点第一层特征；为邻居点第一层加权特征；步骤S23：利用聚合函数对进行聚合，得到中心点特征f
1i
′
，利用下述公式(7)计算中心点i第一层局部特征f
iout1
：f

【专利技术属性】
技术研发人员：凌强，周策，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：