一种基于远程-短程依赖图学习的点云分类与分割方法技术

本发明专利技术属于点云分析技术领域，具体涉及一种基于远程

【技术实现步骤摘要】
一种基于远程
‑
短程依赖图学习的点云分类与分割方法


[0001]本专利技术属于点云分析
，具体涉及一种基于远程
‑
短程依赖图学习的点云分类与分割方法。

技术介绍

[0002]最近，点云分析成为了3D视觉理解领域的热门话题，并受到了学术界与工业界的广泛关注。特别是在自动驾驶与机器人等实际应用中，点云数据由于其获取便利，不易受天气等环境因素影响的特点而备受关注。另一方面，深度神经网络已成功地应用于诸多计算机视觉与模式识别任务。因此，许多方法尝试推动深度学习在几何型数据的研究从而达到有效处理点云数据的目的。到目前为止，受益于深度神经网络的应用，许多点云分析任务都取得了重大进展，包括3D形状分类、部分分割、语义分割等。其中，一些成功的模型大体上可以分为基于逐点多层感知的方法(Point
‑
wise Multi
‑
layer Perceptron，MLP
‑
based)、基于卷积的方法(Convolution
‑
based)、基于图的方法(Graph
‑
based)以及基于Transformer的方法。此外，由于图神经网络了兴起，图卷积方法成为处理几何型数据的首先方法，如社交网络、交通网络等。因此，使用图神经网络处理不规则点云已被广泛应用于点云分析。最近的努力通过使用局部和全局图探索局部几何特征和上下文信息，在许多任务上显示出有前途的性能。例如，Wang Yue等人提出了动态图卷积神经网络(Dynamic Graph Convulutional Neural Network，DGCNN)，利用特征域上的K近邻算法将点云构建为图，从而采用图卷积的方式提取点云局部特征。Lei Huan等人将点云映射到单位球，随后在球上构建图结构以确保卷积核的平移不变性与各向异性。另一些学者引入注意力或自注意力机制来定义图上的卷积运算与池化操作。
[0003]尽管上述方法在点云分类和分割任务中取得了令人满意的性能，但它们主要依赖于复杂的局部特征提取，其主要关注点仍集中在卷积算子的构建上。大多数方法几乎没有认识到图结构的质量对未来的特征提取和分析任务有较大的影响。显然，良好的图结构可以使提取的特征更加准确。然而，先前的方法通常采用固定的K近邻或球查询算法来构建图结构。尽管这些技术很简单，但通常无法保证构建的图结构是最优的，因为KNN和球查询算法独立于网络学习过程。鉴于此，如何在点云上构建合适的图结构以最优地服务于后续任务成为了一个目前亟待解决的技术问题。

技术实现思路

[0004]为解决现有技术的不足，本专利技术的一个目的在于设计一个通用的图结构学习框架在点云上构建远程依赖图和短程依赖图，并挖掘点云的局部特征与全局上下文信息。同时，在图结构学习阶段充分利用已知的先验知识，并设计相依的图结构损失用于指导图结构的学习。
[0005]本专利技术的另一个目的在于将图结构学习框架与图卷积操作整合在一个统一的学习框架下，充分利用给定的标签与图结构相关的先验信息，从而学习到一个最优的图结构
以更好地服务于不同的下游任务。
[0006]为了达到上述目的，本专利技术提供了一种基于远程
‑
短程依赖图学习的点云分类与分割方法，具体技术方案如下：
[0007]步骤S1：通过图结构学习架构将给定的点云P＝{p1，p2，...，p
N
}分别构建为远程依赖图和短程依赖图
[0008]步骤S2：在学习图结构的过程中引入一些先验知识，如稀疏性，距离相关性等，并进一步为远程依赖图与短程依赖图分别设计相应的图结构损失和
[0009]步骤S3：在计算图结构损失的过程考虑到“维度灾难”现象，通过简单的线性变换降低特征的维度，从而在低维空间中学习图结构；
[0010]步骤S4：通过设定阈值与topK策略设计节点选择与特征聚合策略，并在此基础上设计图上的卷积运算；
[0011]步骤S5：通过可学习的参数γ，自适应地融合远程依赖图和短程依赖图上的特征；
[0012]步骤S6：利用图池化操作降低点云的分辨率，并堆叠多层图结构学习与图卷积层以实现不同尺度的特征提取；
[0013]步骤S7：针对点云分类与分割任务，分别设计相应深度神经网络提取点云的整体描述与逐点特征，然后通过全连接网络实现点云的形状分类或不同目标区域的分割。
[0014]其中，所述步骤S1具体包括：给定一个N个点的点云P＝{p1，p2，...，p
N
}，其对应的特征集合为X＝{x1，x2，...，x
N
}，对于点云上任意一对点p
i
和p
j
通过一个简单的非线性函数S
ij
＝g(p
i
，x
i
，p
j
，x
j
)计算这一点对之间边ε(i，j)的权重，非线性函数设计如下：
[0015]S
ij
＝g(p
i
，x
i
，p
j
，x
j
)＝sigmoid((|p
i
‑
p
j
||||x
i
‑
x
j
|)W)，
[0016]其中表示简单神经网络的参数，sigmoid(
·
)将函数的输出映射到(0，1)之间，其值的大小代表连接的强弱，随后令S＝(S
ij
)
N
×
N
为远程依赖图的邻接矩阵，另一方面，在远程依赖图的基础上结合K近邻图，将感受视野限制在局部邻域从而构建短程依赖图具体如下：
[0017][0018]其中
[0019][0020]A＝(A
ij
)
N
×
N
为局部几何结构矩阵，为短程依赖图的邻接矩阵。
[0021]所述步骤S2包括：远程依赖图结构损失与短程依赖图结构损失的定义：
[0022][0023][0024]其中||
·
||
2，1
表示L2，1范数。
[0025]所述步骤S3包括：通过一个线性变换将输入特征映射到一个低维空间，随后在该低维空间中进行图结构学习与损失函数计算，从而避免“维数灾难”现象。
[0026]所述步骤S4包括：设置阈值θ剔除部分连接强度弱的节点，并根据topK原则选择连接最强的K个节点(不足的选择全部)，最后通过平均聚合的方式聚合节点特征从而实现卷积运算。
[0027]所述步骤S5包括：设置可学习参数γ自适应地融合远程依赖图与短程依赖图上的特征：
[0028][0029]其中与分别为两个图上提取的节点特征，为融合后的特征。
[0030]所述步骤S6包括：采用点云下采样技术设计图池化操作，从而降低点云分辨率，并堆叠多层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于远程
‑
短程依赖图学习的点云分类与分割方法，其特征在于，该方法包括如下步骤：步骤S1：通过图结构学习架构将给定的点云P＝{p1，p2，...，p
N
}分别构建为远程依赖图和短程依赖图步骤S2：在学习图结构的过程中引入一些先验知识，如稀疏性，距离相关性等，并进一步为远程依赖图与短程依赖图分别设计相应的图结构损失和步骤S3：在计算图结构损失的过程考虑到“维度灾难”现象，通过简单的线性变换降低特征的维度，从而在低维空间中学习图结构；步骤S4：通过设定阈值与topK策略设计节点选择与特征聚合策略，并在此基础上设计图上的卷积运算；步骤S5：通过可学习的参数γ，自适应地融合远程依赖图和短程依赖图上的特征；步骤S6：利用图池化操作降低点云的分辨率，并堆叠多层图结构学习与图卷积层以实现不同尺度的特征提取；步骤S7：针对点云分类与分割任务，分别设计相应深度神经网络提取点云的整体描述与逐点特征，然后通过全连接网络实现点云的形状分类或不同目标区域的分割。2.根据权利要求1所述的一种基于远程
‑
短程依赖图学习的点云分类与分割方法，其特征在于，所述步骤S1包括：给定一个N个点的点云P＝{p1，p2，...，p
N
}，其对应的特征集合为X＝{x1，x2，...，x
N
}，对于点云上任意一对点p
i
和p
j
通过一个简单的非线性函数S
ij
＝g(p
i
，x
i
，p
j
，x
j
)计算这一点对之间边ε(i，j)的权重，非线性函数设计如下：S
ij
＝g(p
i
，x
i
，p
j
，x
j
)＝sigmoid((|p
i
‑
p
j
||||x
i
‑
x
j
|)W)，其中表示简单神经网络的参数，sigmoid(
·
)将函数的输出映射到(0，1)之间，其值的大小代表连接的强弱，随后令S＝(S
ij
)
N
×
N
为远程依赖图的邻接矩阵，另一方面，在远程依赖图的基础上结合K近邻图，将感受视野限制在局部邻域从而构建短程依赖图具体如下：其中A＝(A
ij
)
N
×
N
为局部几何结构矩阵，为短程依赖图的邻接矩阵。3....

【专利技术属性】
技术研发人员：梁吉业，杜子金，梁建青，姚凯旋，
申请(专利权)人：山西大学，
类型：发明
国别省市：