System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于全局图和图池化技术的点云分类和分割方法及设备技术_技高网
当前位置: 首页 > 专利查询>山西大学专利>正文

基于全局图和图池化技术的点云分类和分割方法及设备技术

技术编号:41090968 阅读:6 留言:0更新日期:2024-04-25 13:51
本发明专利技术涉及基于全局图和图池化技术的点云分类和分割方法,包括以下步骤:构建第一全局图和第一局部图;提取第一全局图和第一局部图的节点特征,并进行拼接融合,得到第二点云数据;采用图池化技术逐步降低第二点云数据的分辨率;构建不同尺度下第二全局图和第二局部图;提取第二全局图和第二局部图的节点特征,并进行拼接融合,再采用图池化技术降低分辨率,得到不同尺度下的点云特征;将点云特征分别输入分类模型和分割模型中,进行分类和分割。本发明专利技术通过构造了具有全局感受野的全局图,与之前的方法相比能更好地挖掘点云的全局上下文信息。同时,在池化阶段采用基于LSTM的聚合函数,通过网络带参数进行训练能够更好的保留有用的特征信息。

【技术实现步骤摘要】

本专利技术属于点云深度学习,特别涉及一种基于全局图和图池化技术的点云分类和分割方法及设备


技术介绍

1、随着3d数据采集技术的快速发展,3d数据的获取变得更加便捷,并且3d数据作为机器理解环境的基础,广泛地应用于机器人、地质勘探和测绘等领域。3d数据通常具有不同的表示形式,例如深度图像、点云、网格等。作为一种常用的格式,点云能够更好地保留场景中的原始信息,无需任何离散化,是场景理解领的首选数据格式。同时,深度神经网络在诸多计算机视觉与模式识别领域取得了成功。因此,了更好地处理点云数据,诸多研究尝试将深度学习用在点云的特征提取。到目前为止,随着深度神经网络的应用许多点云相关的任务都取得了重大进展,包括3d形状分类、3d对象识别检测以及语义分割等。截至目前,一些成功的方法大体上可以分为基于点的方法、基于体素的方法、基于卷积的方法、基于图的方法以及混合型的方法。此外,由于图神经网络的兴起,图卷积方法成为处理几何型数据的首要方法,如知识图谱、物联网以及社交网络等。因此,使用图神经网络处理不规则点云已被广泛应用于点云深度学习。最近的努力一方面是通过使用局部图结构和扩大感受野的方式探索局部几何特征和上下文信息。例如,“linked dynamic graph cnn:learning on pointcloud via linking hierarchical features,”arxiv:1904.10014[cs],apr.2019.提出了链接动态图卷积神经网络,在每个卷积层之前应用k-nn算法,然后就可以在欧氏空间和特征空间中将点云构造成局部图,接着采用图卷积的方式提取点云局部特征。另一方面,主要是通过使用最大或者平均池化方法在特征聚合时减少点的数量加快训练速度。例如,“pointnet:deep learning on point sets for 3d classification andsegmentation,”2017ieee conference on computer vision and pattern recognition(cvpr),honolulu,hi,usa,2017,pp.77-85,采用最大池化max pooling获取全局特征。“mixed pooling for convolutional neural networks”[c]//internationalconference on rough sets&knowledge technology.2014.则使用基于mixed pooling的混合最大和平均池化方法构建池化层。通过两方面的努力,许多点云相关的任务都取得了很大的成功。

2、虽然上述两方面的努力在点云分类和分割任务中都起到了深远的影响,但聚合特征方面主要依赖于复杂的局部特征提取,先前的方法通常采用固定的k近邻或球查询算法来构建局部图结构,而忽略了整体点云结构特征的影响。而池化层主要局限于最大平均池化方面,大部分方法较为简单粗暴,没有参数学习的过程,不像图池化技术,能尽可能保留有用的特征更利于后续的分类分割任务。


技术实现思路

1、本专利技术的目的在于提供一种基于全局图和图池化技术的点云分类和分割方法及设备,能够更好的挖掘点云的全局上下文信息,保留有用的特征信息。

2、为达到上述目的,本专利技术采用的技术方案是:

3、一种基于全局图和图池化技术的点云分类和分割方法,包括以下步骤:

4、获取第一点云数据,构建第一全局图和第一局部图;

5、提取第一全局图和第一局部图的节点特征,并进行拼接融合,得到第二点云数据;

6、采用图池化技术逐步降低第二点云数据的分辨率;

7、根据不同分辨率的第二点云数据,分别构建不同尺度下第二全局图和第二局部图;

8、提取第二全局图和第二局部图的节点特征,并进行拼接融合,再采用图池化技术降低分辨率,得到不同尺度下的点云特征;

9、将不同尺度下的点云特征分别输入分类模型和分割模型中,对第一点云数据进行分类和分割。

10、优选的,所述构建第一全局图,包括以下步骤:

11、针对第一点云数据的点云坐标维度,进行点云坐标变换:

12、采用标准欧式距离公式计算变换后点云坐标的任意点对之间的距离,

13、采用高斯径向基函数将点对之间的距离计算为点对之间边的权重,表示为:

14、

15、其中,p’i和p′j为变换后点云坐标任意一对点,s为标准差,dij为点对之间的距离,β为标量参数;

16、得到第一全局图的邻接矩阵为s=(sij)n×n。

17、优选的,所述构建第一局部图,包括以下步骤:

18、通过将第一点云数据上的点连接成k近邻图,限制在局部邻域内,表示为:

19、

20、其中,表示顶点xi的邻居点集合;

21、k近邻图的邻接矩阵为a=(aij)n×n。

22、优选的,所述提取第一全局图的节点特征,包括以下步骤:

23、采用图拉普拉斯方法进行聚合,提取第一全局图的节点特征,表示为:

24、l=d-s

25、

26、其中,l为组合图拉普拉斯矩阵,d是全局图的度矩阵,s是全局图的邻接矩阵,为全局图节点特征,w为参数矩阵。

27、优选的,所述提取第一局部图的节点特征,包括以下步骤:

28、采用最大聚合方法聚合第一局部图的节点特征,表示为:

29、

30、其中,φ(·)为特征映射函数,xi'为局部图节点特征。

31、优选的,所述图池化技术的聚合函数为基于lstm的聚合函数。

32、优选的,所述将不同尺度下的点云特征输入分类模型,包括以下步骤:

33、不同尺度下的点云特征通过全局最大池方法,获取点云的整体形状描述符;

34、将形状描述符输入全连接网络以预测目标的类别。

35、优选的,所述将不同尺度下的点云特征输入分割模型,包括以下步骤:

36、采用点云上采样方法和线性插值方法将点云逐步地恢复至原始尺寸,获取点云上每个点的特征表示;

37、采用图卷积方法细化特征,并将每个点的特征输入到全连接网络中实现目标点云的分割。

38、本专利技术另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时执行上述所述的一种基于全局图和图池化技术的点云分类和分割方法中的步骤。

39、本专利技术另一方面,提供一种基于全局图和图池化技术的点云分类和分割设备,包括:

40、存储器,用于存储软件应用程序,

41、处理器,用于执行所述软件应用程序,所述软件应用程序的各程序相对应地执行上述所述的一种基于全局图和图池化技术的点云分类和分割方法中的步骤。

42、本专利技术通过构造了具有全局感受野本文档来自技高网...

【技术保护点】

1.一种基于全局图和图池化技术的点云分类和分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述构建第一全局图,包括以下步骤:

3.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述构建第一局部图,包括以下步骤:

4.根据权利要求2所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述提取第一全局图的节点特征,包括以下步骤:

5.根据权利要求3所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述提取第一局部图的节点特征,包括以下步骤:

6.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述图池化技术的聚合函数为基于LSTM的聚合函数。

7.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述将不同尺度下的点云特征输入分类模型,包括以下步骤:

8.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述将不同尺度下的点云特征输入分割模型,包括以下步骤:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时执行权利要求1至8中任一所述的一种基于全局图和图池化技术的点云分类和分割方法中的步骤。

10.一种基于全局图和图池化技术的点云分类和分割设备,其特征在于,包括:

...

【技术特征摘要】

1.一种基于全局图和图池化技术的点云分类和分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述构建第一全局图,包括以下步骤:

3.根据权利要求1所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述构建第一局部图,包括以下步骤:

4.根据权利要求2所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述提取第一全局图的节点特征,包括以下步骤:

5.根据权利要求3所述的基于全局图和图池化技术的点云分类和分割方法,其特征在于,所述提取第一局部图的节点特征,包括以下步骤:

6.根据权利要求1所述的基于全局图和图...

【专利技术属性】
技术研发人员:梁吉业姬文斌杜子金
申请(专利权)人:山西大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1