一种基于点全局上下文关系推理的点云语义分割方法技术

本发明专利技术为一种基于点全局上下文关系推理的点云语义分割方法，所述方法包括：获取训练集T和测试集V；构建深度学习与全局上下文推理的点云数据语义分割网络；使用多分类的交叉熵损失函数，作为点云语义分割网络的损失函数；使用训练集，对点云数据语义分割网络进行P轮有监督的训练；将测试集输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。本发明专利技术的有益效果在于，利用一种基于深度学习和全局上下文推理的方法来解决3D点云语义分割的全局信息提取不足问题。在深度学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。

A point cloud semantic segmentation method based on point global context reasoning

【技术实现步骤摘要】
一种基于点全局上下文关系推理的点云语义分割方法
本专利技术涉及计算机
，尤指一种基于点全局上下文关系推理的点云语义分割方法。
技术介绍
近年来，随着深度相机和激光雷达的广泛应用，大量的3D点云数据变得越来越容易获得，基于深度学习的3D视觉任务引起了很多关注。3D点云数据是三维空间中散乱分布的个点的向量表示的集合。向量可以由三维坐标xyz，颜色信息rgb，光强r等信息组成。这些点是非规则分布的，具有无序性，非结构化，旋转不变性等特点，因此将现有的图像分割方法直接扩展到3D点云是不切实际的。点云数据上应用深度学习方法面临着很多问题。3D点云语义分割的任务是预测给定场景的每个点的类别。先前的研究工作中，研究者们使用不同的表示方法来解决点云的非结构化问题。首先将点云转换为规则的体素网格或多视图图像，然后在这些规则的表示上应用卷积神经网络提取特征。但是，此类方法的性能会受到信息丢失和计算复杂的限制。因此，用深度学习的方法直接处理无序点云数据渐渐成为点云分割方法的主流。PointNet是使用深度学习方法直接处理不规则点云的一项开创性工作。它采用变换矩阵来保持点云旋转不变，并使用多个多层感知机(MLP)学习每个点的特征，最后使用max-pooling对称函数来获得顺序不变的点的全局性特征。PointNet提供了一种将神经网络应用于点云的有效方法，解决了点云无序性和旋转不变性问题。但是，它最终提取的是每个点的全局特征，无法捕获局部结构信息和特征之间的空间关系。随后PointNet++被提出，针对丢失局部信息问题在PointNet基础上做了改进。PointNet++使用局部依赖和分层特征学习来捕获多尺度局部结构信息。它迁移了图像分割的编码-解码的特征提取方法，将PointNet改进为类似于CNN的分层架构。它包括四层特征提取层和四层特征返回层。提取层的每层对点云进行点采样、分组、特征提取；返回层的每层对点特征插值为原来点云大小。采样模块和分组模块与PointNet结合在一起以学习局部表示。它将采样层和分组层与PointNet结合在一起以学习局部表示。精度相比较PointNet有一定提升。尽管PointNet++可以捕获局部的细粒度和全局上下文信息，但由于是用堆叠的MLP层学习点云的特征，它仍然无法捕获点与点之间长距离的上下文依赖关系。分割结果中，某些特定类别容易与其他类别混淆，比如窗户和木板的物体，门和墙壁的区域，其分割精度很低。为了学习更具类分类判别性的特征表示，我们需要融合更多信息，PointNet++在类别上下文关系信息方面考虑不够。其分割效果仍有可提升空间。
技术实现思路
本专利技术的目的在于解决点云分割所面临的上述问题。我们主要研究点云中的全局长期上下文依赖关系，提出一个基于通道注意力和图卷积网络的点全局上下文推理(PointGCR)模块，用来捕获全局上下文相关性，并提高点云分割性能。为了实现上述目的，本专利技术采用如下技术方案：基于点全局上下文关系推理的点云语义分割方法，所述方法包括：步骤1)获取训练集T和测试集V：步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割网络：步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数；步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥50；步骤5)将测试集V输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。优选地，所述步骤1)包括：1a)获取3D点云数据，其中，包含271个不同房间的6个区域的3D点云数据；选择第5区作为测试集V，其余5个区作为训练集T。1b)从点云训练集T中随机下采样L个点，其中，点云表示为它包含具有C0通道的L点(包括位置特征{x,y,z}和颜色特征{r,g,b})优选地，所述步骤2)包括构建特征提取网络、回传网络的深度学习和全局上下文推理的3D点云数据语义分割网络，其中：2a)特征提取网络所述特征提取网络，包括m个级联的特征提取模块PointSA，所述PointSA模块包括依次级联的采样模块、分组模块、点集特征提取模块，m≥2；2b)特征回传网络所述特征回传网络，包括m个级联的FP模块，每个FP模块包括依次级联的特征插值层和特征整合层。其中，m≥2；2c)点全局上下文推理模块所述点全局上下文推理模块，模块内部由节点注意模块与图卷积模块实现；首先使用节点注意模块建模全局特征依赖关系，然后用图卷积模块对该图进行全局推理；所述点全局上下文推理模块用于计算各个特征通道间所代表的类别依赖性，得到通道注意力加强后的特征E：计算自身输入数据X的各个特征通道之间关系的深层特征并输出V。2d)分割网络所述分割网络，包括依次层叠的第一全卷积层、dropout层和第二全卷积层的分割网络。优选地，所述步骤3)中使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数loss：其中，k表示标签值的个数，yi,k表示第i样本，pi,k表示第i个样本预测为第k个标签值的概率，一共有N个样本。本实施例中采用的S3DIS数据集的类别标签有13个，即k＝13。优选地，所述步骤4)中使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥100；4a)将训练集T输入到定义好的网络中，并通过使用loss损失函数对该网络进行P轮有监督训练；其中，每隔10轮用6折交叉验证评估一次该轮模型的效果，将精度较高的模型进行保存。4b)P轮训练结束后，将精度最高的网络模型作为训练得到的最佳网络模型。优选地，所述步骤5)中将测试集V输入到上一步训练好的网络模型中进行语义分割，得到每一个点的分割结果。本专利技术的有益效果在于，利用一种基于深度学习和全局上下文推理的方法来解决3D点云语义分割的全局信息提取不足问题。在深度学习的基础上，加入的全局上下文推理模块通过使用通道注意力机制建模各个特征通道之间的关系，通过图卷积进一步传递和聚合通道间关系的全局信息，能够获取全局信息从而精化点云语义分割的结果。附图说明图1为本专利技术的模块实施原理的示意图；图2为本专利技术中节点注意的过程和图卷积的内部细节示意图；图3本专利技术的图卷积模块的示意图。具体实施方式以下将结合附图对本专利技术作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围并不限于本实施例。本专利技术为一种基于点全局上下文关系推理的点云语义分割方法，所述方法包括：步骤1)获取训练集T和测试集V：1a)从S3DIS官网下载3D点云数据，包含271个不同房间的6个区域的3D点云数据。我们选择第5区作为测试集V，其余5个区作为训练集T。1b)从点云训练集T中随机下采样L个点。其中，点云表示为它包含具有C0通道的L点(包括位置特征{x,y,z}和颜色本文档来自技高网...

【技术保护点】
1.一种基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述方法包括：/n步骤1)获取训练集T和测试集V：/n步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割网络：/n步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数；/n步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥50；/n步骤5)将测试集V输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。/n

【技术特征摘要】
1.一种基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述方法包括：
步骤1)获取训练集T和测试集V：
步骤2)构建深度学习与全局上下文推理的3D点云数据语义分割网络：
步骤3)使用多分类的交叉熵损失函数，作为3D点云语义分割网络的损失函数；
步骤4)使用训练集T，对3D点云数据语义分割网络进行P轮有监督的训练，P≥50；
步骤5)将测试集V输入到训练好的网络模型中进行语义分割，得到每一个点的分割结果。


2.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤1)包括：
1a)获取3D点云数据，其中，包含271个不同房间的6个区域的3D点云数据；选择第5区作为测试集V，其余5个区作为训练集T。
1b)从点云训练集T中随机下采样L个点，其中，点云表示为它包含具有C0通道的L点(包括位置特征{x,y,z}和颜色特征{r,g,b})


3.根据权利要求1所述的基于点全局上下文关系推理的点云语义分割方法，其特征在于，所述步骤2)包括构建特征提取网络、回传网络的深度学习和全局上下文推理的3D点云数据语义分割网络，其中：
2a)特征提取网络
所述特征提取网络，包括m个级联的特征提取模块PointSA，所述PointSA模块包括依次级联的采样模块、分组模块、点集特征提取模块，m≥2；
2b)特征回传网络
所述特征回传网络，包括m个级联的FP模块，每个FP模块包括依次级联的特征插值层和特征整合层。其中，m≥2；
2c)点全局上下文推理模块
所述点全局上下文推理模块，...

【专利技术属性】
技术研发人员：郭裕兰，马燕妮，刘浩，文贡坚，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44