一种基于几何感知注意力机制的点云分割方法技术

一种基于几何感知注意力机制的点云分割方法，包括：建立基于几何感知点云注意力机制的点云分割网络，所述网络包括几何感知初始化模块、多尺度几何感知注意力模块、恢复模块和分类模块；在训练阶段，将点云数据输入几何感知初始化模块，得到编码后的点云以及显式表示几何的特征，然后利用多尺度几何感知注意力模块，提取全局分层特征，利用训练集及各层次特征,预训练出深度多尺度几何感知注意力神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习局部和全局的注意力信息；将点云数据输入到训练好的网络中，得到场景中各个物体的点云语义分割结果。使用本方法能够获得高质量的点云分割结果。高质量的点云分割结果。高质量的点云分割结果。

【技术实现步骤摘要】
一种基于几何感知注意力机制的点云分割方法


[0001]本专利技术涉及计算机视觉和三维感知领域，特别涉及一种点云分割方法。

技术介绍

[0002]在三维感知领域，点云作为目前最广泛应用的深度信息表达方式之一，在自动驾驶，机器人控制，三维重建等领域发挥着巨大作用。但是点云受限于自身测量方式，数据并不直观，往往需要进行点云分割来进一步实现数据可视化，并且通过点云分割的结果指导其他任务，如：指导自动驾驶领域行驶过程中躲避障碍物，指导机器人抓取目标的位置和路径，指导三维重建过程中关注于目标区域等。因此，点云分割一直都是计算机视觉和三维感知领域的研究热点。
[0003]近年来注意力机制在二维图像处理等领域取得了较好的成果，但在三维感知领域，特别是在点云分割任务上，注意力机制还有很大的发展空间。例如：已经提出的基于注意力机制的PointTransformer方法，证明了注意力机制在点云分割任务上的强大潜力。
[0004]但是目前的方法主要存在三个问题。首先，基于注意力机制的PointTransformer方法虽然很好的利用了数据的全局特征，但是对局部特征的利用不够充分，这也导致了在点云分割过程中，位于墙角，物体交界处等区域分割效果差，易出现混淆的问题。其次，由于点云的采集过程中，无法透过物体进行数据采集，所以必然会在采集的过程中，出现由于遮挡，镜面等原因造成的点云数据空洞问题，这将对点云分割任务产生极大影响，因为空洞将破坏不同物体之间的几何结构，进而影响分割结果。最后，由于目前的方法在考虑点云分块注意力时，仅对块内进行注意力计算，而没有进行块间注意力的计算，导致无法捕获点云数据中不同大小区域的区别性细节。同时对块间进行注意力计算有较大的感受野，可允许更好地利用训练输入和更多上下文信息。这对于分割点云的注意力模型非常有帮助，尤其是点云具有空洞的区域。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本专利技术的主要目的在于提出一种基于几何感知点云注意力机制的点云分割方法，以解决上述
技术介绍
存在的点云分割结果质量较低的技术问题。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于几何感知注意力机制的点云分割方法，包括如下步骤：
[0009]建立基于几何感知点云注意力机制的点云分割网络，所述网络包括几何感知初始化模块、多尺度几何感知注意力模块、恢复模块和分类模块；在训练阶段，将点云数据输入几何感知初始化模块，得到编码后的点云以及显式表示几何的特征，然后利用多尺度几何感知注意力模块，提取全局分层特征，利用训练集及各层次特征,预训练出深度多尺度几何感知注意力神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习局部和
全局的注意力信息；
[0010]将来自采集设备的点云数据输入到训练好的网络中，得到场景中各个物体的点云语义分割结果。
[0011]进一步地：
[0012]在训练阶段，在输入所述几何感知初始化模块之前，还包括将所述点云数据进行数据增强，具体包括：对所述点云数据进行翻转，裁剪，旋转，平移方式的数据增强。
[0013]所述几何感知初始化模块具有几何感知分支和编码分支，所述编码分支利用三维点云坐标对点云数据进行编码，所述几何感知分支通过网格化，将点云表示成网格，通过拼接连接编码后的点云以及显式表示几何的特征。
[0014]所述几何感知分支中，首先将输入的点云数据转换为对几何特征更敏感的网格化表示；然后将网格化的数据作为特征输入特征MLP层并经过BN层提取几何特征，将网格对应的原始点云的信息经过位置MLP层，并经过BN层提取位置特征；将几何特征与位置特征相加，再通过ReLU函数得到几何感知分支的特征；所述编码分支中，对输入的点云数据首先输入到kpconv层，然后输入到BN层，经过LeakyReLU函数进行激活，得到的特征即为编码分支的特征，最后对两个分支得到的特征进行拼接作为几何感知初始化模块的输出。
[0015]所述多尺度几何感知注意力模块首先提取不同尺度下的全局特征，然后进行点云降采样，再次提取全局特征，循环多次后，得到多尺度的注意力特征，并加入全局跳跃连接尽可能保留原始信息。
[0016]所述多尺度几何感知注意力模块使用多个堆叠的几何感知注意力模块以及多个点云下采样模块；其中，首先将整个输入的空间分为相同大小的块，每个块的中心通过最远点采样获得的数据获得，在对每个块内点云数据进行注意力计算时，不仅输入块内的所有数据，而且将相邻块进行最远点采样后获取的，邻域信息也同时作为注意力计算的输入，即每次对所选取的块及相邻块的关键点作为几何注意力模块的输入；然而，通过所述下采样模块对点云进行下采样，得到多尺度的点云特征；其中，下采样模块使用最远点采样方法。
[0017]所述恢复模块进行插值上采样恢复，并在恢复过程中将不同尺度下的全局的注意力特征进行融合，最终通过所述分类模块进行点云分割。
[0018]所述分类模块将所述恢复模块得到的多尺度特征依次通过线性层，BN层，ReLU激活层和线性层，得到用于分类的logits,通过softmax激活函数得到点云中每个点属于每一个物体类别的概率。
[0019]在训练阶段，通过交叉熵损失函数计算点云预测概率和点云真实类别one
‑
hot编码的交叉熵损失；在测试阶段，直接选择概率最大的类别作为预测类别，实现点云的分类。
[0020]一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时实现所述的点云分割方法。
[0021]本专利技术具有如下有益效果：
[0022]本专利技术提出了一种基于几何感知点云注意力机制的点云分割方法,可实现高质量的点云分割效果。本专利技术提出在点云分割方法中使用几何感知点云注意力机制的方式。所提出的点云分割方法中的网络模型包含几何感知初始化模块、多尺度几何感知注意力模块、恢复模块和分类模块。在训练阶段，将点云数据输入几何感知初始化模块，得到编码后的点云以及显式表示几何的特征，然后利用多尺度几何感知注意力模块，提取全局分层特
征，利用训练集及各层次特征,预训练出深度多尺度几何感知注意力神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习局部和全局的注意力信息。利用网络的多尺度的注意力特征，有更好的网络表示能力，并最终获得高质量的点云分割结果。
[0023]优选方案中，所述几何感知初始化模块具有两个分支，第一个分支利用三维点云坐标对点云数据进行编码，第二个分支通过网格化，将点云表示成网格，使数据对几何变化更敏感，通过拼接连接编码后的点云以及显式表示几何的特征。
附图说明
[0024]图1是本专利技术实施例的基于几何感知注意力机制的点云分割方法的流程简图。
[0025]图2是本专利技术实施例的基于几何感知注意力机制的网络结构示意图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何感知注意力机制的室内点云分割方法，其特征在于，包括如下步骤：建立基于几何感知点云注意力机制的点云分割网络，所述网络包括几何感知初始化模块、多尺度几何感知注意力模块、恢复模块和分类模块；在训练阶段，将点云数据输入几何感知初始化模块，得到编码后的点云以及显式表示几何的特征，然后利用多尺度几何感知注意力模块，提取全局分层特征，利用训练集及各层次特征,预训练出深度多尺度几何感知注意力神经网络,利用网络多尺度的低级别和高级别的特征从分层特征中学习局部和全局的注意力信息；将来自采集设备的点云数据输入到训练好的网络中，得到场景中各个物体的点云语义分割结果。2.如权利要求1所述的基于几何感知注意力机制的点云分割方法，其特征在于，在训练阶段，在输入所述几何感知初始化模块之前，还包括将所述点云数据进行数据增强，具体包括：对所述点云数据进行翻转，裁剪，旋转，平移方式的数据增强。3.如权利要求1或2所述的点云分割方法，其特征在于，所述几何感知初始化模块具有几何感知分支和编码分支，所述编码分支利用三维点云坐标对点云数据进行编码，所述几何感知分支通过网格化，将点云表示成网格，通过拼接连接编码后的点云以及显式表示几何的特征。4.如权利要求3所述的点云分割方法，其特征在于，所述几何感知分支中，首先将输入的点云数据转换为对几何特征更敏感的网格化表示；然后将网格化的数据作为特征输入特征MLP层并经过BN层提取几何特征，将网格对应的原始点云的信息经过位置MLP层，并经过BN层提取位置特征；将几何特征与位置特征相加，再通过ReLU函数得到几何感知分支的特征；所述编码分支中，对输入的点云数据首先输入到kpconv层，然后输入到BN层，经过LeakyReLU函数进行激活，得到的特征即为编码分支的特征，最后对两个分支得到的特征进行拼接作为几何感知初始化模块的输出...

【专利技术属性】
技术研发人员：王好谦，秦明汉，李洋，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：