一种基于通道注意力机制的三维点云分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于通道注意力机制的三维点云分类方法及装置，包括：获取点云的三维坐标并进行预处理得到点云的坐标特征；将点云的坐标特征输入到训练好的点云特征识别模型中，得到第一数量的点云全局特征；点云特征识别模型基于点云局部图特征融合任务和点云全局特征学习任务进行训练，点云全局特征学习任务基于通道注意力机制学习点云全局上下文结构信息，通道注意力机制是基于特征通道且嵌入了邻接矩阵的注意力机制；将第一数量的点云全局特征输入到训练好的点云分类模型中，输出三维点云的分类结果。本发明专利技术同时嵌入点云局部特征动态融合和全局特征学习，模型参数量更少，训练速度更快，能提高网络性能和模型的鲁棒性。棒性。棒性。

【技术实现步骤摘要】
一种基于通道注意力机制的三维点云分类方法及装置


[0001]本专利技术涉及机器学习
，尤其是涉及一种基于通道注意力机制的三维点云分类方法及装置。

技术介绍

[0002]近年来3D点云数据出现在许多应用领域，如自动驾驶技术和机器人领域。与二维图像不同，点云是三维或着更高维的数据，有丰富的空间几何信息和结构信息，如何直接从点云中提取语义是一项迫切的要求，这对自动驾驶领域的发展起着至关重要的作用。但由于点云是无序的、非结构化的，这使得设计神经网络来处理它们成为一项挑战。为了应对这一挑战，出现了多种在3D点云上进行深度学习的方法。
[0003]Transformer这一自然语言处理领域的主流框架已被应用于图像视觉任务中，比流行的卷积神经网络具有更好的性能。但Transformer在点云领域还是处于一个刚起步的阶段，还有待对其运用进一步开发。传统的Transformer网络是基于点云的自注意模块，具有计算的二次复杂性，提升效果的同时还带来了大量的计算量，导致网络性能较低。
[0004]另外，为了克服点云的无序性、非结构化的难题，目前绝大多数方法都是采用对称的Max Pooling函数进行解决，但此方法的弊端在于只提取出局部特征的最大权重，这不可避免的会造成一些信息的丢失，从而导致提取的局部特征代表性不全面，导致点云分类结果不够准确。

技术实现思路

[0005]本专利技术的目的是提供一种基于通道注意力机制的三维点云分类方法及装置，以解决现有技术中点云分类中特征表征不全面导致分类结果不够准确、网络性能和鲁棒性较低的技术问题。
[0006]本专利技术的目的，可以通过如下技术方案实现：
[0007]一种基于通道注意力机制的三维点云分类方法，包括：
[0008]获取点云的三维坐标并进行预处理得到点云的坐标特征；
[0009]将所述点云的坐标特征输入到训练好的点云特征识别模型中，得到第一数量的点云全局特征；其中，所述点云特征识别模型基于点云局部图特征融合任务和点云全局特征学习任务进行训练，所述点云全局特征学习任务基于通道注意力机制学习点云全局上下文结构信息，所述通道注意力机制是基于特征通道且嵌入了邻接矩阵的注意力机制；
[0010]将所述第一数量的点云全局特征输入到训练好的点云分类模型中，输出三维点云的分类结果，所述点云分类模型基于点云全局特征进行训练。
[0011]可选地，所述点云特征识别模型基于点云局部图特征融合任务和点云全局特征学习任务进行训练包括：
[0012]根据点云的坐标特征进行邻域点选取得到对应的多个点云局部图特征；
[0013]将所述多个点云局部图特征和所述点云的坐标特征进行升维操作和自适应动态
融合，得到点云局部融合特征；
[0014]根据所述点云局部融合特征和通道注意力机制学习点云全局上下文结构信息，得到点云全局特征。
[0015]可选地，将所述多个局部图特征和所述点云的坐标特征进行升维操作和自适应动态融合，得到点云局部融合特征包括：
[0016]将所述局部图特征进行升维操作，得到更高维度的局部图特征向量；
[0017]将所述点云的坐标特征进行升维操作，得到更高维度的点云坐标特征向量；
[0018]局部图特征向量进行最大池化操作，得到局部聚合特征向量；
[0019]基于动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动态融合，得到点云局部融合特征。
[0020]可选地，基于动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动态融合，得到点云局部融合特征包括：
[0021]将f
j1
和f
i1
相加形成紧凑的特征表示，即f
u
＝f
j1
+f
i1
；
[0022]对f
u
进行两次MLP操作得到更新后的特征向量f
u1
；
[0023]利用sigmoid函数将f
u1
压缩成注意向量，并为其分配权重分数W
u1
；
[0024]通过f
L
＝W
u1
×
f
j1
+(1
‑
W
u1
)
×
f
i1
得到点云局部融合特征；
[0025]其中，f
L
为点云局部融合特征，f
j1
为局部聚合特征向量，f
i1
为点云坐标特征向量。
[0026]可选地，根据所述点云局部融合特征和通道注意力机制学习点云全局上下文结构信息，得到点云全局特征包括：
[0027]将所述点云局部融合特征与相应的注意力权重进行卷积运算得到注意力矩阵，所述注意力权重包括查询权重、关键字权重和值权重；
[0028]将所述注意力矩阵转化为多头注意的注意力矩阵，以便充分学习特征向量信息；
[0029]利用基于特征通道的自注意力向量，引入可学习的参数以获得更均匀的注意力权重；
[0030]将所述自注意力向量与值权重进行结合计算；
[0031]创建一个可学习的邻接矩阵，将所述邻接矩阵嵌入到自注意力机制中以充分学习特征通道中的图节点特征；
[0032]将学习更新之后的全局特征与输入特征通过残差连接，以保证特征的整体性和多样性，得到点云全局特征。
[0033]可选地，将所述邻接矩阵嵌入到自注意力机制中以充分学习特征通道中的图节点特征，得到点云全局特征包括：
[0034]首先，随机生成一个向量矩阵
[0035]将A与Q相乘得到
[0036]将G与V结合后通过激活函数relu得到新的特征向量：G＝relu(G+Q)；
[0037]将学习更新之后的矩阵向量G与V进行点积运算得到其中
[0038]将Y与Z结合：
[0039]融合多头注意
[0040]将学习更新之后的全局特征与输入特征通过残差连接，以保证特征的整体性和多样性，即F＝relu(bn(mlp(F))+f
L
)；
[0041]其中，N为点云的数量，f
L
为点云局部融合特征，d0为点云局部融合特征的通道数量，h为多头注意的数量，d1为特征向量F的通道维度，bn是BatchNorm函数，MLP为多层感知机，F为点云全局特征。
[0042]可选地，所述点云分类模型基于点云全局特征进行训练包括：
[0043]将多个点云全局特征进行拼接操作得到第一全局特征向量，再经过一个共享的MLP更新特征表示得到第二全局特征向量；
[0044]利用最大值池化和平均值池化分别对所述第二全局特征向量进行池化操作，然后进行拼接操作得到第三全局特征向量；
[0045]将所述第三全局特征向量输入至全连接层，输出点云的分类结果。
[0046]可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力机制的三维点云分类方法，其特征在于，包括：获取点云的三维坐标并进行预处理得到点云的坐标特征；将所述点云的坐标特征输入到训练好的点云特征识别模型中，得到第一数量的点云全局特征；其中，所述点云特征识别模型基于点云局部图特征融合任务和点云全局特征学习任务进行训练，所述点云全局特征学习任务基于通道注意力机制学习点云全局上下文结构信息，所述通道注意力机制是基于特征通道且嵌入了邻接矩阵的注意力机制；将所述第一数量的点云全局特征输入到训练好的点云分类模型中，输出三维点云的分类结果，所述点云分类模型基于点云全局特征进行训练。2.根据权利要求1所述的基于通道注意力机制的三维点云分类方法，其特征在于，所述点云特征识别模型基于点云局部图特征融合任务和点云全局特征学习任务进行训练包括：根据点云的坐标特征进行邻域点选取得到对应的多个点云局部图特征；将所述多个点云局部图特征和所述点云的坐标特征进行升维操作和自适应动态融合，得到点云局部融合特征；根据所述点云局部融合特征和通道注意力机制学习点云全局上下文结构信息，得到点云全局特征。3.根据权利要求2所述的基于通道注意力机制的三维点云分类方法，其特征在于，将所述多个局部图特征和所述点云的坐标特征进行升维操作和自适应动态融合，得到点云局部融合特征包括：将所述局部图特征进行升维操作，得到更高维度的局部图特征向量；将所述点云的坐标特征进行升维操作，得到更高维度的点云坐标特征向量；局部图特征向量进行最大池化操作，得到局部聚合特征向量；基于动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动态融合，得到点云局部融合特征。4.根据权利要求3所述的基于通道注意力机制的三维点云分类方法，其特征在于，基于动态融合机制将所述局部聚合特征向量和所述点云坐标特征向量进行自适应动态融合，得到点云局部融合特征包括：将f
j1
和f
i1
相加形成紧凑的特征表示，即f
u
＝f
j1
+f
i1
；对f
u
进行两次MLP操作得到更新后的特征向量f
u1
；利用sigmoid函数将f
u1
压缩成注意向量，并为其分配权重分数W
u1
；通过f
L
＝W
u1
×
f
j1
+(1
‑
W
u1
)
×
f
i1
得到点云局部融合特征；其中，f
L
为点云局部融合特征，f
j1
为局部聚合特征向量，f
i1
为点云坐标特征向量。5.根据权利要求2所述的基于通道注意力机制的三维点云分类方法，其特征在于，根据所述点云局部融合特征和通道注意力机制学习点云全局上下文结构信息，得到点云全局特征包括：将所述点云局部融合特征与相应的注意力权重进行卷积运算得到注意力矩阵，所述注意力权重包括查询权重、关键字权重和值权重；将所述注意力矩阵转化为多头注意的注意力矩阵，以便充分...

【专利技术属性】
技术研发人员：李光平，刘诚辉，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：