一种基于信息增强的细粒度三维点云分类方法技术

本发明专利技术公开了一种基于信息增强的细粒度三维点云分类方法，针对点云数据及细粒度分类任务的关键，通过层内上下文感知和层间相关性增强两个层面共同考虑细粒度信息的捕捉。层内利用偏置注意力加强局部区域细粒度属性差异性以感知局部细节；层间设计密集连接的多层特征融合策略，一方面提高有效信息的保留与传递，另一方面通过计算各层特征间的二阶统计分布来增强各层之间相关性。层内与层间相辅相成，通过反向传播学习相关语义信息以捕捉细粒度属性。本发明专利技术在细粒度三维模型数据集FG3D的三个子数据集Airplane、Chair和Car上进行实验，分别取得了95.77％、80.88％和77.94％分类准确率，验证了本方法的可行性及有效性。验证了本方法的可行性及有效性。验证了本方法的可行性及有效性。

【技术实现步骤摘要】
一种基于信息增强的细粒度三维点云分类方法


[0001]本专利技术涉及计算机图形学、计算机视觉与智能识别的
，尤其是指一种基于信息增强的细粒度三维点云分类方法。

技术介绍

[0002]基于点云表征的三维模型分类方法在ModelNet10或ModelNet40等元类数据集上取得了良好的分类性能，然而这类方法仅限于三维模型元类目标感知。而在工业领域或现实世界中，同一元类别下具有很多子类即细粒度类别，这些类整体结构相似，类内差异大、类间差异小，且差异性判别特征位于模型的某个局部区域。与视觉差异大的元类别(如飞机、汽车和椅子)分类不同，在细粒度分类中，由于对象来自一个元类别的子类别，使得它们在视觉上非常相似，而通用的三维模型分类算法难以捕捉局部细节特征(椅背、扶手、底盘等)来有效地区分子类。因此，如何区分元类下各个子类即细粒度分类任务是目前值得研究的课题，具有一定的现实意义与研究价值。
[0003]细粒度分类旨在区分同一元类别下的不同子类别，如“椅子”类别中的“扶手椅”和“餐桌椅”等，飞机模型中的“战斗机”和“客机”等。在现实世界中，细粒度分析在各个领域有着广泛的应用，如自动生物多样性监测、智能零售、智能交通等，其关键在于通过捕捉各个子类的判别性区域，进而区分目标物体所属类别。由于差异局部化以及类内差异大等因素，使得细粒度模型的分类存在巨大的挑战。因此研究者们倾向于使用信息增强的手段更大力度地捕捉潜在的特征表示，如“高阶统计”、“棋盘效应”以及“注意力机制”等等。
[0004]基于以上分析，面向三维点云的细粒度分类研究具有大的实际意义也具有一定的挑战性，特别是在只提供类标签的弱监督情况下十分困难。鉴于三维点云具有稀疏、信息量有限的特性，而细粒度模型整体结构非常相似，区别性特征主要对应模型的局部区域，故本专利技术围绕于三维点云表征的细粒度分类算法展开研究。

技术实现思路

[0005]本专利技术的目的是突破现有研究的空白，并满足实际应用的需求，提出了一种基于信息增强的细粒度三维点云分类方法，构建一种局部区域的特征提取网络(深度学习网络架构)，该网络由基于偏置注意力机制的单层特征提取模块和基于密集连接的多层特征融合模块组成，层内引入偏置注意力机制加强局部属性差异以捕捉细粒度特征；密集连接的多层特征融合模块，在最大化点云信息流的同时增强特征间的相关性。两个模块相结合，以实现三维点云的细粒度分类研究。
[0006]为实现上述目的，本专利技术所提供的技术方案为：一种基于信息增强的细粒度三维点云分类方法，包括以下步骤：
[0007]S1、选用本领域权威性细粒度的三维网格模型数据集FG3D的三个子数据集：Airplane、Car和Chair作为基准，对三个子数据集中三维网格模型进行初步采样处理，生成相应的三维点云数据集；
[0008]S2、对三维点云数据集中的模型进行随机采样得到初步的点云数据，随后利用球邻域查询方法将点云数据进行划分，获得相互重叠的局部区域；
[0009]S3、针对局部区域，构建一种局部区域的特征提取网络，该网络主要由两部分组成：基于偏置注意力机制的单层特征提取模块和基于密集连接的多层特征融合模块；
[0010]S4、在基于偏置注意力机制的单层特征提取模块中，采用具有全局对称性的偏置注意力机制操作得到增强的层内局部细节信息；
[0011]S5、将层内局部细节信息输入到基于密集连接的多层特征融合模块，使用密集连接方法，最大化点云信息流保证层内局部细节信息的传递，得到若干个紧密连接的层级特征；
[0012]S6、将获得的层级特征进行交互融合，得到交互后的特征描述符，并将特征描述符拼接后进行压缩感知来预测类别，从而实现细粒度三维点云的分类。
[0013]进一步，在步骤S1中，生成的三维点云数据集，每个数据集按照比例划分为训练集和测试集，且数据集中的每个模型的坐标被归一化至单位球[
‑
1，1]区间内。
[0014]进一步，在步骤S2中，对三维点云数据集中的模型利用随机采样法进行低分辨率采样，并根据点云的数量和球半径的设置以球邻域查询的方法生成若干个相互重叠的局部区域。
[0015]进一步，在步骤S3中，所述基于偏置注意力机制的单层特征提取模块在每层内使用偏置注意力机制，衡量层内的上下文语义关联关系，并突出局部细粒度属性；所述基于密集连接的多层特征融合模块采用密集连接和融合策略，加强层间的细粒度属性的传递与保留，并捕捉特征之间的相关性。
[0016]进一步，在步骤S4中，对于基于偏置注意力的单层特征提取模块，针对第l+1层，输入：上一层特征表示实数集，n代表采样点数，C1为输入通道数；输出：局部感知特征由映射函数χ(
·
)定义，k
attl+1
为输出通道数；其整个流程如下：
[0017]a、构建局部区域及初始特征：输入P
l
，经过球邻域查询构建局部区域，深化其对细粒度属性的敏感性，将各个局部区域的特征聚合得到局部采样n
×
C
l
×
n
sample
，其中C
l
和n
sample
分别为第l层通道数、采样点数；然后在采样点数n
sample
上执行池化操作后送入单层感知机SLP，得到局部显著特征Q为此时的通道数，以此实现浅层特征的对齐；
[0018]b、提取抽象特征：将上一步所得特征P
Gl+1
通过单层感知机SLP完成通道数从Q到k的映射，k＜Q，提取三维点云的抽象特征该特征包含了局部空间信息，具有局部属性；
[0019]c、构造注意力矩阵：采用卷积运算对沿通道维度整合各点特征信息，得到n
×
k/4的特征与对这两个特征通过矩阵相乘方式获得空间点相关性矩阵，再经过激活函数将相关性取值映射至0～1范围内，形成注意力矩阵M，计算过程表示为：
[0020][0021]式中，σ(
·
)为激活函数，为矩阵相乘；
[0022]注意力矩阵的内部元素M
ij
表示第i点和第j点的统计相关性；则，第i行刻画了第i点和任意其它空间点的统计相关性；
[0023]d、计算显著特征：采用卷积运算沿通道维度对特征做变换得到嵌入空间特征再将前面得到的注意力矩阵M作用于嵌入空间特征获得的显著特征P
salient
，表示为：
[0024][0025]进一步，在步骤S5中，对于多层特征融合模块中的密集连接块，输入特征为P0，其维度为n
×
C0，C0密集连接块中第一层的通道数，则密集连接块中每层的点云数均为n，即其中和分别代表密集连接块中第一层和第l层的点云数。第l+1层的输出为融合了0～l各层特征信息的复合特征，其过程递归定义表示为：
[0026][0027]式中，(
·
，
·
)为拼接操作，l的范围为0～H
...

【技术保护点】

【技术特征摘要】
1.一种基于信息增强的细粒度三维点云分类方法，其特征在于，包括以下步骤：S1、选用本领域权威性细粒度的三维网格模型数据集FG3D的三个子数据集：Airplane、Car和Chair作为基准，对三个子数据集中三维网格模型进行初步采样处理，生成相应的三维点云数据集；S2、对三维点云数据集中的模型进行随机采样得到初步的点云数据，随后利用球邻域查询方法将点云数据进行划分，获得相互重叠的局部区域；S3、针对局部区域，构建一种局部区域的特征提取网络，该网络主要由两部分组成：基于偏置注意力机制的单层特征提取模块和基于密集连接的多层特征融合模块；S4、在基于偏置注意力机制的单层特征提取模块中，采用具有全局对称性的偏置注意力机制操作得到增强的层内局部细节信息；S5、将层内局部细节信息输入到基于密集连接的多层特征融合模块，使用密集连接方法，最大化点云信息流保证层内局部细节信息的传递，得到若干个紧密连接的层级特征；S6、将获得的层级特征进行交互融合，得到交互后的特征描述符，并将特征描述符拼接后进行压缩感知来预测类别，从而实现细粒度三维点云的分类。2.根据权利要求1所述的一种基于信息增强的细粒度三维点云分类方法，其特征在于：在步骤S1中，生成的三维点云数据集，每个数据集按照比例划分为训练集和测试集，且数据集中的每个模型的坐标被归一化至单位球[
‑
1，1]区间内。3.根据权利要求1所述的一种基于信息增强的细粒度三维点云分类方法，其特征在于：在步骤S2中，对三维点云数据集中的模型利用随机采样法进行低分辨率采样，并根据点云的数量和球半径的设置以球邻域查询的方法生成若干个相互重叠的局部区域。4.根据权利要求1所述的一种基于信息增强的细粒度三维点云分类方法，其特征在于：在步骤S3中，所述基于偏置注意力机制的单层特征提取模块在每层内使用偏置注意力机制，衡量层内的上下文语义关联关系，并突出局部细粒度属性；所述基于密集连接的多层特征融合模块采用密集连接和融合策略，加强层间的细粒度属性的传递与保留，并捕捉特征之间的相关性。5.根据权利要求1所述的一种基于信息增强的细粒度三维点云分类方法，其特征在于：在步骤S4中，对于基于偏置注意力的单层特征提取模块，针对第l+1层，输入：上一层特征在步骤S4中，对于基于偏置注意力的单层特征提取模块，针对第l+1层，输入：上一层特征表示实数集，n代表采样点数，C1为输入通道数；输出：局部感知特征由映射函数χ(
·
)定义，k
attl+1
为输出通道数；其整个流程如下：a、构建局部区域及初始特征：输入P
l
，经过球邻域查询构建局部区域，深化其对细粒度属性的敏感性，将各个局部区域的特征聚合得到局部采样n
×
C
l
×
n
sample
，其中C
l
和n
sampl...

【专利技术属性】
技术研发人员：白静，邵会会，
申请(专利权)人：北方民族大学，
类型：发明
国别省市：