一种基于体素网格融合机制的点云特征学习自编码网络方法技术

本发明专利技术一种基于体素网格融合机制的点云特征学习自编码网络方法，包括以下步骤：对点云数据模型构成的数据集，按照比例划分为训练集和测试集；基于训练集中的数据构建基于体素网格融合机制的特征学习模型；对特征学习模型进行训练，得到训练好的特征学习模型；将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。本申请提出了体素网格融合机制的特征学习模型用于三维形状的特征学习，同时兼顾体素与点云表示的优势，即同时克服体素表示低分辨率及点云无序性问题。问题。问题。

【技术实现步骤摘要】
一种基于体素网格融合机制的点云特征学习自编码网络方法


[0001]本专利技术属于全自动化产品领域，涉及一种基于体素网格融合机制的点云特征学习自编码网络方法。

技术介绍

[0002]三维形状特征表示是三维视觉领域极为重要的基础研究之一，具有较强普适性的特征表示可以广泛的应用于诸如三维形状生成、形状检索和形状修复
[1
‑
3]等应用中。
[0003]一般地，三维形状特征学习方法采用无监督的学习方式对三维模型进行编码学习，并在这个过程中确保该形状的结构与语义信息被保留并压缩至一个紧凑的特征向量表示，称为三维形状的码字(codeword)。随着近些年，三维模型规模的爆发式增长，传统的特征表示方法开始难以适应于大规模数据。并且，随着更广泛的应用领域的产生，传统特征提取算法难以做到大范围的适用。这使得，基于数据驱动的自编码特征学习算法开始被广泛的研究。目前三维模型的自编码特征提取算法主要包括两类:基于体素表示与基于点云表示特征提取算法。
[0004]其中体素表示的深度学习方法是二维卷积神经网络到三维卷积神经网络最直接的扩展，将三维空间离散的分割一些规则的占据网格(occupancy grid)，其中经典的工作包括:生成与判别式的体网格建模方法
[4]、Scannet
[5]以及Voxnet
[6]方法。另外Wu等人
[7]考虑将对抗生成机制引入到三维模型特征学习中，并采用了体素网格的表示方式，从而更简单地将图像视觉领域的技术引入算法中。然而随着体网格模型分辨率的增大，基于体素网格表示会导致神经网络框架的参数量发生几何级数规模的增加，这显然需要大量计算资源的损耗。为解决体素表示存在的表示冗余问题，一些替代的方法包括八叉树表示
[8
‑
9]以及k
‑
d树的表示方式
[10]被提出优化模型表示。该类方法主要是从数据表示本身入手，提高体素网格表示效率。另外Li等人
[11]考虑利用能量场表示以及抓取器的思想替代传统卷积操作从而提高卷积操作效率，使其更适合体素表示。然而此类改进算法具有一定局限性，由于设计方法的复杂性，难以扩展迁移到更多一般化的特征学习问题上。
[0005]近三年，基于点云表示的方法深度学习方法被提出，并且具有简单、高效、表示灵活占用空间小等特点，被广泛地应用于多个领域。这其中最经典的框架包括PointNet
[14]、PointNet++
[13]以PointCNN
[15]，上述框架是点云深度学习的先驱性工作，为深度学习方法在几何图形领域的发展奠定了基础。而在无监督特征学习方面，Achlioptas等人
[12]首先提出有效的点云自编码生成模型用于三维模型特征学习。在编码阶段，该方法对输入点云进行排序并采用一维的卷积神经网络(CNN)对点云序列进行特征提取操作；而在解码阶段，采用三层全联接层完成模型重建。该文献
[12]通过简单的点云框架验证了无监督的特征学习方法依然可以很好的从ShapeNet数据集
[22]迁移到分类数据库ModelNet40/10(MN40/10)。但是该方法仅仅采用了简单的编码结构以及全联接层用于解码，该排序机制并不能有效处理点云无序性问题。随后，Yang等人
[16]提出了更为有效的自编码特征提取框架，通过二维网格(2D Grid)的两次折叠变形的思想完成模型重建，但是该方法主要关系的是模型的生成
问题，通过折叠思想提升解码器对模型的的重建能力，该方法并没有解决点云的无序性问题，仅仅通过最大池化操作提取点云模型全局特征。
[0006]与申请申请思想较为相近的为Le等人
[17]提出的PointGrid模型，该方法考虑在每一个体素网格中采样等同数量的点云作为模型的初始输入，从而保证高等级的特征有效被学习。然而不同于该方法是一个有监督的分类学习问题。

技术实现思路

[0007]为了解决上述问题，本专利技术采用的技术方案是：一种基于体素网格融合机制的点云特征学习自编码网络方法，包括以下步骤：
[0008]对点云数据模型构成的数据集，按照比例划分为训练集和测试集；
[0009]基于训练集中的数据构建基于体素网格融合机制的特征学习模型；
[0010]对特征学习模型进行训练，得到训练好的特征学习模型；
[0011]将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。
[0012]进一步地：所述特征学习模型包括对点云数据模型进行特征提取的点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征的体素网格自编码特征提取模块；
[0013]点云多尺度的特征提取模块、多尺度特征转换为体素网格特征的转换模块和体素网格自编码特征提取模块依次级联。
[0014]进一步地：所述对点云数据模型进行特征提取采用局部特征整合的方法提取该层的采样点局部特征，
[0015]所述点云多尺度的特征提取模块包括采样层、分组层、点云特征提取层和最大池化层；所述采样层、分组层、点云特征提取层和最大池化层依次级联；
[0016]其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化层操作提取每一采样的局部特征。
[0017]进一步地：所述体素网格自编码特征提取模块采用体素网格中心的局部卷积操作方式，将空间中的点云多尺度信息通过可学习核融合的模式聚集到体素网格中心点上，从而在不破坏点云空间关系的前提下，融合重要信息。
[0018]进一步地：所述多尺度特征转换为体素网格特征的过程如下：
[0019]转化体素规模为一个15
×
15
×
15体表示，目标为生成一个体特征表示这里c
f
表示体特征维度；
[0020]首先将体素网格中每一个胞元的中心点(c
ix
,c
jy
,c
kz
)定义为集合
[0021]于是对于每一个中心点，c
i,j,k
＝(c
ix
,c
jy
,c
kz
)获取其局部邻域内不同尺度l
n
(n＝1,2,3)下的特征点坐标以及特征点的点云特征表示和因此对于尺度l
n
，获得可学习的融合特征的表示:
[0022][0023]将同一尺度下的融合特征表示为
[0024]于是多尺度的体网格融合特征特征通过串联获得：
[0025][0026]其中：F
vg
是由点云特征全局特征F
g
重复生成；因此体素网格的每个胞元中存储了点云局部的多尺度特征信息；
[0027]采用三维体网格的串联变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：包括以下步骤：对点云数据模型构成的数据集，按照比例划分为训练集和测试集；基于训练集中的数据构建基于体素网格融合机制的特征学习模型；对特征学习模型进行训练，得到训练好的特征学习模型；将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。2.根据权利要求1所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述特征学习模型包括对点云数据模型进行特征提取的点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征的体素网格自编码特征提取模块；点云多尺度的特征提取模块、多尺度特征转换为体素网格特征的转换模块和体素网格自编码特征提取模块依次级联。3.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述对点云数据模型进行特征提取采用局部特征整合的方法提取该层的采样点局部特征，所述点云多尺度的特征提取模块包括采样层、分组层、点云特征提取层和最大池化层；所述采样层、分组层、点云特征提取层和最大池化层依次级联；其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化层操作提取每一采样的局部特征。4.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述体素网格自编码特征提取模块采用体素网格中心的局部卷积操作方式，将空间中的点云多尺度信息通过可学习核融合的模式聚集到体素网格中心点上，从而在不破坏点云空间关系的前提下，融合重要信息。5.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述多尺度特征转换为体素网格特征的过程如下：转化体素规模为一个15
×
15
×
15体表示，目标为生成一个体特征表示这里c
f
表示体特征维度；首先将体素网格中每一个胞...

【专利技术属性】
技术研发人员：周骏，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：