一种基于子流型稀疏卷积的三维目标点云识别的方法技术

本发明专利技术公开了一种基于子流型稀疏卷积的三维目标点云识别的方法，包括如下步骤：S1获取目标场景的初始点云；S2获取目标点云局部特征；S3将子流型卷积网络的输出作为两个相同的MLP网络的输入；S4将第一个MLP网络输出到交叉熵损失函数；S5将第二个MLP网络输出到两个基于注意力机制的图卷积神经网络，最后输出到平方误差损失函数；另外将第二个MLP网络不经图卷积神经网络直接输出到平方误差损失函数；S6选用交叉熵损失函数和平方误差损失函数之和作为网络模型总损失函数，根据总损失函数值的大小，进行网络模型的反向训练，本发明专利技术加快网络训练速度，提高识别正确率，改善占用内存空间大的缺陷，实现快速高效的三维目标识别。实现快速高效的三维目标识别。实现快速高效的三维目标识别。

【技术实现步骤摘要】
一种基于子流型稀疏卷积的三维目标点云识别的方法


[0001]本专利技术涉及深度学习和三维目标检测、识别领域，尤其是一种基于子流型稀疏卷积的三维目标点云识别的方法。

技术介绍

[0002]近年来，卷积神经网络在深度学习、计算机视觉的研究及其应用领域中掀起了一股热潮，因其具有强大的特征学习能力，所以引起了国内外专家学者们的广泛关注。但是往往在利用卷积网络处理一些自然稀疏的输入时空数据时，例如使用激光雷达扫描仪或者RGB
‑
D相机得到的点云，其本质上就是稀疏的。把卷积网络应用于这种稀疏数据时效率非常低，所以如何更高效的处理空间稀疏数据，并且使用它们来开发空间稀疏卷积神经网络，是我们任务的重中之重。
[0003]传统的卷积神经网络实现是针对在密集网络上的数据进行优化的，不能有效处理稀疏数据。最近许多旨在能够有效处理稀疏数据的卷积神经网络应运而生。从卷积方式来说，这与传统常规卷积神经网络相同，但是它们在浮点运算和内存方面需要更少的计算资源。
[0004]卷积神经网络属于一种带有卷积结构的前馈神经网络。1998年，LuCun等人提出用于文档识别的卷积神经网络(CNN)，并提出了用于字符识别的LeNet
‑
5卷积神经网络系统。LeNet
‑
5网络由卷积层、下采样层、全连接层构成，该网络在手写数字识别领域中取得了不错的效果。卷积神经网络在图像识别以及分类领域中应用极其广泛，特别是随着大规模图像数据的产生以及计算机硬件的飞速发展，卷积神经网络及其改进方法在图像理解中取得了突破性的成果。2012年，Krizhevsky提出采用了AlexNet的卷积神经网络，并且在ImageNet图像分类任务中取得了最出色的成绩。在AlexNet之后，为了进一步改善优化网络性能，提出了能够进行有效分类检测的RCNN、VGGNet、GoogleNet等。2017年，Graham等人提出了用于处理空间稀疏输入的子流型卷积神经网络，并且针对不同图像识别设置不同的稀疏表示方法。其结构在字符识别上取得非常好的效果。Bouvrie提出通过训练让机器自动学习特征图的组合，从而取代人工选择组合，其思想方法是在损失函数上加入稀疏项，通过反向传播对组合权重求梯度，迭代过程中由稀疏后权重大的项来决定哪些特征图组合生成下一层的输入。

技术实现思路

[0005]本专利技术需要解决的技术问题是提供一种基于子流型稀疏卷积的三维目标点云识别的方法，加快了网络训练速度，提高识别正确率，改善占用内存空间大的缺陷，实现快速高效的三维目标识别。
[0006]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于子流型稀疏卷积的三维目标点云识别的方法，包括如下步骤：
[0007]步骤1：获取目标场景的初始点云；
[0008]步骤2；基于初始点云数据和子流型卷积神经网络，利用子流型稀疏卷积进行局部特征提取，获取目标点云局部特征；
[0009]步骤3：将子流型卷积网络的输出作为两个相同的MLP网络的输入；
[0010]步骤4：将步骤3中第一个MLP网络输出到交叉熵损失函数，记作通道1中的交叉熵损失函数L；
[0011]步骤5：将步骤3中第二个MLP网络输出到两个基于注意力机制的图卷积神经网络，最后输出到平方误差损失函数，记作通道2中的图卷积网络的平方误差损失函数E
gcn
；另外将步骤3中第二个MLP网络不经图卷积神经网络直接输出到平方误差损失函数，记作通道3中的平方误差损失函数E；
[0012]步骤6：选用交叉熵损失函数和平方误差损失函数之和作为网络模型总损失函数T，根据总损失函数T值的大小，进行网络模型的反向训练,网络模型总损失函数T公式如下：
[0013]T＝L+E
gcn
+E，
[0014]其中，T为网络模型总损失函数，L为通道1中的交叉熵损失函数，E
gcn
为通道2中的图卷积网络的平方误差损失函数，E为通道3中的平方误差损失函数。
[0015]本专利技术技术方案的进一步改进在于：在步骤1中获取点云数据的目标场景为室外场景或室内场景，通过单目成像系统或者双目成像系统获取目标场景的初始点云数据。
[0016]本专利技术技术方案的进一步改进在于：所述步骤2中获取目标点云局部特征具体步骤为：
[0017]先将原始点云中非零的位置信息和层次特征同哈希表和矩阵存储起来，称其为活动站点，矩阵的行用来记录活动点的位置，每一行存放一个活动点的特征值，执行下面操作：
[0018][0019]其中，y
k
表示目标点局部特征，input(x
i
)表示输入，K(x
k
,x
i
)表示卷积核，VSC表示进行局部特征提取的操作。
[0020]本专利技术技术方案的进一步改进在于：所述VSC的具体操作分为两个部分：
[0021]第一部分：初始化：计算每个点的初始特征矩阵和哈希表，输入特征矩阵的每一行记录活动点的位置，每一行存放一个活动点的特征值；哈希表包含全部活动站点的位置信息、行映射，位置是整数坐标的元组，行号表示特征矩阵中对应的行；
[0022]第二部分：动态计算：动态创建并输出矩阵和哈希表格，并在每次卷积操作时创建规则表，具体步骤如下：
[0023]第一步：对输入进行padding填充，padding大小由卷积核尺寸决定，padding＝(f
‑
1)/2，f代表卷积核的尺寸；
[0024]第二步：将输出矩阵的值置0，在规则表中找到输入的索引和输出的索引对，并且从输入矩阵中得到输入行的位置和特征值，输入矩阵中每一行对应一个点，大小为1m，和大小为m
×
n的卷积核相乘，得到大小为1n的输出值并写入输出矩阵；
[0025]第三步：计算活动站点和舍弃非活动站点，当输出最中间的点是活动站点，那么这个输出就是活动站点，反之就是非活动站点，对其进行舍弃；子流稀疏卷积还包括强制清零
功能，稀疏卷积输出尺寸会越来越大，原本0值的地方会受有值区域的影响而卷积出非零值，为了保持原有特征的稀疏性，把之前是0的位置强制清零。
[0026]本专利技术技术方案的进一步改进在于：所述步骤3中将子流型卷积网络的输出作为两个相同MLP网络的输入，MLP为多个感知器构建而成的神经网络，每一层的感知器和下一层的感知器互相连接，MLP由输入层、输出层和多个隐藏层组成，MLP是由多个非线性以及线性激活函数组成的混合函数，MLP用下式表示：
[0027]F(x)＝s
·
ω
n
(x)
·
σ
n
‑1…
ω1(x)
[0028]式中，ω
n
(x),ω
n
‑1(x),
…
,ω1(x)表示全连接层，σ
n
‑1表示激活函数，s表示softmax函数，其中全连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于子流型稀疏卷积的三维目标点云识别的方法，其特征在于：包括如下步骤：步骤1：获取目标场景的初始点云；步骤2：基于初始点云数据和子流型卷积神经网络，利用子流型稀疏卷积进行局部特征提取，获取目标点云局部特征；步骤3：将子流型卷积网络的输出作为两个相同的MLP网络的输入；步骤4：将步骤3中第一个MLP网络输出到交叉熵损失函数，记作通道1中的交叉熵损失函数L；步骤5：将步骤3中第二个MLP网络输出到两个基于注意力机制的图卷积神经网络，最后输出到平方误差损失函数，记作通道2中的图卷积网络的平方误差损失函数E
gcn
；另外将步骤3中第二个MLP网络不经图卷积神经网络直接输出到平方误差损失函数，记作通道3中的平方误差损失函数E；步骤6：选用交叉熵损失函数和平方误差损失函数之和作为网络模型总损失函数T，根据总损失函数T值的大小，进行网络模型的反向训练,网络模型总损失函数T公式如下：T＝L+E
gcn
+E，其中，T为网络模型总损失函数，L为通道1中的交叉熵损失函数，E
gcn
为通道2中的图卷积网络的平方误差损失函数，E为通道3中的平方误差损失函数。2.根据权利要求1所述的一种基于子流型稀疏卷积的三维目标点云识别的方法，其特征在于：在步骤1中获取点云数据的目标场景为室外场景或室内场景，通过单目成像系统或者双目成像系统获取目标场景的初始点云数据。3.根据权利要求2所述的一种基于子流型稀疏卷积的三维目标点云识别的方法，其特征在于：所述步骤2中获取目标点云局部特征具体步骤为：先将原始点云中非零的位置信息和层次特征同哈希表和矩阵存储起来，称其为活动站点，矩阵的行用来记录活动点的位置，每一行存放一个活动点的特征值，执行下面操作：其中，y
k
表示目标点局部特征，input(x
i
)表示输入，K(x
k
,x
i
)表示卷积核，VSC表示进行局部特征提取的操作。4.根据权利要求3所述的一种基于子流型稀疏卷积的三维目标点云识别的方法，其特征在于：所述VSC的具体操作分为两个部分：第一部分：初始化：计算每个点的初始特征矩阵和哈希表，输入特征矩阵的每一行记录活动点的位置，每一行存放一个活动点的特征值；哈希表包含全部活动站点的位置信息、行映射，位置是整数坐标的元组，行号表示特征矩阵中对应的行；第二部分：动态计算：动态创建并输出矩阵和哈希表格，并在每次卷积操作时创建规则表，具体步骤如下：第一步：对输入进行p...

【专利技术属性】
技术研发人员：林洪彬，杨博，郭聃，陈泽宇，关勃然，魏佳宁，
申请(专利权)人：燕山大学，
类型：发明
国别省市：