一种大感受野的点云修复方法技术

本发明专利技术公开一种大感受野的点云修复方法，涉及点云修复技术领域，提出了一个具有更大感受野的点云修复网络，所述点云修复网络对点云数据中的点之间的相对位置进行识别后，将彼此靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，再提取点云数据的全局特征，并根据所述高度抽象的点特征和全局特征，得到修复后的点云

【技术实现步骤摘要】
一种大感受野的点云修复方法


[0001]本专利技术涉及点云修复
，更具体地，涉及一种大感受野的点云修复方法
。

技术介绍

[0002]点云分类，语义分割和物体检测都是智能车辆的基础和重要的感知任务
。
这些任务要求输入是完整的点云
。
然而，在现实中，由于视角差异，遮挡和噪声，
3D
传感器获取的点可能是不完整的
。
因此，修复部分点云对于智能车辆来说是一项重要任务
。
[0003]大多数的点云修复方法可以根据是否直接处理点云数据被分为三类，即基于体素的方法，基于点的方法和基于
transformer
的方法
。
基于体素的方法首先通过体素化将无序点云转换为有序数据，然后修复它们
。
例如，
GRNet
首先将点云转换为
3D
网格，使用
3D
卷积神经网络
(CNN)
进行修复，然后将修复的
3D
网格重新转换为点云
。
相反，基于点的方法直接使用核大小为1并且具有最大池化操作的
CNN
修复部分点云
。
除了以上描述的方法，
transformer
正在被用于点云任务的研究中
。
与基于点的方法类似，
transformer
也使用卷积核大小为1的卷积来提取点云特征
。
[0004]然而，大小为1的卷积核只能提取一个点特征，其感受野较小
。
当对其应用最大池化操作时，所获得的高度抽象特征并不精确，因此，其最后修复得到的点云同样并不准确
。

技术实现思路

[0005]本专利技术提供一种大感受野的点云修复方法，解决现有技术中因感受野较小使得最后修复得到的点云不准确的技术问题
。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种大感受野的点云修复方法，包括以下步骤：
[0008]S1
：获取点云数据；
[0009]S2
：构建点云修复网络，所述点云修复网络对点云数据中的点之间的相对位置进行识别后，将彼此靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，再提取点云数据的全局特征，并根据所述高度抽象的点特征和全局特征，得到修复后的点云；
[0010]S3
：将所述步骤
S1
获取的点云数据输入至步骤
S2
中的点云修复网络，所述点云修复网络输出修复后的点云
。
[0011]在上述的技术手段中，由于点云的无序，点云修复网络不能简单地使用更大的核来提取高度抽象的点特征
。
更具体地说，彼此靠近的几个点可以被抽象为一个特征，而彼此远离的几个点则不能被抽象为一个特征
。
因此，不能保证进入较大核的点彼此接近
。
为了解决这个问题，本方案中先将较近的点放在一起，然后就可以用更大的卷积核处理这些点，提取高度抽象的点特征，解决因感受野较小使得最后修复得到的点云不准确的技术问题
。
[0012]进一步地，所述点云修复网络包括偏移
‑
注意力嵌入模块
、
重新排列模块
、
池化和重复层
、
具有不同大小卷积核的卷积层以及具有不同大小卷积核的转置卷积层，其中：
[0013]所述偏移
‑
注意力嵌入模块对点云数据中的点之间的重要程度进行识别后，再由所述重新排列模块将彼此靠近的点放在一起，所述具有不同大小卷积核的卷积层提取点云数据的不同维度的高度抽象的点特征，所述池化和重复层根据具有不同大小卷积核的卷积层的输出提取点云数据的全局特征，所述具有不同大小卷积核的转置卷积层根据所述点云数据的不同维度的高度抽象的点特征和全局特征，得到修复后的点云
。
[0014]进一步地，所述偏移
‑
注意力嵌入模块具体为：
[0015]所述偏移
‑
注意力嵌入模块的输入为点的位置，根据所述点的位置计算查询矩阵
、
键矩阵和值矩阵：
[0016]Q
＝
P
in
·
W
q
[0017]K
＝
P
in
·
W
k
[0018]V
＝
P
in
·
W
v
[0019]式中，
Q、K、V
分别表示查询矩阵
、
键矩阵和值矩阵，
P
in
表示点的位置，
W
q
、W
k
、W
v
分别表示对应权重矩阵，
·
表示矩阵乘法，各参数满足：
[0020][0021][0022]根据所述查询矩阵
、
键矩阵计算注意力地图
AM
：
[0023]AM
＝
K
T
·
Q
[0024][0025]根据所述注意力地图
AM
和值矩阵计算注意力特征
AF
：
[0026]AF
＝
(l1_norm(softmaxAM)
·
(V))
[0027]式中，
softmax
表示
softmax
运算符，
l1_norm
表示
l1
范数；
[0028]从所述注意力特征
AF
中减去
P
in
，再将得到的结果送入线性
+
批量归一化
+
整流线性单元层，计算偏移注意力
P
out
作为偏移
‑
注意力嵌入模块的输出：
[0029]P
out
＝
α
P
in
+
β
(LBR(P
in
‑
AF))
[0030]式中，
α
、
β
为权重，
LBR
为线性
+
批量归一化
+
整流线性单元层
。
[0031]进一步地，所述重新排列模块具体为：
[0032]计算所有点的空间相对距离，利用聚类算法找到每个点最近的
k
个点，将所述
k
个点的索引记录下来，根据索引依次将点与其最近的
k
个点排列在一起，直到所有点都重新排列
。
[0033]进一步地，所述聚类算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大感受野的点云修复方法，其特征在于，包括以下步骤：
S1
：获取点云数据；
S2
：构建点云修复网络，所述点云修复网络对点云数据中的点之间的相对位置进行识别后，将彼此靠近的点放在一起后，使用具有大感受野的卷积层提取点云数据的高度抽象的点特征，再提取点云数据的全局特征，并根据所述高度抽象的点特征和全局特征，得到修复后的点云；
S3
：将所述步骤
S1
获取的点云数据输入至步骤
S2
中的点云修复网络，所述点云修复网络输出修复后的点云
。2.
根据权利要求1所述的大感受野的点云修复方法，其特征在于，所述点云修复网络包括偏移
‑
注意力嵌入模块
、
重新排列模块
、
池化和重复层
、
具有不同大小卷积核的卷积层以及具有不同大小卷积核的转置卷积层，其中：所述偏移
‑
注意力嵌入模块对点云数据中的点之间的重要程度进行识别后，再由所述重新排列模块将彼此靠近的点放在一起，所述具有不同大小卷积核的卷积层提取点云数据的不同维度的高度抽象的点特征，所述池化和重复层根据具有不同大小卷积核的卷积层的输出提取点云数据的全局特征，所述具有不同大小卷积核的转置卷积层根据所述点云数据的不同维度的高度抽象的点特征和全局特征，得到修复后的点云
。3.
根据权利要求2所述的大感受野的点云修复方法，其特征在于，所述偏移
‑
注意力嵌入模块具体为：所述偏移
‑
注意力嵌入模块的输入为点的位置，根据所述点的位置计算查询矩阵
、
键矩阵和值矩阵：
Q
＝
P
in
·
W
q
K
＝
P
in
·
W
k
V
＝
P
in
·
W
v
式中，
Q、K、V
分别表示查询矩阵
、
键矩阵和值矩阵，
P
in
表示点的位置，
W
q
、W
k
、W
v
分别表示对应权重矩阵，
·
表示矩阵乘法，各参数满足：表示矩阵乘法，各参数满足：根据所述查询矩阵
、
键矩阵计算注意力地图
AM
：
AM
＝
K
T
·
Q
根据所述注意力地图
AM
和值矩阵计算注意力特征
AF
：
AF
＝
(l1_norm(softmaxAM)
·
(V))
式中，
softmax
表示
softmax
运算符，
l1_norm<...

【专利技术属性】
技术研发人员：刘坤华，卢涛，郑义，代成刚，陈成军，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：