【技术实现步骤摘要】
一种基于关键语义修正的任意比例点云上采样方法
[0001]本专利技术涉及点云上采样领域，更具体地，涉及一种基于关键语义修正的任意比例点云上采样方法
、
系统及存储介质
。
技术介绍
[0002]随着商业
3D
扫描仪的普及，从真实世界场景中捕捉点云变得方便且价格合理
。
因此，点云已被广泛应用于自动驾驶
、
机器人
、
遥感等领域
。
但是，
3D
扫描仪或深度相机产生的原始点云通常是稀疏和嘈杂的，有时带有小孔空缺，这极大地影响了下游任务的性能，如语义分类
、
渲染
、
表面重建等
。
因此，将原始点云上采样为密集
、
干净和完整的点云至关重要，上采样后的点云具有更为复杂的集合信息，可以很好的为下游任务服务
。
然而，目前存在的很多点云上采样方法中通常面临两个关键问题：一次性训练后的固定上采样率，因为特征扩展单元是为每个上采样率定制的；其次是由于难以精确预测上采样点的
3D
坐标或残差而导致的异常值或收缩伪影
。
技术实现思路
[0003]本专利技术为克服上述现有技术所述的点云上采样方法一次性训练后固定上采样率，和难以精确预测上采样点的
3D
坐标或残差而导致的异常值或收缩伪影的缺陷，提供一种基于关键语义修正的任意比例点云上采样方法
、
系统及存储介...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.
一种基于关键语义修正的任意比例点云上采样方法，其特征在于，包括以下步骤：
S1
：使用中间点插值方法，获得预设比例的插值点云；
S2
：在插值点云上进行特征提取；
S3
：计算插值点云中每个点的关键语义的注意力权重；
S4
：利用注意力权重对提取的特征进行修正，之后进行通道减小及残差连接，得到上采样点云；
S5
：通过使用点的选择策略和最远点采样策略对上采样点云进行处理，获得目标比例的上采样点云
。2.
根据权利要求1所述的一种基于关键语义修正的任意比例点云上采样方法，其特征在于，步骤
S1
所述使用中间点插值方法，获得预设比例的插值点云，具体过程为：首先进行插值点生成，对于每一个稀疏点
p
i
(x
i
，
y
i
，
z
i
)∈P
，首先找到该点的
k
个近邻点
p
k
(x
k
，
y
k
，
z
k
)
，然后使用
(p
i
+p
k
)/2
作为新生成的点；其次使用最远点采样方法，去除重叠的生成点并控制点的数量为
r
′
倍，
r
′
＝
r+2
，
r
为所需上采样倍数，得到最终的粗略上采样插值点云
Q
′
；其中上采样插值点云
Q
′
的比例是大于上采样倍率
r
的
。3.
根据权利要求2所述的一种基于关键语义修正的任意比例点云上采样方法，其特征在于，步骤
S2
所述在插值点云上进行特征提取，具体过程为：首先，进行点云的特征编码，增大点云的特征维度，对于任何一个插值后的点
p
i
＝
(x
i
，
y
i
，
z
i
)
，使用三角函数编码，具体实现为：其中，
posEmb()
表示的就是将点
p
i
进行编码处理，得到点
p
i
编码后的特征，这里表示将点位置从三维变为
C
维度，进行位置编码；
Concat()
表示将拼在一起，类似于
(x
，
y
，
z)
形式；表示沿着每个点坐标的三个坐标分别进行编码，
C
是编码后的每个点的特征通道大小；具体三角函数细节如下：具体三角函数细节如下：其中，每个位置索引
m∈[0
，
C/6]
，
a、b
分别控制幅值和波长；接着以编码后的特征为基础，采用4个阶段的结构进行分层聚合局部特征；然后进行特征延伸，首先找到
k
个近邻特征
f
j
，对于任何一个中心点
p
c
的特征
f
c
，沿着每一个特征维度进行下面处理：
f
c
，
j
＝
Concat(f
c
，
f
c
‑
f
j
)
，
j∈N
c
其中，
f
c
，
j
表示每个中心点根据每个近邻点进行特征延伸；
N
c
表示在中心点
p
c
的
k
个近邻个数，此时
k
等于
N
c
；通过特征延伸之后，对每个特征
f
c
，
j
进行相对位置编码分配权重；先进行标准化每个点近邻的点坐标：
x
位置方向标准化如上所示，其中，
α
表示很小量；
x
mean
表示近邻点的
x
位置均值，
std
x
表示标准差，
Δ
x
i
表示经过此标准化处理过后的
x
轴点；其他位置方向与
x
位置方向进行同等操作；接着
k
近邻的特征随权重的变化，表示为：其中，
Δ
p
j
表示经过上述处理位置标准化后的中心点
p
c
的第
j
个近邻点变换后的位置；表示每个中心点
p
c
与近邻点之间的局部特征与近邻点之间进行特征聚合；编码方式采用上述所提到的三角函数的编码方式进行编码，给每个中心点的近邻点分配权重，
⊙
表示每个元素对应相乘的操作；通过特征延伸表示的每部分的局部区域的特征之后，进行特征的聚合，得到每个中心点表示的局部特征信息点表示的局部特征信息其中
MaxPooling,AvePooling
分别表示从最大池化方面和平均池化方面聚合近邻的特征信息；最终第一个阶段会得到响应的特征其中特征为
l1(r
′
N
×
C)
，表示第一个阶段的特征，其中，
N
表示的是稀疏的点云的点的数量；通过四个阶段的不同提取，每个阶段专注不同的特征空间和局部的信息表示，能够得到上采样点云的局部信息
l4，其中点云局部特征为
f
′
∈(r
′
N
×
C)。4.
根据权利要求3所述的一种基于关键语义修正的任意比例点云上采样方法，其特征在于，步骤
S3
所述计算插值点云中每个点的关键语义的注意力权重，具体过程为：根据点云中的点的关键语义信息为每个插值点分配不同的偏置权重；考虑每个点在整个点云中的敏感程度，进而给不同的点分配不同的特征权重及其坐标增量；首先通过插值点进行特征编码：其中，
p
c
表示稀疏点云的所有点，
g
c
表示这些点构成点云的几何信息，
EdgeConvMLP
表示具有边间关系的深度网络，能够学习到点云的几何信息，及其每个位置间的相互作用信息等；对空间的特征进行分配：其中，
i
表示的是点云中每个点的索引，
g
c
表示点云点的集合，
j
表示沿着每个特征通道进行处理，表示注意力权重
。5.
根据权利要求4所述的一种基于关键语义修正的任意比例点云上采样方法，其特征在于，步骤
S4
所述利用注意力权重对提取的特征进行修正，之后进行通道减小及残差连接，得到上采样点云，具体过程为：
通过
S2
和
S3
，得到空间中的点云的局部的信息和每个点的注意力权重，进而得到整个上采样点云，局部特征通过关键点位置的变化转化为：其中，表示通过点云特征提取后的特征与经过关键点特征修正提取后的特征进行残差连接，修正
S2
中的特征提取；表示
S2
步骤得到的点云局部特征
f
′
中的每一个点
c
的第
j
个通道的特征在此键入公式；
c
表示每个点，
j
表示每个特征通道；通过上面处理，能够得到上采样点云的关键语义约束的局部信息；进而进行通道减小，及残差连接得到较为精细的上采样点云：
Δ
Q
′
＝
MLP(F)
其中，
F
表示上一步得到的点云提取的特征，
Δ
Q
′
表示
Q
′
中的每个点的位置增量，
MLP
进行特征的减少从
C
减小到3维空间，得到插值点云的位置增量；在进行每个点的位置修正：
x
i
＝
x
′
i
+
Δ
x
i
得到：
Q
＝
Q
′
+
Δ
Q
′
,Q∈(r
′
N
×
3),r
′
＝
r+2
其中，
x
i
表示得到修正后的第
i
个点的
x
位置，
x
i
′
表示的就是第一步插值得到的第
i
个点的
技术研发人员：陈嘉骏，林程星，朱鉴，蔡瑞初，冯广，胡钦太，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。