基于动态散射变换的三维点云上采样方法及系统技术方案

本发明专利技术提供了一种基于动态散射变换的三维点云上采样方法及系统，其中方法包括：获取待上采样的三维点云，将每个点的空间坐标归一化到单位球，获得归一化点云；将归一化点云输入基于动态图散射变换的稠密连接特征提取器，提取多尺度特征；通过多尺度热核图卷积对多尺度特征做特征拼接，进行特征上采样，从上采样特征重建归一化上采样点云坐标

【技术实现步骤摘要】
基于动态散射变换的三维点云上采样方法及系统


[0001]本专利技术涉及多媒体信号处理
，具体地，涉及一种基于动态散射变换的三维点云上采样方法及系统，同时提供了一种相应的计算机终端和计算机可读存储介质
。

技术介绍

[0002]近些年，传感器和深度相机的技术进步带来了三维数据的兴起
。
比起传统的图像信号，三维信号对物体的刻画更加立体，也包含更多细节和深度信息
。
由于传感器采集的信号一般是离散的，因此在众多三维数据中，点云是最常用的刻画物体轮廓和细节的数据之一
。
由于基于局部几何信息优化的点云上采样方法存在奇点性能下降的局限，研究者开始致力于研究基于机器学习的点云上采样方法
。
[0003]经过检索发现：
[0004]Yu
等在
《2018IEEE/CVF Pu
‑
net:Point cloud upsampling network》
一文中首次提出了基于深度学习的点云上采样模型
(PU
‑
Net)
，并首次提出了包含特征提取
、
特征扩展
、
坐标重建三个步骤的上采样模型框架
。PU
‑
Net
通过将输入点云进行不同倍率的下采样得到点云的多尺度特征，采用双层独立的的卷积层特征扩展，通过双层全连接网络实现上采样点云的坐标重建
。
然而
PU
‑
Net
的多尺度特征提取在低分辨率点云的特征插值中会引入噪声，而基于卷积的特征扩展并未考虑到点云的空间信息，容易出现上采样点云空间分布不均的情况
。
[0005]在后续工作中，
Wang
等人在
《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition》
推出了
MPU
，采用稠密连接的动态边卷积提取点云特征，同时采用
2D
网格拼接的方式在特征扩展中人为引入差异
。Qian
等人在
《European Conference on Computer Vision 2020》
公开了基于几何的点云上采样方法
(PU
‑
Geo)
，然而
PU
‑
Geo
需要输入点云各点处的法向量指导，而大部分点云数据集不包含点云的法向量信息
。Qian
等人在
《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition》
提出了基于空洞图卷积网络的点云上采样网络
(PU
‑
GCN)
，通过
Inception
‑
GCN
的网络结构和不同尺度的空洞图卷积网络提取点云的多尺度特征
。
然而与
MPU
采用稠密连接的动态边卷积网络提取点云特征类似，
PU
‑
GCN
中的点云特征信息主要集中在不同大小感受野内的低通信息
。
对于稀疏点云输入，其包含的信息是有限的，仅考虑感受野内的低通特征难以高效全面地利用点云信息
。

技术实现思路

[0006]本专利技术针对现有技术中存在的上述不足，提供了一种基于动态散射变换的三维点云上采样方法及系统，同时提供了一种相应的计算机终端和计算机可读存储介质
。
[0007]根据本专利技术的第一方面，提供基于动态散射变换的三维点云上采样方法，包括：
[0008]获取待上采样的三维点云，将每个点的空间坐标归一化到单位球，获得归一化点云；
[0009]提供一基于动态图散射变换的稠密连接特征提取器，将所述归一化点云输入所述基于动态图散射变换的稠密连接特征提取器，提取多尺度特征；
[0010]通过多尺度热核图卷积对所述多尺度特征做特征拼接，进行特征上采样，从上采样特征重建归一化上采样点云坐标
。
[0011]可选的，所述基于动态图散射变换的稠密连接特征提取器主要由
K
个动态图散射特征提取单元组成，
K
为正整数，其中：
[0012]第1个特征提取器单元的输入为归一化点云
N
个点对应的空间坐标输出
d1维点特征其中，为实数域；；
[0013]第
k
个特征提取单元
(k
＝
2,
…
,K)
的输入为第
k
‑1个特征提取单元的输出个特征提取单元的输出通过第
k
个特征提取单元获得的特征与通过跨层连接传递的输入个特征提取单元获得的特征与通过跨层连接传递的输入拼接，获得输出特征
[0014]可选的，所述将所述归一化点云输入所述基于动态图散射变换的稠密连接特征提取器，提取多尺度特征，包括：
[0015]对于第
k
个特征提取器单元，将输入特征
X
k
‑1通过一个一维卷积将特征通道数压缩至指定维度，得到压缩特征矩阵
X
cnp
的每一行对应每个点的特征；
[0016]基于每个点的特征进行动态
K
最近邻算法
(KNN)
构图，对于具有特征
x
i
的节点
v
i
，在其余节点中筛选与
x
i
在欧氏距离下最近的
K
个特征
{x
j1
,x
j2
,
…
,x
jK
}
对应的点
}v
j1
,v
j2
,
…
,v
jK
}
作为
v
i
的邻域，并构造无向边
(v
i
,v
jh
)
，
1≤h≤k
，生成动态图
G
及其对应的邻接矩阵
A
和归一化图拉普拉斯矩阵
L
；
[0017]将所述压缩特征矩阵
X
cmp
通过一个
M
层图散射网络，采用归一化图拉普拉斯矩阵
L
进行图散射变换中的谱域图卷积操作，将散射网络中不同散射路径输出的特征聚合，得到点云的多尺度特征表示
[0018]根据输入点云的特征矩阵，基于特征空间构造点云中每个点的动态邻域，通过聚合动态邻域中每个点和中心点的特征，采用动态边卷积对中心点特征进行更新，增强所述多尺度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于动态散射变换的三维点云上采样方法，其特征在于，包括：获取待上采样的三维点云，将每个点的空间坐标归一化到单位球，获得归一化点云；提供一基于动态图散射变换的稠密连接特征提取器，将所述归一化点云输入所述基于动态图散射变换的稠密连接特征提取器，提取多尺度特征；通过多尺度热核图卷积对所述多尺度特征做特征拼接，进行特征上采样，从上采样特征重建归一化上采样点云坐标
。2.
根据权利要求1所述的基于动态散射变换的三维点云上采样方法，其特征在于，所述基于动态图散射变换的稠密连接特征提取器主要由
K
个动态图散射特征提取单元组成，
K
为正整数，其中：第1个特征提取器单元的输入为归一化点云
N
个点对应的空间坐标输出
d1维点特征其中，为实数域；第
k
个特征提取单元的输入为第
k
‑1个特征提取单元的输出通过第
k
个特征提取单元获得的特征与通过跨层连接传递的输入拼接，获得输出特征其中，
k
＝
2,
…
,K。3.
根据权利要求2所述的基于动态散射变换的三维点云上采样方法，其特征在于，所述将所述归一化点云输入所述基于动态图散射变换的稠密连接特征提取器，提取多尺度特征，包括：对于第
k
个特征提取器单元，将输入特征
X
k
‑1通过一个一维卷积将特征通道数压缩至指定维度，得到压缩特征矩阵
X
cmp
的每一行对应每个点的特征；基于每个点的特征进行动态
K
最近邻算法构图，对于具有特征
x
i
的节点
v
i
，在其余节点中筛选与
x
i
在欧氏距离下最近的
K
个特征
{x
j1
,x
j2
,
…
,x
jK
}
对应的点
{v
j1
,v
j2
,
…
,v
jK
}
作为
v
i
的邻域，并构造无向边
(v
i
,v
jh
)
，
1≤h≤k
，生成动态图
G
及其对应的邻接矩阵
a
和归一化图拉普拉斯矩阵
L
；将所述压缩特征矩阵
X
cmp
通过一个
M
层图散射网络，采用归一化图拉普拉斯矩阵
L
进行图散射变换中的谱域图卷积操作，将散射网络中不同散射路径输出的特征聚合，得到点云的多尺度特征表示根据输入点云的特征矩阵，基于特征空间构造点云中每个点的动态邻域，通过聚合动态邻域中每个点和中心点的特征，采用动态边卷积对中心点特征进行更新，增强所述多尺度特征得到动态边卷积网络输出点云特征矩阵通过跨层连接将输入特征与动态边卷积输出特征拼接，得到第
k
个多尺度特征提取器单元的输出特征矩阵
4.
根据权利要求3所述的基于动态散射变换的三维点云上采样方法，其特征在于，所述将所述压缩特征矩阵
X
cmp
通过一个
M
层图散射网络，采用归一化图拉普拉斯矩阵
L
进行图散射变换中的谱域图卷积操作，将散射网络中不同散射路径输出的特征聚合，得到点云的多尺度特征表示包括：选择一个图小波函数
ψ
及其对应的尺度函数
φ
，并计算其傅里叶变换和
设定最低分辨率尺度构造不同尺度的小波函数及其对应的尺度函数其中，为整数域，为点云通过特征
KNN
构造的图
G
的图位移算子
S
的第
l
个特征根；采用归一化图拉普拉斯矩阵
L
作为图散射变换中谱域图卷积操作的图位移算子，即输入特征矩阵
X
与小波
ψ
的卷积操作定义为：其中，为归一化图拉普拉斯矩阵
L
的第
l
个特征根；基于多尺度小波滤波器组及图位移算子
L
构建一个
M
层的图散射网络，该图散射网络包含所有长度为
m<M
的散射路径
p
＝
(p1,p2,
…
,p
m
)
其中，
0≤p
i
≤J
‑1，每条散射路径采用不同的多尺度小波滤波器组合，根据一系列固定顺序的图小波函数学习点云的多尺度特征表示，输出点云在不同带通滤波器下的多尺度特征
S[p][G]X
为：其中，
φ
J
为
J
尺度下的尺度函数，符号
★
表示谱域图卷积；对于一条长度为0的散射路径该路径输出的散射特征为每条长度为
m
的散射路径
p
均输出该路径上的散射变换特征将图散射网络中所有散射路径输出的特征
X
p
拼接起来，得到点云基于动态构图的图散射网络的多尺度特征表示
H
sct
：
H
sct
＝
Concat({X
p
|p∈
Ω
M
})
其中，
{X
p
|p∈
Ω
M
}
为
M
层图散射网络中所有散射路径输出的特征，
Concat(
·
)
为按照行对齐的特征串联操作，多尺度特征
H
sct
维度为通过对图散射变换的多尺度特增压缩并与输入特征拼接：...

【专利技术属性】
技术研发人员：戴文睿，柳世禹，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：