一种基于深度特征进行鲁棒点云配准的无监督方法技术

本发明专利技术公开了一种基于深度特征进行鲁棒点云配准的无监督方法，包括如下步骤：1）获取点云数据；2）转换；3）特征提取；4)点云配准；5)训练。这种方法是一种无监督网络，通过结合全局和局部的高级特征来学习提取深度特征，以无监督的方式训练配准框架，并且这个方法不需要对点对应进行昂贵的计算，在精度、初始化鲁棒性和计算效率方面具有很大的优势。性和计算效率方面具有很大的优势。性和计算效率方面具有很大的优势。

【技术实现步骤摘要】
一种基于深度特征进行鲁棒点云配准的无监督方法


[0001]本专利技术涉及物体三维重建和定位，具体是一种基于深度特征进行鲁棒点云配准的无监督方法。

技术介绍

[0002]点云配准是估计两个点云对齐的刚性变换的问题。它在自动驾驶、运动和姿态估计、三维重建、同时定位和映射(SLAM)以及增强现实等各个领域都有许多应用。
[0003]最近，一些基于深度学习(deep learning,简称DL)的方法被提出来处理大旋转角度。(Y.Wang and J.M.Solomon,“Deep closest point:Learning representations for point cloud registration,”in Proceedings of the IEEE International Conference on Computer Vision(ICCV),2019,pp.3523
–
3532.)(Y.Aoki,H.Goforth,R.A.Srivatsan,and S.Lucey,“Pointnetlk:Robust&efficient point cloud registration using pointnet,”in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2019,pp.7163
–
7172)(V.Sarode,X.Li,H.Goforth,Y.Aoki,R.A.Srivatsan,S.Lucey,and H.Choset,“Pcrnet:point cloud registration network using pointnet encoding,”arXiv preprint arXiv:1908.07906,2019.)(X.Huang,G.Mei,and J.Zhang,“Feature
‑
metric registration:A fast semi
‑
supervised approach for robust point cloud registration without correspondences,”in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2020,pp.11 366
–
11 374.)
[0004]粗略地说，它们可以分为两类:依赖于基本事实对应或类别标签的监督方法和非监督方法。深度最近点(Deep nearest Point,简称DCP)通过奇异值分解(singular value decomposition,简称SVD)计算刚性变换，其中通过学习软匹配映射构建对应关系。PointNetLK使用经典的对齐技术，如Lucas
‑
Kanade(LK)算法来对齐PointNet特征，对训练中看不到的形状产生良好的泛化能力。然而，它们依赖于大量的配准标签数据，这使得该算法不实用，因为3D配准标签非常消耗劳动力。相比之下，从没有地面真实对应的未标记点云数据实现配准是一个重大的挑战。PCRNet通过用多层感知器替换Lucas
‑
Kanade模块，缓解了PointNetLK中所示的姿态偏差。PCRNet直接从源点云和目标点云的串联全局描述符中恢复转换参数。FMR
‑
Net采用编码器
‑
解码器任务实现无监督框架，同时通过最小化特征度量投影误差来实现配准。虽然这些方法展示了无监督学习的更突出的优势，但它们主要依赖全局表示的深度特征，而忽略了局部表示的深度特征。从而没有完全充分利用点云的深度特征进行配准，没有让配准效果达到完美。

技术实现思路

[0005]本专利技术的目的是针对现有技术中存在的不足，而提供一种基于深度特征进行鲁棒点云配准的无监督方法。这种方法是一种无监督网络，通过结合全局和局部的高级特征来
学习提取深度特征，以无监督的方式训练配准框架，并且这个方法不需要对点对应进行昂贵的计算，在精度、初始化鲁棒性和计算效率方面具有很大的优势。
[0006]实现本专利技术目的的技术方案是：
[0007]一种基于深度特征进行鲁棒点云配准的无监督方法，包括如下步骤：
[0008]1)获取点云数据：获取待配准的点云数据，在点云表面均匀采样1024个点数据；
[0009]2)转换：将得到的两幅点云的采样数据类型转换为张量，张量大小为1024
×
3，然后输入到深度学习框架中；
[0010]3)特征提取：深度学习框架中编码器模块对输入的张量进行点云深度特征提取，最终输出表示点云深度特征的一维张量，具体过程如下：
[0011]3‑
1)对输入的张量1024
×
3经过EdgeConv模块，将每一点作为中心点来表征其与各个邻点的边特征，再将这些特征聚合从而获得该点的新表征，即通过构建每个顶点的领域获取点云的局部特征，具体步骤为：
[0012]h
θ
(x
i
,x
j
)＝h
θ
(x
i
,x
j
‑
x
i
)
ꢀꢀꢀꢀ
(1)，
[0013]其中x
i
在顶点集合X＝{x1,...x
n
}∈R
F
中，F表示神经网络某一层输出的点的特征空间维度信息，接着再送入一个感知机得到边特征：
[0014]e'
ijm
＝RELU(θ
m
·
(x
j
‑
x
i
)+φ
m
·
x
i
)
ꢀꢀꢀꢀ
(2)，
[0015]其中：
[0016]Θ＝(θ1，...，θ
M
，φ1...，φ
M
)
ꢀꢀꢀꢀ
(3)，
[0017]Θ为可学习参数，接着聚合各邻边的特征：
[0018][0019]其中表示聚合操作，Ω表示以点x
i
为中心的构成邻边的点对集合，具体聚合操作为：
[0020][0021]最后在EdgeConv模块输出张量的大小为6
×
1024
×
20并输入下一卷积层；
[0022]3‑
2)对得到局部特征的张量进行五次卷积，第一次卷积经过64个二维大小为1的卷积核的卷积层输出张量大小为64
×
1024
×
20；
[0023]3‑
3)受注意力机制对深度学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度特征进行鲁棒点云配准的无监督方法，其特征在于，包括如下步骤：1)获取点云数据：获取待配准的点云数据，在点云表面均匀采样1024个点数据；2)转换：将得到的两幅点云的采样数据类型转换为张量，大小为1024
×
3，然后输入到深度学习框架中；3)特征提取：深度学习框架中编码器模块对输入的张量进行点云深度特征提取，最终输出表示点云深度特征的一维张量，具体过程如下：3
‑
1)对输入的张量1024
×
3经过EdgeConv模块，将每一点作为中心点来表征其与各个邻点的边特征，再将这些特征聚合从而获得该点的新表征，即通过构建每个顶点的领域获取点云的局部特征，具体步骤为：h
θ
(x
i
,x
j
)＝h
θ
(x
i
,x
j
‑
x
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，其中x
i
在顶点集合X＝{x1,...x
n
}∈R
F
中，F表示神经网络某一层输出的点的特征空间维度信息，接着再送入一个感知机得到边特征：e'
ijm
＝RELU(θ
m
·
(x
j
‑
x
i
)+φ
m
·
x
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)，其中：Θ＝(θ1，...，θ
M
，φ1...，φ
M
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)，Θ为可学习参数，接着聚合各邻边的特征：其中表示聚合操作，Ω表示以点x
i
为中心构成邻边的点对集合，具体聚合操作为：最后在EdgeConv模块输出张量的大小为6
×
1024
×
20并输入下一卷积层；3
‑
2)对得到局部特征的张量进行五次卷积，第一次卷积经过64个二维大小为1的卷积核的卷积层输出张量大小为64
×
1024
×
20；3
‑
3)受注意力机制对深度学习效果提升显著的特点启发，将第一层的输出结果接入CBAM注意力模块，对各通道以及空间的重要性进行加权，并同理依次经过64，128，256大小的卷积层；3
‑
4)将前四层的输出张量拼接且修改张量大小为512
×
1024
×
1，再进入512个二维大小为1的卷积核进行卷积并修改维度得到张量大小为512
×
1024，使用flatten函数将张量打平输出张量大小为512，由此得到包含了局部与全局描述符的深度特征；4)点云配准：对两幅点云进行配准，即求出一个刚性变换矩阵...

【专利技术属性】
技术研发人员：陈明，韦升喜，肖远辉，田旭，李祺峰，吴冬柳，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：