一种基于多阶段分形组合的点云补全方法及系统技术方案

本申请公开了一种基于多阶段分形组合的点云补全方法及系统，包括以下步骤：获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全。本申请可以将同时存在几何形状缺失和点云稀疏缺失的残缺点云，有效的补全出点云的缺失部分。提高模型的鲁棒性，能应对点云的多种缺失情况，且有效地优化点云补全的过程。补全的过程。补全的过程。

【技术实现步骤摘要】
一种基于多阶段分形组合的点云补全方法及系统


[0001]本申请属于点云数据处理
，具体涉及一种基于多阶段分形组合的点云补全方法及系统。

技术介绍

[0002]随着视觉硬件的高速发展，激光雷达、RGB
‑
D相机等深度传感器广泛应用于无人驾驶，机器人等领域。通过深度传感器可以有效地获取物体的点云数据，进而完成复杂的三维视觉任务，例如物体识别，语义分割，三维重建等。然而受限于设备精度等原因，现实场景下获取的点云数据往往存在稀疏和不完整的现象，导致了物体判断不够准确；除此之外，设备在采集外界信息时往往是基于单一视角，此时获取的点云可能存在被遮挡等情况。针对上述的情况，对缺失的点云进行补全处理是三维视觉领域一项重要的研究任务。
[0003]点云补全任务是将不完整的点云数据进行补全，从而获得更高质量的点云数据。常见的补全方法可以分为基于几何、基于对齐和基于学习三类。其中基于几何的方法通过先验几何假设直接从观察到的形状部分中预测不可见的形状部分，需要人为制定几何规则，这种做法只适用于具有少量不完整的模型。基于对齐的方法是在形状数据库中检索与目标对象相似的相同模型，然后将输入与模型对齐并完成缺失区域，然而它们在推理优化和数据库构建过程中需要昂贵的成本，并且对噪声影响敏感。基于学习的方法通过构造一个参数化模型来学习不完整点云和完整点云的两个特征空间之间的映射，具有较好的鲁棒性。而且近年来，随着深度学习的发展，基于学习的方法得到了巨大的发展。但是这些方法直接生成完整的点云，或者只生成缺失区域，只关注于点云在采集过程中因为遮挡等原因造成的几何形状缺失，并未同时考虑因为设备性能和外界环境等因素造成的稀疏性缺失。为同时补全可能存在的多种缺失情况的残缺点云，为解决该问题，本专利提出一种多阶段分形组合的点云补全方法及系统。相比于其他直接预测点云的方法，本专利所提出的方法先学习补全出三维点云几何形状缺失的部分，再将输入的点云与生成的几何形状缺失部分点云进行合并提取出三维点云的局部细节特征，最后精细化的生成高质量的三维点云。

技术实现思路

[0004]本申请提出了一种基于多阶段分形组合的点云补全方法及系统，可以将同时存在几何形状缺失和点云稀疏缺失的残缺点云，有效的补全出点云的缺失部分。提高模型的鲁棒性，能应对点云的多种缺失情况，且有效地优化点云补全的过程。
[0005]为实现上述目的，本申请提供了如下方案：一种基于多阶段分形组合的点云补全方法，包括如下步骤：获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全。
[0006]优选的，所述几何缺失点云补全处理的方法包括：对所述不完整点云进行分形处理，所述分形处理为将输入进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；将分形后的三组点云数据分为三路单独输入分形几何特征提取器中，进行特征编码，得到三组点云数据对应的特征向量；对三组点云数据对应的特征向量进行合并，通过全连接得到几何特征；基于所述几何特征，使用金字塔点云解码器进行解码，分别预测出不同分辨率的三维点云，最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。
[0007]优选的，所述分形几何特征提取器采用多层卷积网络，其通道数分别为3、64、128、256、512、1024。
[0008]优选的，所述精细化点云补全处理的方法包括：将所述不完整点云和几何缺失点云补全处理后得到的所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；基于所述三维点云的几何形状完整数据，进行最远点采样得到512个点作为粗略预测的三维点云；基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的所述目标场景的完整点云，完成所述精细化点云补全处理。
[0009]本申请还提供一种基于多阶段分形组合的点云补全系统，包括：点云获取模块、缺失点云补全模块和精细点云补全模块；所述点云获取模块用于获取点云；所述点云为不完整的点云数据；所述缺失点云补全模块用于对点云获取模块获取的不完整点云数据进行几何缺失点云补全处理；所述精细点云补全模块用于对所述缺失点云补全模块进行几何缺失点云补全处理后的点云数据进行精细化点云补全处理。
[0010]优选的，所述不完整点云指的是因含有几何形状缺失和稀疏性缺失而导致的非正常点云。
[0011]优选的，所述缺失点云补全模块包括：分形处理单元、分形几何特征提取器和金字塔点云解码器；所述分形处理单元用于对所述点云获取模块获取的不完整点云数据进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；所述分形几何特征提取器用于将分形后的三组点云数据进行特征编码，得到三组点云数据对应的特征向量，并基于三组点云数据对应的特征向量，得到几何特征；所述金字塔点云解码器用于基于所述几何特征，使用特征金字塔生成网络，分别预测出不同分辨率的三维点云，并最终拼接重塑得到几何丢失部分点云，完成所述几何缺
失点云补全处理。
[0012]优选的，所述精细点云补全模块包括：拼合子单元、k近邻局部特征提取器、粗略预测子单元和折叠网络子单元；所述拼合子单元用于将所述不完整点云和所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；所述k近邻局部特征提取器用于基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；所述粗略预测子单元用于基于所述三维点云的几何形状完整数据，进行最远点采样，得到粗略预测的三维点云；所述折叠网络子单元用于基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的完整点云。
[0013]本申请的有益效果为：本申请可以应对同时存在几何形状缺失和稀疏性缺失的残缺点云，分阶段有效优化点云补全的过程，在点云稀疏的情况下也有很好的补全效果。
[0014]（1）通过对输入进行分形和特征金字塔生成多尺度点云，可以在点云稀疏的情况下也能够实现补全出点云的完整几何形状。
[0015]（2）优化了网络结构：先利用k近邻算法构建局部空间信息，再通过PointNet堆叠网络，可以提取出点云的局部细节特征，以得到更精细化的点云。
[0016]（3）粗略预测更加准确，将输入的残缺点云与第一阶段的生成的几何形状缺失部分的点云进行合并，得到三维点云的几何形状完整数据，再进行最远点采样得到512个点作为粗略预测的三维点云，确保点云的几何形状准确。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段分形组合的点云补全方法，其特征在于，包括如下步骤：获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全。2.根据权利要求1所述的基于多阶段分形组合的点云补全方法，其特征在于，所述几何缺失点云补全处理的方法包括：对所述不完整点云进行分形处理，所述分形处理为将输入进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；将分形后的三组点云数据分为三路单独输入分形几何特征提取器中，进行特征编码，得到三组点云数据对应的特征向量；对三组点云数据对应的特征向量进行合并，通过全连接得到几何特征；基于所述几何特征，使用金字塔点云解码器进行解码，分别预测出不同分辨率的三维点云，最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。3.根据权利要求2所述的基于多阶段分形组合的点云补全方法，其特征在于，所述分形几何特征提取器采用多层卷积网络，其通道数分别为3、64、128、256、512、1024。4.根据权利要求2所述的基于多阶段分形组合的点云补全方法，其特征在于，所述精细化点云补全处理的方法包括：将所述不完整点云和几何缺失点云补全处理后得到的所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；基于所述三维点云的几何形状完整数据，进行最远点采样得到512个点作为粗略预测的三维点云；基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的所述目标场景的完整点云，完成所述精细化点云补全处理。5.一种基于多阶段分形组合的点云补全系统，其特征在于，包括：点云获取模块、缺失点...

【专利技术属性】
技术研发人员：刘文印，曾伟平，陈俊洪，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：