一种基于深度学习的保留密度的点云压缩方法技术

本发明专利技术提供一种基于深度学习的保留密度的点云压缩方法，用于在点云压缩过程中保留原始点云的密度从而生成高质量的重建点云，其特征在于，包括如下步骤：步骤S1，对预先获取的点云数据进行预处理从而得到训练样本；步骤S2，构建用于提取点云数据的几何信息与密度信息的编码器，并基于编码器获取点云特征；步骤S3，采用熵编码器对点云特征进行压缩；步骤S4，构建用于对点云特征进行上采样的解码器；步骤S5，构建损失函数；步骤S6，基于训练样本对由编码器、熵编码器以及解码器组成的点云压缩模型采用损失函数进行训练；步骤S7，将点云数据输入至训练好的点云压缩模型从而实现保留原始点云密度的点云压缩。点云密度的点云压缩。点云密度的点云压缩。

【技术实现步骤摘要】
一种基于深度学习的保留密度的点云压缩方法


[0001]本专利技术属于三维计算机视觉领域，具体涉及一种基于深度学习的可以保留原始点云密度的点云压缩方法。

技术介绍

[0002]点云被广泛应用于自动驾驶、机器人和物理模拟等领域，它是最重要和最广泛的3D表示之一。随着3D扫描技术的飞速发展，人们现在可以通过细粒度的点云来有效捕捉复杂的几何信息。因此压缩算法对点云数据的存储和传输至关重要。特别地，为了获得较高的压缩率，研究者们一直在关注有损点云压缩算法并思考一个关键问题：在有限的比特率条件下，点云的哪些特性应该被保留？
[0003]除了点云的全局几何信息，还需要关注局部密度的保留。原因如下：首先，保留密度通常会重建出更少的异常值，从而得到更小的重建误差。其次，实际扫描得到的点云很少会呈现出均匀分布，因此失去局部密度也就意味着失去了重要的原始特征，例如扫描分辨率等。然后，点云通常会被处理或简化为在感兴趣的区域具有复杂的几何形状，例如人脸、手等，而在压缩期间保留密度意味着这些区域会被更好地重建。最后，如果解压缩后的点云密度与原始的点云密度相差很大，语义分割等下游任务可能会受到影响。
[0004]传统的点云压缩算法通常依赖于八叉树或KD树结构来提高存储效率。受到深度学习技术在点云处理和图像压缩领域取得巨大成功的启发，研究者们开始关注基于深度学习的有损点云压缩算法。
[0005]为了解决点云的非结构化、不规则与无序的问题，一些点云压缩算法通常先体素化点云，然后再应用3D卷积进行处理，然而这会消耗大量的计算资源。与之相反，另一些压缩算法则直接作用于原始点云上，例如：文[1]基于文[2]的PointNet结构构建了一个自动编码器用于点云压缩，而文[3]则是将文[1]的PointNet结构换成了文[4]的PointNet++结构。除此之外，文[5]提出在编码时下采样点云并在解码时上采样点云。然而，这些方法都没有考虑在压缩时保留原始点云的密度信息。
[0006]上述参考文献为：
[0007][1]Wei Yan,Shan Liu,Thomas H Li,Zhu Li,Ge Li,et al.Deep autoencoder
‑
based lossy geometry compression for point clouds.arXiv preprint arXiv:1905.03691,2019.
[0008][2]Charles R Qi,Hao Su,Kaichun Mo,and Leonidas J Guibas.Pointnet:Deep learning on point sets for 3d classification and segmentation.In Proceedings of the IEEE conference on computer vision and pattern recognition,pages 652
–
660,2017.
[0009][3]Tianxin Huang and Yong Liu.3d point cloud geometry compression on deep learning.In Proceedings of the 27th ACM International Conference on Multimedia,pages 890
–
898,2019.
[0010][4]Charles R Qi,Li Yi,Hao Su,and Leonidas J Guibas.Pointnet++:Deep hierarchical feature learning on point sets in a metric space.arXiv preprint arXiv:1706.02413,2017.
[0011][5]Louis Wiesmann,Andres Milioto,Xieyuanli Chen,Cyrill Stachniss,and Jens Behley.Deep compression for dense point cloud maps.IEEE Robotics and Automation Letters,6(2):2060
–
2067,2021.

技术实现思路

[0012]为解决上述问题，提供一种在压缩过程中保留密度信息并获得更高重建质量的点云压缩方法，本专利技术采用了如下技术方案：
[0013]本专利技术提供了一种基于深度学习的保留密度的点云压缩方法，用于在点云压缩过程中保留原始点云的密度从而生成高质量的重建点云，其特征在于，包括如下步骤：步骤S1，对预先获取的点云数据进行预处理从而得到训练样本；步骤S2，构建用于提取点云数据的几何信息与密度信息的编码器，并基于编码器获取点云特征；步骤S3，采用熵编码器对点云特征进行压缩；步骤S4，构建用于对点云特征进行上采样的解码器；步骤S5，构建损失函数；步骤S6，基于训练样本对由编码器、熵编码器以及解码器组成的点云压缩模型采用损失函数进行训练；步骤S7，将点云数据输入至训练好的点云压缩模型从而实现点云压缩。
[0014]本专利技术提供的一种基于深度学习的保留密度的点云压缩方法，还可以具有这样的技术特征，其中，点云数据为点云的三维点坐标，预处理为将点云数据进行归一化处理，对归一化后的点云切分为不重合的小块。
[0015]本专利技术提供的一种基于深度学习的保留密度的点云压缩方法，还可以具有这样的技术特征，其中，步骤S2包括以下子步骤：步骤S2
‑
1，采用最远点采样对点云进行多阶段地下采样，对于每个阶段下采样后点云中的每个点，寻找每个阶段对应的收缩点集；步骤S2
‑
2，采用密度嵌入与位置嵌入分别表征当前阶段收缩点集的密度信息与几何信息，同时采用祖先嵌入表征之前阶段收缩点集的密度信息与几何信息；步骤S2
‑
3，将密度嵌入、位置嵌入以及祖先进行嵌入融合获取点云特征。
[0016]本专利技术提供的一种基于深度学习的保留密度的点云压缩方法，还可以具有这样的技术特征，其中，收缩点集的寻找过程为：对于每个下采样阶段，每个丢弃的点都会收缩到离它最近的保留下来的下采样点上，从而每个下采样点都会形成一个收缩点集。
[0017]本专利技术提供的一种基于深度学习的保留密度的点云压缩方法，还可以具有这样的技术特征，其中，密度嵌入为对于每个阶段的下采样点，计算其收缩点集内的点数，位置嵌入为对于每个阶段的下采样点，计算其收缩点集内的点到其本身的方向与距离，基于注意力机制将收缩点集内的方向与距离信息融合，祖先嵌入为在每个阶段的之前阶段所提取到的密度信息以及几何信息。
[0018]本专利技术提供的一种基于深度学习的保留密度的点云压缩方法，还可以具有这样的技术特征，其中，熵编码器包括量化操作与算术编码，在训练过程中，量化操作替换为加入随机噪声以实现梯度的反向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的保留密度的点云压缩方法，用于在点云压缩过程中保留原始点云的密度从而生成高质量的重建点云，其特征在于，包括如下步骤：步骤S1，对预先获取的点云数据进行预处理从而得到训练样本；步骤S2，构建用于提取所述点云数据的几何信息与密度信息的编码器，并基于所述编码器获取点云特征；步骤S3，采用熵编码器对所述点云特征进行压缩；步骤S4，构建用于对所述点云特征进行上采样的解码器；步骤S5，构建损失函数；步骤S6，基于所述训练样本对由所述编码器、所述熵编码器以及所述解码器组成的点云压缩模型采用所述损失函数进行训练；步骤S7，将所述点云数据输入至训练好的所述点云压缩模型从而实现点云压缩。2.根据权利要求1所述的一种基于深度学习的保留密度的点云压缩方法，其特征在于：其中，所述点云数据为点云的三维点坐标，所述预处理为将所述点云数据进行归一化处理，对归一化后的所述点云切分为不重合的小块。3.根据权利要求1所述的一种基于深度学习的保留密度的点云压缩方法，其特征在于：其中，所述步骤S2包括以下子步骤：步骤S2
‑
1，采用最远点采样对所述点云进行多阶段地下采样，对于每个阶段下采样后点云中的每个点，寻找每个阶段对应的收缩点集；步骤S2
‑
2，采用密度嵌入与位置嵌入分别表征当前阶段收缩点集的密度信息与几何信息，同时采用祖先嵌入表征之前阶段收缩点集的密度信息与几何信息；步骤S2
‑
3，将所述密度嵌入、所述位置嵌入以及所述祖先进行嵌入融合获取所述点云特征。4.根据权利要求3所述的一种基于深度学习的保留密度的点云压缩方法，其特征在于：其中，所述收缩点集的寻找过程为：对于每个下采样阶段，每个丢弃的点都会收缩到离它最近的保留下来的下采样点上，从而每个下采样点都会形成一个收缩点集。5.根据权利要求3所述的一种基于深度学习的保留密度的点云压缩方法，其特征在于：其中，所述密度嵌入为对于每个阶段的下采样点，计算其收缩点集内的点数，所述位置嵌入为对于每个阶段的下采样点，计算其收缩点集内的点到其本身的方向与距离，基于注意力机制将所述收缩点集内的方向与距离信息融合，所...

【专利技术属性】
技术研发人员：付彦伟，贺蕴，任新麟，唐丹航，张寅达，薛向阳，
申请(专利权)人：复旦大学，
类型：发明
国别省市：