点云属性压缩制造技术

提供了一种点云属性压缩方法。该方法包括：获取点云的多个3D块，每个3D块包括3D点集合；为多个3D块中的每个3D块生成该3D块的2D属性图像，以获取多个3D块的多个2D属性图像，其中，对于多个3D块中的至少第一3D块，基于第一属性图像生成过程生成该第一3D块的2D属性图像；基于多个3D块的多个2D属性图像生成点云的2D属性图像；基于2D图像编解码对点云的2D属性图像进行压缩，以获取点云的经压缩的2D属性图像。具体地，第一属性图像生成过程包括：点线性化阶段和第一2D空间填充阶段，点线性化阶段用于将输入到该点线性化阶段的输入3D块的3D点集合变换为该输入3D块的1D点序列；第一2D空间填充阶段用于将输入3D块的1D点序列映射到第一2D图像像素网格，以生成输入3D块的2D属性图像。还提供了对应的点云属性压缩系统。像。还提供了对应的点云属性压缩系统。像。还提供了对应的点云属性压缩系统。

【技术实现步骤摘要】
【国外来华专利技术】点云属性压缩
[0001]本申请要求于2020年9月2日提交的申请号为10202008512Q的新加坡专利申请的优先权，在此出于所有目的通过引用全文将其内容并入本文。


[0002]本专利技术总体上涉及用于点云属性压缩的方法和系统，并且更具体地，涉及基于图像的三维(three
‑
dimensional，3D)点云属性压缩。

技术介绍

[0003]由于光探测和测距(light detection and ranging，LiDAR，或称为激光雷达)技术和摄影测量技术的进步，以及更加平价的3D采集和数字化设备的普及，点云在各种新兴领域逐渐变得热门，上述新兴领域例如但不限于区域内的定位和姿态估计、虚拟现实和增强现实、远程沉浸式通信、文化遗产存档、和自动驾驶等。例如，为了充分表示真实世界的物体或场景的形状和外观，可以由数百万甚至数十亿个点组成点云，其中每一个点都与一组数值坐标(例如，3D坐标)和可能的属性信息(例如，亮度、颜色、表面法线、反射率等)关联。这种数字表示形式会不可避免地产生大量数据。考虑到网络带宽和存储容量的限制，点云压缩因此对于许多3D相关应用具有必要性。
[0004]为了减少点云的信息冗余，文献中报告过不同的压缩方法或方案，可以将这些压缩方法或方案大致分为两类：静态点云、动态点云、和动态获取点云的几何压缩和属性压缩。在运动图像专家组(moving pictureexpert group，MPEG)点云压缩标准化的上下文中，静态点云可以是指单个对象/场景(例如，建筑物)的3D表示并且不含任何时间信息的点云；动态点云可以是指捕捉随时间变化的移动的3D对象的位置的一组点云帧；动态获取点云可以是指由光探测和测距传感器捕捉的点云序列，例如装备在自动驾驶车辆上以用于实时感知周围环境的光探测和测距传感器。
[0005]对于有效点云属性编解码的设计，与二维(two
‑
dimensional，2D)视觉数据压缩类似的一个重要因素是如何更好地利用3D空间中相邻点之间的空间相关性。这是因为几何上更靠近的点享有相似属性的可能性更高，因此使用传统编码方法可以减少信息冗余。然而，由于数据结构和维度方面的差异，在例如音频、图像、或视频等其他形式内容中使用的成熟编解码通常无法直接应用于3D点云。因此，已设计出相当多的专门针对点云数据的属性压缩算法。在这些算法之中，利用相邻点之间的空间相关性的传统方法是基于使用八叉树或kd树(kd
‑
tree)结构的3D空间分解。例如，引入了一种将点云分割为分层结构并采用基于块的帧内预测方案以提高编码效率的方法。除此之外，还有各种研究将属性视作为图形的信号，并使用图形变换(graph transform，GT)对属性进行压缩。虽然基于GT的方法对于点云属性压缩有效，但其通常需要重复的特征分解，并且在点云稀疏时可能会产生孤立的子图。例如，为了解决这一问题，已经公开了一种使用区域自适应分层变换来压缩点云的方法，该方法具有较低的计算复杂度，但在率失真性能方面稍差。
[0006]除了前述的传统方法或方案，还有另一个研究分支试图弥合高维和低维的数据压
缩之间的差异。这是基于以下考虑：一维(one
‑
dimensional，1D)和2D压缩已经被广泛研究了几十年，如果可以找到将数据从高维空间转换到低维空间的有效映射样式，则3D点云属性压缩可以受益于这些相对成熟的压缩技术。为此目的，引入了几种基于图像的点云压缩方法。例如，已经公开了一种基于图像的点云压缩方法，使用八叉树构造点云的点，之后以深度优先的顺序将该点云的点线性化为1D点序列。为了获取属性图像，随后根据水平蛇形曲线样式将1D点序列中的点映射到8
×
8图像像素网格。之后，采用传统图像编解码对获取的属性图像进行压缩。然而，需要注意的是，这种基于图像的点云压缩方法可能会在遍历和映射过程期间引入许多大的跳变，这种大的跳变可能会破坏相邻点之间的空间相关性。近来，提出了另一种基于图像的点云属性压缩方法，通过执行主成分分析将每个点投影到点云边界框的特定平面。在这一方面，使用可移植网络图像(portable network graphic，PNG)和联合图像专家组(joint photographic experts group，JPEG)编解码压缩与深度和红绿蓝(red green blue，RGB)值对应的24个甚至更多的投影图像。虽然这一方法可以更好地利用点之间的空间相关性，但使用全局投影获取的图像通常不够紧凑，可能引入过多的额外信息来进行编码。还提出了一种基于全景图像的点云属性压缩方法。然而，这种方法是专为由某些3D激光测量系统所生成的点云而设计的。
[0007]2017年，MPEG发起了针对点云压缩标准化的提案征集，并研发出三种模型类别：用于静态点云的TMC1、用于时变点云的TMC2(也称为基于视频的点云压缩(video
‑
based point cloud compression，V
‑
PCC))、和用于动态获取点云的TMC3。最近，TMC1和TMC3被合并为TMC13并且被称为基于几何的点云压缩(geometry
‑
based point cloud compression，G
‑
PCC)。对于G
‑
PCC，属性编码有两种选择：区域自适应分层变换(region
‑
adaptive hierarchical transform，RAHT)编码器，和基于多细节层次(level
‑
of
‑
details，LOD)的编码器。RAHT编码器基于分层变换和算术编码，而基于LOD的编码器采用基于插值的预测和提升变换方案进行属性压缩。对于V
‑
PCC，还利用复杂的视频编码技术，通过正态估计和聚类将点云分割为块，之后将这些3D块直接投影到2D图像上，从而压缩点云属性。取决于点云的特性，这两种编解码均有各自的优点。根据近来研究的比较分析，V
‑
PCC可能更适合于在3D空间中具有均匀点分布的点云，而对于非均匀点云，G
‑
PCC可能比V
‑
PCC表现更好。一个可能的原因是非均匀点云所表现出的噪声和几何稀疏性可能会影响正态估计的准确性。另外，对于非均匀点云，V
‑
PCC通常需要非常大的投影平面，而这会明显降低编码效率。近来，基于深度学习的方法也被研发用于点云压缩。然而，这些现有方法中的大多数主要集中在几何信息的编码上，不能直接应用到点云属性压缩。
[0008]因此，需要提供一种用于点云属性压缩的方法和系统，试图克服或至少改善与传统的用于点云压缩(例如，点云属性压缩)的方法和系统关联的问题，例如但不限于提高点云属性压缩的效率和有效性。在此背景下研发了本专利技术。

技术实现思路

[0009]根据本专利技术的第一方面，提供了一种使用至少一个处理器的点云属性本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用至少一个处理器的点云属性压缩方法，所述方法包括：获取点云的多个三维(3D)块，每个3D块包括3D点集合，每个点具有与其关联的对应的属性信息；为所述多个3D块中的每个3D块生成所述3D块的二维(2D)属性图像，以获取所述多个3D块的多个2D属性图像，其中，对于所述多个3D块中的至少第一3D块，基于第一属性图像生成过程生成所述第一3D块的所述2D属性图像；基于所述多个3D块的所述多个2D属性图像生成所述点云的2D属性图像；以及基于2D图像编解码对所述点云的所述2D属性图像进行压缩，以获取所述点云的经压缩的2D属性图像，其中，所述第一属性图像生成过程包括：点线性化阶段，用于将输入到所述点线性化阶段的输入3D块的3D点集合变换为所述输入3D块的一维(1D)点序列；以及第一2D空间填充阶段，用于将所述输入3D块的所述1D点序列映射到第一2D图像像素网格，以生成所述输入3D块的2D属性图像，其中，所述点线性化阶段包括：将所述输入3D块的所述3D点集合分割为所述输入3D块的所述3D点集合的第一子点集和第二子点集；以及将所述第一子点集和所述第二子点集中的每个子点集的3D点集合分割为新的第一子点集和新的第二子点集，以替代所述输入3D块的所述3D点集合的所述子点集，其中，对于所述分割所述第一子点集和所述第二子点集中的每个子点集的所述3D点集合，将离所述第一子点集的第一枢轴点最近的所述第二子点集的第一3D点设置为所述第二子点集的第一枢轴点。2.根据权利要求1所述的方法，其中，对于所述分割所述输入3D块的所述3D点集合，所述方法还包括：将离所述输入3D块的所述3D点集合的质心最远的所述输入3D块的所述3D点集合的第一3D点设置为所述输入3D块的所述3D点集合的第一枢轴点；以及将离所述3D点集合的所述第一枢轴点最远的所述输入3D块的所述3D点集合的第二3D点设置为所述输入3D块的所述3D点集合的第二枢轴点，以及其中，所述分割所述输入3D块的所述3D点集合包括：将除所述第一3D点和所述第二3D点之外的所述输入3D块的所述3D点的每个3D点分配给所述3D点集合的所述第一枢轴点和所述第二枢轴点中离所述3D点最近的枢轴点，以形成所述第一子点集和所述第二子点集，所述第一子点集包括分配给所述3D点集合的所述第一枢轴点的3D点，所述第二子点集包括分配给所述3D点集合的所述第二枢轴点的3D点。3.根据权利要求2所述的方法，其中，对于所述分割所述第一子点集和所述第二子点集中的每个子点集的3D点集合，所述方法还包括：将与所述3D点集合的所述第一枢轴点对应的所述第一子点集的第一3D点设置为所述第一子点集的第二枢轴点；将离所述第一子点集的所述第二枢轴点最远的所述第一子点集的第二3D点设置为所述第一子点集的第一枢轴点；将离所述第一子点集的所述第一枢轴点最近的所述第二子点集的第一3D点设置为所
述第二子点集的第一枢轴点；以及将离所述第二子点集的所述第一枢轴点最远的所述第二子点集的第二3D点设置为所述第二子点集的第二枢轴点。4.根据权利要求3所述的方法，其中，所述分割所述第一子点集和所述第二子点集中的每个子点集的3D点集合包括：将除所述第一子点集的所述第一3D点和所述第二3D点之外的所述第一子点集的3D点中的每个3D点分配给所述第一子点集的所述第一枢轴点和所述第二枢轴点中离所述3D点最近的枢轴点，以形成所述新的第一子点集和所述新的第二子点集来替代所述输入3D块的所述3D点集合中的所述第一子点集，所述新的第一子点集包括分配给所述第一子点集的所述第一枢轴点的3D点，所述新的第二子点集包括分配给所述第一子点集的所述第二枢轴点的3D点；以及将除所述第二子点集的所述第一3D点和所述第二3D点之外的所述第二子点集的3D点中的每个3D点分配给所述第二子点集的所述第一枢轴点和所述第二枢轴点中离所述3D点最近的枢轴点，以形成所述新的第一子点集和所述新的第二子点集来替代所述输入3D块的所述3D点集合中的所述第二子点集，所述新的第一子点集包括分配给所述第二子点集的所述第一枢轴点的3D点，所述新的第二子点集包括分配给所述第二子点集的所述第二枢轴点的3D点。5.根据权利要求1至4中任一项所述的方法，其中，所述点线性化阶段还包括：对于所述输入3D块的所述3D点集合中的每个子点集，迭代地将所述子点集的3D点集合分割为新的第一子点集和新的第二子点集来替代所述输入3D块的所述3D点集合中的子点集，直到所有的子点集中都只有一个3D点，以获取所述输入3D块的经处理的3D点集合，所述经处理的3D点集合包括有序子点集，每个所述子点集中只有一个3D点；以及基于所述输入3D块的所述经处理的3D...

【专利技术属性】
技术研发人员：赵宝全，林维斯，
申请(专利权)人：南洋理工大学，
类型：发明
国别省市：