使用分层分级编码进行点云压缩制造技术

本发明专利技术公开了一种对三维点云进行编码的方法。所述方法包括：获取所述三维点云内的一组点，所述一组点内的点具有三维坐标；将所述点转换成二维表示，其中对于所述一组点内的点，描述所述坐标的信息被表示为所述二维表示内的位置和所述位置处的值；以及使用基于层的分级编码格式对所述二维表示进行编码以输出编码数据，其中所述基于层的分级编码格式将所述二维表示编码为多个层，所述多个层表示用于以不同质量层级逐步重构信号的数据梯队。以不同质量层级逐步重构信号的数据梯队。以不同质量层级逐步重构信号的数据梯队。

【技术实现步骤摘要】
【国外来华专利技术】使用分层分级编码进行点云压缩


[0001]本专利技术涉及用于处理点云信号的方法，诸如，作为非限制性实例，用于6自由度(DoF)体积视频的点云表示。处理数据可以包含但不限于在分级(基于层)编码格式的环境中获取、导出、编码、输出、接收并重构信号(其中信号以随后较高的质量层级分层解码)，利用并组合重构数据的后续层(“梯队”)。不同等级的信号可以借助于不同的基本流以不同的编码格式进行编码，这些基本流可以或不可以在单个位流中复用。

技术介绍

[0002]近年来，越来越多的应用已经利用点云信号来表示体积“沉浸式”现实，然后可以实时渲染，以便允许观看者在回放期间动态改变他们的视点。这在虚拟或增强(VR/AR)环境中特别有影响，但是也发现了二维(2D)示出的应用，例如允许示出装置跟踪观看者的头部，以便基于观看者的头部移动来改变屏幕中示出的视点。
[0003]某些应用需要对点云信息进行高效的编码、传输、存储和解码。此信息通常包括多维空间(例如，三维3D空间、随时间变化的3D空间等)中的一组点。因此，沉浸式点云信号允许独特的用户体验，诸如沉浸式6DoF立体视频，但是也需要极高的数据量。云中的每个点可以具有若干不同的特性，诸如它的(x，y，z)位置、计算坐标的参考点、相对于在该位置最佳地内插对象表面的表面的多个法向向量(对于任何给定的视点，如果所述点表示可感知大小的体积)、多种色彩(例如，包含从不同角度看到的色彩，诸如右眼对左眼)、所述点的运动信息、参考系统的运动信息、该特定位置的信号的其他属性等。这些属性中的一些可能需要高于8位甚至10位的位深度，通常用于表示常规图像或视频的像素值。此信息通常难以高效地传输和存储，并且在压缩方面提出了多种挑战，包含但不限于处理能力要求。例如，可能需要表示整个可能的三维空间的数据结构，尽管稀疏点云仅占据此空间的一小部分。此外，点云信号的具体格式可能因用例而异，这使得限定100％专用于每种类型的点云信号的基于硬件的压缩方案不切实际。
[0004]压缩点云数据的现有技术方法(最近也是MPEG内标准化工作的主题)基于两种不同的方法：或试图表示体积数据(例如，用oct树结构)，或试图改变现有的基于离散余弦变换(DCT)的视频编解码器的用途，以便编码点云的被变换成二维(或所谓的“2.5D”，参考深度信息的添加)表面的部分。这样做，这些方法可以重用于已经可以用于对2D视频进行编码和解码的6DoF数据硬件。然而，这些方法在可编码的分辨率、可使用的位深度精度和可编码的数据总量方面存在局限性，这完全是由于重用为完全不同的目的而开发的硬件的限制。

技术实现思路

[0005]根据第一方面，提供了一种如独立权利要求1所述的对三维点云进行编码的方法。
[0006]根据第二方面，提供了一种如独立权利要求15所述的对三维点云进行解码的方法。
[0007]在从属权利要求中列举了优选实施例。下面还描述了其他未要求保护的方面。
附图说明
[0008]图1示出了实例点云编码和解码管道的高层级示意图；
[0009]图2示出了分级解构过程的高层级示意图；
[0010]图3示出了分级解构过程的替代高层级示意图；
[0011]图4示出了适用于对分层输出的残差进行编码的编码过程的高层级示意图；
[0012]图5示出了适用于对图4的每个输出层级进行解码的分级解码过程的高层级示意图；
[0013]图6示出了分级编码技术的编码过程的高层级示意图；
[0014]图7示出了适用于对图6的输出的解码过程进行解码的高层级示意图；
[0015]图8是示出对三维点云进行编码的方法的流程图；
[0016]图9是示出对三维点云进行解码的方法的流程图；
[0017]图10示出了三维点云的不同视图的高层级示意图；
[0018]图11示出了使用点云视图构建投影二维表示的高层级示意图；以及
[0019]图12示出了如何指示感兴趣区域，使得不需要对来自每层的所有编码数据进行解码的高层级示意图。
具体实施方式
[0020]本文描述的实施例允许高效地利用和适应基于层的分级编码方法，以便高效地压缩6DoF点云数据。
[0021]基于层的分级编码的一些优点包含编码效率、经由大规模并行处理(例如，图形处理单元GPU)对快速软件处理的适应性、在非常高的分辨率和位深度下编码和解码信号的可能性(即，在硅中没有“硬连线”任何限制)、逐步解码(即，在低于最大值的分辨率下停止解码过程的可能性)和感兴趣区域解码(即，完全解码信号区域而不必完成整个信号的解码过程的可能性)。
[0022]在基于分层级的编码格式中，信号被分解成多个数据“梯队”(也称为“分级层”或“层”)，每个梯队对应于信号的“质量层级”(“LoQ”)，从原始信号的采样率的最高梯队到通常具有比原始信号更低的采样率的最低梯队。在非限制性实例中，当信号是图片时，最低梯队可以是原始图片的缩略图，或甚至仅是单个图片元素。其他梯队含有关于应用于重构再现以便产生最终输出的校正的信息。给定质量层级的解码信号通过以下方式进行重构：首先对最低梯队(因此以第一最低质量层级重构该信号)进行解码，然后预测第二质量层级——下一较高质量层级信号的再现，然后对相应的第二梯队重构数据(也称为第二质量层级“残差数据”)进行解码，然后将预测数据与重构数据组合，以便重构第二较高质量层级信号的再现，等等，直到重构给定质量层级。
[0023]不同梯队的数据可以使用不同的编码格式进行编码，并且不同的质量层级可以具有不同的采样率(例如，针对图像或视频信号的情况的分辨率)。后续梯队可以指信号的相同信号分辨率(即，采样率)，或指越来越高的信号分辨率。伴随图2至图7的描述更详细地描述了实例基于层的编码格式。
[0024]本专利技术的非限制性实施例通过将信号称为时间样本序列(即，对于6DoF点云的情况，特定时刻的体积状态，大致对应于体积视频序列中的帧)来利用基于层的编码格式的这
些优点。在描述中，术语“点云”、“体积图像”、“体积图片”、“体积”或“平面”(意为“超平面”的最广泛含义，即具有任意维数和给定采样网格的元素阵列)将经常用于识别信号样本沿着样本序列的数字再现，其中每个平面对于其中的每个维度(例如，X、Y、Z和视点)具有给定的分辨率，并且包括一组平面元素(或“元素”，或“像素”，或通常称为“体素”的三维图像的显示元素等)，特征在于一个或多个“值”或“设置”(例如，作为非限制性实例，适当色彩空间中的色彩设置、指示阿尔法通道透明度层级的设置、指示表面的法向向量的设置、指示运动的设置、指示密度层级的设置、指示温度层级的设置等)。每个平面元素由一组合适的坐标来识别，指示所述元素在体积图像的采样网格中的整数位置。信号维度可以仅包含空间维度(例如，在6DoF图像的情况下)或时间维度(例如，在信号随时间演变的情况下，诸如6DoF沉浸式视频信号)。
[0025]作为非限制性实例，信号可以是3DoF/6DoF视频信号、全光信号、事件驱动本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对三维点云进行编码的方法，其包括：获取所述三维点云内的一组点，所述一组点内的点具有三维坐标；将所述点转换成二维表示，其中对于所述一组点内的点，描述所述坐标的信息被表示为所述二维表示内的位置和所述位置处的值；以及使用基于层的分级编码格式对所述二维表示进行编码以输出编码数据，其中所述基于层的分级编码格式将所述二维表示编码为多个层，所述多个层表示用于以不同质量层级逐步重构信号的数据梯队。2.根据权利要求1所述的方法，其中所述二维表示包括所述三维点云的二维视图，并且其中对于所述一组点内的所述点，所述二维表示内的所述位置经由所述点在所述二维视图上的投影来确定，并且所述位置处的所述值被确定为垂直于所述二维视图的所述点的深度。3.根据权利要求2所述的方法，其中生成包括多个对应二维视图的多个二维表示，其中确定多个对应二维视图中的一个或多个和所述二维视图的一组取向，以便指定所述一组点。4.根据权利要求1至3中任一项所述的方法，其中对所述二维表示进行编码包括：使用基于层的分级编码方案将所述二维表示编码为视频帧的定制色彩平面。5.根据权利要求4所述的方法，其中所述一组点随时间变化并且所述方法被重复多个时间步长，其中时间步长与所述视频帧相关联。6.根据权利要求1至5中任一项所述的方法，其中将所述点转换成二维表示进一步包括：获取与所述一组点中的点相关联的一组特性值；以及将所述一组特性值转换成一个或多个另外的二维表示，其中所述二维表示内的所述位置被用作所述一个或多个另外的二维表示内的所述点的指数，并且所述一组特性值被设置为所述一个或多个另外的二维表示内的所述位置处的值。7.根据权利要求6所述的方法，其中用多于一个值表示的特性被表示为多个另外的二维表示。8.根据权利要求6或权利要求7所述的方法，其中所述一组特性值涉及针对右眼的色彩、针对左眼的色彩、阿尔法通道、法向向量分量、关于对象特征的信息和运动向量坐标中的一者或多者。9.根据权利要求1至8中任一项所述的方法，其中对于所述一组点内的点，所述三维的第一维和第二维内的坐标值被用于指示所述二维表示内的位置，并且第三维中的坐标值被表示为所述位置处的值。10.根据权利要求1至9中任一项所述的方法，其中所述多个层表示所述二维表示的不同空间分辨率。11.根据权利要求10所述的方法，其中所述多个层包括基础层和一个或多个残差数据层，残差数据指示使用第一较低层级重构的所述二维表示的版本与第二较高层级的所述二维表示的版本之间的差异。12.根据权利要求1至11中任一项所述的方法，其包括：确定针对所述二维表示的位深度；以及
根据所述位深度对所述二维表示中所述位置处的所述值进行编码。13.根据权利要求1至12中任一项所述的方法，其包括：确定针对所述多个层的一组位深度，所述多个层中的至少两个具有不同的位深度；以及在确定的一组位深度处使用层编码对所述二维表示进行编码。14.根据权利要求1至13中任一项所述的方法，其包括：获取所述编码的损失层级，所述损失层级选自包含无损和有损层级中的一者或多者的组；以及以所获取的损失层级对所述二维表示进行编码。15.一种对三维点云进行解码的方法，其包括：获取表示所述三维点云的编码数据，所述编码数据使用基于层的分级编...

【专利技术属性】
技术研发人员：圭多，
申请(专利权)人：威诺瓦国际有限公司，
类型：发明
国别省市：