点云的预测编码、解码的方法和设备技术

这种用于将时变3D点云帧间预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成多个3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行编码(20)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息包括表示平移变换的估计误差的向量ΔT。

【技术实现步骤摘要】
【国外来华专利技术】点云的预测编码、解码的方法和设备
本公开总体上关于表示3D对象的点云数据源的领域。更具体地说，它处理动态的(即随时间变化的)3D点云。因此，本公开涉及用于编码和解码点云的方法以及相应的编码器和解码器。它还涉及实施本专利技术的编码和解码方法的计算机程序。
技术介绍
本部分中描述的方法可以被实行，但不一定是先前已经设想或实行的方法。因此，除非本文另外指出，否则本部分中描述的方法不是本申请中权利要求的现有技术，并且不因包括在本部分中而被承认为现有技术。点云由点的集合构成，这些点通常旨在表示3D对象的外表面，但也表示更复杂的几何形状(如头发、毛发)，这些几何形状可能无法由其他数据格式(如网格)有效地表示。每个点由其3D空间位置(3D空间中的x、y和z坐标)(即几何信息)以及可能地由其他关联属性来定义，这些属性典型地包括在RGB或YUV或任何其他颜色坐标系统中表示的颜色信息。其他属性可以包括透明度、反射率等。点云可以是静态的也可以是动态的，这取决于点云是否相对于时间而演变。应当注意，在动态点云的情况下，点的数量不是恒定的，而是相反，通常随时间而演变。因此，动态点云是点集的按时间排序的列表。本公开更具体地涉及动态3D点云。在其中自然场景与合成或虚拟的对象相结合的混合现实系统(诸如增强现实)中，这样的点云是3D视频流的有用表示，或者，在其中用表示用户的实况捕获的自然3D视频流增强合成场景的沉浸式虚拟房间中也是如此。3D点云非常适合快速的实时采集和通信。然而，现实的重构3D点云可能包含数十万个到数百万个点，并且压缩对于在带宽受限的网络中实现高效且实时的通信而言是关键的。近年来，3D点云的压缩已受到广泛关注。为了比较不同的解决方案，通常已经评估了压缩率和几何变形。然而，在沉浸式、增强和混合现实通信系统的背景中，若干其他附加因素对于评估压缩解决方案也是重要的。实际上，如在这些系统中那样，点云序列被快速地捕获，可以利用帧间冗余来经由帧间预测实现更好的压缩性能，这在现有的静态点云编码器中通常是不考虑的。R.Mekuria等人的文章：“Design,Implementation,andEvaluationofaPointCloudCodecforTele-ImmersiveVideo”，IEEE视频技术电路与系统学报，第27卷，第4期，第828-842页，2017年4月，描述了一种用于增强和沉浸式3D视频的时变3D点云的编解码器。所提出的编解码器利用了帧间冗余，并介绍了一种基于先前输入对帧进行帧间预测编码的方法，该方法包括基于迭代最近点(ICP)算法的刚性变换计算。所计算的刚性变换可以用于生成预测器。该刚性变换矩阵Transf是4×4矩阵，包括3×3旋转矩阵R和3×1平移向量T。如图1中所示。虽然该文章的解决方案允许通过使用帧间预测来提高动态3D点云编解码器的速率失真(RD)性能，但仍然需要减少编码刚性变换矩阵所需的比特率的数量。例如，在该文章中，使用每个分量(即x、y、z)16比特来量化平移向量T，这仍然是很大的数量。
技术实现思路
本公开提出了一种用于改善现状的解决方案。本公开提供了根据权利要求1和2的用于编码点云的方法和设备，以及根据权利要求13和14的用于解码点云的方法和设备。相应地，本公开提供了一种用于将时变3D点云预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行编码，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息包括表示平移变换的估计误差的向量ΔT。因此，本公开的方法通过仅对平移向量T的估计误差(而不是平移向量T本身)进行编码，与现有技术相比能够显著减小平移向量的范围。因此，动态3D点云的帧间预测编码所需的量化比特远少于在现有技术中所需的量化比特。有利地，旋转变换由旋转矩阵R表示，并且编码方法包括：-对旋转矩阵R进行编码；-对编码后的旋转矩阵进行解码以获得重构的旋转矩阵Rrec；以及-将平移变换的估计确定为重构的旋转矩阵Rrec的向量T*函数。因此，根据本公开，被编码的是向量ΔT＝T-T*。ΔT的范围远小于T的范围，因为其大致是3D块的尺寸，所述尺寸通常被选得非常小。例如，如果3D块是固定尺寸为16×16×16的立方体，则仅需4比特即可对ΔT的每个分量进行编码。有利地，3D运动信息包含指向与当前点云帧的每个3D块相关联的匹配参考3D块的向量，所述匹配参考3D块在参考点云帧中。参考点云帧是已经被编码的点云帧。重要的是要注意，包括旋转和平移信息的几何变换将落入匹配参考3D块中的参考点云帧的子集变换为落入当前正被编码的3D块中的当前点云帧的子集的最接近形式。有利地，平移信息的估计T*是重构的旋转矩阵Rrec和指向匹配参考3D块的重构向量的函数。优选地，从参考点云帧中的多个候选参考3D块中选择匹配参考3D块，作为提供小于阈值的最小预测误差的参考3D块。这意味着将当前帧中待编码的每个块与参考帧中的搜索区域内的若干个块进行比较。这是非常有利的，因为对于待编码的块而言有更多的机会找到匹配参考块并通过帧间预测被压缩。有利地，几何变换由使用迭代最近点ICP算法确定的4×4变换矩阵表示。ICP算法已在PaulJ.Besl等人的文章：“Amethodforregistrationof3-Dshapes”(IEEE模式分析与机器智能学报，第14卷，第2期，第239-256页，1992年)，以及T.Tamaki等人的文章：“SoftassignandEM-ICPonGPU”(2010年第一届网络与计算国际会议，东广岛，2010年，第179-183页)中进行了描述。根据实施例，旋转变换由三个欧拉角表示。有利地，旋转信息的编码使用至少一个三角函数查找表LUT。通过使用这种LUT，可以避免三角函数值和角度之间的转换。这允许改善编码精度并降低其计算复杂度。根据另一实施例，旋转变换由单位四元数表示。这些表示比3×3旋转矩阵更易于压缩。本公开还提供了一种用于将时变3D点云预测编码到至少一个比特流中的编码器，所述时变3D点云包含一系列被分成3D块的连续帧，所述编码器包括用于对包含几何变换的3D运动信息进行编码的部件，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示平移变换的估计误差的向量ΔT表示。有利地，3D运动信息包含指向与当前点云帧的每个3D块相关联的匹配参考3D块的向量，所述匹配参考3D块在参考点云帧中。本公开还提供了一种用于从至少一个比特流对时变3D点云进行预测解码的方法，所述时变3D点云包含一系列被分成3D块的连续帧，所述方法包括对包含几何变换的3D运动信息进行解码，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，平移信息由表示本文档来自技高网...

【技术保护点】
1.一种用于将时变3D点云预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述方法包括对包含几何变换的3D运动信息进行编码(20)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息包括表示所述平移变换的估计误差的向量ΔT。/n

【技术特征摘要】
【国外来华专利技术】20171019 EP 17306424.7;20171019 EP 17306423.91.一种用于将时变3D点云预测编码到至少一个比特流中的方法，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述方法包括对包含几何变换的3D运动信息进行编码(20)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息包括表示所述平移变换的估计误差的向量ΔT。


2.一种用于将时变3D点云预测编码到至少一个比特流中的设备，所述时变3D点云包含一系列被分成3D块的连续3D帧，所述设备包括用于对包含几何变换的3D运动信息进行编码的部件(54)，所述几何变换包括表示旋转变换的旋转信息和表示平移变换的平移信息，其中，所述平移信息由表示所述平移变换的估计误差的向量ΔT表示。


3.如权利要求1所述的方法或如权利要求2所述的设备，其中，所述旋转变换由旋转矩阵R表示，并且编码方法包括用于以下的步骤，或者所述编码器包括用于以下的部件：
-对所述旋转矩阵R进行编码；
-对编码后的旋转矩阵进行解码以获得重构的旋转矩阵Rrec；以及
-将所述平移变换的估计确定(24)为所述重构的旋转矩阵Rrec的向量T*函数。


4.如权利要求1或3所述的方法或如权利要求2或3所述的设备，其中，所述3D运动信息包含指向与当前点云帧的每个3D块相关联的匹配参考3D块的向量，所述匹配参考3D块在参考点云帧中。


5.如权利要求3和4所述的方法或设备，其中，所述平移信息的估计T*是所述重构的旋转矩阵Rrec和指向所述匹配参考3D块的重构向量的函数。


6.如权利要求4或5所述的方法或设备，其中，从所述参考点云帧中的多个候选参考3D块中选择所述匹配参考3D块，作为提供最小预测误差的参考3D块，所述最小预测误差小于阈值。


7.如权利要求1或3至6中任一项所述的方法或如权利要求2至6中任一项所述的设备，其中，所述几何变换由使用迭代最近点ICP算法确定的4×4变换矩阵表示。


8.如权利要求1或3至7中任一项所述的方法或如权利要求1至7中任一项所述的设备，其中，所述旋转变换由三个欧拉角表示。


9.如权利要求1或3至7中任一项所述的方法或...

【专利技术属性】
技术研发人员：S拉塞尔，S普里，蔡康颖，J里卡德，C古德，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US