用于对表示3D对象的点云的颜色进行编码/解码的方法及装置制造方法及图纸

本原理涉及一种用于对表示3D对象的点云(IPC)的颜色进行编码的方法及设备。该方法的特征在于该方法包括：‑获得(210)对所述点云(IPC)的几何形状进行近似的点的集合(SP)；‑对颜色信息数据进行编码(220)，该颜色信息数据指示所述点的集合中的至少一个点的颜色被编码在比特流中，并且所述点的集合中的其他点的颜色未被编码在比特流中。本原理还涉及一种用于对点云的颜色进行解码的方法及设备。

【技术实现步骤摘要】
【国外来华专利技术】用于对表示3D对象的点云的颜色进行编码/解码的方法及装置
本原理大体上涉及对表示3D对象的点云的颜色进行编码和解码。具体地但非排他性地，本原理的
涉及点云的基于八叉树的编码/解码。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本原理的各个方面有关。相信该讨论有助于向读者提供背景信息，以便更好地理解本原理的各个方面。因此，应该理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。点云是通常旨在表示3D对象的外部表面以及更复杂的几何形状(如头发、毛发)的点的集合，这些更复杂的几何形状可能无法通过其他数据格式(如网格)有效地表示。点云中的每个点往往通过3D空间位置(3D空间中的X、Y和Z坐标)来定义，并且也可能由其他相关属性来定义，诸如例如在RGB或YUV颜色空间中表示的颜色、透明度、反射比、两分量法向矢量等。有色点云可以是6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，而(R，G，B)或(Y，U，V)定义该点的颜色。在下文中，术语“点云”指代包括有色点云的任何点云。有色点云可以是静态的或者动态的，取决于云是否相对于时间而演变。应当注意的是，在动态点云的情况下，点的数量并非恒定的，而相反一般会随时间而演变。因此，动态点云是点的集合的时间顺序列表。实际上，有色点云可以用于各种目的，诸如文化遗产/建筑物，其中以3D形式对如雕像或建筑物的对象进行扫描，以便在不传送或访问其的情况下共享对象的空间配置。而且，它是一种用以确保在对象可能被摧毁的情况下保存对象的知识的方法；例如地震中的庙宇。这种有色点云通常是静态且巨大的。另一个用例是在地形与制图中，其中通过使用3D表示，地图不仅限于平面，还可以包括地势。汽车工业和自动驾驶汽车也是可以在其中使用点云的领域。自动驾驶汽车应当能够“探测”其周围环境，从而基于其近邻的实际情况做出安全的驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云并不意图供人观看。它们通常很小、未必有颜色、并且是动态的且具有很高的捕获频率。它们可能具有其他属性，如反射比，它是与感测对象的物理表面的材料相关联的有价值的信息并且可以帮助做出决策。虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平面视频的未来。基本思想是让观看者沉浸在遍绕其周围的环境中，这与标准TV相反，在标准TV中，他只能看到面前的虚拟世界。取决于观看者在环境中的自由度，沉浸性有若干等级。有色点云是分发VR世界的很好的格式候选。它们可以是静态的或动态的，并且通常具有平均大小，例如一次不超过几百万个点。只有当比特流的大小足够小到允许向终端用户进行实际存储/发送时，点云压缩才能成功存储/发送用于沉浸式世界的3D对象。同样重要的是，能够以合理的带宽消耗向终端用户分发动态点云，同时保持可接受的(或优选地，非常好的)体验质量。与视频压缩类似，良好地使用时间相关性被认为是会导致动态点云的有效压缩的重要元素。公知的方法将表示3D对象的几何形状和颜色的有色点云投影到包围3D对象的立方体的表面上，以获得有关纹理和深度的视频并使用诸如3D-HEVC(HEVC的扩展，其规范可在以下地址找到：ITU网站，T推荐，H系列，h265，http://www.itu.int/rec/T-REC-H.265-201612-l/enannexGandI)的传统编码器对纹理和深度视频进行编码。对于每个投影点，压缩的性能都接近于视频压缩，但是当考虑动态点云时，由于遮挡、冗余和时间稳定性，某些内容可能更为复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。关于遮挡，几乎不可能在不使用许多投影的情况下得到复杂拓扑的完整几何形状。因此，用于对所有这些投影进行编码/解码的所需资源(计算能力、存储内存)通常过高。基于八叉树的编码也是一种用于对有色点云的几何形状进行编码的公知的方法。通过递归地分割包围点云的立方体直到与基于八叉树的结构的叶节点相关联的叶立方体包含不超过点云的一个点，获得用于表示点云的几何形状的所述基于八叉树的结构。因此，基于八叉树的结构的叶立方体的空间位置表示点云中的点的空间位置，即其几何形状。基于八进制的编码是用于对有色点云中的点的几何形状进行编码的有效方法，但是不提供对有色点云中的点的颜色的编码。因此，需要找到一种用于对几何形状由基于八叉树的结构表示的点云的颜色进行编码的解决方案。对叶立方中的点的颜色进行编码需要非常高的比特率，尤其是在点云的几何形状很复杂的情况下，因为其需要大量的叶立方。因此，需要在获得对点云的几何形状的良好表示而无需用于对所述点云的颜色进行编码的高比特率之间进行权衡。
技术实现思路
以下呈现了本原理的简化的概述，以便提供对本原理的某些方面的基本理解。该概述并非对本原理的广泛概论。它并不旨在识别本原理的关键或重要元素。以下概述仅以简化形式呈现了本原理的一些方面，作为下面提供的更详细描述的序言。一般而言，本原理涉及一种用于对表示3D对象的点云的颜色进行编码的方法。该方法包括：获得对所述点云的几何形状进行近似的点的集合；以及对颜色信息数据进行编码，该颜色信息数据指示所述点的集合中的至少一个点的颜色被编码在比特流中，并且所述点的集合中的其他点的颜色未被编码在比特流中。以此方式，在解码侧，通过对比特流进行解码或从已经着色(colorized)的经解码的点的颜色，并因此根据所述经解码的颜色信息数据，来获得定义经解码的点云的几何形状的点的颜色。这导致用于编码对点云的颜色进行近似的点的颜色所需的比特率显著降低。根据一实施例，点的集合中的至少一个点是与对点云的几何形状进行近似的基于八叉树的结构的叶节点相关联的叶立方体中的点。根据一实施例，过优化比特率和失真之间的权衡来确定所述基于八叉树的结构，该比特率用于编码对点云的点进行近似的候选的基于八叉树的结构，该失真考虑一方面所述点云的点和另一方面与候选的基于八叉树的结构的叶节点相关联的叶立方体中包含的、且对点云的点进行近似的点之间的空间距离。根据一实施例，点的集合中的至少一个点是通过递归地对与所述基于八叉树的结构相关联的点进行上采样而获得的上采样点。根据一实施例，点的集合中的至少一个点是逆投影点云中的点。根据一实施例，逆投影点云IPPC通过对表示点云的一部分的至少一个纹理和深度图像进行逆投影。根据它们的另一方面，本原理涉及一种用于从比特流中解码表示3D对象的点云的颜色的方法。该方法包括：-从比特流中获得对所述点云的几何形状进行近似的点的集合；-从比特流中解码颜色信息数据；-对于点的集合中的每个点，-当颜色信息数据(指示点的颜色被编码在比特流中时，从比特流中解码点的颜色；以及-否则，根据相邻点的颜色获得点的颜色。根据一实施例，本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-获得与对点云的几何形状进行近似的基于八叉树的结构相关联的至少一个点；/n-通过对与所述基于八叉树的结构相关联的所述至少一个点进行上采样而获得的至少一个上采样点；以及/n-对颜色信息数据进行编码，该颜色信息数据指示与基于八叉树的结构相关联的至少一个点的颜色被编码在比特流中，并且所述至少一个上采样点的颜色未被编码在比特流中。/n

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306342.11.一种方法，包括：
-获得与对点云的几何形状进行近似的基于八叉树的结构相关联的至少一个点；
-通过对与所述基于八叉树的结构相关联的所述至少一个点进行上采样而获得的至少一个上采样点；以及
-对颜色信息数据进行编码，该颜色信息数据指示与基于八叉树的结构相关联的至少一个点的颜色被编码在比特流中，并且所述至少一个上采样点的颜色未被编码在比特流中。


2.一种设备，包括用于以下操作的部件：
-获得与对点云的几何形状进行近似的基于八叉树的结构相关联的至少一个点；
-通过对与所述基于八叉树的结构相关联的所述至少一个点进行上采样而获得的至少一个上采样点；以及
-对颜色信息数据进行编码，该颜色信息数据指示与基于八叉树的结构相关联的至少一个点的颜色被编码在比特流中，并且所述至少一个上采样点的颜色未被编码在比特流中。


3.根据权利要求1的方法或根据权利要求2的设备，其中，通过优化比特率和失真之间的权衡来确定所述基于八叉树的结构，该比特率用于编码对点云的点进行近似的候选的基于八叉树的结构，该失真考虑一方面所述点云的点和另一方面与候选的基于八叉树的结构的叶节点相关联的叶立方体中包含的、且对点云的点进行近似的点之间的空间距离。


4.根据权利要求1或3中的一项的方法或根据权利要求2至3中的一项的设备，其中，还获得逆投影点云的至少一个点。


5.根据权利要求4的方法或设备，其中，逆投影点云的所述至少一个点的颜色被编码在比特流中，并且所述颜色信息还指示逆投影点云的所述至少一个点的颜色被编码在比特流中。


6.根据权利要求4或5的方法或设备，其中，通过对表示点云的一部分的至少一个纹理和深度图像进行逆投影来获得逆投影点云IPPC。


7.一种方法，包括：
-从比特流中获得与对点云的几何形状进行近似的基于八叉树的结构相关联的至少一个点；
-获得通过对与所述基于八叉树的结构相关联的所述至少一个点进行上采样而获得的至少一个上采样点；
-从比特流中解码颜色信息数据；
-当颜色信息数据指示与所述基于八叉树的结构相关联的所述至少一个点的颜色被编码在比特流中时，从比特流中解...

【专利技术属性】
技术研发人员：S拉塞尔，J里卡德，C盖德，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US