用于编码/解码表示3D对象的几何形状和颜色的有色点云的方法和装置制造方法及图纸

本原理涉及一种用于编码表示3D对象的几何形状和颜色的输入有色点云的方法和设备。该方法包括：‑根据点云在基于八叉树的投影结构的至少一个立方体(C

Methods and devices for encoding / decoding colored point clouds representing the geometry and color of 3D objects

【技术实现步骤摘要】
【国外来华专利技术】用于编码/解码表示3D对象的几何形状和颜色的有色点云的方法和装置
本原理一般涉及表示3D对象的几何形状和颜色的有色点云的编码和解码。特别地，但非排他性地，本原理的
涉及使用纹理和深度投影方案的3D图像数据的编码/解码。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此阅读这些陈述，而不是作为对现有技术的承认。点云是一组点，通常旨在表示3D对象的外部表面，但也可能是更复杂的几何形状，其可能无法通过其他数据格式(如，网格)有效地表示，如头发，皮毛。点云的每个点经常由3D空间位置(3D空间中的X，Y和Z坐标)定义，并且也可能由其他相关联的属性定义，，例如，诸如以RGB或YUV颜色空间表示的颜色透明度、反射率，两分量法向矢量等。在下文中，考虑有色点云，即一组6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定义3D空间中的点的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。取决于云是否关于时间演进有色点云可以是静态的或者是动态的。应当注意，在动态点云的情况下，点的数量不是恒定的，相反，一般随时间演进。由此动态点云是多组点的按时间顺序的列表。实际上，有色点云可用于各种目的，诸如，文化遗产/建筑物，其中以3D扫描如雕像或建筑物的对象，以便共享对象的空间配置而无需发送或访问它。另外，在对象可能被破坏的情况下，它是确保保留对象的知识的方式；例如遭受地震的庙宇。这种有色点云典型是静态的且巨大。另一使用情况是在地形和地图投影中，其中通过使用3D表示，地图不限于平面而且可以包括起伏(relief)。汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应该能够“探测”其环境，从而基于其紧接相邻的现实做出安全驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云不意图由人类查看。它们典型很小，不一定是有色的，而是高捕获频率动态的。它们可能具有其他属性，如反射率，反射率是与感测对象的物理表面的材料的相关的有价值的信息并且可能有助于决策。虚拟现实(VR)和沉浸式世界最近已成为热门话题，并被很多人预见为2D平板视频的未来。基本构思是让观看者沉浸在环绕其的周围环境中，而不是只能观看他前面的虚拟世界的标准电视。取决于环境中观察者的自由度，沉浸性有若干等级。有色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且典型具有平均尺寸，例如一次不超过几百万个点。仅当比特流的尺寸足够小以允许实际存储/传输给最终用户时，点云压缩才能成功存储/传输3D对象用于沉浸式世界。同样关键的是，能够以合理的带宽消耗将动态有色点云分发给最终用户，同时保持可接受的(或优选是非常好的)体验质量。与视频压缩相似，良好地使用时间相关性被认为是将导致动态点云的有效压缩的关键元素。众所周知的方法将表示3D对象的几何形状和颜色的有色点云投影到包括3D对象的立方体的面上，以获得有关纹理和深度的视频，并使用诸如3D-HEVC(HEVC的扩展，其规范可在ITU网站，T推荐，H系列，h265，http：//www.itu.int/rec/T-REC-H.265-201612-l/en附件G和I上找到)的传统编码器编码纹理和深度视频。对于每个投影的点，压缩的性能接近于视频压缩，但是当考虑动态点云时，由于遮挡，冗余和时间稳定性，某些内容可能更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。关于遮挡，在不使用许多投影的情况下，几乎不可能获得复杂拓扑的完整几何形状。由此用于编码/解码所有这些投影所需的资源(计算能力，贮存存储器)通常太高。关于冗余，如果在两个不同的投影上两次看到一个点，则其编码效率被除以2，并且如果使用更多数量的投影，这很容易变得更差。可以在投影之前使用非重叠的补丁，但这使得投影的分区边界不平滑，由此很难编码，并且这对编码性能有负面影响。关于时间稳定性，可以在给定时间针对对象优化投影之前的非重叠补丁，但是当该对象移动时，补丁边界也移动，并且难以编码的区域(＝边界)的时间稳定性丢失。实际上，因为时间帧间预测在这种情况下效率低下，所以获得不比全帧内编码好多少的压缩性能。因此，在点被最多一次看到但可压缩性不太好的投影的图像(边界不好)与获得可压缩性良好的投影的图像但有些点被看到若干次之间要找到折衷，由此比实际属于模型的点而在投影的图像中编码更多的点。
技术实现思路
以下呈现本原理的简化的总结，以提供对本原理的一些方面的基本理解。该总结不是本原理的广泛概述。它并不旨在标识本原理的关键或重要元素。以下概述仅以简化形式呈现本原理的一些方面，作为下面提供的更详细描述的序言。一般而言，本原理涉及一种编码方案的架构，该编码方案对通过在基于八叉树的投影结构的立方体的面上正交投影有色点云获得的纹理和深度图像进行编码。使用由基于八叉树的投影结构驱动的投影级联可以更好地编码3D对象的部分，这些部分通常被丢失或使用许多独立的投影编码。与现有技术相比，尤其是当由传统视频编解码器来编码纹理和深度时，获得高压缩性能，这是因为这种编码方案受益于例如由时间帧间预测或算术编码提供的该传统编解码器的高编码效率。本原理涉及一种用于编码点云的方法和设备。该方法包括：-根据点云在基于八叉树的投影结构的至少一个立方体的至少一个面上的至少一个正交投影，选择所述至少一个面；和-通过将包括在所述立方体中的点云的一部分正交投影到所选择的面上，编码立方体的每个选择的面的包括一个纹理图像和一个深度图像的一对图像。根据一个实施例，选择立方体的面基于表示与所述面相关联的纹理和深度图像的能力的度量，以有效地压缩包括在立方体中的点云的点到该面上的投影。根据一个实施例，方法还包括用于以下的步骤或一设备包括用于以下的部件：编码表示选择的一组面和/或表示基于八叉树的投影结构的投影信息数据。根据一个实施例，投影信息数据包括：指示与基于八叉树的投影结构的节点相关联的立方体是否被分割的节点信息数据，以及指示(多个)立方体的哪些(多个)面用于(多个)投影的面信息数据。根据一个实施例，选择至少两对其中包括一个纹理和一个深度图像的图像，并且其中，编码纹理图像和深度图像包括将纹理图像打包为合成纹理图像并将深度图像打包为合成深度图像，并编码合成纹理图像和合成深度图像。根据一个实施例，方法还包括用于以下的步骤，或设备还包括用于以下的部件：编码表示纹理图像打包为合成纹理图像以及深度图像打包为合成深度图像的打包信息数据。根据它们的另一方面，本原理涉及一种用于从至少一个比特流解码表示3D对象的几何形状和颜色的点云的方法和设备。该方法包括：-从比特流解码至少一个编码的纹理图像和至少一个编码的深度图像，以获得至少一个解码的纹理图像和至少一个解码的深度本文档来自技高网...

【技术保护点】
1.一种编码点云的方法，包括：/n-根据点云在基于八叉树的投影结构的至少一个立方体(C

【技术特征摘要】
【国外来华专利技术】20170713 EP 17305929.61.一种编码点云的方法，包括：
-根据点云在基于八叉树的投影结构的至少一个立方体(Cj)的至少一个面(Fi,j)上的至少一个正交投影，选择(100)所述至少一个面；和
-通过将所述立方体(Cj)中包括的点云的一部分正交投影到所选择的面(Fi,j)上，对立方体(Cj)的每个选择的面(Fi,j)编码(120、130)其中包括一个纹理图像(TIi,j)和一个深度(DIi,j)图像的一对图像。


2.一种用于编码点云的设备，包括用于以下的部件：
-根据点云在基于八叉树的投影结构的至少一个立方体(Cj)的至少一个面(Fi,j)上的至少一个正交投影，选择(100)所述至少一个面；和
-通过将所述立方体(Cj)中包括的点云的一部分正交投影到所选择的面(Fi,j)上，对立方体(Cj)的每个选择的面(Fi,j)编码(120、130)其中包括一个纹理图像(TIi,j)和一个深度(DIi,j)图像的一对图像。


3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，选择立方体(Cj)的面(Fi,j)是基于表示与所述面(Fi,j)相关联的纹理图像(TIi,j)和深度(DIi,j)图像的能力的度量(Q(Fi,j))来有效地压缩被包括在立方体(Cj)中的点云的点到面(Fi,j)上的投影。


4.根据权利要求1或3所述的方法或根据权利要求2或3所述的设备，其中，所述方法还包括用于以下的步骤或所述设备包括用于以下的部件：编码(110)表示一组选择的面和/或表示基于八叉树的投影结构的投影信息数据。


5.根据权利要求4所述的方法或设备，其中，投影信息数据包括：指示与基于八叉树的投影结构的节点相关联的立方体是否被分割的节点信息数据，以及指示一个或多个立方体的哪些面用于一个或多个投影的面信息数据。


6.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的设备，其中，选择其中包括一个纹理图像和一个深度图像的至少两对图像，并且其中，编码(130)纹理图像({TIi,j})和深度图像({DIi,j})包括将纹理图像({TIi,j})打包(400)为合成纹理图像(TI)并将深度图像({DIi,j})打包为合成深度图像(DI)，并编码(410)合成纹理图像和合成深度图像。


7.根据权利要求6所述的方法或设备，其中，所述方法还包括用于以下的步骤(630)，或者所述设备还包括用于以下的部件：编码(630)表示纹理图像{TIi,j}打包为合成纹理图像(TI)以及深度图像{DIi,j}打包为合成深度图像(DI)的打包信息数据。


8.一种用于从至少一个比特流解码表示3D对象的几何形状和颜色的点云的方法，包括：
-从比特流解码(700)至少一个编码的纹理...

【专利技术属性】
技术研发人员：S拉塞尔，J里卡德，C古德，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US