用于编码/解码表示3D对象的点云的几何形状的方法和设备技术

本原理涉及用于编码表示3D对象的点云的几何形状的方法和装置。所述方法包括：a)从所述点云的点获得(210)具有最大深度等级(δ

【技术实现步骤摘要】
【国外来华专利技术】用于编码/解码表示3D对象的点云的几何形状的方法和设备
本原理一般涉及编码和解码表示3D对象的点云的几何形状。特别地但非排他性地，本原理的
涉及点云的基于八叉树的编码/解码。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以促进更好地理解本原理的各个方面。因此，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。点云是通常旨在表示3D对象的外表面的点的集合，但也可能是更复杂的几何形状(如，头发、毛发)，它们可能无法通过其他数据格式(如网格)有效地表示。点云的每个点通常由3D空间位置(3D空间中的X、Y和Z坐标)定义，并可能由其他关联属性定义，例如在RGB或YUV颜色空间中表示的颜色，例如透明度、反射率、两分量法向向量等。点云可以是静态的也可以是动态的，这取决于云是否随时间演变。应当注意，在动态点云的情况下，点的数目不是恒定的，相反，通常随着时间而演变。因此，动态点云是点的集合的按时间排序的列表。实际上，点云可用于各种目的，例如文化遗产/建筑物，其中以3D形式扫描如雕像或建筑物之类的对象，以便共享对象的空间配置而无需发送或访问它。另外，它是一种确保保留对象知识的方式，以防对象可能被破坏；例如，经历过地震的寺庙。这种彩色点云通常是静态且巨大的。另一用例是在地形和地图制作中，其中通过使用3D表示，地图不限于平面，还可以包括地势(relief)。汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应能够“探测”它们的环境，以根据其直接相邻的实际情况做出安全驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云并非旨在供人们查看。它们通常很小，不一定是彩色的，并且是动态的，具有很高的捕获频率。它们可能具有其他属性，例如反射率，它是与感测对象的物理表面的材质相关的有价值的信息，并且可以帮助做出决策。虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被很多人预见为2D平板视频的未来。基本想法是让观看者沉浸在与标准电视相对的周围环境中，其中他只能观看面前的虚拟世界。取决于环境中观看者的自由度，存在几个等级的沉浸感。彩色点云是分发VR世界的理想格式候选。它们可以是静态的或动态的，并且通常具有平均大小，例如一次不超过几百万个点。仅当比特流的大小足够小到允许实际存储/传输到最终用户时，点云压缩才能成功存储/传输用于沉浸式世界的3D对象。能够以合理的带宽消耗将动态点云分发到最终用户，同时保持可接受的(或优选地非常好的)体验质量，这也是至关重要的。与视频压缩类似，良好地使用时间相关性被认为是将导致动态点云的有效压缩的重要要素。众所周知的方案将表示3D对象的几何形状和颜色的点云投影到包围3D对象的立方体的表面上，以获得有关纹理和深度的视频，并使用诸如3D-HEVC(HEVC的扩展，其规范可在ITU网站、T建议、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/en附录G和I上找到)的传统编码器对纹理和深度视频进行编码。压缩的性能对于每个投影点的视频压缩都接近，但是当考虑动态点云时，由于遮挡、冗余和时间稳定性，某些内容可能会更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。关于遮挡，在不使用许多投影的情况下，几乎不可能获得复杂拓扑的完整几何形状。因此，用于对所有这些投影进行编码/解码的所需资源(计算能力、储存存储器)通常太高。基于八叉树的编码也是一种众所周知的编码点云的几何形状的方案。通过递归拆分包围点云的立方体，直到与所述基于八叉树结构的叶节点相关联的叶立方体包含点云的不超过一个点，而获得用于表示点云的几何形状的基于八叉树结构。基于八叉树结构的叶节点的空间位置因此表示点云的点的3D空间位置，即其几何形状。因此，这种拆分处理在计算能力方面需要重要的资源，因为拆分决策是在可能包含大量点的整个点云上进行的。因此，存在应在不使用具有高计算复杂度的优化处理而获得点云的几何形状的良好表示之间获得的折衷。
技术实现思路
以下呈现了本原理的简化总结，以提供对本原理某些方面的基本理解。该概述不是本原理的广泛概述。它并不旨在标识本原理的关键或决定性元素。以下概述仅以简化形式呈现了本原理的一些方面，作为下面提供的更详细描述的序言。一般而言，本原理涉及一种用于编码表示3D对象的点云的点的几何形状的方法，所述方法包括：a)从所述点云的点获得具有最大深度等级的至少一个候选基于八叉树结构，每个候选基于八叉树结构通过与叶立方体相关联的点近似点云的几何形状，每个叶立方体与所述候选基于八叉树结构的叶节点相关联；b)获得具有最大深度等级的所述至少一个候选基于八叉树结构的编码成本；c)对通过优化针对所述至少一个候选基于八叉树结构而获得的所述编码成本而获得的具有最大深度等级的最佳基于八叉树结构进行编码；和d)对表示所述最佳基于八叉树结构的最大深度等级的深度信息数据进行编码。基本上，所述方法为具有特定最大深度等级的每个候选基于八叉树结构(其中一些可能具有相同的最大深度等级)获得编码成本，并对通过基于所述编码成本使用速率失真优化处理获得的最佳基于八叉树结构进行编码。此外，因为发信号通知基于八叉树结构的最大深度等级所需的额外比特率相对于用于对与最大深度等级的基于八叉树结构的叶节点相关联的指示这些叶节点是否被拆分的叶信息进行编码的比特率小，所以编码所述最佳基于八叉树结构的最大深度等级尤其对于复杂的几何形状是有利的。根据实施例，针对候选基于八叉树结构获得的编码成本取决于失真和比特率，所述失真考虑一方面点云的点和另一方面与所述候选基于八叉树结构的叶立方体相关联的点之间的空间距离，并且所述比特率用于编码所述候选基于八叉树结构和用于编码其最大深度等级。根据实施例，所述方法还包括通过对与所述至少一个候选基于八叉树结构的叶立方体相关联的点进行递归上采样，直到所述点的分辨率等级达到期望的分辨率等级为止，来获得上采样点。根据这个实施例，所述方法获得至少一个候选基于八叉树结构的上采样点，获得针对所述候选基于八叉树结构的编码成本，并通过基于所述编码成本使用速率失真优化处理来编码所述最佳基于八叉树结构。因为最佳基于八叉树结构被编码，即与所述最佳基于八叉树结构的叶节点相关联的叶立方体中的点(而不是上采样点)，所以用于对最佳基于八叉树结构进行编码的信息可能非常紧凑。例如，当点云的几何形状(甚至复合体)可以由几何表面(如平面)或体积(如立方体)很好地近似时，情况尤其如此。此外，与基于八叉树结构的叶立方体相关联的上采样点通过消除速率失真优化循环中对失真估计的不希望的局部深度影响，来改善编码决策。否则，由于较差的解码点采样，较低的深度值将人为地导致较高的失真，因此，较低深度配置将受到不利影响，因此不会由RDO处理选择。根据实施例，所述本文档来自技高网...

【技术保护点】
1.一种用于编码表示3D对象的点云的几何形状的方法，所述方法包括：/na)从所述点云的点获得(210)具有最大深度等级(δ

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306344.71.一种用于编码表示3D对象的点云的几何形状的方法，所述方法包括：
a)从所述点云的点获得(210)具有最大深度等级(δk)的至少一个候选基于八叉树结构(Ok)，每个候选基于八叉树结构(Ok)通过与叶立方体相关联的点近似点云的几何形状，每个叶立方体与所述候选基于八叉树结构(Ok)的叶节点相关联；
b)获得(230)具有最大深度等级(δk)的所述至少一个候选基于八叉树结构(Ok)的编码成本(Ck)；
c)对通过优化(240)针对所述至少一个候选基于八叉树结构(Ok)而获得的所述编码成本而获得的具有最大深度等级(δopt)的最佳基于八叉树结构(Oopt)进行编码(250)；以及
d)对表示所述最佳基于八叉树结构(Oopt)的最大深度等级(δopt)的深度信息数据(DIDopt)进行编码(260)。


2.一种用于对表示3D对象的点云的几何形状进行编码的装置，包括部件，用于：
a)从所述点云的点获得具有最大深度等级(δk)的至少一个候选基于八叉树结构(Ok)，每个候选基于八叉树结构(Ok)通过与叶立方体相关联的点近似所述点云的几何形状，每个叶立方体与所述候选基于八叉树结构(Ok)的叶节点相关联；
b)获得具有最大深度等级(δk)的所述至少一个候选基于八叉树结构(Ok)的编码成本(Ck)；
c)对通过优化针对所述至少一个候选基于八叉树结构(Ok)而获得的所述编码成本而获得的具有最大深度等级(δopt)的最佳基于八叉树结构(Oopt)进行编码；以及
d)对表示所述最佳基于八叉树结构(Oopt)的最大深度等级(δopt)的深度信息数据(DIDopt)进行编码。


3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中针对候选基于八叉树结构(Ok)获得的编码成本(Ck)取决于失真(Dk)和比特率(Rk)，所述失真(Dk)考虑一方面点云的点(Por)和另一方面与所述候选基于八叉树结构(Ok)的叶立方体相关联的点(Pk)之间的空间距离，并且所述比特率(Rk)用于编码所述候选基于八叉树结构(Ok)和用于编码其最大深度等级(δk)。


4.根据权利要求1或3所述的方法或根据权利要求2-3所述的装置，其中所述方法还包括以下步骤或所述设备还包括用于执行以下的部件：通过对与所述至少一个候选基于八叉树结构的叶立方体相关联的点(Pk)进行递归上采样，直到所述点(Pk)的分辨率等级(πk)达到期望的分辨率等级(πexpk)为止，来获得(220)上采样点(Pk,up)。


5.根据权利要求4所述的方法或装置，其中所述失真(Dk)考虑一方面所述点云的点(Por)和另一方面所述上采样点(Pk,up)之间的空间距离。


6.根据权利要求1、3-5之一所述的方法或根据权利要求2-5之一所述的装置，所述方法还包括以下步骤或所述装置还包括部件用于：
-通过递归地拆分包围点云的立方体直到与所述全局基于八叉树结构(GO)的叶节点相关联的叶立方体缩小到预期大小为止，来确定(700)包括至少一个立方体的全局基于八叉树结构(GO)；
-对表示全局基于八叉树结构(GO)的八叉树信息数据(OID)进行编码(710)；
-对叶节点信息数据(LIDu)进行编码(720)，所述叶节点信息数据指示与所述全局基于八叉树结构(GO)的每个叶节点相关联的叶立方体(LOUu)是否被编码；
-如果所述叶节点信息数据(LIDu)指示与所述全局基于八叉树结构(GO)的叶节点相关联的叶立方体(LOUu)被编码，则通过执行步骤a-d)来对在所述叶立方体中包括的点云的点的几何形状进行编码(210-250)。


7.根据权利要求1、3-6所述的方法或根据权利要求2-6所述的装置，其中对基于八叉树结构(Oopt，Oopt,u)进行编码包括：对表示所述最佳基于八叉树结构的八叉树信息数据(OIDopt，OIDopt,u)、和指示所述基于八叉树结构(Oopt，Oopt,u)的叶立方体是否包括表示点云的至少一个点(Por)的点的叶节点信息数据(LIDopt，LIDopt,u)进行编码。


8.根据权利要求7所述的方法或装置，其中八叉树信息数据(OIDopt，OIDopt,u)可以包括每个节点的二进制标志，以指示除了所述基于八叉树结构(Oopt，Oopt,u)的最大深度等级(δopt，δopt,u)处的节点之外、与节点相关联的立方体是否被拆分。


9.一种用于从比特流解码表示3D对象的点...

【专利技术属性】
技术研发人员：S拉塞尔，R朱利安，JC切维特，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US