一种用于编码/解码表示3D对象的点云的方法和装置制造方法及图纸

本原理涉及编码方案的体系架构，该编码方案对通过将点云投影在与投影的结构的体积相关联的表面上而获得的深度图像(以及可选地纹理图像)进行编码。还从点云和通过反投影解码的深度图像(和可选地解码的纹理图像)获得的反投影的点云获得全局基于八叉树的结构。

A method and device for encoding / decoding point clouds representing 3D objects

【技术实现步骤摘要】
【国外来华专利技术】一种用于编码/解码表示3D对象的点云的方法和装置1.
本原理一般而言涉及表示3D对象的点云的编码和解码。特别地但非排他地，本原理的
涉及使用纹理和深度投影方案的3D图像数据的编码/解码。2.
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可以与以下描述和/或要求保护的本原理的各个方面相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解本原理的各个方面。因而，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。点云是通常旨在表示3D对象的外表面的点集合，但也可以是可能无法通过网格等其它数据格式高效地表示的更复杂的几何形状(如头发、皮毛)。点云的每个点常常由3D空间位置(3D空间中的X、Y和Z坐标)定义，并且可能由其它相关联属性定义，诸如以例如RGB或YUV颜色空间表示的颜色、透明度、反射率、两分量法线向量等。在下文中，考虑彩色点云，即，6分量点(X，Y，Z，R，G，B)或等价地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，而(R，G，B)或(Y，U，V)定义这个点的颜色。彩色点云可以是静态的或者动态的，这取决于云是否随时间而演化。应当注意的是，在动态点云的情况下，点的数量不是恒定的，相反，一般随着时间而演化。因此，动态点云是点集合的时间排序列表。实际上，彩色点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D扫描如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。而且，这是确保保留对象的知识以防对象被破坏的途径；例如，庙宇被地震损坏。这种彩色点云通常是静态的并且是巨大的。另一个用例是在地形和制图中，其中，通过使用3D表示，地图不限于平面，而且还可以包括地势。汽车工业和自主驾驶汽车也是可以使用点云的领域。自动驾驶汽车应当能够“探测”其周围环境，以基于紧邻其附近的环境的实际情况做出安全驾驶决定。典型的传感器产生由决定引擎使用的动态点云云。这些点云并非旨在供人类查看。它们通常小，不一定是彩色的，并且是动态的，具有高捕获频率。它们可以具有其它属性，如反射率，这是与感测到的对象的物理表面的材质相关的有价值的信息并且可以帮助做出决定。虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平面视频的未来。基本想法是让观看者沉浸在他周围的环境中，与他只能观看面前的虚拟世界的标准TV相反。取决于环境中观看者的自由度，沉浸性有若干等级。彩色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均尺寸，比如说一次不超过几百万个点。仅当比特流的尺寸足够小以允许实际存储/传输给终端用户时，点云压缩才能成功地为沉浸式世界存储/传输3D对象。同样关键的是能够以合理的带宽消耗将动态点云分发给终端用户，同时维持可接受的(或优选地非常好的)体验质量。与视频压缩相似，时间相关性的良好使用被认为是将导致动态点云的高效压缩的关键因素。众所周知的方法将表示3D对象的几何形状和颜色的彩色点云投影到包含3D对象的立方体的面上，以获取关于纹理和深度的视频，并使用诸如3D-HEVC(HEVC的扩展，其规范可在ITU网站上找到，T推荐，H系列，h265，http://www.itu.int/rec/T-REC-H.265-201612-l/en附录G和I)之类的老式编码器对纹理和深度视频进行编码。对于每个投影点，压缩的性能接近视频压缩，但是当考虑动态点云时，由于遮挡、冗余和时间稳定性，一些内容会更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更高。关于遮挡，如果不使用许多投影，几乎不可能获得复杂拓扑的完整几何形状。因此，用于对所有这些投影进行编码/解码的所需资源(计算能力、存储存储器)通常太高。关于冗余，如果在两个不同的投影上两次看到一个点，那么其编码效率将被除以2，并且如果使用大量的投影，这会容易变得更糟。人们可以在投影之前使用非重叠的面片，但这使得投影的分区边界不平滑，因此难以编码，并且这会对编码性能产生负面影响。关于时间稳定性，可以在给定的时间针对对象来优化投影之前的非重叠面片，但是，当这个对象移动时，面片边界也移动，并且难以编码的区域(＝边界)的时间稳定性丢失。实际上，因为时间帧间预测在这种情况下效率低下，所以获得的压缩性能并不比全帧内编码好多少。因此，在最多一次看到点但投影图像的可压缩性不好(边界不好)与获得可压缩性良好的投影图像但有些点被多次看到之间需要折衷，从而在投影图像中编码的点比实际属于模型的图像的点更多。3.
技术实现思路
以下给出了本原理的简化
技术实现思路
，以提供对本原理某些方面的基本理解。本
技术实现思路
不是本原理的广泛概述。它并不旨在识别本原理的关键或重要元素。以下
技术实现思路
仅以简化形式给出了本原理的一些方面，作为下面提供的更详细描述的序言。一般而言，本原理涉及编码方案的体系架构，该编码方案对通过将点云投影在与投影结构的体积相关联的表面上而获得的深度图像(以及可选地，纹理图像)进行编码。使用投影的结构可以使体积位置更加灵活，从而能够精细地捕获遮挡。优选地，立方体上的突起用于容易实现。使用由投影的结构表示的投影的级联允许更好地对3D对象的部分进行编码，而这些部分通常会丢失或使用许多独立的投影进行编码。于是，与现有技术相比，获得了高压缩性能，尤其是当纹理和深度由老式视频编解码器编码时，因为编码方案受益于例如由时间帧间预测或算术编码提供的这种老式编解码器的高编码效率。还从点云和通过反投影解码的深度图像(和可选地解码的纹理图像)获得的反投影的点云中获得全局基于八叉树的结构。所述全局基于八叉树的结构的点的几何形状通过使用基于八叉树的方法进行编码，并且可选地，每个点的颜色被映射到2D彩色图像上，然后由老式编码器进行编码。对全局基于八叉树的结构进行编码允许摆脱投影之后仍然存在的剩余遮挡，因此允许在对全局基于八叉树的结构和反投影点云进行解码之后更好地重构点云。同样，使用八叉树替换投影自然更好地压缩一些空间相关性很小的复杂拓扑(例如，头发)。本原理涉及方法和设备。该方法包括：a)通过优化用于编码所述候选的基于八叉树的结构的比特率与失真之间的折衷来确定是否通过候选的基于八叉树的结构的至少一个候选点来近似与表示点云的几何形状的基于八叉树的结构的叶节点相关联的叶立方体中所包括的点云的原始点，其中失真是从一方面所述原始点和另一方面所述候选点连同反投影点云的点一起之间的空间距离获得的，所述反投影点云包括在通过反投影至少一个深度图像获得的所述包含立方体中；b)对第一叶节点信息数据进行编码，该信息指示是否已经确定了候选的基于八叉树的结构以近似所述原始点；c)如果所述原始点被至少一个候选点近似，那么对所述候选的基于八叉树的结构进行编码。根据实施例，根据实施例，根据实施例，该方法还包括通过反投影所述至少一个编码的深度图像来获得反投影的点云，其中所述至少一本文档来自技高网...

【技术保护点】
1.一种方法，包括：/na)通过优化用于编码候选的基于八叉树的结构(O

【技术特征摘要】
【国外来华专利技术】20170713 EP 17305930.41.一种方法，包括：
a)通过优化用于编码候选的基于八叉树的结构(Ok.n)的比特率(Rk.n)与失真(Dk.n)之间的折衷来确定(150)是否通过候选的基于八叉树的结构(Ok.n)的至少一个候选点(Pk，n)来近似与表示点云的几何形状的基于八叉树的结构(IO)的叶节点相关联的叶立方体中所包括的点云的原始点(Pk，or)，其中失真(Dk.n)是从一方面所述原始点(Pk，or)和另一方面所述候选点(Pk，n)连同反投影点云(IPPC)的点(Pk，IP)一起之间的空间距离获得的，所述反投影点云包括在通过反投影至少一个深度图像获得的所述包含立方体中；
b)对第一叶节点信息数据(FLID)进行编码，该信息指示是否已经确定了候选的基于八叉树的结构以近似所述原始点(Pk，or)；
c)如果所述原始点(Pk，or)由至少一个候选点(Pk，n)近似，那么对所述候选的基于八叉树的结构进行编码。


2.一种设备，包括处理器，该处理器被配置为：
-通过优化用于编码所述候选的基于八叉树的结构(Ok.n)的比特率(Rk.n)与失真(Dk.n)之间的折衷来确定(150)是否通过候选的基于八叉树的结构(Ok.n)的至少一个候选点(Pk，n)来近似与表示点云的几何形状的基于八叉树的结构(IO)的叶节点相关联的叶立方体中所包括的点云的原始点(Pk，or)，其中失真(Dk.n)是从一方面所述原始点(Pk，or)和另一方面所述候选点(Pk，n)连同反投影点云(IPPC)的点(Pk，IP)一起之间的空间距离获得的，所述反投影点云包括在通过反投影至少一个深度图像获得的所述包含立方体中；
-对第一叶节点信息数据(FLID)进行编码，该信息指示是否已经确定了候选的基于八叉树的结构以近似所述原始点(Pk，or)；
-如果所述原始点(Pk，or)被至少一个候选点(Pk，n)近似，那么对所述候选的基于八叉树的结构进行编码。


3.如权利要求1所述的方法或如权利要求2所述的设备，其中对所述候选的基于八叉树的结构进行编码包括：
-对代表所述候选的基于八叉树的结构的八叉树信息数据(SOID)进行编码；以及
-对第二叶节点信息数据(SLID)进行编码，该第二叶节点信息数据指示与所述候选的基于八叉树的结构(Ok)的叶节点相关联的叶立方体是否包括位于其中心的单个候选点。


4.如权利要求1或3中的一项所述的方法或如权利要求2或3中的一项所述的设备，其中所述方法还包括获取(120)或所述设备的处理器被配置为通过反投影所述至少一个编码的深度图像(DIi,j)来获得反投影的点云(IPPC)，其中所述至少一个编码的深度图像(DIi,j)是通过将点云的点投影到与投影的结构的体积(Cj)相关联的至少一个表面(Fi,j)上而获得的。


5.如权利要求1、3-4中的一项所述的方法或如权利要求2-4中的一项所述的设备，其中所述反投影由代表所述至少一个表面(Fi,j)的投影信息数据驱动。


6.如权利要求4-5中的一项所述的方法或设备，其中投影信息数据代表投影的结构。


7.如权利要求5或6所述的方法或设备，其中所述方法还包括对所述投影信息数据进行编码，或者所述设备的处理器还被配置为对所述投影信息数据进行编码。


8.如权利要求4-7中的一项所述的方法或设备，其中体积(Cj)是立方体，表面(Fi,j)是所述立方体的面，并且投影的结构是基于八叉树的投影的结构。


9.如权利要求1、3-8中的一项所述的方法或如权利要求2-8中的一项所述的设备，其中所述方法还包括：
-通过递归地拆分所述包含立方体(C)直到与所述基于八叉树的结构(IO)的叶节点相关联的叶立方体(LOUk)达到期望尺寸，确定(130)包括至少一个立方体的基于八叉树的结构(IO)；
-对代表基于八叉树的结构(IO)的另一个八叉树信息数据(FOLD)进行编码(140)；以及
-根据步骤a-c)对与所述基于八叉树的结构(IO)的叶节点相关联的每个叶立方体(LOUk)进行编码。


10.如权利要求2-8中的一项所述的设备，其中所述设备的处理器还被配置为：
-通过递归地拆分所述包含立方体(C)直到与所述基于八叉树的结构(IO)的叶节点相关联的叶立方体(LOUk)达到期望尺寸，确定包括至少一个立方体的基于八叉树的结构(IO)；
-对代表基于八叉树的结构(IO)的另一个八叉树信息数据(FOLD)进行编码；以及
-根据步骤a-c)对与所述基于八叉树的结构(IO)的叶节点相关联的每个叶立方体(LOUk)进行编码。


11.如权利要求1、3-9中的一项所述的方法或如权利要求2-8或10中的一项所述的设备，其中所述方法还包括获得(100)或者所述设备的处理器还被配置为通过将点云的点投影到表面(Fi,j)上来获得每个深度图像的纹理图像(TIi,j)。


12.如权利要求11所述的方法或设备，其中对深度图像进行编码取决于与所述深度图像相关联的纹理图像。


13.如权利要求1、3-9、11-1...

【专利技术属性】
技术研发人员：S拉塞尔，JC谢维特，蔡康颖，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US