用于对几何形状由基于八叉树的结构表示的有色点云的颜色进行编码/解码的方法和装置制造方法及图纸

本原理涉及一种用于对点云的颜色进行编码的方法和设备，其中，该方法包括：‑为表示点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号(LN

A method and device for encoding / decoding the color of a colored point cloud whose geometry is represented by an octree based structure

【技术实现步骤摘要】
【国外来华专利技术】用于对几何形状由基于八叉树的结构表示的有色点云的颜色进行编码/解码的方法和装置
本原理一般地涉及对表示3D对象的几何形状和颜色的有色点云(coloredpointcloud)进行编码和解码。具体地但非排他地，本原理的
涉及对有色点云的颜色进行编码/解码。
技术介绍
本部分旨在向读者介绍技术的各个方面，这些方面可能与下面描述和/或要求保护的本原理的各个方面有关。相信该讨论有助于向读者提供背景信息，以便更好地理解本原理的各个方面。因此，应该理解的是，这些陈述要在该角度上来阅读，而不是作为对现有技术的承认。点云是通常旨在表示3D对象的外表面以及更复杂的几何形状(如头发、毛发)的点的集合，这些更复杂的几何形状可能无法通过其他数据格式(如网格)有效地表示。点云的每个点往往通过3D空间位置(3D空间中的X、Y和Z坐标)来定义，也可能通过其他相关属性来定义，诸如例如表示在RGB或YUV颜色空间中的颜色、透明度、反射率、两分量法向矢量等。在下文中，考虑有色点云，即6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，而(R，G，B)或(Y，U，V)定义该点的颜色。有色点云可以是静态的或者动态的，取决于云是否相对于时间而演变。应当注意的是，在动态点云的情况下，点的数量不是恒定的，而相反一般是随时间而演变的。因此，动态点云是点的集合的时间顺序列表。实际上，有色点云可以用于各种目的，诸如文化遗产/建筑物，其中以3D形式扫描如雕像或建筑物的对象，以便在不传送或访问对象的情况下共享对象的空间配置。此外，它是一种确保在对象可能被破坏的情况下保存对象的知识的方式；例如地震后的寺庙。这种有色点云通常是静态的且巨大的。另一个用例是在地形学和制图学中，其中通过使用3D表示，地图不限于平面，而是可以包含地势。汽车工业和自动汽车也是可以使用点云的领域。自动汽车应当能够“探测”其环境，从而基于其近邻的实际情况做出安全驾驶决策。典型的传感器产生由决策引擎使用的动态点云。这些点云并不意图供人类观看。它们通常是小的、未必有颜色、并且是动态的且具有高的捕获频率。它们可能具有其他属性，如反射率，它是与感测对象的物理表面的材料相关的有价值的信息并且可以帮助做出决策。虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平面视频的未来。基本思想是让观看者沉浸在其周围的环境中，与标准TV相反，在标准TV中，他只能看到面前的虚拟世界。取决于观看者在环境中的自由度，沉浸感有若干等级。有色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均大小，例如一次不超过几百万个点。只有当比特流的大小足够小到允许向终端用户进行实际存储/发送时，点云压缩才能成功存储/发送用于沉浸式世界的3D对象。同样重要的是，能够以合理的带宽消耗向终端用户分发动态点云，同时保持可接受的(或优选地是非常好的)体验质量。与视频压缩类似，良好地使用时间相关性被认为是会导致动态点云的有效压缩的重要元素。公知的方法(例如，在2008年9月计算机图形论坛中TiloOchotta和DietmarSaupe的“基于图像的表面压缩(Image-BasedSurfaceCompression)”中)将表示3D对象的几何形状和颜色的有色点云投影到位于3D对象周围的表面上，以获得有关纹理和深度的视频并使用诸如3D-HEVC(HEVC的扩展，其规范可在下面找到：ITU网站，T推荐，H系列，h265，http://www.itu.int/rec/T-REC-H.265-201612-l/enannexGandI)的传统编码器对纹理和深度视频进行编码。对于每个投影点，压缩的性能都接近于视频压缩，但是当考虑动态点云时，由于遮挡、冗余和时间稳定性，某些内容可能会更复杂。因此，就比特率而言，点云压缩比视频压缩的要求更多。关于遮挡，几乎不可能在不使用许多投影的情况下得到复杂拓扑的完整几何形状。因此，用于对所有这些投影进行编码/解码的所需资源(计算能力、存储内存)通常太高。关于冗余，如果在两个不同的投影上两次看到一个点，则其编码效率被除以二，并且如果使用大量的投影，这可能容易变得更糟。可以在投影之前使用非重叠的面片(patch)，但这使得投影的分区边界不平滑，因此难以编码，并且这对编码性能产生负面影响。关于时间稳定性，可以在给定时间针对对象来优化投影之前的非重叠面片，但是，当该对象移动时，面片边界也移动，并且丢失难以编码的区域(＝该边界)的时间稳定性。实际上，由于时间帧间预测在该背景下效率低下，因此获得的压缩性能并不比全帧内编码好得多。基于八叉树的编码是用于对有色点云的几何形状进行编码的另一个公知方法。通过递归地分割涵盖有色点云的立方体，直到与基于八叉树的结构的叶节点相关联的叶立方体(leafcube)包含不超过点云的一个点，来获得用于表示点云的几何形状的所述基于八叉树的结构。因此，基于八叉树的结构的叶节点的空间位置表示点云的点的空间位置，即其几何形状。基于八叉树的编码是用于对有色点云的点的几何形状进行编码的有效方法，但是不提供对有色点云的点的颜色的编码。因此，需要找到一种用于对几何形状由基于八叉树的结构表示的点云的颜色进行编码的解决方案。
技术实现思路
以下呈现本原理的简化的概述，以便提供对本原理的某些方面的基本理解。该概述并非对本原理的广泛概论。它并不旨在识别本原理的关键或重要元素。以下概述仅以简化形式来呈现本原理的一些方面，作为下面提供的更详细描述的序言。一般来说，本原理涉及对有色点云的颜色进行编码，该有色点云的几何形状由基于八叉树的结构表示。所述方法在编码方面是有效的，因为有色点云的颜色被映射到可以由传统编码器编码的图像上。本原理涉及一种用于对点云的颜色进行编码的方法和设备，其中，该方法包括：-为表示点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号，特定编号是通过根据先前分配给父节点的取向(orientation)并根据特定子节点编号顺序给所述基于八叉树的结构的八个子节点中的每一个递归地分配取向和局部编号而分配给叶节点的；-通过根据所分配的特定编号扫描基于八叉树的结构的叶节点来对点云的点进行排序；-根据特定2D路径将有色点云的有序点的颜色分配给图像的像素；以及-对图像进行编码。根据实施例，特定2D路径被编码为在比特流中发送的信息数据。根据实施例，定义第一查找表，以根据先前分配给父节点的取向和特定子节点编号来分配父节点的八个子节点的取向。根据实施例，定义第二查找表，以根据父节点的取向和特定子节点编号顺序来分配父节点的八个子节点的局部编号。根据它们的另一方面，本原理涉及一种用于对点云的颜色进行解码的方法和设备。该方法包括：-对图像进行解码；-为表示点云的几何形状的基于八叉树的结构的每个叶节点分本文档来自技高网...

【技术保护点】
1.一种用于对点云的颜色进行编码的方法，其中，所述方法包括：/n-为表示所述点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号(LN

【技术特征摘要】
【国外来华专利技术】20170713 EP 17305928.81.一种用于对点云的颜色进行编码的方法，其中，所述方法包括：
-为表示所述点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号(LNk)，特定编号(LNk)是通过根据先前分配给父节点的取向(Ωρ)并根据特定子节点编号顺序给所述基于八叉树的结构的八个子节点中的每一个递归地分配取向({Ω0，...，Ω7})(201)和局部编号({n0，...，n7})(202)而分配给叶节点的；
-通过根据所分配的特定编号扫描所述基于八叉树的结构的叶节点来对所述点云的点进行排序(200)；
-根据特定2D路径将有色点云的有序点的颜色分配(210)给图像的像素；以及
-对所述图像进行编码(220)。


2.一种用于对点云的颜色进行编码的设备，其中，所述设备包括处理器，所述处理器被配置为：
-为表示所述点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号(LNk)，特定编号(LNk)是通过根据先前分配给父节点的取向(Ωρ)并根据特定子节点编号顺序给所述基于八叉树的结构的八个子节点中的每一个递归地分配取向({Ω0，...，Ω7})(201)和局部编号({n0，...，n7})(202)而分配给叶节点的；
-通过根据所分配的特定编号扫描所述基于八叉树的结构的叶节点来对所述点云的点进行排序；
-根据特定2D路径将有色点云的有序点的颜色分配给图像的像素；以及
-对所述图像进行编码。


3.如权利要求1所述的方法或如权利要求2所述的设备，其中所述特定2D路径被编码为在比特流中发送的信息数据。


4.如权利要求1、3中的一项所述的方法或如权利要求2-3中的一项所述的设备，其中，定义第一查找表，以根据先前分配给父节点的取向(Ωρ)和所述特定子节点编号来分配(201)所述父节点的八个子节点的取向。


5.如权利要求4所述的方法或设备，其中，定义第二查找表，以根据父节点的取向和所述特定子节点编号顺序来分配(202)所述父节点的八个子节点的局部编号。


6.一种用于对点云的颜色进行解码的方法，其中，所述方法包括：
-对图像进行解码(1400)；
-为表示所述点云的几何形状的基于八叉树的结构的每个叶节点分配特定编号(LNk)，特定编号(LNk)是通过根据先前分配给父节点的取向(Ωρ)并根据特定子节点编号顺序给所述基于八叉树的结构的八个子节点中的每一个递归地分配取向({Ω0，...，Ω7})(201)和局部编号({n0，...，...

【专利技术属性】
技术研发人员：S拉塞尔，ML查姆佩尔，蔡康颖，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US