用于编码和重构点云的方法和设备技术

该方法包括：‑访问(2)包括由属性定义的多个点的点云(PC)，所述属性包括点在3D空间中的空间位置以及点的至少一个特征；‑基于点的属性将点云分割(2)为点的一个或多个群集(C

Methods and devices for encoding and reconstructing point clouds

【技术实现步骤摘要】
【国外来华专利技术】用于编码和重构点云的方法和设备
本公开一般涉及点云数据源领域。更具体地说，其处理点云压缩(PCC)。因此，本公开关注用于编码点云的方法和相应的编码器。其还关注用于重构点云的方法和相应的解码器。其还关注实现本专利技术的编码和重构方法的计算机程序。
技术介绍
可以采用本部分中描述的方法，但不一定是先前已经设想或采用的方法。因此，除非本文另外指出，否则本部分中描述的方法不是本申请中的权利要求的现有技术，并且不因被包括在本部分中而被承认为现有技术。点云由一组点组成。每个点都由其空间位置(x，y，z)(即几何信息)和不同的属性(典型包括(R，G，B)或(Y，U，V)或任何其他颜色坐标系的颜色信息)定义。几何属性(geometry)可被视为属性数据之一。在本公开的其余部分中，几何属性和其他属性数据均被视为点的属性。点云数据源可在许多应用中找到。依赖于巨大点云数据源的重要应用可以在地理信息系统，机器人，医学断层扫描和科学可视化中找到。除了这些更加工业化和科学导向的应用之外，基于飞行时间或其他深度感应技术的廉价3D扫描仪的普及，移动设备上的3D捕获以及基于云的3D打印的兴起，都对消费市场上大型可互操作的压缩3D点云存储和传输数据格式产生巨大的需求。扫描的3D点云通常具有数千个点，并占用大量存储空间。此外，当从3D扫描仪实时捕获时，它们可以高速率生成，进一步提高数据速率。因此，点云压缩对于有效的网络分发和存储至关重要。尽管在3D图形和机器人领域中已经有很多关于点云压缩的工作，但是它们通常不能满足构建高效的可互操作和完整的端到端3D多媒体系统的一些要求。例如，对于高质量渲染而言很重要的颜色和其他属性值的编码()经常被忽略或例如通过执行简单的颜色单向预测编码而效率低下地操作。而且，时变点云的压缩，即随时间快速捕获的云序列被限制。此外，具有低复杂性和有损编码的方法对其中硬件/带宽限制适用或其中低延迟是关键的系统有用。点云压缩的研究仍然需要解决这些挑战。在现有技术中已经提出点云的不同编码方法。第一种编码方法依赖基于八叉树的点云表示。例如，描述在J.Peng和C.-CJayKuo中，“Geometry-guidedprogressivelossless3Dmeshcodingwithoctree(OT)decomposition”，ACMTrans.Graph，卷21，第2号，第609-616页，2005年7月，以及在YangHuang，JingliangPeng，C.-C.JayKuo和M.Gopi，“AGenericSchemeforProgressivePointCloudCoding”，关于可视化和计算机图形的IEEE学报，第14卷，第2号，第440-453页，2008年。八叉树是一种树数据结构，其中每个分支节点表示空间中的某个立方体或长方体边界体积。在根开始，每个分支最多有8个子系，一个用于节点的边界框的每个子八分体。图1和图2的左半部分示出示例。对于压缩，使用单个位来标记分支节点的每个子是否为空，并且然后假设八个八分体的某些顺序一致，则可以在单个字节中有效地表示此分支节点配置。通过以广度优先的顺序遍历树并输出遇到的每个子节点配置字节，可以有效地编码空间中的点分布。在读取编码的字节流时，在第一个字节中设置的位数告诉解码器作为直接子的连续字节数。位位置指定它们占据的八叉树中的体元/子。图2的右半侧例示在左半侧表示的八叉树的字节流表示。由于其分层性质，八叉树表示在利用点云稀疏性方面非常有效。因此，基于八叉树分解的策略对于压缩稀疏点云非常有效。但是，基于八叉树的表示对于表示和压缩密不透水的(watertightdense)点云是无效的。此外，大多数现有的基于八叉树的点云表示都独立地表示点的几何属性和其他属性。第二种编码方法依赖基于分割的点云表示。例如，描述在例如T.Ochotta和D.Saupe中，“Compressionofpoint-based3dmodelsbyshape-adaptivewaveletcodingofmulti-heightfields”，在Proc.EurographicsSymp.onPoint-BasedGraphics，2004年，以及在J.Digne，R.Chaine，S.Valette等人中，“Self-similarityforaccuratecompressionofpointsampledsurfaces”，计算机图形论坛，第33卷，第155-164页，2014年。基于分割的点云表示包括三个步骤：平面状分解，平面投影和编码。在第一步骤，将点云数据分割成平面状的补丁。然后，将所得补丁投影到一个或若干平面上。在最后步骤中，将(多个)投影的图像压缩。可以使用有效的图像/视频压缩技术来压缩(多个)投影的图像。已经证明基于平面状分割的PCC在编码表示近似分段线性表面的密集点云时非常有效。但是，基于分割的PCC有几个缺点。确实，此方法需要重新采样到规则网格上，这引入近似误差。而且，有必要为复杂形状生成大量补丁，这意味着复杂纹理的高计算复杂度。此外，此方法独立处理几何形状和其他属性。有一些工作试图结合上述两种点云表示的优点，诸如，J.K.N.Blodow，R.Rusu，S.Gedikli和E.S.MBeetz，“Real-timecompressionofpointcloudstreams”，在机器人与自动化(ICRA)，2012IEEEInternationalConference，第778，785页，2012年5月14-18日。这些工作首先以八叉树分解的方式分解输入点云。在每个长方体划分操作之后，检查落入同一新生成的叶长方体的点是否可以通过平面近似。如果答案为是，则停止相应的长方体的划分，并通过投影在相应的平面上对相关点进行编码。然后，可以通过八叉树法有效地表示和压缩平面状补丁的位置。但是，所有这些已知方法都不能提供点云属性数据的有效表示和编码。在Collet等人的文章中，“High-qualitystreamablefree-viewpointvideo”，ACMTransactionsonGraphics，第34卷，第4，2015年，将点云转换为3D网格，然后使用最新的3D网格压缩技术来编码点云。但是，需要将点云转换为网格的该方法通常在计算上耗费，并且需要额外的位来编码3D网格的连通性。最近，已经提出基于图形的方法来编码点云。使用Zhang等人的图形变换对点云属性进行压缩：“Pointcloudattributecompressionwithgraphtransform”，IEEEInternationalConferenceonImageProcessing，巴黎，2014年。将属性视为图形上的信号，并且将图形变换用于使信号近似去相关。但是，通过在八叉树结构上构建图形，点云表示仍然基于八叉树表示。此外，该文章仅考虑除几何属性之外的的压缩属性。Thanou本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-访问包括由属性定义的多个点的点云(PC)，所述属性包括点在3D空间中的空间位置以及该点的至少一个特征；/n-基于点的属性将点云(PC)分割(2)为点的一个或多个群集(C

【技术特征摘要】
【国外来华专利技术】20170524 EP 17305610.21.一种方法，包括：
-访问包括由属性定义的多个点的点云(PC)，所述属性包括点在3D空间中的空间位置以及该点的至少一个特征；
-基于点的属性将点云(PC)分割(2)为点的一个或多个群集(Ci)；
并且对于至少一个群集(Ci)：
-构建(4)具有多个顶点和至少一个边缘的相似度图形，相似度图形表示群集(Ci)的相邻点在属性方面之间的相似度，多个顶点包括对应于群集(Ci)的点的顶点Pi和Pj；
-向连接图形的顶点Pi和Pj的一个或多个边缘分配一个或多个权重wi，j；
-使用一个或多个分配的权重计算(6)变换，所述变换特征在于其系数；和
-量化(8)和编码(10)变换系数。


2.一种用于编码点云(PC)的设备(30)，包括：
-分割模块(34)，被配置为基于点的属性将包括多个点的点云分割为点的一个或多个群集，所述多个点由属性定义，所述属性包括点在3D空间中的空间位置和该点的至少一个特征；
-构建模块(36)，被配置为对于至少一个群集(Ci)，构建具有多个顶点和至少一个边缘的相似度图形，相似度图形表示群集(Ci)的相邻点在属性方面之间的相似度，多个顶点包括对应于群集(Ci)的点的顶点Pi和Pj，并且向连接图形的顶点Pi和Pj的一个或多个边缘分配一个或多个权重wi,j。
-计算模块(38)，被配置为使用一个或多个分配的权重为至少一个群集计算变换，所述变换特征在于其系数；和
-编码模块(40)，被配置为量化和编码变换系数。


3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，对于至少一个群集(Ci)，所述方法包括步骤(12)，或者所述设备包括部件(42)，用于向解码器(50)发送编码的变换系数和群集(Ci)以及计算的变换的标识符。


4.根据权利要求1或3所述的方法或根据权利要求2或3所述的设备，其中，变换系数的编码是熵编码。


5.根据权利要求1或3-4中任一项所述的方法或根据权利要求2-4中任一项所述的设备，其中，如果权重wi,j小于阈值，...

【专利技术属性】
技术研发人员：K蔡，W胡，S拉塞尔，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US