编码和解码二维点云的方法和设备技术

本发明专利技术涉及用于对二维点云进行编码、传输和解码的方法、设备或流。当将点云编码为帧时，不会使用大量的像素。密集映射运算符对像素的使用进行优化，但需要将大量数据编码到流中，并且其逆运算符难以计算。根据本原理，根据密集映射运算符生成简化的映射运算符，并将其存储为表示在流中需要低空间的展开网格的二维坐标的矩阵。根据展开网格，逆运算符很容易生成。

【技术实现步骤摘要】
编码和解码二维点云的方法和设备
本公开涉及将表示二维点云的数据编码和解码为像素帧的领域，尤其是当所述点云包括密集部分和空白部分时。
技术介绍
帧是包含值(例如颜色值或深度值)的像素阵列。帧可以用于表示图像，并且在这种情况下，每个像素被设置为有意义的值。帧也可以用来编码其他类型的数据，例如二维点云。二维点云是与值(例如颜色或深度信息)相关联的一组二维坐标。在帧的参照系中表示所述点的坐标。二维点云可以是在n维点云投影到表面上的结果，其中n大于2。在这种情况下，一些像素包含点并被赋予有意义的值(例如颜色或深度)，而其他一些像素不包含点并且根本不会获得任何值。为了对这种图像进行编码，向未使用的像素赋予默认值。必须从有意义值的范围中排除默认值。此外，由于帧是点阵化的表面，因此可能必须将两个接近的点编码在同一像素中。这在解码侧是个问题，因为不再可能从单一信息区分开这两个点。这个问题可以通过以下方式来解决：使用一个未使用的像素来对两个点中的一个进行编码，从而在单个像素中不会混淆它们的值。然后问题成为检索点的原始坐标。存在各种技术来优化在包含未使用像素的帧中的像素的使用。例如，网格生成算法生成映射运算符，以更好地在帧上分布二维点云的点。原理包括通过扩大投影点云的密集部分并缩小投影点云的空白部分，将不同的点尽可能地编码在不同像素中。映射运算符通常不是函数(而是更复杂的算法)，且有时不是可逆的。这种映射运算符因为不是参数化函数而是复杂算法，所以需要在流中对大量空间进行编码。另外，在解码侧，需要计算映射运算符的逆运算符以便检索原始点云。即使可能，计算这样的逆运算符耗时且消耗资源。实际上，一些发现的映射优化解决方案并没有逆运算符。缺乏一种用于在流中高效地嵌入逆映射运算符以优化帧上的点云分布的技术解决方案。
技术实现思路
本专利技术的一个方面涉及克服缺乏将二维点云作为帧进行存储、压缩以及传输的编码和解码方法。本专利技术的另一个方面涉及一种从比特流解码二维点云的方法。所述方法包括：-从比特流获得像素帧和表示展开网格的数据，所述数据与帧相关联；-根据所述展开网格确定非映射运算符；以及-通过将非映射运算符应用于帧来解码点云。在一个实施例中，非映射运算符可以是利用展开网格参数化的分段双线性内插器。根据另一个方面，展开网格可以与比特流中的一组帧相关联，并且所述方法还包括通过将根据展开网格确定的非映射运算符应用于一组帧中的帧来对所述一组帧中的帧进行解码。本专利技术还涉及一种将二维点云编码到比特流中的方法。所述方法包括：-通过根据密集映射运算符对规则网格进行映射来生成展开网格；-通过将映射运算符应用于点云来生成像素帧，所述映射运算符是根据展开网格确定的；以及-通过将与表示比特流中的所述展开网格的数据相关联的所述帧编码到比特流中来生成比特流。所述方法生成对所述点在帧上的分布进行优化的运算符，以便最小化“未使用的”像素的数量并使信息像素的数量最大化。所述方法的优点可以与在比特流中和在解码时计算运算符和其逆运算符所需的低处理资源中编码映射运算符所需的小尺寸数据有关联。在一个实施例中，所述映射运算符是利用展开网格参数化的分段双线性内插器。根据一个方面，针对一组点云来确定密集映射运算符，并且所述方法还包括针对所述一组点云中的每个点云生成帧，并且将展开网格与比特流中所产生的一组帧相关联。在一个实施例中，所述二维点云可以是n维点云在表面上的投影，n大于2。本专利技术还涉及一种包括与至少一个处理器相关联的存储器的设备，所述至少一个处理器配置为：-从比特流获得像素帧和表示展开网格的数据，所述数据与所述帧相关联；-根据展开网格确定非映射运算符；以及-通过将非映射运算符应用于帧来解码点云。在一个实施例中，非映射运算符包括利用展开网格参数化的分段双线性内插器。根据另一个方面，展开网格可以与比特流中的一组帧相关联，并且至少一个处理器还可以配置为通过将根据展开网格确定的非映射运算符应用于帧来对一组帧的帧进行解码。本专利技术还涉及一种包括与至少一个处理器相关联的存储器的设备，所述至少一个处理器配置为：-通过根据密集映射运算符对规则网格进行映射来生成展开网格；-通过将映射运算符应用于二维点云来生成像素帧，所述映射运算符是根据展开网格确定的；以及-通过对与表示比特流中的展开网格的数据相关联的帧进行编码来生成比特流。在一个实施例中，所述映射运算符包括利用展开网格参数化的分段双线性内插器。根据另一个方面，可以针对一组点云来确定密集映射运算符，并且所述至少一个处理器还可以配置为针对所述一组点云中的每个点云来生成帧，并将所述展开网格与比特流中所产生的一组帧相关联。在一个实施例中，二维点云可以是n维点云在表面上的投影，n大于2。本专利技术还涉及一种携带表示二维点云的数据的流，其中所述数据包括：-第一语法元素，相对于通过根据密集映射运算符对规则网格进行映射而生成的展开网格；以及-第二语法元素，相对于通过将映射运算符应用于所述二维点云而生成的至少一个像素帧，所述映射运算符是根据展开网格确定的；其中所述展开网格可以与所述至少一个帧相关联。附图说明在阅读以下描述后将更好地理解本专利技术，并且将出现其他特定特征和优点，以下描述参考附图，其中：-图1示出了根据本原理的实施例的用于对点阵化帧中的点云进行编码的映射运算符；-图2示出了根据本原理的实施例的将图1的点云的点以非正交方式映射到帧上的密集映射运算符(DMO)；-图3示意性地示出了根据本原理的从图2的密集映射运算符来计算简化映射运算符(SMO)；-图4示意性地示出了根据实施例的使用图3所述的SMO将图1的点云编码到矩形帧；-图5示意性地示出了根据实施例的从分别与图4的帧相对应的数据和图3的数据相关联的帧对点云进行解码；-图6示出了根据本原理可以如何使用双线性分段插值；-图7示出了根据本原理的非限制性实施例的用于对二维点云进行编码的方法；-图8示出了根据本原理的实施例的从包括帧和表示展开的二维网格的数据在内的流中对二维点云进行解码的方法；-图9示出了根据本原理的实施例的可以配置为实现结合图7和/或8所描述的方法的设备的示例性架构；-图10示出了根据本原理的实施例的通过通信网络在图9的两个远程设备之间传输图3、图4和图5的帧和数据的示例；-图11示出了根据本原理的实施例的当数据通过基于分组的传输协议进行传输时的这种流的语法的实施例的示例。具体实施方式现在参考附图描述主题，其中相同的附图标记始终用于指代相同的元件。在下面的描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。应该理解，可以在没有这些具体细节的情况下实践主题实施例。根据本专利技术的非限制性实施例，在本文件中公开了用于编码、传输以及解码二维点云的方法和设备。二维点云是在参考系中进行表达并与值(例如颜色或深度)相关联的一组二维坐标。二维点云可以是将n维点云投影到表面上结果，其中n大于2。可以将二维点云编码到映射到参考系的点阵化帧(即，像素阵列)中。将点云的每个点映射到一个像素。可以将若干个点映射到单个像素。当将两个或更多个点映射到单个像素时，将它们的相关联信息进行组合，例如进行平均。对于给定像素，当没有点进行映射时，将该像素设置为“未使用的”值。由于颜色或深度像素并不是要嵌入“未使用的”值，本领本文档来自技高网...

【技术保护点】
1.一种从比特流(110)中解码二维点云(50)的方法(80)，所述方法包括：‑从所述比特流获得(81)像素帧(52)和表示展开网格(54)的二维坐标矩阵(53)，所述矩阵与所述帧(52)相关联；‑根据所述矩阵(53)确定(82)非映射运算符(51)；以及‑通过将所述非映射运算符(51)应用于所述帧(52)来解码(83)所述点云(50)。

【技术特征摘要】
2017.05.04 EP 17305504.71.一种从比特流(110)中解码二维点云(50)的方法(80)，所述方法包括：-从所述比特流获得(81)像素帧(52)和表示展开网格(54)的二维坐标矩阵(53)，所述矩阵与所述帧(52)相关联；-根据所述矩阵(53)确定(82)非映射运算符(51)；以及-通过将所述非映射运算符(51)应用于所述帧(52)来解码(83)所述点云(50)。2.根据权利要求1所述的方法，其中所述非映射运算符包括利用所述矩阵参数化的分段双线性内插器。3.根据权利要求1或2所述的方法，其中所述矩阵(53)与所述比特流(110)中的一组帧相关联；所述方法还包括通过将根据所述矩阵确定的非映射运算符(51)应用于所述一组帧中的帧来对所述一组帧的帧进行解码。4.一种将二维点云(10)编码到比特流中的方法(70)，所述方法包括：-通过根据密集映射运算符(21)对规则网格(30)进行映射来生成(71)表示展开网格(32)的二维坐标矩阵(33)；密集映射运算符是对帧像素用于点云的的使用进行优化的映射运算符；-通过将映射运算符(31)应用于所述点云(10)来生成(73)像素帧(42)，所述映射运算符(31)是根据所述矩阵(33)确定的；以及-通过将所述帧(42)与表示所述展开网格(32)的所述二维坐标矩阵(33)相关联地)编码到比特流中来生成(74)所述比特流(110)。5.根据权利要求4所述的方法，其中所述映射运算符包括利用所述矩阵参数化的分段双线性内插器。6.根据权利要求4或5所述的方法，其中针对一组点云来确定所述密集映射运算符(21)，并且所述方法还包括针对所述一组点云中的每个点云生成帧，并在所述比特流(110)中将所述矩阵(33)与所生成的一组帧相关联。7.根据权利要求4和5中任一项所述的方法，其中所述二维点云是n维点云在表面上的投影，n大于2。8.一种包括与至少一个处理器相关联的存储器的设备(90)，所述至少一个处理器配置为：-从比特流(110)获得像素帧(52)和表示展开网格(54)的二维坐标矩阵(53)，所述数据与所述帧(52)相关联；-根据所述矩阵(54)确定非映射运算符(51)；以及-通过将所...

【专利技术属性】
技术研发人员：朱利安·弗勒罗，贝特朗·许波，雷诺·多尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR