点云编解码方法和编解码器技术

本申请实施例公开了点云编解码方法和编解码器，涉及编解码技术领域，用于提供有效地对点云数据进行编解码的技术方案。点云编码方法可以包括：获取待编码点云中的待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息；待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息用于确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴；将语法元素编入码流；语法元素用于指示待编码patch的切线坐标轴和待编码patch的副切线坐标轴；语法元素包括待编码patch的法线坐标轴的索引和用于指示待编码patch对应的最小外接矩形的描述信息的信息。

【技术实现步骤摘要】
点云编解码方法和编解码器
本申请实施例涉及编解码
，尤其涉及点云(pointcloud)编解码方法和编解码器。
技术介绍
随着3d传感器(例如3d扫描仪)技术的不断发展，采集点云数据越来越便捷，所采集的点云数据的规模也越来越大，因此，如何有效地对点云数据进行编解码，成为迫切需要解决的问题。
技术实现思路
本申请实施例提供了点云编解码方法和编解码器，有助于改善点云编解码性能。第一方面，本申请实施例提供了一种点云编码方法，包括：获取待编码点云中的待编码点云块(patch)的法线(Normal)坐标轴和待编码patch对应的最小外接矩形的描述信息；待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息用于确定待编码patch的切线(Tangent)坐标轴和待编码patch的副切线(Bi-tangent)坐标轴；将语法元素编入码流；语法元素用于指示待编码patch的切线坐标轴和待编码patch的副切线坐标轴；语法元素包括待编码patch的法线坐标轴的索引和用于指示待编码patch对应的最小外接矩形的描述信息的信息。作为一个示例，该方法可以是编码器执行的。其中，待编码patch对应的最小外接矩形，是指将patch从三维空间预投影到二维空间得到的二维图像(下文中称为预占用图)的最小外接矩形。其中，patch对应的最小外接矩形的描述信息，是指用于描述patch对应的最小外接矩形的信息，具体是用于描述该最小外接矩形的边尺寸(也可以称为二维尺寸)的信息。其中，待编码patch的法线坐标轴的索引和用于指示待编码patch对应的最小外接矩形的描述信息的信息均是patch级别的信息。可选的，patch对应的最小外接矩形的描述信息可以包括：patch对应的最小外接矩形的边尺寸的大小关系。可选的，用于指示待编码patch对应的最小外接矩形的描述信息的信息可以包括：待编码patch对应的最小外接矩形的边尺寸的大小关系的索引，或待编码patch对应的最小外接矩形的尺寸信息(或边尺寸信息)。一方面，由于patch对应的最小外接矩形的描述信息可以反映该patch的姿态，例如patch的姿态可以使用该patch由三维空间映射到二维空间得到的占用图是竖向还是横向来表征；另一方面，由于同一姿态的patch的占用图是竖向还是横向可以影响将该patch的占用图打包得到点云的占用图的大小。因此，根据待编码patch对应的最小外接矩形的描述信息以及待编码patch的法线坐标轴，确定待编码patch的切线坐标轴和副切线坐标轴，有助于实现通过调整待编码patch的占用图的方向(即竖向还是横向)，使得各patch的占用图在点云的占用图中紧密排列，从而有利于对基于点云的占用图确定的深度图和纹理图进行基于图像/视频编码，也就是说，可以改善点云编码性能，从而有助于改善点云解码性能。在一种可能的设计中，该方法还可以包括：根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息，确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴；基于待编码patch的切线坐标轴和待编码patch的副切线坐标轴，将待编码patch从三维空间投影到二维空间。在一种可能的设计中，根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息，确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴，可以包括：使用投影规则，根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息，确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴；其中，投影规则是指待编码点云中的一个或多个patch投影到二维空间上得到的占用图在二维空间上的分布。例如，投影规则可以是竖向投影或横向投影。可选的，投影规则可以是预设的(或者称为预定义的，例如可以通过编码端与解码端双方协议进行预定义；或者称为缺省使用的)投影规则。可选的，投影规则可以不是预设的，例如是根据率失真代价准则确定的。若投影规则不是预设的，则进一步可选的，语法元素还可以包括用于指示投影规则的信息。其中，用于指示投影规则的信息是帧级别的信息。在一种可能的设计中，根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息，确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴，可以包括：根据patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系，确定与待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，目标切线坐标轴为待编码patch的切线坐标轴，目标副切线坐标轴为待编码patch的副切线坐标轴。例如，上述映射关系可以是预先定义的，如通过协议预先定义的，具体可以例如但不限于存储在一个或多个表格中。该情况下，该可能的设计可以通过查表实现。在一种可能的设计中，根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息，确定待编码patch的切线坐标轴和待编码patch的副切线坐标轴，可以包括：根据待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息查表，得到与待编码patch的法线坐标轴和待编码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，目标切线坐标轴为待编码patch的切线坐标轴，目标副切线坐标轴为待编码patch的副切线坐标轴；所查的表包括patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系。在一种可能的设计中，若投影规则是竖向投影，则待编码patch对应的最小外接矩形的最长边所在的坐标轴为待编码patch的副切线坐标轴，且待编码patch对应的最小外接矩形的最短边所在的坐标轴为待编码patch的切线坐标轴；或者，若投影规则是横向投影，则待编码patch对应的最小外接矩形的最长边所在的坐标轴为待编码patch的切线坐标轴，且待编码patch对应的最小外接矩形的最短边所在的坐标轴为待编码patch的副切线坐标轴。其中，投影规则是指待编码点云中的一个或多个patch投影到二维空间上得到的占用图在二维空间上的分布；待编码patch的法线坐标轴与二维空间垂直。该可能的设计，是以“二维平面的横轴是patch的切线坐标轴，竖轴是patch的副切线坐标轴”为例进行说明的。可替换的，如果二维平面的横轴是patch的副切线坐标轴，竖轴是patch的切线坐标轴，则：若投影规则是竖向投影，则待编码patch对应的最小外接矩形的最长边所在的坐标轴为待编码patch的切线坐标轴，且待编码patch对应的最小外接矩形的最短边所在的坐标轴为待编码patch的副切线坐标轴；或者，若投影规则是横向投影，则待编码patc本文档来自技高网...

【技术保护点】
1.一种点云编码方法，其特征在于，包括：/n获取待编码点云中的待编码点云块patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息；所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息用于确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；/n将语法元素编入码流；所述语法元素用于指示所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；所述语法元素包括所述待编码patch的法线坐标轴的索引和用于指示所述待编码patch对应的最小外接矩形的描述信息的信息。/n

【技术特征摘要】
1.一种点云编码方法，其特征在于，包括：
获取待编码点云中的待编码点云块patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息；所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息用于确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；
将语法元素编入码流；所述语法元素用于指示所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；所述语法元素包括所述待编码patch的法线坐标轴的索引和用于指示所述待编码patch对应的最小外接矩形的描述信息的信息。


2.根据权利要求1所述的点云编码方法，其特征在于，所述待编码patch对应的最小外接矩形的描述信息包括：所述待编码patch对应的最小外接矩形的边尺寸的大小关系。


3.根据权利要求2所述的点云编码方法，其特征在于，所述用于指示所述待编码patch对应的最小外接矩形的描述信息的信息，包括：所述待编码patch对应的最小外接矩形的边尺寸的大小关系的索引；或者，所述待编码patch对应的最小外接矩形的尺寸信息。


4.根据权利要求1至3任一项所述的点云编码方法，其特征在于，所述方法还包括：
根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；
基于所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴，将所述待编码patch从三维空间投影到二维空间。


5.根据权利要求4所述的点云编码方法，其特征在于，所述根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴，包括：
使用投影规则，根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；其中，所述投影规则是指所述待编码点云中的一个或多个patch投影到所述二维空间上得到的占用图在所述二维空间上的分布。


6.根据权利要求5所述的点云编码方法，其特征在于，所述投影规则是预设的投影规则，或者，所述投影规则是根据率失真代价准则确定的。


7.根据权利要求6所述的点云编码方法，其特征在于，若所述投影规则是根据率失真代价准则确定的，则所述语法元素还包括用于指示所述投影规则的信息。


8.根据权利要求4至7任一项所述的点云编码方法，其特征在于，所述根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴，包括：
根据patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系，确定与所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，所述目标切线坐标轴为所述待编码patch的切线坐标轴，所述目标副切线坐标轴为所述待编码patch的副切线坐标轴。


9.根据权利要求4至7任一项所述的点云编码方法，其特征在于，所述根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴，包括：
根据所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息查表，得到与所述待编码patch的法线坐标轴和所述待编码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，所述目标切线坐标轴为所述待编码patch的切线坐标轴，所述目标副切线坐标轴为所述待编码patch的副切线坐标轴；所述表包括patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系。


10.根据权利要求1至3任一项所述的点云编码方法，其特征在于，
若投影规则是竖向投影，则所述待编码patch对应的最小外接矩形的最长边所在的坐标轴为所述待编码patch的副切线坐标轴，且所述待编码patch对应的最小外接矩形的最短边所在的坐标轴为所述待编码patch的切线坐标轴；
或者，若投影规则是横向投影，则所述待编码patch对应的最小外接矩形的最长边所在的坐标轴为所述待编码patch的切线坐标轴，且所述待编码patch对应的最小外接矩形的最短边所在的坐标轴为所述待编码patch的副切线坐标轴；
所述投影规则是指所述待编码点云中的一个或多个patch投影到二维空间上得到的占用图在所述二维空间上的分布；所述待编码patch的法线坐标轴与所述二维空间垂直。


11.一种点云解码方法，其特征在于，包括：
解析码流，以得到语法元素；所述语法元素包括待解码点云中的待解码点云块patch的法线坐标轴的索引和用于指示所述待解码patch对应的最小外接矩形的描述信息的信息；
根据所述解析得到的所述待解码patch的法线坐标轴的索引和用于指示所述待解码patch对应的最小外接矩形的描述信息的信息，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴；
基于所述待解码点云中的一个或多个patch的切线坐标轴和副切线坐标轴，对所述待解码点云的几何信息进行重建，其中，所述一个或多个patch包括所述待解码patch。


12.根据权利要求11所述的点云解码方法，其特征在于，所述待解码patch对应的最小外接矩形的描述信息包括：所述待解码patch对应的最小外接矩形的边尺寸的大小关系。


13.根据权利要求12所述的点云解码方法，其特征在于，所述用于指示所述待解码patch对应的最小外接矩形的描述信息的信息，包括：所述待解码patch对应的最小外接矩形的边尺寸的大小关系的索引；或者，所述待解码patch对应的最小外接矩形的尺寸信息。


14.根据权利要求11至13任一项所述的点云解码方法，其特征在于，所述根据所述解析得到的所述待解码patch的法线坐标轴的索引和用于指示所述待解码patch对应的最小外接矩形的描述信息的信息，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴，包括：
使用投影规则，根据所述待解码patch的法线坐标轴和所述待解码patch对应的最小外接矩形的描述信息，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴；其中，所述投影规则是指所述待解码点云中的一个或多个patch投影到二维空间上得到的占用图在所述二维空间上的分布。


15.根据权利要求14所述的点云解码方法，其特征在于，所述投影规则是预设的投影规则；或者，所述语法元素还包括用于指示所述投影规则的信息，相应的，所述投影规则为从所述码流解析出的语法元素所指示的投影规则。


16.根据权利要求11至15任一项所述的点云解码方法，其特征在于，所述根据所述解析得到的所述待解码patch的法线坐标轴的索引和用于指示所述待解码patch对应的最小外接矩形的描述信息的信息，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴，包括：
根据patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系，确定与所述待解码patch的法线坐标轴和所述待解码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，所述目标切线坐标轴为所述待解码patch的切线坐标轴，所述目标副切线坐标轴为所述待解码patch的副切线坐标轴。


17.根据权利要求11至15任一项所述的点云解码方法，其特征在于，所述根据所述解析得到的所述待解码patch的法线坐标轴的索引和用于指示所述待解码patch对应的最小外接矩形的描述信息的信息，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴，包括：
根据所述待解码patch的法线坐标轴和所述待解码patch对应的最小外接矩形的描述信息查表，得到与所述待解码patch的法线坐标轴和所述待解码patch对应的最小外接矩形的描述信息均对应的目标切线坐标轴和目标副切线坐标轴；其中，所述目标切线坐标轴为所述待解码patch的切线坐标轴，所述目标副切线坐标轴为所述待解码patch的副切线坐标轴；所述表包括patch的多种法线坐标轴、patch对应的最小外接矩形的多种描述信息、patch的多种切线坐标轴、以及patch的多种副切线坐标轴之间的映射关系。


18.根据权利要求11至13任一项所述的点云解码方法，其特征在于，
若投影规则是竖向投影，则所述待解码patch对应的最小外接矩形的最长边所在的坐标轴为所述待解码patch的副切线坐标轴，且所述待解码patch对应的最小外接矩形的最短边所在的坐标轴为所述待解码patch的切线坐标轴；
或者，若投影规则是横向投影，则所述待解码patch对应的最小外接矩形的最长边所在的坐标轴为所述待解码patch的切线坐标轴，且所述待解码patch对应的最小外接矩形的最短边所在的坐标轴为所述待解码patch的副切线坐标轴；
所述投影规则是指所述待解码点云中的一个或多个patch投影到二维空间上得到的占用图在所述二维空间上的分布；所述待解码patch的法线坐标轴与所述二维空间垂直。


19.一种点云编码方法，其特征在于，包括：
获取待编码点云中的待编码点云块patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴；
根据所述待编码patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴，确定所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；其中，所述待编码patch的切线坐标轴相对所述待编码patch的参考切线坐标轴的旋转角度是θ，且所述待编码patch的副切线坐标轴相对所述待编码patch的参考副切线坐标轴的旋转角度是所述θ；
将语法元素编入码流；所述语法元素用于指示所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴；所述语法元素包括所述待编码patch的法线坐标轴的索引和用于指示所述待编码patch的所述旋转角度θ的信息。


20.根据权利要求19所述的点云编码方法，其特征在于，所述用于指示所述待编码patch的所述旋转角度θ的信息包括：所述旋转角度θ；或者，所述旋转角度θ的索引；或者，与所述待编码patch匹配的patch的标识。


21.根据权利要求20所述的点云编码方法，其特征在于，与所述待编码patch匹配的patch的标识用于指示与所述待编码patch匹配的patch的索引；或者，用于指示已编码点云中存在与所述待编码patch匹配的patch，以及与所述待编码patch匹配的patch的索引。


22.根据权利要求19至21任一项所述的点云编码方法，其特征在于，所述方法还包括：
根据率失真代价准则从候选的多种旋转角度中确定所述旋转角度θ；
或者，在已编码点云中获取与所述待编码patch匹配的patch的旋转角度，并将所述获取的旋转角度作为所述待编码patch的旋转角度θ。


23.根据权利要求18至22任一项所述的点云编码方法，其特征在于，所述方法还包括：
根据所述待编码patch的切线坐标轴和所述待编码patch的副切线坐标轴，将所述待编码patch由三维空间投影到二维空间，以得到所述待编码patch的占用图；
确定所述待编码patch的占用图的最小外接矩形；
所述语法元素还包括所述待编码patch的占用图的最小外接矩形的尺寸信息。


24.一种点云解码方法，其特征在于，包括：
解析码流，以得到语法元素；所述语法元素包括待解码点云中的待解码点云块patch的法线坐标轴的索引和用于指示所述待解码patch的旋转角度θ的信息；
根据所述解析得到的所述待解码patch的法线坐标轴的索引，获取所述待编码patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴；
根据所述待编码patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴，以及所述解析得到的用于指示所述待解码patch的旋转角度θ的信息，确定所述patch的切线坐标轴和所述patch的副切线坐标轴；
基于所述待解码点云中的一个或多个patch的切线坐标轴和副切线坐标轴，对所述待解码点云的几何信息进行重建，其中，所述一个或多个patch包括所述待解码patch。


25.根据权利要求24所述的点云解码方法，其特征在于，所述用于指示所述待解码patch的旋转角度θ的信息，包括：所述旋转角度θ；或者，所述旋转角度θ的索引；或者，与所述待解码patch匹配的patch的标识。


26.根据权利要求25所述的点云解码方法，其特征在于，与所述待解码patch匹配的patch的标识用于指示与所述待解码patch匹配的patch的索引；或者，用于指示已解码点云中是否存在与所述待解码patch匹配的patch，以及与所述待解码patch匹配的patch的索引。


27.根据权利要求25或26所述的点云解码方法，其特征在于，所述用于指示所述待解码patch的旋转角度θ的信息包括与所述待解码patch匹配的patch的标识；所述根据所述待编码patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴，以及所述解析得到的用于指示所述待解码patch的旋转角度θ的信息，确定所述patch的切线坐标轴和所述patch的副切线坐标轴，包括：
根据所述解析得到的与所述待解码patch匹配的patch的标识，确定与所述待解码patch匹配的patch，并获取与所述待解码patch匹配的patch的旋转角度θ；
根据所述待编码patch的参考切线坐标轴和所述待编码patch的参考副切线坐标轴，以及所述旋转角度θ，确定所述待解码patch的切线坐标轴和所述待解码patch的副切线坐标轴。


28.根据权利要求24至27任一项所述的点云解码方法，其特征在于，所述语法元素还包括所述待解码patch的占用图的最小外接矩形的尺寸信息；所述基于所述待解码点云中的一个或多个patch的切线坐标轴和副切线坐标轴，对所述待解码点云的几何信息进行重建，包括：
基于所述待解码点云中的一个或多个pa...

【专利技术属性】
技术研发人员：张德军，刘波，胡伟，吴文海，王田，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44