基于图表的网格压缩方法和装置制造方法及图纸

本公开的各方面提供了网格编解码的方法和装置。在一些示例中，一种网格编解码的装置包括处理电路。处理电路接收携带3D网格帧的比特流。3D网格帧用多边形表示对象的表面，多边形由顶点和连接顶点的边定义，3D网格帧被参数化为2D UV图集中的多个2D图表。处理电路根据从比特流解码出的一个或多个索引为多个2D图表确定相应的基于图表的编码模式，并且根据相应的基于图表的编码模式从比特流中至少解码出与多个2D图表各自相关联的几何信息。处理电路根据与多个2D图表各自相关联的相应的几何信息重建3D网格帧。信息重建3D网格帧。信息重建3D网格帧。

【技术实现步骤摘要】
【国外来华专利技术】基于图表的网格压缩方法和装置
引用并入
[0001]本申请要求于2022年10月12日提交的美国专利申请第17/964,613号“用于基于图表的网格压缩的方法和装置(METHOD AND APPARATUS FOR CHART BASED MESH COMPRESSION)”的优先权，该美国专利申请要求于2021年12月3日提交的美国临时申请第63/285,905号“用于基于图表的网格压缩的方法和装置(Method and Apparatus for Chart Based Mesh Compression)”的优先权。在先申请的公开内容在此全文引入作为参考。


[0002]本公开描述了总体上涉及网格编解码的实施例。

技术介绍

[0003]本文中提供的背景描述是为了总体地呈现本公开的上下文。当前署名的专利技术人的工作，在该
技术介绍
部分中描述的程度而言，以及在提交时可能不构成现有技术的描述的各方面，既不明示地也不暗示地被认为是本公开的现有技术。
[0004]各种技术被开发以在三维(3D)空间中捕获和表示世界，诸如世界中的对象、世界中的环境等。世界的3D表示能够实现更沉浸式的交互和通信形式。在一些示例中，点云和网格可以用作世界的3D表示。

技术实现思路

[0005]本公开的各方面提供了一种用于网格编解码(例如，压缩和解压缩)的方法和装置。在一些示例中，一种用于网格编解码的装置包括处理电路。处理电路接收携带三维(3D)网格帧的比特流。3D网格帧用多边形表示对象的表面，多边形由顶点和连接顶点的边定义，3D网格帧被参数化为2D UV图集中的多个二维(2D)图表。顶点被映射到2D UV图集中的2D顶点，2D顶点形成2D UV图集中的多个2D图表。处理电路根据从比特流解码的一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式，并且根据所述相应的基于图表的编码模式从所述比特流中至少解码出与所述多个2D图表各自相关联的几何信息。处理电路根据与多个2D图表相关联的相应的几何信息重建3D网格帧。
[0006]在一些实施例中，基于图表的编码模式至少包括基于采样的编码模式、基于重新排序的编码模式和原始图表编码模式。
[0007]在一些示例中，响应于多个2D图表中的第一2D图表与基于采样的编码模式相关联，处理电路使用图像解码器和/或视频解码器从所述比特流中解码出第一几何图，并且根据第一几何图确定第一2D图表中的第一顶点的3D坐标和UV坐标。
[0008]在一些示例中，响应于多个2D图表中的第二2D图表与基于重新排序的编码模式相关联，处理电路使用图像解码器和/或视频解码器从所述比特流中解码出第二几何图和UV图，根据第二几何图确定第二2D图表中的第二顶点的3D坐标，并且根据UV图确定第二2D图
表中的第二顶点的UV坐标。
[0009]在一些示例中，处理电路从所述比特流中解码出组合的2D几何图，组合的2D几何图包括第一2D图和第二2D图，其中，所述第一2D图用于基于采样的编码模式的第一2D图表，所述第二2D图用于基于重新排序的编码模式的第二2D图表。处理电路解码第一信号和第二信号，其中，所述第一信号指示所述组合的2D几何图中的所述第一2D图的第一位置，所述第二信号指示所述组合的2D几何图中的所述第二2D图的第二位置。然后，处理电路根据所述基于采样的编码模式，基于位于所述组合的2D几何图中所述第一位置处的所述第一2D图，确定与所述第一2D图表相关联的第一几何信息，并且根据基于重新排序的编码模式，基于位于所述组合的2D几何图中所述第二位置处的所述第二2D图，确定与所述第二2D图表相关联的第二几何信息。
[0010]在一些示例中，响应于多个2D图表中的第三2D图表与原始图表编码模式相关联，处理电路不使用图像解码器或视频解码器，从所述比特流中解码出所述第三2D图表中的第三顶点的UV坐标和3D坐标。
[0011]在一示例中，处理电路从包括所述3D网格帧的3D网格帧序列的序列头中解码出索引，所述序列头中的所述索引指示用于所述多个2D图表、以及从所述3D网格帧序列中的其它3D网格帧参数化的其它2D图表的基于图表的编码模式。
[0012]在另一示例中，处理电路从所述3D网格帧的帧头中解码出索引，所述帧头中的所述索引分别指示所述多个2D图表的基于图表的编码模式。
[0013]在另一示例中，处理电路从用于携带所述3D网格帧的第一网格片段的所述比特流的第一部分的第一头中解码出索引，所述第一网格片段被参数化为所述多个2D图表中的一个或多个第一2D图表，所述索引指示分别用于所述一个或多个第一2D图表的基于图表的编码模式。
[0014]在一些示例中，处理电路对各个与所述多个2D图表相关联的索引进行解码，所述各索引指示用于所述多个2D图表的相应的基于图表的编码模式。
[0015]本公开的各方面还提供了一种存储指令的非易失性计算机可读介质，这些指令在由计算机执行时使得计算机执行用于网格编解码的方法中的任何一种或其组合。
附图说明
[0016]从以下详细描述和附图中，所公开的主题的其它特征、性质和各种优点将变得更加明显，其中：
[0017]图1示出了一些示例中的通信系统的框图。
[0018]图2示出了一些示例中的流式传输系统的框图。
[0019]图3示出了一些示例中的用于对点云帧进行编码的编码器的框图。
[0020]图4示出了一些示例中的用于对对应于点云帧的压缩比特流进行解码的解码器的框图。
[0021]图5示出了一些示例中的视频解码器的框图。
[0022]图6示出了一些示例中的视频编码器的框图。
[0023]图7示出了一些示例中的用于对点云帧进行编码的编码器的框图。
[0024]图8示出了一些示例中的用于对携带点云帧的压缩比特流进行解码的解码器的框
图。
[0025]图9示出了一些示例中的图示网格到图集的映射的图。
[0026]图10示出了一些示例中的图示下采样的图。
[0027]图11示出了根据本公开的一些实施例的用于网格压缩的框架的图。
[0028]图12示出了一些示例中的自适应采样的图。
[0029]图13示出了一些示例中的自适应采样的图。
[0030]图14A至图14E示出了一些示例中的使用顶点重新排序进行网格压缩的示例。
[0031]图15示出了一些示例中的用于网格压缩的框架的图。
[0032]图16A至图16D示出了一些示例中的对网格帧的连接性属性进行编码的示例。
[0033]图17示出了示例中的UV参数化过程的图。
[0034]图18示出了示例中的UV参数化过程的另一个图。
[0035]图19示出了示例中的2D UV图集的图。
[0036]图20示出了一些示例中的概述过程示例的流程图。
[0037]图21示出了一些示例中的概述过程示例的流程图。
[0038]图22是一些示例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种网格解压缩的方法，其特征在于，包括：接收携带三维(3D)网格帧的比特流，所述3D网格帧使用多边形表示对象的表面，所述多边形由顶点和连接所述顶点的边定义，所述3D网格帧被参数化为2D UV图集中的多个二维(2D)图表，所述顶点被映射到所述2D UV图集中的2D顶点，所述2D顶点形成所述2D UV图集中的所述多个2D图表；根据从所述比特流解码出的一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式；根据所述相应的基于图表的编码模式从所述比特流中至少解码出与所述多个2D图表各自相关联的几何信息；以及根据与所述多个2D图表各自相关联的所述几何信息重建所述3D网格帧。2.根据权利要求1所述的方法，其特征在于，所述基于图表的编码模式至少包括基于采样的编码模式、基于重新排序的编码模式和原始图表编码模式。3.根据权利要求2所述的方法，其特征在于，响应于所述多个2D图表中的第一2D图表与所述基于采样的编码模式相关联，所述方法包括：使用图像解码器和/或视频解码器从所述比特流中解码出第一几何图；以及根据所述第一几何图确定所述第一2D图表中的第一顶点的3D坐标和UV坐标。4.根据权利要求2所述的方法，其特征在于，响应于所述多个2D图表中的第二2D图表与所述基于重新排序的编码模式相关联，所述方法包括：使用图像解码器和/或视频解码器从所述比特流中解码出第二几何图和UV图；根据所述第二几何图确定所述第二2D图表中的第二顶点的3D坐标；以及根据所述UV图确定所述第二2D图表中的所述第二顶点的UV坐标。5.根据权利要求2所述的方法，其特征在于，进一步包括：从所述比特流中解码出组合的2D几何图，所述组合的2D几何图包括第一2D图和第二2D图，其中，所述第一2D图用于基于采样的编码模式的第一2D图表，所述第二2D图用于基于重新排序的编码模式的第二2D图表；解码第一信号和第二信号，其中，所述第一信号指示所述组合的2D几何图中的所述第一2D图的第一位置，所述第二信号指示所述组合的2D几何图中的所述第二2D图的第二位置；根据所述基于采样的编码模式，基于位于所述组合的2D几何图中所述第一位置处的所述第一2D图，确定与所述第一2D图表相关联的第一几何信息；以及根据所述基于重新排序的编码模式，基于位于所述组合的2D几何图中所述第二位置处的所述第二2D图，确定与所述第二2D图表相关联的第二几何信息。6.根据权利要求2所述的方法，其特征在于，响应于所述多个2D图表中的第三2D图表与所述原始图表编码模式相关联，所述方法包括：不使用图像解码器或视频解码器，从所述比特流中解码出所述第三2D图表中的第三顶点的UV坐标和3D坐标。7.根据权利要求1所述的方法，其特征在于，所述根据从所述比特流解码出的所述一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式进一步包括：从包括所述3D网格帧的3D网格帧序列的序列头中解码出索引，所述序列头中的所述索
引指示用于所述多个2D图表、以及从所述3D网格帧序列中的其它3D网格帧参数化的其它2D图表的基于图表的编码模式。8.根据权利要求1所述的方法，其特征在于，所述根据从所述比特流解码出的所述一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式进一步包括：从所述3D网格帧的帧头中解码出索引，所述帧头中的所述索引分别指示所述多个2D图表的基于图表的编码模式。9.根据权利要求1所述的方法，其特征在于，所述根据从所述比特流解码出的所述一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式进一步包括：从用于携带所述3D网格帧的第一网格片段的所述比特流的第一部分的第一头中解码出索引，所述第一网格片段被参数化为所述多个2D图表中的一个或多个第一2D图表，所述索引指示分别用于所述一个或多个第一2D图表的基于图表的编码模式。10.根据权利要求1所述的方法，其特征在于，所述根据从所述比特流解码出的所述一个或多个索引为所述多个2D图表确定相应的基于图表的编码模式进一步包括：...

【专利技术属性】
技术研发人员：张翔，黄超，田军，许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：