用于对由编码器进行的网格压缩进行自适应采样的方法和装置制造方法及图纸

在一些示例中，用于网格编码的装置包括处理电路。处理电路接收网格帧的数据结构，网格帧具有表示对象的表面的多边形。网格帧的数据结构包括UV图集，UV图集将网格帧的顶点与UV图集中的UV坐标相关联。处理电路根据网格帧的多个区域各自的特性，确定网格帧的多个区域各自的采样率，并在UV图集上应用网格帧的多个区域各自的采样率，以确定UV图集上的多个采样位置。处理电路根据UV图集上的多个采样位置，对网格帧生成一个或多个采样二维图，并将一个或多个采样二维图编码到码流中。多个采样二维图编码到码流中。多个采样二维图编码到码流中。

【技术实现步骤摘要】
【国外来华专利技术】用于对由编码器进行的网格压缩进行自适应采样的方法和装置
援引并入
[0001]本申请要求于2022年9月14日提交的题为“METHOD AND APPARATUS OF ADAPTIVE SAMPLING FOR MESH COMPRESSION BY ENCODERS(用于对由编码器进行的网格压缩进行自适应采样的方法和装置)”的第17/944,994号美国专利申请的优先权权益，该美国专利申请要求于2021年10月4日提交的题为“Method and Apparatus of Adaptive Sampling for Mesh Compression by Encoders(用于对由编码器进行的网格压缩进行自适应采样的方法和装置)”的第63/252,063号美国临时申请的优先权权益。这些在先申请的公开内容通过引用整体并入本文中。


[0002]本公开描述了总体上涉及网格编码的实施例。

技术介绍

[0003]本文所提供的背景描述是出于总体上呈现本公开内容的目的。目前命名的专利技术人的工作，只要在本
技术介绍
部分中描述的工作范围内，以及在提交时可能不属于现有技术的说明书的方面，既不明示也不暗示地承认为针对本公开的现有技术。
[0004]开发了各种技术来在三维(3
‑
dimensional，3D)空间中采集和表示世界，例如世界中的对象、世界中的环境等。世界的3D表示可实现更沉浸形式的交互和通信。在一些示例中，点云和网格可用作世界的3D表示。

技术实现思路

[0005]本公开的各方面提供用于网格编码(例如压缩和解压)的方法和装置。在一些示例中，用于网格编码的装置包括处理电路。处理电路接收网格帧的数据结构，网格帧具有表示对象的表面的多边形。网格帧的数据结构包括UV图集，UV图集将网格帧的顶点与UV图集中的UV坐标相关联。处理电路根据网格帧的多个区域各自的特性，确定网格帧的多个区域各自的采样率，并在UV图集上应用网格帧的多个区域各自的采样率，以确定UV图集上的多个采样位置。处理电路根据UV图集上的多个采样位置，对网格帧生成一个或多个采样二维(two dimensional，2D)图，并将一个或多个采样2D图编码到码流中。
[0006]为了确定网格帧的多个区域各自的采样率，在一些示例中，处理电路根据限制网格帧的第一区域中的第一采样位置数的要求，确定第一区域的第一采样率。在一个示例中，处理电路确定第一采样率以实现最接近目标值的过采样率(oversampling ratio，OR)。OR是第一采样位置数与最初位于网格帧的第一区域中的顶点数之比。在另一示例中，处理电路调节第一采样率，直到OR小于第一阈值。在另一示例中，处理电路调节第一采样率，直到OR小于第一阈值且大于第二阈值。
[0007]在一些实施例中，一个或多个采样2D图中的采样2D图包括具有与UV图集上的多个
采样位置对应的多个采样点的采样区域。处理电路响应于一采样位置位于多边形中，确定该采样位置已占用；以及根据多边形的顶点的属性，确定采样2D图中、对应于该采样位置的采样点的属性。
[0008]为了生成一个或多个采样2D图，在一些示例中，处理电路基于网格的多个区域各自的采样率，形成与网格的多个区域对应的多个采样区域，且以非重叠构造布置多个采样区域，以形成采样图。
[0009]为了以非重叠构造布置多个采样区域，在一些示例中，在以非重叠构造布置多个采样区域的子集之后，针对当前采样区域，处理电路根据当前采样区域的采样率确定初始布置位置，并确定在初始布置位置处的当前采样区域是否与多个采样区域的子集重叠。在一个示例中，响应于在初始布置位置处的当前采样区域与多个采样区域的子集重叠，处理电路确定初始布置位置的偏移，该偏移允许当前采样区域不与多个采样区域的子集重叠。
[0010]在一些实施例中，非重叠构造包括多个采样区域之间的最小距离要求。
[0011]在一个示例中，处理电路直接将第一区域的第一采样率的值编码到码流中。在另一示例中，处理电路将第一索引编码到码流中，第一索引指示从采样率集中选择第一采样率。在另一示例中，处理电路对语法进行编码，语法指示预测器从预先建立的采样率集预测第一采样率。在另一示例中，处理电路对语法进行编码，语法指示预测器根据网格帧的已编码区域先前使用的采样率来预测第一采样率。在另一示例中，处理电路对语法进行编码，语法指示预测器根据在网格帧之前编码的另一网格帧中的已编码区域先前使用的采样率来预测第一采样率。
[0012]在一些实施例中，处理电路做出用信号表示与第一区域相关联的第一采样率或预测第一采样率的决定，并对指示该决定的第一语法值进行编码。
[0013]在一些示例中，响应于该决定是用信号表示第一采样率，处理电路可直接将第一采样率的值编码到码流中，或者可以将索引编码到码流中，索引指示从采样率集中选择第一采样率。
[0014]在一些示例中，响应于该决定是预测第一采样率，处理电路可以将第二语法编码到码流中，第二语法指示使用预测器来预测第一采样率。此外，在一个示例中，处理电路将预测残差编码到码流中。预测残差是第一采样率和预测器的采样率之差。
[0015]在一些示例中，处理电路将基本采样率编码到码流中。
[0016]在一些示例中，处理电路对控制标志进行编码，控制标志指示能够对自适应2D图集采样进行启用或禁用。
[0017]在一些示例中，处理电路确定与网格帧的第一区域相关联的至少第一UV偏移。第一UV偏移应用于与第一区域对应的第一采样区域，以避免与其它采样区域重叠。处理电路将指示第一UV偏移的语法编码到码流中。在一个示例中，处理电路将语法编码到码流中，语法具有第一UV偏移的值。在另一示例中，处理电路对语法进行编码，语法指示预测器基于预先建立的UV偏移集来预测第一UV偏移。在另一示例中，处理电路对语法进行编码，语法指示预测器基于网格帧的已编码区域先前使用的UV偏移来预测第一UV偏移。在另一示例中，处理电路对语法进行编码，语法指示预测器基于在网格帧之前编码的另一网格帧中的已编码区域先前使用的UV偏移来预测第一UV偏移。
[0018]本公开的各方面还提供一种非暂时性计算机可读介质，非暂时性计算机可读介质
存储有指令，当指令由计算机执行时，指令使得计算机执行用于网格编码的方法中的任意一个或其组合。
附图说明
[0019]根据以下详细描述和附图，所公开的主题的进一步的特征、性质和各种优点将更加明显，在附图中：
[0020]图1示出了一些示例中的通信系统的框图。
[0021]图2示出了一些示例中的流式传输系统的框图。
[0022]图3示出了一些示例中的用于对点云帧进行编码的编码器的框图。
[0023]图4示出了一些示例中的用于对对应于点云帧的已压缩码流进行解码的解码器的框图。
[0024]图5示出了一些示例中的视频解码器的框图。
[0025]图6示出了一些示例中的视频编码器的框图。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对网格压缩进行编码的方法，包括：接收网格帧的数据结构，所述网格帧具有表示对象的表面的多边形，所述网格帧的所述数据结构包括UV图集，所述UV图集将所述网格帧的顶点与所述UV图集中的UV坐标相关联；根据所述网格帧的多个区域各自的特性，确定所述网格帧的所述多个区域各自的采样率；在所述UV图集上应用所述网格帧的所述多个区域各自的采样率，以确定所述UV图集上的多个采样位置；根据所述UV图集上的所述多个采样位置，对所述网格帧生成一个或多个采样二维(two dimensional，2D)图；以及将所述一个或多个采样2D图编码到码流中。2.根据权利要求1所述的方法，其中，所述确定所述网格帧的所述多个区域各自的采样率包括：根据限制所述网格帧的第一区域中的第一采样位置数的要求，确定所述第一区域的第一采样率。3.根据权利要求2所述的方法，其中，所述确定所述网格帧的所述第一区域的第一采样率包括：确定所述第一采样率以实现最接近目标值的过采样率(oversampling ratio，OR)，所述OR是所述第一采样位置数与最初位于所述网格帧的所述第一区域中的顶点数之比。4.根据权利要求2所述的方法，其中，所述确定所述网格帧的所述第一区域的第一采样率包括：调节所述第一采样率，直到OR小于第一阈值，所述OR是所述第一采样位置数与最初位于所述网格帧的所述第一区域中的顶点数之比。5.根据权利要求2所述的方法，其中，所述确定所述网格帧的所述第一区域的第一采样率包括：调节所述第一采样率，直到OR小于第一阈值且大于第二阈值，所述OR是所述第一采样位置数与最初位于所述网格帧的所述第一区域中的顶点数之比。6.根据权利要求1所述的方法，其中，所述一个或多个采样2D图中的采样2D图包括具有与所述UV图集上的所述多个采样位置对应的多个采样点的采样区域，所述方法进一步包括：响应于一采样位置位于多边形中，确定所述采样位置已占用；以及根据所述多边形的顶点的属性，确定所述采样2D图中、对应于所述采样位置的采样点的属性。7.根据权利要求1所述的方法，其中，所述生成一个或多个采样2D图进一步包括：基于所述网格的所述多个区域各自的采样率，形成与所述网格的所述多个区域对应的多个采样区域；以及以非重叠构造布置所述多个采样区域，以形成采样图。8.根据权利要求7所述的方法，其中，所述以非重叠构造布置所述多个采样区域进一步包括：
在以所述非重叠构造布置所述多个采样区域的子集之后，针对当前采样区域，根据所述当前采样区域的采样率确定初始布置位置；以及确定在所述初始布置位置处的所述当前采样区域是否与所述多个采样区域的子集重叠。9.根据权利要求8所述的方法，进一步包括：响应于在所述初始布置位置处的所述当前采样区域与所述多个采样区域的子集重叠，确定所述初始布置位置的偏移，所述偏移允许所述当前采样区域不与所述多个采样区域的子集重叠。10.根据权利要求7所述的方法，其中，所述非重叠构造包括所述多个采样区域之间的最小距离要求。11.根据权利要求1所述的方法，进一步包括以下至少一项：直接将...

【专利技术属性】
技术研发人员：张翔，刘杉，许晓中，黄超，田军，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：