用于网格压缩的边界制造技术

一种在解码器中执行的方法，包括：接收编码的视频比特流，编码的视频比特流包括：

【技术实现步骤摘要】
【国外来华专利技术】用于网格压缩的边界UV2XYZ索引的编码的改进
[0001]相关申请的交叉引用
[0002]本申请要求于
2022
年4月
15
日提交的美国临时申请第
63/331,699
号和
2023
年3月
28
日提交的美国申请第
18/191,457
号的优先权，上述美国申请的公开内容通过引用整体并入本文
。


[0003]本公开内容涉及一组高级视频编码技术
。
更具体地，本公开内容涉及基于视频的网格压缩，包括用于高效网格压缩的边界顶点的
UV2XYZ
索引的编码方法
。

技术介绍

[0004]世界的高级三维
(3D)
表示能够实现更具沉浸感的交互形式和通信形式
。
为了在
3D
表示中实现真实感，
3D
模型变得越来越复杂，并且大量的数据与这些
3D
模型的创建和消耗相关联
。
三维网格被广泛用于沉浸式内容的
3D
建模
。
[0005]3D
网格可以由描述体积对象的表面的若干个多边形组成
。
动态网格序列可能需要大量数据，因为网格序列可能具有随时间变化的大量信息
。
因此，需要高效的压缩技术来存储并传输这样的内容
。
[0006]网格压缩标准
IC、MESHGRID、FAMC
先前被开发用于处理具有恒定连接性和时变几何和顶点属性的动态网格
。
然而，这些标准没有考虑时变属性映射和连接性信息
。
[0007]此外，对于体积获取技术，生成恒定连接性动态网格特别是在实时约束下生成恒定连接性动态网格是具有挑战性的
。
现有标准不支持这种类型的动态网格内容
。

技术实现思路

[0008]根据一个或更多个实施方式，一种由解码器中的至少一个处理器执行的方法包括：接收编码的视频比特流，该编码的视频比特流包括：
(i)
对应于三维
(3D)
网格的一个或更多个二维
(2D)
网格；以及
(ii)
将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点的
2D
到
3D
索引数组
。
该方法还包括使用
2D
到
3D
索引数组重建
3D
网格，以将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点
。2D
到
3D
索引数组以元组格式被编码，其中，
2D
到
3D
索引数组中的每个元组包括指定连续整数的串的起始索引的第一参数
、
指定串的长度的第二参数以及指定串的方向的第三参数
。
[0009]根据一个或更多个实施方式，一种解码器包括：被配置成存储程序代码的至少一个存储器和被配置成读取程序代码并且按照程序代码的指示操作的至少一个处理器
。
程序代码包括：接收代码，其被配置成使至少一个处理器接收编码的视频比特流，该编码的视频比特流包括：
(i)
对应于三维
(3D)
网格的一个或更多个二维
(2D)
网格；以及
(ii)
将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点的
2D
到
3D
索引数组
。
程序代码包括重构代码，其被配置成使至少一个处理器使用
2D
到
3D
索引数组来重建
3D
网格，以将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点
。2D
到
3D
索引数组以元组格式被编
码，其中，
2D
到
3D
索引数组中的每个元组包括指定串的起始索引的第一参数
、
指定连续整数的串的长度的第二参数以及指定串的方向的第三参数
。
[0010]根据一个或更多个实施方式，一种其中存储有指令的非暂态计算机可读介质，所述指令在由解码器中的处理器执行时，使处理器执行：接收编码的视频比特流，该编码的视频比特流包括：
(i)
对应于三维
(3D)
网格的一个或更多个二维
(2D)
网格；以及
(ii)
将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点的
2D
到
3D
索引数组；以及使用
2D
到
3D
索引数组重建
3D
网格，以将一个或更多个
2D
网格中的每个顶点映射到
3D
网格中的相应顶点
。2D
到
3D
索引数组以元组格式被编码，其中
2D
到
3D
索引数组中的每个元组包括指定连续整数的串的起始索引的第一参数
、
指定串的长度的第二参数以及指定串的方向的第三参数
。
附图说明
[0011]所公开的主题的另外的特征
、
性质和各种优点将根据以下详细描述和附图更加明显，在附图中：
[0012]图1是根据本公开内容的实施方式的通信系统的框图的示意图
。
[0013]图2是根据本公开内容的实施方式的流式传输系统的框图的示意图
。
[0014]图3是根据本公开内容的实施方式的视频编码器和解码器的框图的示意图
。
[0015]图4示出了根据本公开内容的实施方式的从
3D
网格段到
2D
图表的
UV
参数化映射的示例
。
[0016]图5示出了不同
UV
参数化的示例，其中
3D
网格段被映射到多个单独的图表
。
[0017]图6示出了根据本公开内容的实施方式的具有多个图表的示例
2DUV
图集
。
[0018]图7示出了根据本公开内容的实施方式的
2D
补丁中的边界顶点的示例
。
[0019]图8示出了根据本公开内容的实施方式的用于编码视频比特流的示例流程图
。
[0020]图9示出了根据本公开内容的实施方式的用于解码编码的视频比特流的示例流程图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种由解码器中的至少一个处理器执行的方法，所述方法包括：接收编码的视频比特流，所述编码的视频比特流包括：
(i)
对应于三维
(3D)
网格的一个或更多个二维
(2D)
网格；以及
(ii)
将所述一个或更多个
2D
网格中的每个顶点映射到所述
3D
网格中的相应顶点的
2D
到
3D
索引数组；以及使用所述
2D
到
3D
索引数组重建所述
3D
网格，以将所述一个或更多个
2D
网格中的每个顶点映射到所述
3D
网格中的所述相应顶点，其中，所述
2D
到
3D
索引数组以元组格式被编码，其中，所述
2D
到
3D
索引数组中的每个元组包括指定连续整数的串的起始索引的第一参数
、
指定所述串的长度的第二参数以及指定所述串的方向的第三参数
。2.
根据权利要求1所述的方法，其中，指定所述串的所述起始索引的所述第一参数通过固定长度编码来编码，其中，所述固定长度编码中的码字的比特长度基于所述
3D
网格中的独特的
3D
边界顶点的数目
。3.
根据权利要求1所述的方法，其中，指定所述串的长度的所述第二参数通过固定长度编码来编码
。4.
根据权利要求3所述的方法，其中，所述固定长度编码中的码字的比特长度基于所述一个或更多个
2D
网格中的
2D
边界顶点的数目
。5.
根据权利要求4所述的方法，其中，在所述编码的视频比特流中用信号发送所述
2D
边界顶点的数目
。6.
根据权利要求3所述的方法，其中，所述固定长度编码中的码字的比特长度基于尚未添加到所述
2D
到
3D
索引数组的所述一个或更多个
2D
网格中的当前
2D
网格中的
2D
边界顶点的剩余数目
。7.
根据权利要求1所述的方法，其中，指定所述串的方向的所述第三参数通过1比特旁路编码或者具有上下文的算术编码之一来编码
。8.
根据权利要求1所述的方法，其中，指定所述串的长度的所述第二参数通过可变长度编码来编码
。9.
根据权利要求8所述的方法，其中，所述可变长度编码中的码字的比特长度基于所述一个或更多个
2D
网格中的当前
2D
网格中的
2D
边界顶点的数目
。10.
根据权利要求8所述的方法，其中，所述可变长度编码中的码字的比特长度基于尚未添加到所述
2D
到
3D
索引数组的所述一个或更多个
2D
网格中的当前
2D
网格中的
2D
边界顶点的剩余数目
。11.
根据权利要求1所述的方法，其中，指定所述串的长度的所述第二参数基于先前的串的长度来预测
。12.
根据权利要求1所述的方法，其中，对所述
2D
到
3D
索引数组进行排序，使得多个元组中的具有最长的串长度的元组位于所述
2D
到
3D
索引数组的前面
。13.
一种解码器，包括：至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并且按照所述程序代码的指示进行操作，所述程序代码包括：接收代码，所述接收代码被配置成使所述至少...

【专利技术属性】
技术研发人员：张翔，许晓中，黄超，田军，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：