使用具有一般拓扑结构的图进行基于图集采样的网格压缩制造技术

提供了用于基于图集采样的动态网格压缩的方法

【技术实现步骤摘要】
【国外来华专利技术】使用具有一般拓扑结构的图进行基于图集采样的网格压缩
[0001]相关申请的交叉引用
[0002]本申请要求于
2022
年3月
31
日提交的标题为“Atlas Sampling Based Mesh Compression with Charts of General Topology”的美国临时申请第
63/326,182
号的优先权，并且本申请是于
2023
年3月
14
日提交的标题为“Atlas Sampling Based Mesh Compression with Charts of General Topology”的美国专利申请第
18/121,334
号的继续申请并要求该美国专利申请的优先权，所有这些申请的全部内容通过引用整体并入本文
。


[0003]本公开内容涉及一组高级视频编码技术
。
更具体地，本公开内容涉及基于视频的动态网格压缩
。

技术介绍

[0004]世界的先进三维
(three
‑
dimensional
，
3D)
表示能够实现更具沉浸感的交互和通信形式
。
为了实现
3D
表示的逼真性，
3D
模型变得越来越复杂，并且大量数据与这些
3D
模型的创建和消费有关
。3D
网格被广泛用于沉浸式内容的
3Dr/>建模
。
[0005]3D
网格可以由描述体积对象的表面的若干多边形组成
。
动态网格序列可能需要大量数据，因为该动态网格序列可能具有随时间变化的大量信息
。
因此，需要高效的压缩技术来存储并传输这样的内容
。
[0006]虽然网格压缩标准
IC、MESHGRID、FAMC
以前都是针对具有恒定连接性和随时间变化的几何和顶点属性的动态网格开发的
。
然而，这些标准并未考虑随时间变化的属性图和连接性信息
。
[0007]此外，对于体积获取技术，生成恒定连接性动态网格特别是在实时约束下生成恒定连接性动态网格是具有挑战性的
。
现有标准不支持这类动态网格内容
。

技术实现思路

[0008]根据实施方式，可以提供用于基于采样的动态网格压缩的方法
。
该方法可以由至少一个处理器执行，并且可以包括基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及使用视频编解码器将基于采样的占用图压缩到多个单通道或多通道图像中
。
[0009]根据实施方式，可以提供用于基于采样的动态网格压缩的装置
。
该装置可以包括：至少一个存储器，被配置成存储程序代码；以及至少一个处理器，被配置成读取程序代码并且根据程序代码的指示进行操作
。
程序代码可以包括：第一确定代码，被配置成使至少一个
处理器基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；第二确定代码，被配置成使至少一个处理器确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；第一生成代码，被配置成使至少一个处理器基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及压缩代码，被配置成使至少一个处理器使用视频编解码器将基于采样的占用图压缩为多个单通道或多通道图像
。
[0010]根据实施方式，可以提供存储计算机指令的非暂态计算机可读介质
。
所述指令可以包括一条或更多条指令，这些指令在由用于基于采样的动态网格压缩的装置的一个或更多个处理器执行时，使一个或更多个处理器基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及使用视频编解码器将基于采样的占用图压缩为多个单通道或多通道图像
。
附图说明
[0011]所公开的主题的另外的特征
、
性质和各种优点将根据以下详细描述和附图更加明显，在附图中：
[0012]图1是根据本公开内容的实施方式的通信系统的简化框图的示意图
。
[0013]图2是根据本公开内容的实施方式的流式传输系统的简化框图的示意图
。
[0014]图3是根据本公开内容的实施方式的视频编码器和解码器的简化框图的示意图
。
[0015]图4是根据本公开内容的实施方式的网格的
2D
图集采样的示例性图示
。
[0016]图5是根据本公开内容的实施方式的网格的连接性的示例性图示
。
[0017]图6是根据本公开内容的实施方式的重建网格的示例性图示
。
[0018]图
7A
示出了根据本公开内容的实施方式的
2D
简单连接流形图
。
[0019]图
7B
示出了根据本公开内容的实施方式的
2D
简单连接非流形图
。
[0020]图
7C
示出了根据本公开内容的实施方式的
2D
非简单连接的非流形图
。
[0021]图8是示出根据本公开内容的实施方式的使用图集采样进行压缩的流程图
。
[0022]图9是示出根据本公开内容的实施方式的网格重建的流程图
。
[0023]图
10
是适用于实现本公开内容的实施方式的计算机系统的框图
。
具体实施方式
[0024]网格可以由多个多边形构成，多边形描述体积对象的表面
。
多边形在三维空间中的顶点以及顶点如何连接的信息可以定义每个多边形，该信息称为连接性信息
。
在一些实施方式中，顶点属性
(
如颜色
、
法线等
)
可以与网格顶点相关联
。
还可以通过利用映射信息将属性与网格的表面相关联，该映射信息用
2D
属性图将网格参数化
。
这种映射可以使用一组参数坐标
(
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种由至少一个处理器执行的用于基于图集采样的动态网格压缩的方法，所述方法包括：接收具有表示对象的表面的多边形的网格帧；响应于所述网格帧中的一个或更多个奇异成分，确定所述网格帧与不规则
UV
图相关联；对所述
UV
图执行边界检测，以识别所述
UV
图中的一个或更多个边界环；以及将所识别的一个或更多个边界环的信息压缩到比特流中
。2.
根据权利要求1所述的方法，其中，如果所述
UV
图是非流形图和非简单连接图中的至少一种，则
UV
图是不规则的
。3.
根据权利要求1所述的方法，其中，所述网格帧被划分为一个或更多个区域，所述一个或更多个区域中的每一个具有该区域各自的采样率
。4.
根据权利要求3所述的方法，其中，在所述比特流中以高级语法用信号表示所述一个或更多个区域的采样率
。5.
根据权利要求1所述的方法，其中，当所述网格帧具有至少一个非流形顶点时，确定所述网格帧与不规则
UV
图相关联
。6.
根据权利要求5所述的方法，其中，当所述网格帧中的顶点具有多于两条的入射边界边时，所述顶点是非流形的
。7.
根据权利要求1所述的方法，其中，对所述
UV
图执行边界检测以识别所述
UV
图中的一个或更多个边界环还包括：确定所述
UV
图的欧拉特性；以及基于所确定的所述
UV
图的欧拉特性，识别所述
UV
图中的一个或更多个边界环
。8.
根据权利要求1所述的方法，其中，将所识别的一个或更多个边界环的信息压缩到比特流中还包括：在所述比特流中用信号表示所识别的一个或更多个边界环的数目；以及在所述比特流中用信号表示边界图中的每一个的顶点的
UV
坐标和对应
3D
坐标
。9.
一种计算装置，包括：至少一个存储器，被配置成存储程序代码；以及至少一个处理器，被配置成执行所述程序代码，以执行用于基于图集采样的动态网格压缩的方法，所述方法包括：接收具有表示对象的表面的多边形的网格帧；响应于所述网格帧中的一个或更多个奇异成分，确定所述网格帧与不规则
UV
图相关联；对所述
UV
图执行边界检测，以识别所述
UV
图中的一个或更多个边界环；以及将所识别的一个或更多个边界环的信息压缩到比特流中
。10.
根据权利要求9所述的计算装置，其中，如果所述
UV
图是非流形图和非简单连接图中的至少一种，则
UV
图是不规则的
。11.
根据权利要求9所述的计算装置，其中，所述网格帧被划分为一个或更多个区...

【专利技术属性】
技术研发人员：黄超，许晓中，张翔，田军，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：