基于视频的网格压缩制造技术

本文描述了一种使用网格表面数据的投影和连通性数据的视频表示来压缩3D网格数据的方法。该方法利用3D表面面片来表示网格表面上连接的三角形的集合。投影的表面数据存储在图集数据中编码的面片(网格面片)中。网格的连通性，即，表面面片的顶点和三角形，使用基于视频的压缩技术进行编码。数据被封装在名为顶点视频数据的新视频组件中，并且所公开的结构允许通过在各层中分离顶点的集合并为网格连通性创建各细节级别来进行渐进式网格编解码。这种方法扩展了目前用于点云和多视图以及深度内容的编解码的V3C(基于体积视频)标准的功能性。性。性。

【技术实现步骤摘要】
【国外来华专利技术】基于视频的网格压缩
[0001](一个或多个)相关申请的交叉引用
[0002]本申请援引35 U.S.C.
§
119(e)要求于2020年10月7日提交的标题为“VIDEO BASED MESH COMPRESSION”的美国临时专利申请序列No.63/088,705和于2020年10月6日提交的标题为“VIDEO BASED MESH COMPRESSION”的美国临时专利申请序列No.63/087,958的优先权，其通过引用整体并入本文以用于所有目的。


[0003]本专利技术涉及三维图形。更具体而言，本专利技术涉及三维图形的编解码(coding)。

技术介绍

[0004]最近，一种基于从3D到2D的投影来压缩体积内容(诸如点云)的新颖方法正在被标准化。也称为V3C(基于可视体积视频的压缩)的该方法将3D体积数据映射到若干2D面片中，然后将这些面片进一步布置到图集(atlas)图像中，随后用视频编码器对图集图像进行编码。图集图像与点的几何结构、相应的纹理和指示要考虑哪些位置用于点云重构的占用图对应。
[0005]在2017年，MPEG已经发布了关于点云压缩的提案征集(CfP)。在评估了若干提案之后，目前MPEG正在考虑两种不同的点云压缩技术：3D原生编解码技术(基于八叉树和相似的编解码方法)，或3D到2D投影，然后是传统的视频编解码。在动态3D场景的情况下，MPEG使用基于面片表面建模的测试模型软件(TMC2)、将面片从3D投影到2D图像，并用诸如HEVC之类的视频编码器对2D图像进行编解码。事实证明，这种方法比原生3D编解码更高效，并且能够以可接受的质量实现具有竞争力的位速率。
[0006]由于基于投影的方法(也称为基于视频的方法或V
‑
PCC)编解码3D点云的成功，该标准有望在未来的版本中包括更多的3D数据，诸如3D网格。但是，当前版本的标准只适合传输点的不连通集合，因此没有发送点的连通性的机构，因为它是3D网格压缩所要求的。
[0007]已经提出了将V
‑
PCC的功能性扩展到网格的方法。一种可能的方式是使用V
‑
PCC对顶点进行编码，然后使用网格压缩方法(如TFAN或Edgebreaker)对连通性进行编码。这种方法的局限性在于原始网格必须是密集的，因此从顶点生成的点云不是稀疏的，并且可以在投影之后被高效编码。而且，顶点的次序影响连通性的编解码，并且已经提出了不同的方法来重组网格连通性。对稀疏网格进行编码的另一种方式是使用RAW面片数据对3D中的顶点位置进行编码。由于RAW面片直接对(x,y,z)进行编码，因此在这种方法中，所有顶点都被编码为RAW数据，而连通性则通过类似的网格压缩方法被编码，如前面所提到的。注意的是，在RAW面片中，顶点可以按任何优选次序发送，因此可以使用从连通性编码生成的次序。该方法可以对稀疏点云进行编码，但是，RAW面片对于对3D数据进行编码效率不高，并且这种方法会丢失更多数据，诸如三角形面的属性。

技术实现思路

[0008]本文描述了一种使用网格表面数据的投影和连通性数据的视频表示来压缩3D网格数据的方法。该方法利用3D表面面片来表示网格表面上连接的三角形的集合。投影表面数据存储在图集数据中编码的面片(网格面片)中。网格的连通性(即，表面面片的顶点和三角形)使用基于视频的压缩技术进行编码。数据被封装在名为顶点视频数据的新视频组件中，并且所公开的结构允许通过在层中分离顶点的集合并为网格连通性创建细节级别来进行渐进式网格编码。这种方法扩展了目前用于点云和多视图以及深度内容的编码的V3C(基于体积视频)标准的功能性。
[0009]在一个方面，一种方法包括对输入网格执行网格体素化，实现将网格分割成包括光栅化的网格表面和顶点位置和连通性信息的面片的面片生成，从光栅化的网格表面生成基于可视体积视频的压缩(V3C)图像，用顶点位置和连通性信息实现基于视频的网格压缩，并基于V3C图像和基于视频的网格压缩生成V3C位流。顶点位置和连通性信息包括表面面片的三角形信息。来自用顶点位置和连通性信息实现基于视频的网格压缩的数据被封装在顶点视频组件结构中。顶点视频组件结构通过分离层中的顶点的集合并生成用于网格连通性的细节级别来实现渐进式网格编码。当仅实现一层时，视频数据被嵌入在占用图中。连通性信息是使用包括泊松表面重构或球枢转的表面重构算法生成的。从光栅化的网格表面生成V3C图像包括组合未跟踪的和跟踪的网格信息。该方法还包括在二维投影的面片域中实现边折叠过滤器。该方法还包括实现连通性信息的基于面片的表面细分。
[0010]在另一方面，一种装置包括用于存储应用的非暂态存储器和耦合到存储器的处理器，该应用用于：对输入网格执行网格体素化，实现将网格分割成包括光栅化的网格表面和顶点位置和连通性信息的面片的面片生成，从光栅化的网格表面生成基于可视体积视频的压缩(V3C)图像，用顶点位置和连通性信息实现基于视频的网格压缩，并基于V3C图像和基于视频的网格压缩生成V3C位流；该处理器被配置用于处理应用。顶点位置和连通性信息包括表面面片的三角形信息。来自用顶点位置和连通性信息实现基于视频的网格压缩的数据被封装在顶点视频组件结构中。顶点视频组件结构通过分离层中的顶点的集合并生成用于网格连通性的细节级别来实现渐进式网格编码。当仅实现一层时，视频数据被嵌入在占用图中。连通性信息是使用包括泊松表面重构或球枢转的表面重构算法生成的。从光栅化的网格表面生成V3C图像包括组合未跟踪的和跟踪的网格信息。该应用还被配置用于在二维投影的面片域中实现边折叠过滤器。该应用还被配置用于实现连通性信息的基于面片的表面细分。
[0011]在另一方面，一种系统包括用于获取三维内容的一个或多个相机、用于对三维内容进行编码的编码器：对输入网格执行网格体素化，实现将网格分割成包括光栅化的网格表面和顶点位置和连通性信息的面片的面片生成，从光栅化的网格表面生成基于可视体积视频的压缩(V3C)图像，用顶点位置和连通性信息实现基于视频的网格压缩，并基于V3C图像和基于视频的网格压缩生成V3C位流。顶点位置和连通性信息包括表面面片的三角形信息。来自用顶点位置和连通性信息实现基于视频的网格压缩的数据被封装在顶点视频组件结构中。顶点视频组件结构通过分离层中的顶点的集合并生成用于网格连通性的细节级别来实现渐进式网格编解码。当仅实现一层时，视频数据被嵌入在占用图中。连通性信息是使用包括泊松表面重构或球枢转的表面重构算法生成的。从光栅化的网格表面生成V3C图像
包括组合未跟踪的和跟踪的网格信息。编码器被配置用于在二维投影的面片域中实现边折叠过滤器。编码器被配置用于实现连通性信息的基于面片的表面细分。
附图说明
[0012]图1图示了根据一些实施例的实现V3C网格编解码的方法的流程图。
[0013]图2图示了根据一些实施例的网格体素化的图。
[0014]图3图示了根据一些实施例的面片生成的图。
[0015]图4图示了根据一些实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：对输入网格执行网格体素化；实现面片生成，所述面片生成将网格分割成包括光栅化的网格表面和顶点位置和连通性信息的面片；从光栅化的网格表面生成基于可视体积视频的压缩(V3C)图像；用顶点位置和连通性信息实现基于视频的网格压缩；以及基于V3C图像和基于视频的网格压缩生成V3C位流。2.如权利要求1所述的方法，其中顶点位置和连通性信息包括表面面片的三角形信息。3.如权利要求1所述的方法，其中来自用顶点位置和连通性信息实现基于视频的网格压缩的数据被封装在顶点视频组件结构中。4.如权利要求3所述的方法，其中顶点视频组件结构通过分离各层中的顶点的集合并生成用于网格连通性的各细节级别来实现渐进式网格编码。5.如权利要求1所述的方法，其中当仅实现一层时，视频数据被嵌入在占用图中。6.如权利要求1所述的方法，其中连通性信息是使用包括泊松表面重构或球枢转的表面重构算法生成的。7.如权利要求1所述的方法，其中从光栅化的网格表面生成V3C图像包括组合未跟踪的和跟踪的网格信息。8.如权利要求1所述的方法，还包括在二维投影的面片域中实现边折叠过滤器。9.如权利要求1所述的方法，还包括实现连通性信息的基于面片的表面细分。10.一种装置，包括：用于存储应用的非暂态存储器，所述应用用于：对输入网格执行网格体素化；实现面片生成，所述面片生成将网格分割成包括光栅化的网格表面和顶点位置和连通性信息的面片；从光栅化的网格表面生成基于可视体积视频的压缩(V3C)图像；用顶点位置和连通性信息实现基于视频的网格压缩；以及基于V3C图像和基于视频的网格压缩生成V3C位流；以及耦合到存储器的处理器，所述处理器被配置用于处理所述应用。11.如权利要求10所述的装置，其中顶点位置和连通性信息包括表面面片的三角形信息。12.如权利要求10所述的装置，其中来自用顶点位置和连通性信息实现基于视频的网格压缩的数据被封装在顶点视频组件结构中。13.如权利要求12所述的装置，其中顶点视频组件结构通过分离各层中的顶点的集合...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：