基于投影的网格压缩制造技术

本文中描述了一种使用基于投影的方法，并利用已经为基于投影的点云压缩生成的工具和语法来压缩未跟踪和跟踪网格的方法。类似于V

【技术实现步骤摘要】
【国外来华专利技术】基于投影的网格压缩
[0001]相关申请的引用
[0002]本申请要求2020年3月18日提交的序列号为62/991,128的美国临时专利申请“PROJECTION
‑
BASED MESH COMPRESSION”的按照35U.S.C.
§
119(e)的优先权，该申请通过引用整体包含在本文中。


[0003]本专利技术涉及三维图形。更具体地，本专利技术涉及三维图形的编码。

技术介绍

[0004]最近，基于从3D到2D的投影来压缩点云的新方法正在标准化。也称为V
‑
PCC(基于视频的点云压缩)的这种方法将3D点云数据映射成几个2D面元，然后进一步将面元排列成图集图像，随后用视频编码器对图集图像进行编码。图集图像对应于点的几何形状、相应的纹理和占据地图，占据地图指示对于点云重建，将考虑位置中的哪些位置。
[0005]在2017年，MPEG发布了关于点云的压缩的提案征集(CfP)。在评估了几种提案之后，目前MPEG正在考虑用于点云压缩的两种不同技术：3D原生编码技术(基于八叉树和类似的编码方法)，或者3D到2D投影，随后是传统的视频编码。在动态3D场景的情况下，MPEG正在使用基于面元表面建模，面元从3D图像到2D图像的投影，以及用诸如HEVC之类的视频编码器对2D图像编码的测试模型软件(TMC2)。这种方法已被证明比原生3D编码更高效，并且能够在可接受的质量下实现有竞争力的比特率。
[0006]归因于基于投影的方法(也称为基于视频的方法或V
‑
PCC)编码3D点云的成功，预计该标准在未来的版本中将包括更多的3D数据，比如3D网格。然而，该标准的当前版本只适合于一组不相连的点的传输，从而，不存在发送点的连通性的机制，这在3D网格压缩中是所需的。
[0007]提出了将V
‑
PCC的功能也扩展到网格的方法。一种可能的方式是使用V
‑
PCC对顶点进行编码，然后使用诸如TFAN或Edgebreaker之类的网格压缩方法对连通性进行编码。这种方法的局限性在于原始网格必须是密集的，使得从顶点生成的点云不稀疏，并且在投影之后可被有效编码。此外，顶点的顺序影响连通性的编码，从而提出了重新组织网格连通性的不同方法。编码稀疏网格的备选方式是使用RAW面元数据来编码3D中的顶点位置。由于RAW面元直接编码(x,y,z)，因此在这种方法中，所有的顶点都被编码为RAW数据，而连通性则通过类似的网格压缩方法来编码，如前所述。在RAW面元中，可以按任何优选的顺序来发送顶点，从而可以使用从连通性编码产生的顺序。该方法可以对稀疏点云进行编码，然而，RAW面元对3D数据的编码效率不高，并且诸如三角形面的属性之类的更多数据可能会从这种方法中丢失。

技术实现思路

[0008]本文中描述了一种使用基于投影的方法并利用已经为基于投影的点云压缩生成
的工具和语法来压缩未跟踪和跟踪网格的方法。类似于V
‑
PCC方法，网格被分割成表面面元，其中不同之处在于这些分割遵循网格的连通性。每个表面面元(或3D面元)随后被投影到2D面元，从而在网格的情况下，三角形表面采样类似于在计算机图形学中使用的常见光栅化方法。对于每个面元，投影顶点的位置连同这些顶点的连通性一起保存在列表中。采样的表面类似于点云，并且采用用于点云压缩的相同方法进行编码。另外，每个面元地对顶点和连通性的列表进行编码，并将数据连同编码的点云数据一起发送。
[0009]在一个方面，一种在设备的非临时性存储器中编程的方法。所述方法包括对输入网格进行网格体素化，实现面元生成，所述面元生成将网格分割成包括光栅化网格表面及顶点位置和连通性信息的面元，从光栅化网格表面生成基于视频的点云压缩(V
‑
PCC)图像，利用顶点位置和连通性信息实现基础网格编码，并基于V
‑
PCC图像和基础网格编码生成V
‑
PCC比特流，其中V
‑
PCC比特流包括用于点云重建和网格重建的信息。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找出低于零的最低顶点值并移动网格值，使得最低顶点值在零以上。实现面元生成包括：计算每个三角形的法线，其中计算三角形的法线包括使用边之间的叉积，按照法线对三角形进行分类，以及通过分析邻近的三角形来实现细化处理。该方法还包括显示部分包括点云且部分包括网格的内容。跟踪顶点的增量位置信息包含在比特流中。该方法还包括实现缝合(zippering)，所述缝合包括：将顶点分类为边界顶点或非边界顶点，确定边界顶点的近邻，并合并邻近的边界顶点。
[0010]在另一个方面，一种设备包括用于存储应用的非临时性存储器和耦接到所述存储器的处理器，所述应用用于：对输入网格进行网格体素化，实现面元生成，所述面元生成将网格分割成包括光栅化网格表面及顶点位置和连通性信息的面元，从光栅化网格表面生成基于视频的点云压缩(V
‑
PCC)图像，利用顶点位置和连通性信息实现基础网格编码，并基于V
‑
PCC图像和基础网格编码生成V
‑
PCC比特流，其中V
‑
PCC比特流包括用于点云重建和网格重建的信息，所述处理器被配置成处理所述应用。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找出低于零的最低顶点值并移动网格值，使得最低顶点值在零以上。实现面元生成包括：计算每个三角形的法线，其中计算三角形的法线包括使用边之间的叉积，按照法线对三角形进行分类，以及通过分析邻近的三角形来实现细化处理。在所述设备中，所述应用还被配置成显示部分包括点云且部分包括网格的内容。跟踪的顶点的增量位置信息包含在比特流中。在所述设备中，所述应用还被配置成实现缝合，所述缝合包括：将顶点分类为边界顶点或非边界顶点，确定边界顶点的近邻，并合并邻近的边界顶点。
[0011]在另一个方面，一种系统包括用于获取三维内容的一个或多个相机，和用于通过以下操作对三维内容进行编码的编码器：对三维内容的输入网格进行网格体素化，实现面元生成，所述面元生成将网格分割成包括光栅化网格表面及顶点位置和连通性信息的面元，从光栅化网格表面生成基于视频的点云压缩(V
‑
PCC)图像，利用顶点位置和连通性信息实现基础网格编码，并基于V
‑
PCC图像和基础网格编码生成V
‑
PCC比特流，其中V
‑
PCC比特流包括用于点云重建和网格重建的信息。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找出低于零的最低顶点值并移动网格值，使得最低顶点值在零以上。实现面元生成包括：计算每个三角形的法线，其中计算三角形的法线包括使用边之间的叉积，按照法线对三角形进行分类，以及通过分析邻近的三角形来实现细化处理。所述
编码器还被配置成显示部分包括点云且部分包括网格的内容。跟踪的顶点的增量位置信息包含本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在设备的非临时性存储器中编程的方法，包括：对输入网格进行网格体素化；实现面元生成，所述面元生成将网格分割成包括光栅化网格表面及顶点位置和连通性信息的面元；从光栅化网格表面生成基于视频的点云压缩(V
‑
PCC)图像；利用顶点位置和连通性信息实现基础网格编码；和基于V
‑
PCC图像和基础网格编码生成V
‑
PCC比特流，其中V
‑
PCC比特流包括用于点云重建和网格重建的信息。2.按照权利要求1所述的方法，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。3.按照权利要求2所述的方法，其中网格体素化包括找出低于零的最低顶点值并移动网格值，使得最低顶点值在零以上。4.按照权利要求1所述的方法，其中实现面元生成包括：计算每个三角形的法线，其中计算三角形的法线包括使用边之间的叉积，按照法线对三角形进行分类，以及通过分析邻近的三角形来实现细化处理。5.按照权利要求1所述的方法，还包括显示部分包括点云且部分包括网格的内容。6.按照权利要求1所述的方法，其中跟踪的顶点的增量位置信息包含在比特流中。7.按照权利要求1所述的方法，还包括实现缝合，所述缝合包括：将顶点分类为边界顶点或非边界顶点；确定边界顶点的近邻；以及合并邻近的边界顶点。8.一种设备，包括：用于存储应用的非临时性存储器，所述应用用于：对输入网格进行网格体素化；实现面元生成，所述面元生成将网格分割成包括光栅化网格表面及顶点位置和连通性信息的面元；从光栅化网格表面生成基于视频的点云压缩(V
‑
PCC)图像；利用顶点位置和连通性信息实现基础网格编码；和基于V
‑
PCC图像和基础网格编码生成V
‑
PCC比特流，其中V
‑
PCC比特流包括用于点云重建和网格重建的信息；以及耦接到所述存储器的处理器，所述处理器被配置成处理所述应用。9.按照权利要求8所述的设备，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。10.按照权利要求9所述的设备，其中网格体素化包括找出低...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：