一种用于用信号通知基于多平面图像的体积视频的深度的方法和装置制造方法及图纸

描述了方法、装置和数据流以基于多平面图像(MPI)表示对3D场景的基于图集的表示进行编码、传输和解码，在该MPI表示中，在每个图层中对深度分量进行编码。在透明度的基础上对该MPI的图层进行群集来生成纹理、透明度和深度分块画面。分块画面被打包在至少一个图集图像中。将每个分块与图层相关联并将每个图层与深度和深度量化定律相关联的元数据编码在具有至少一个图集的数据流中。在解码侧，该具有深度分量的MPI是从该数据流中提取的，并用于从该MPI的中心附近的视点渲染视口图像。该MPI的中心附近的视点渲染视口图像。该MPI的中心附近的视点渲染视口图像。

【技术实现步骤摘要】
【国外来华专利技术】一种用于用信号通知基于多平面图像的体积视频的深度的方法和装置
1.

[0001]本专利技术原理总体涉及三维(3D)场景和体积视频内容的域。还在编码、格式化和解码表示3D场景的纹理和几何结构的数据的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]多平面图像(MPI)是体积场景的分层表示，其中每个图层都是该场景的3D空间的切片。根据底层中心投影(例如，透视的、球形的或立方体的)和限定了层间间距的采样定律对每个切片进行采样。图层包括3D场景的任意3D相交对象的纹理信息(即颜色信息)和透明度信息。切片中的点被投影到限定该切片的两个图层中的一者上，例如最接近该点的图层或具有比该点更小或更大的深度的图层。根据该分层表示，从不同视点恢复/合成视图是有可能的，该不同视点位于底层投影的中心周围的有限区域中。其可以利用有效的算法(例如“反向”画家算法)来执行，该算法从最近的图层开始到最远的图层通过适当权重(即透明度)将每个图层进行融合。此类技术的运行可比其它已知视图合成流程要快得多。
[0004]不同的方法，如MIV标准(2020年7月4日的ISO/IEC CD 23090
‑
12，“Information technology
‑
Coded Representation of Immersive Media
‑
Part12:MPEG Immersive Video”，N19482)已经可以用于传输以MPI格式表示的沉浸式视频内容。仅须激活例如在MIV所基于的V3C(2020年7月4日的ISO/IEC FDIS 23090
‑
5，“Information technology
‑
Coded Representation of Immersive Media
‑
Part 5:Visual Volumetric Video
‑
based Coding(V3C)and Video
‑
based Point Cloud Compression(V
‑
PCC)”，N19579)中规定的透明度属性。该MPI可以以两个视频比特流的形式来传送，该两个视频比特流分别编码纹理和透明度分块图集图像。每个分块的深度(即，对应于该3D场景的投影点和投影表面或投影中心之间的距离的几何数据)都是恒定的(因为MPI编码的原理)并且可以用信号通知，例如在图集信息数据流中和/或在数据流之一的元数据中或在对不同轨道中的两个图集序列进行编码的一个数据流的元数据中用信号通知。
[0005]向基于MPI的体积视频编码器馈送表示为多视图图像的3D视频数据，该多视图图像可以是真实相机对3D场景的捕获、虚拟相机的投影对3D场景的捕获，或者例如从3D模型或从2D图像生成。每个视图由纹理帧(以及潜在的其他属性，诸如透明度)和几何帧(深度图)以及使得能够从该视图恢复该3D场景的参数组成。
[0006]具体地，与深度量化有关的参数必须包括在该视图参数中，并且由针对给定视图的量化定律的类型(例如逆深度的均匀量化)以及最小和最大深度值(例如以米为单位)组
成。当通过将深度图添加到恒定深度的各个图层来细化该基于MPI的表示时，需要在表示基于MPI的体积视频的数据流的元数据中用信号通知这些不同参数。
3.
技术实现思路

[0007]以下呈现本专利技术原理的简化概述，以便提供对本专利技术原理的一些方面的基本理解。本
技术实现思路
不是本专利技术原理的广泛概述。不旨在识别本专利技术原理的关键或重要元素。以下
技术实现思路
仅以简化形式呈现本专利技术原理的一些方面，作为下面提供的更详细描述的前言。
[0008]本专利技术原理涉及一种方法，包括：
[0009]‑
获得表示3D场景的多平面图像，其中该多平面图像的图层包括纹理分量、透明度分量和深度分量；该深度分量根据与该图层相关联的量化定律来确定；
[0010]‑
通过在透明度的基础上对该多平面图像的图层进行群集来生成分块画面；
[0011]‑
将分块画面打包到至少一个图集图像中；
[0012]‑
生成第一元数据，该第一元数据针对该多平面图像的每个图层包括该图层的深度值和表示与该图层相关联的量化定律的参数；
[0013]‑
生成第二元数据，该第二元数据将分块画面与该多平面图像的图层相关联；以及
[0014]‑
将该至少一个图集图像、第一和第二元数据编码到数据流中。
[0015]本专利技术原理也涉及一种实现上述方法的设备。
[0016]本专利技术原理也涉及一种方法，包括：
[0017]‑
从数据流中提取至少一个图集图像，该至少一个图集图像打包了分块画面，该分块画面包括纹理分量、透明度分量和深度分量；
[0018]‑
从该数据流中提取第一元数据，该第一元数据将表示3D场景的多平面图像的图层与深度值以及与表示量化定律的参数相关联；
[0019]‑
从该数据流中提取第二元数据，该第二元数据将分块画面与该多平面图像的图层相关联；
[0020]‑
根据该第一和第二元数据建立该多平面图像；以及
[0021]通过该多平面图像渲染该3D场景的视口图像；分块画面的该深度分量根据该量化定律进行逆量化。
[0022]本专利技术原理也涉及一种实现上述方法的设备。
[0023]本专利技术原理也涉及一种数据流，该数据流包括：
[0024]‑
至少一个图集图像，该至少一个图集图像打包了分块画面，该分块画面具有包括纹理分量、透明度分量和深度分量；
[0025]‑
第一元数据，该第一元数据将表示3D场景的多平面图像的图层与深度值以及与表示量化定律的参数相关联；并且
[0026]第二元数据，该第二元数据将分块画面与该多平面图像的图层相关联。
4.附图说明
[0027]将更好地理解本公开，并且在阅读以下描述、参考附图的描述之后，将出现其他特定特征和优点，其中：
[0028]‑
图1示出了根据本专利技术原理的非限制性实施方案的对象的三维(3D)模型和对应于该3D模型的点云的点；
[0029]‑
图2示出了根据本专利技术原理的非限制性实施方案的对表示3D场景序列的数据进行编码、传输和解码的非限制性示例；
[0030]‑
图3示出了根据本专利技术原理的非限制性实施方案的可被配置为实现关于图10和图11描述的方法的设备的示例性架构；
[0031]‑
图4示出了本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：
‑
获得表示3D场景的多平面图像，其中所述多平面图像的图层包括纹理分量、透明度分量和深度分量；根据与所述图层相关联的量化定律来确定所述深度分量；
‑
通过在透明度的基础上对所述多平面图像的图层进行群集来生成分块画面；
‑
将分块画面打包到至少一个图集图像中；
‑
生成第一元数据，所述第一元数据针对所述多平面图像的每个图层包括所述图层的深度值和表示与所述图层相关联的量化定律的参数；
‑
生成第二元数据，所述第二元数据将分块画面与所述多平面图像的图层相关联；以及
‑
将所述至少一个图集图像、第一和第二元数据编码到数据流中。2.根据权利要求1所述的方法，其中分块画面的所述纹理分量存储在纹理图集图像中，其中分块画面的所述透明度分量存储在透明度图集图像中，并且其中分块画面的所述深度分量存储在深度图集图像中。3.根据权利要求2所述的方法，其中对所述深度图集图像进行缩小。4.一种设备，包括存储器，所述存储器与处理器相关联，所述处理器被配置为：
‑
获得表示3D场景的多平面图像，其中所述多平面图像的图层包括纹理分量、透明度分量和深度分量；根据与所述图层相关联的量化定律来确定所述深度分量；
‑
通过在透明度的基础上对所述多平面图像的图层进行群集来生成分块画面；
‑
将分块画面打包到至少一个图集图像中；
‑
生成第一元数据，所述第一元数据针对所述多平面图像的每个图层包括所述图层的深度值和表示与所述图层相关联的量化定律的参数；
‑
生成第二元数据，所述第二元数据将分块画面与所述多平面图像的图层相关联；以及
‑
将所述至少一个图集图像、第一和第二元数据编码到数据流中。5.根据权利要求4所述的设备，其中分块画面的所述纹理分量存储在纹理图集图像中，其中分块画面的所述透明度分量存储在透明度图集图像中，并且其中分块画面的所述深度分量存储在深度图集图像中。6.根据权利要求5所述的设备，其中对所述深度图集图像进行缩小。7.一种方法，包括：
‑
从数据流中提取至少一个图集图像，所述至少一个图集图像打包了分块画面，所述分块画面包括纹理分量、透明度分量和深度分量；
‑
从所述数据流中提取第一元数据，所述第一元数据将表示3D场景的多平面图像的图层与深度值以及与...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：