用于编码和解码三自由度和体积式兼容的视频流的方法和设备技术

三维场景序列由编码器编码为视频，并传送到恢复该3D场景序列的解码器。3D场景中从确定的视点可见的点被编码为流的第一轨道中的颜色图像，以便可独立于流的其他轨道进行解码。颜色图像与三自由度渲染兼容。深度信息和场景中的剩余点的深度和颜色被编码在流的单独轨道中，并且仅在解码器被配置为解码该场景以用于体积式渲染的情况下被解码。于体积式渲染的情况下被解码。于体积式渲染的情况下被解码。

【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码三自由度和体积式兼容的视频流的方法和设备


[0001]本公开涉及体积式(volumetric)视频内容的领域。本公开也在表示体积式内容的数据的格式化的背景下被理解，例如用于在诸如移动设备或头戴式显示器的终端用户设备上的沉浸式渲染。

技术介绍

[0002]该部分旨在向读者介绍本领域的各个方面，这些方面可能与本公开的下面描述和/或要求保护的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本专利技术的各个方面。因此，应当理解，要从这个角度来理解这些陈述，而不是将其理解为对现有技术的承认。
[0003]沉浸式视频(也称为360
°
平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频对于(例如使用头戴式显示设备(HMD)的)第一次全向视频体验来说是足够的，对于将期望更多自由(例如通过体验视差)的观看者来说，3DoF视频也可能很快变得令人沮丧。此外，3DoF还可能引起眩晕，因为用户从不仅仅旋转其头部，还会在三个方向上平移(translate)其头部，这种平移不在3DoF视频体验中再现。
[0004]体积式视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。当观看6DoF视频时，除旋转外，用户还可以在观看的内容内平移其头部乃至其身体，并体验视差甚至体积。这种视频大大增加了沉浸感和对场景深度的感知，并且还通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容由允许同时记录感兴趣场景的颜色和深度的专用传感器来创建。使用与摄影测量技术相结合的颜色相机的装备是执行这种记录的常见方式。
[0005]3DoF视频包括由纹理图像的解映射产生的图像序列(例如，根据纬度/经度投影映射或等矩形投影映射所编码的球形图像)，而6DoF视频帧嵌入来自几个视点的信息。6DoF视频帧(也称为多视图+深度(MVD)帧)包括从不同的视点和/或视图方向捕获的多个图像。它们也可以被看作从三维捕获产生的点云的时间序列。根据观看条件可以考虑两种体积式视频。第一种(即，完全6DoF)允许视频内容内的完全自由导航，而第二种(即，3DoF+)将用户观看空间限制在有限的体积内，允许有限的头部平移和视差体验。这第二种情况是在自由导航和坐着的观众成员的被动观看条件之间的有价值的权衡。此外，3DoF+视频比6DoF视频需要更少的相机和更简单的装备。
[0006]可以在流中将3DoF视频编码为根据选择的投影映射(例如，立方体投影映射、锥体投影映射或等矩形投影映射)所生成的矩形颜色图像序列。该编码具有利用标准图像和视频处理标准的优点。可以通过传统的标准编码方法来对3DoF+视频的视图(颜色图像+深度图像)进行编码。然而，对n个视图的视频进行编码相当于对2n个视频进行编码，并且需要大量的数据，使得产生的流不适合于广播或流传输。3DoF+和6Dof视频需要额外的数据来对点云的有色点的深度进行编码。在流中编码场景时，对体积式场景的渲染类型(即，3DoF或体
积式渲染)不是先验已知的。到目前为止，流是针对一种渲染或另一种渲染而编码的。缺少可以携带表示体积式场景的数据的流格式以及相关联的方法和设备，该数据可以被同时(at once)编码、并被解码为3DoF视频或体积式视频(3DoF+或6DoF)，并且需要比MVD标准编码更小的数据量。

技术实现思路

[0007]说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用表示所描述的实施例可以包括特定的特征、结构、或特性，但是每个实施例不一定包括该特定的特征、结构、或特性。此外，这种短语不一定指同一实施例。此外，当结合实施例描述特定的特征、结构、或特性时，认为无论是否明确描述，结合其他实施例来影响这种特征、结构、或特性在本领域技术人员的知识范围内。
[0008]根据一个或多个实施例，提供了用于将通过不同手段获得的3D场景编码到流中的设备和方法。该流以语法元素构成。该方法包括：
[0009]-通过根据第一投影映射将3D场景中的从视点可见的点投影到第一颜色图上来生成第一颜色数据。第一颜色数据是适于使能围绕视点的3自由度的旋转的渲染的颜色图像。
[0010]-通过根据第二投影映射将3D场景中的从视点可见的点投影到第一深度图上来生成第一深度数据。第一深度数据被编码为打包在与补丁数据项列表相关联的深度补丁图谱中的补丁图片。补丁数据项包括将深度补丁图片与颜色图像中的像素区域进行映射的信息；
[0011]-生成表示3D场景中的从所述视点不可见的点的第二颜色数据和第二深度数据；和
[0012]-在流中，将第一颜色数据编码在第一语法元素中，并将第一深度数据、第二颜色数据和第二深度数据编码在至少第二语法元素中。
[0013]本公开还涉及用于从根据该方法和/或由如上所述的设备生成的流中解码3D场景的设备和方法。
附图说明
[0014]通过阅读以下描述将更好地理解本公开，并且其他具体特征和优点将显现，该描述参考附图，其中：
[0015]-图15示出了根据本原理的非限制性实施例的包括两个视图的多视图加深度(MVD)帧；
[0016]-图1示出了根据本原理的非限制性实施例的对象的三维(3D)模型和与该3D模型相对应的点云的点；
[0017]-图2示出了根据本原理的非限制性实施例的表示包括几个对象的表面表示的三维场景的图像；
[0018]-图3图示了根据本原理的非限制性实施例的对图2的场景上的视点的示例布置和该场景中的从该布置的不同视点可见的点；
[0019]-图4通过根据图3的视点示出图2的场景的不同视图，来图示了根据本原理的非限制性实施例的视差体验；
[0020]-图5示出了根据本原理的非限制性实施例的根据等矩形投影映射来对从图3的视点可见的图2的场景的点进行编码的颜色图像；
[0021]-图6示出了根据本原理的非限制性实施例的根据立方体投影映射所编码的与图5相同的场景的点的图像；
[0022]-图7示出了根据本原理的非限制性实施例的从图3的视点来看的图2的3D场景的深度图(也称为深度图像)；
[0023]-图8图示了根据本原理的非限制性实施例的对于投影到图5的颜色图的场景的点的深度补丁图谱(patch atlas)的一部分；
[0024]-图9示出了根据本原理的非限制性实施例，在对图5或图6的图像进行编码之后，将剩余点编码为补丁；
[0025]-图16示出了根据本原理的非限制性实施例，从图15的MVD帧开始，从视点生成沉浸式图像，并从帧的视图中移除未使用的像素；
[0026]-图10图示了根据本原理的非限制性实施例的对3D场景序列的编码、传输和解码的示例，该3D场景序列的格式是同时3DoF渲染兼容和体积式渲染兼容的；
[0027]-图11示出了根据本原理的非限制性实施例的在通过基于分组的传输协议传送数据时流的语法的实施例的示例；
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成表示3D场景的流的方法，所述方法包括：-通过根据第一投影映射将所述3D场景中的从视点可见的点投影到第一颜色图上来生成第一颜色数据，所述第一颜色数据是适于使能围绕所述视点的3自由度的旋转的渲染的颜色图像；-通过根据第二投影映射将所述3D场景中的从所述视点可见的点投影到第一深度图上来生成第一深度数据；所述第一深度数据被编码为打包在与第一补丁数据项列表相关联的第一深度补丁图谱中的补丁图片，第一补丁数据项包括将深度补丁图片与所述颜色图像的像素区域进行映射的信息；-生成表示所述3D场景中的从所述视点不可见的点的第二颜色数据和第二深度数据；以及-在所述流中，将所述第一颜色数据编码在第一语法元素中，并将所述第一深度数据、所述第二颜色数据和所述第二深度数据编码在至少第二语法元素中。2.根据权利要求1所述的方法，其中所述3D场景是以多视图加深度(MVD)帧的形式获得的，并且其中通过移除所述MVD帧的视图中的、与所述3D场景中从所述视点可见的点相关联的像素，来执行生成第二颜色数据和第二深度数据。3.根据权利要求1所述的方法，其中通过根据第三投影映射将所述3D场景中的剩余点投影到第二颜色图和第二深度图上，来执行生成第二颜色数据和第二深度数据，所述剩余点是所述3D场景中的从所述视点不可见的点。4.根据权利要求3所述的方法，其中所述第二颜色数据被编码为打包在颜色补丁图谱中的补丁图片，并且其中所述第二深度数据被编码为第二深度补丁图谱中的补丁图片并与第二补丁数据项列表相关联，第二补丁数据项包括将深度补丁图片与所述第二补丁图谱的颜色补丁进行映射的信息。5.一种用于将表示3D场景的数据编码到流中的设备，所述设备包括存储器，所述存储器至少与被配置为执行以下操作的处理器相关联：-通过根据第一投影映射将所述3D场景中的从视点可见的点投影到第一颜色图上来生成第一颜色数据，所述第一颜色数据是与使能围绕所述视点的3自由度的旋转的渲染兼容的颜色图像；-通过根据所述第二投影映射将所述3D场景中的从所述视点可见的点投影到第一深度图上来生成第一深度数据；所述第一深度数据被编码为打包在与第一补丁数据项列表相关联的第一深度补丁图谱中的补丁图片，第一补丁数据项包括将深度补丁图片与所述颜色图像的像素区域进行映射的信息；-生成表示点的第二颜色数据和第二深度数据，所述点是所述3D场景中的从所述视点不可见的点；以及-在所述流中，将所述第一颜色数据编码在第一语法元素中，并将所述第一深度数据、所述第二颜色数据和所述第二深度数据编码在至少第二语法元素中。6.根据权利要求5所述的设备，其中所述3D场景是以多视图加深度(MVD)帧的形式获得的，并且其中通过移除所述MVD帧的视图中的、与所述3D场景中从所述视点可见的点相关联的像素，来执行生成第二颜色数据和第二深度数据。7.根据权利要求5所述的设备，其中通过根据第三投影映射将所述3D场景中的剩余点
投影到第二颜色图和第二深度图上，来执行生成第二颜色数据和第二深度数据，所述剩余点是所述3D场景中的从所述视点不可见的点。8.根据权利要求7所述的设备，其中所述第二颜色数据被编码为打包在颜色补丁图谱中的补丁图片，并且其中所述第二深度数据被编码为第二深度补丁图谱中的补丁图片并与第二补丁数据项列表相关联，第二补丁数据项包括将深度补丁图片与所述第二补丁图谱的颜色补丁进行映射的信息。9.一种解码3D场景的方法，所述方法包括：-获得流，所述流包括：
·
第一语法元素，其携带表示所述3D场景的第一颜色数据，所述第一颜色数据是通过根据第一投影映射对所述3D场景中的从视点可见的...

【专利技术属性】
技术研发人员：J弗勒罗，B丘波，G布里安德，R多尔，T塔皮，F图多，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：