用于对三自由度和体积兼容视频流进行编码和解码的方法、设备技术

三维场景序列由编码器编码为视频，并传输到检索3D场景序列的解码器。从确定的视点可视的3D场景的点被编码为流的第一轨道中的颜色图像，以便能够独立于流的其他轨道进行解码。颜色图像与三自由度呈现兼容。场景的深度信息以及剩余点的深度和颜色被编码在流的单独的轨道中，并且仅在解码器被配置为对场景进行解码以用于体积呈现的情况下被解码。

A method and device for encoding and decoding three degree of freedom and volume compatible video streams

【技术实现步骤摘要】
【国外来华专利技术】用于对三自由度和体积兼容视频流进行编码和解码的方法、设备1.
本公开涉及体积视频内容的领域。本公开也在表示体积内容的数据的格式化的上下文中被理解，例如用于在诸如移动设备或头戴式显示器(Head-MountedDisplay，HDM)的终端用户设备上的沉浸式呈现。2.
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本公开的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本专利技术的各个方面。因此，应该理解的是，这些陈述应该从这个角度来阅读，而不是作为对现有技术的承认来阅读。沉浸式视频，也称为360°平面视频，允许用户通过围绕静止的视点的头部的旋转来观看自己周围的一切。旋转只允许3自由度(3DegreesofFreedom，3DoF)体验。即使3DoF视频对于第一次全向视频体验来说是足够的，例如使用头戴式显示设备，3DoF视频对于期望更多自由的观看者来说可能很快变得令人沮丧，例如通过体验视差。此外，3DoF还可能导致眩晕，因为用户永远不会仅旋转他的头部，而且还会在三个方向上本文档来自技高网...

【技术保护点】
1.一种生成表示3D场景的流的方法，所述方法包括：/n—根据第一投影映射，通过将从视点可视的3D场景的点投影到第一颜色图上来生成第一颜色数据，所述第一颜色数据是适用于能够围绕所述视点的旋转的3自由度的渲染的颜色图像；/n—根据第二投影映射，通过将从所述视点可视的3D场景的点投影到第一深度图上来生成第一深度数据；所述第一深度数据被编码为打包在与第一面片数据项列表相关联的第一深度面片图集中的面片图片，第一面片数据项包括将深度面片图片与所述颜色图像的像素区域进行映射的信息；/n—生成表示从所述视点不可视的3D场景的点的第二颜色数据和第二深度数据；以及/n—在所述流中，以第一语法元素对所述第一颜色数据...

【技术特征摘要】
【国外来华专利技术】20170915 EP 17306188.8;20180713 EP 18305949.21.一种生成表示3D场景的流的方法，所述方法包括：
—根据第一投影映射，通过将从视点可视的3D场景的点投影到第一颜色图上来生成第一颜色数据，所述第一颜色数据是适用于能够围绕所述视点的旋转的3自由度的渲染的颜色图像；
—根据第二投影映射，通过将从所述视点可视的3D场景的点投影到第一深度图上来生成第一深度数据；所述第一深度数据被编码为打包在与第一面片数据项列表相关联的第一深度面片图集中的面片图片，第一面片数据项包括将深度面片图片与所述颜色图像的像素区域进行映射的信息；
—生成表示从所述视点不可视的3D场景的点的第二颜色数据和第二深度数据；以及
—在所述流中，以第一语法元素对所述第一颜色数据进行编码，并且至少以第二语法元素对所述第一深度数据、所述第二颜色数据和所述第二深度数据进行编码。


2.一种用于将表示3D场景的数据编码成流的设备，所述设备包括与至少一个处理器相关联的存储器，所述处理器被配置为：
—根据第一投影映射，通过将从视点可视的3D场景的点投影到第一颜色图上来生成第一颜色数据，所述第一颜色数据是兼容于能够围绕所述视点的旋转的3自由度的渲染的颜色图像；
—根据所述第二投影映射，通过将从所述视点可视的3D场景的点投影到第一深度图上来生成第一深度数据；所述第一深度数据被编码为打包在与第一面片数据项列表相关联的第一深度面片图集中的面片图片，第一面片数据项包括将深度面片图片与所述颜色图像中的像素区域进行映射的信息；
—生成表示从所述视点不可视的3D场景的点的第二颜色数据和第二深度数据；以及
—在所述流中，以第一语法元素对所述第一颜色数据进行编码，并且至少以第二语法元素对所述第一深度数据、所述第二颜色数据和所述第二深度数据进行编码。


3.根据权利要求1所述的方法或权利要求2所述的设备，其中，所述3D场景是以多视图加深度MVD帧的形式获得的，并且其中，通过移除与从所述视点可视的3D场景的点相关联的MVD帧的视图的像素来执行生成第二颜色数据和第二深度数据。


4.根据权利要求1所述的方法或权利要求2所述的设备，其中，通过根据第三投影映射将所述3D场景的剩余点投影到第二颜色图和第二深度图上来执行生成第二颜色数据和第二深度数据，所述剩余点是从所述视点不可视的3D场景的点。


5.根据权利要求4所述的方法或权利要求4所述的设备，其中所述第二颜色数据被编码为打包在颜色面片图集中的面片图片，并且其中所述第二深度数据被编码为第二深度面片图集中的面片图片，并且与第二面片数据项列表相关联，第二面片数据项包括将深度面片图片与所述第二面片图集的颜色面片进行映射的信息。


6.一种对3D场景进行解码的方法，所述方法包括：
—获得流，所述流包括:
·第一语法元素，其承载表示3D场景的第一颜色数据，所述第一颜色数据是通过根据第一投影映射投...

【专利技术属性】
技术研发人员：J弗勒罗，B丘皮奥，G布里安德，R多尔，T塔皮，F图多，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US