在数据流中编码及解码来自数据流的三维场景的方法和装置制造方法及图纸

提供用于编码和解码承载表示三维场景的数据的数据流的方法和设备，该数据流包括打包在色彩图像中的色彩画面；打包在深度图像中的深度画面；以及包括去投影数据的一组补片数据项；用于在色彩图像取回色彩画面的数据和几何数据。两种类型的几何数据是可能的。第一种类型的数据描述如何在深度图像中取回深度画面。第二种类型的数据包括3D网格的标识符。该网格的顶点坐标和各个面用于取回去投影的场景中各个点的位置。

【技术实现步骤摘要】
【国外来华专利技术】在数据流中编码及解码来自数据流的三维场景的方法和装置
本原理一般涉及在数据流中编码以及解码来自数据流的三维场景或三维场景的序列的编码和解码。具体地，但不排他地，本原理的
涉及对场景的纹理的色彩图像和深度图像或者场景的几何形状的3D网格的编码/解码。
技术介绍
本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此地阅读这些陈述，而不作为对现有技术的承认。沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点的头部旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以用于首次全向视频体验(例如使用头戴式显示设备(HMD))，对于将期望更大自由度的观看者来说，例如通过体验视差，3DoF视频也可能很快变得令人沮丧。另外，3DoF也可能引起头晕，因为用户绝不是仅仅旋转其头部，而是还在三个方向上平移头部，平移在3DoF视频体验中不被再现。体积式视频(也称为6自由度本文档来自技高网...

【技术保护点】
1.一种从数据流中解码三维场景的方法，该方法包括：/n-从所述数据流中获得：/n·色彩图像，包括打包在所述彩色图像中的色彩画面；/n·深度图像，包括打包在所述深度图像中的深度画面；和/n·一组补片数据项，补片数据项包括：/n-去投影数据；/n-色彩数据，包括色彩画面在色彩图像中的位置的描述；和/n-包括深度画面在深度图像中的位置的描述的第一种几何类型的几何数据，或包括被表示为网格的三维对象的标识符的第二种几何类型的几何数据；/n-对于该组补片数据项：/n·如果几何数据是第一种几何类型，则根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素的颜色；...

【技术特征摘要】
【国外来华专利技术】20180119 EP 18305044.21.一种从数据流中解码三维场景的方法，该方法包括：
-从所述数据流中获得：
·色彩图像，包括打包在所述彩色图像中的色彩画面；
·深度图像，包括打包在所述深度图像中的深度画面；和
·一组补片数据项，补片数据项包括：
-去投影数据；
-色彩数据，包括色彩画面在色彩图像中的位置的描述；和
-包括深度画面在深度图像中的位置的描述的第一种几何类型的几何数据，或包括被表示为网格的三维对象的标识符的第二种几何类型的几何数据；
-对于该组补片数据项：
·如果几何数据是第一种几何类型，则根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素的颜色；
·如果几何数据是第二种几何类型，则根据网格的顶点和面确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素的颜色。


2.一种用于从数据流中解码三维场景的设备，该设备包括与处理器相关联的存储器，该处理器被配置为：
-从所述数据流中获得：
·色彩图像，包括打包在所述彩色图像中的色彩画面；
·深度图像，包括打包在所述深度图像中的深度画面；和
·一组补片数据项，补片数据项包括：
-去投影数据；
-色彩数据，包括色彩画面在色彩图像中的位置的描述；和
-包括深度画面在深度图像中的位置的描述的第一种几何类型的几何数据，或包括被表示为网格的三维对象的标识符的第二种几何类型的几何数据；
-对于该组补片数据项：
·如果几何数据是第一种几何类型，则根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素的颜色；
·如果几何数据是第二种几何类型，则根据网格的顶点和面确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素的颜色。


3.根据权利要求1所述的方法或权利要求2所述的设备，其中，从流中获得第二种类型的几何数据的几何数据中识别的网格的顶点和面。


4.根据权利要求1所述的方法或权利要求2所述的设备，其中，补片数据项的色彩数据还包括色彩图像中的色彩画面的大小和/或形状的描述。


5.根据权利要求1所述的方法或权利要求2所述的设备，其中，所述流包括色彩图像、深度图像和各组补片数据项的序列，深度图像和一组补片数据项与色彩图像相关联；色彩图像由时间信息进行结构化。


6.一种用于在数据流中编码三维场景的方法，该方法包括：
-获得一组补片，补片包括：
·去投影数据；
·色彩画面；和
·包括深度画面的第一种几何类型的几何数据，或包括被表示为网格的三维对象的标识符的第二种几何类型的几何数据...

【专利技术属性】
技术研发人员：J弗勒罗，R多尔，T塔皮，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US