在数据流中编码及解码来自数据流的三维场景的方法和装置制造方法及图纸

提供用于编码和解码承载表示三维场景的数据的数据流的方法和设备，该数据流包括打包在色彩图像中的色彩画面；打包在深度图像中的深度画面；以及包括去投影数据的一组补片数据项；用于在色彩图像取回色彩画面的数据和几何数据。两种类型的几何数据是可能的。第一类型的数据描述如何在深度图像中取回深度画面。第二类型的数据包括恒定深度值。二类型的数据包括恒定深度值。二类型的数据包括恒定深度值。

【技术实现步骤摘要】
在数据流中编码及解码来自数据流的三维场景的方法和装置
[0001]本申请是2019年1月14日提交的申请号为201980014201.8、专利技术名称为《在数据流中编码及解码来自数据流的三维场景的方法和装置》的专利技术专利申请的分案申请。


[0002]本原理一般涉及在数据流中编码以及解码来自数据流的三维场景或三维场景的序列的编码和解码。具体地，但不排他地，本原理的
涉及对场景的纹理的色彩图像和深度图像或者场景的几何形状的分析参数的编码/解码。

技术介绍

[0003]本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此地阅读这些陈述，而不作为对现有技术的承认。
[0004]沉浸式视频(也称为360
°
平面视频)允许用户通过围绕静止视点的头部旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以用于首次全向视频体验(例如使用头戴式显示设备(HMD))，对于将期望更大自由度的观看者来说，例如通过体验视差，3DoF视频也可能很快变得令人沮丧。另外，3DoF也可能引起头晕，因为用户绝不是仅仅旋转其头部，而是还在三个方向上平移头部，平移在3DoF视频体验中不被再现。
[0005]体积式视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部以及甚至身体，并体验视差以及甚至体积。这样的视频极大地增加沉浸的感觉和场景深度的感知，并且也通过在头部平移期间提供一致的视觉反馈而防止头晕。内容通过专用传感器创建，允许同时记录感兴趣场景的色彩和深度。结合摄影机技术使用的一套色彩相机是进行这种记录的一种常用方式。
[0006]体积式视频是3D场景的序列。编码体积式视频的一种解决方案是将3D场景的序列中的每个3D场景投影到被聚类为色彩画面和深度画面(称为补片)的投影图上。补片以存储在视频流的视频轨道中的色彩图像和深度图像打包。这种编码具有使用标准的图像和视频处理标准的优点。在解码时，色彩图像的像素以由存储在相关联的深度画面中的信息确定的深度被去投影。这样的解决方案是有效的。然而，将这种大量数据编码为视频流的视频轨道中的图像产生问题。比特流的大小引起有关存储空间，网络传输和解码性能的比特率技术问题。

技术实现思路

[0007]以下提出本原理的简要概述，以便提供对本原理的一些方面的基本理解。本概述不是对本原理的广泛综述。不意图标识本原理的关键或重要要素。以下概述仅以简化形式提出本原理的一些方面，作为下面提供的更详细描述的序言。
[0008]本原理涉及一种在流中编码3D场景的方法。本公开涉及一种在流中编码三维场景
的方法。该方法包括：
[0009]‑
获得一组补片，补片包括：
[0010]·
去投影数据；
[0011]·
色彩图像；和
[0012]·
属于两种几何类型的集合的几何类型的几何数据：第一种几何类型的几何数据包括深度画面；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
[0013]‑
通过打包所述补片的色彩画面并将色彩数据存储在对应的补片中来生成色彩图像，色彩数据包括打包在色彩图像中的所述补片的色彩画面的位置的描述；
[0014]‑
通过打包具有第一种几何类型的几何数据的补片的深度画面并通过深度图像中打包的所述补片的深度画面的位置的描述来替换对应补片的几何数据中的深度画面来生成深度图像；
[0015]‑
在流中编码：
[0016]·
生成的色彩图像；
[0017]·
生成的深度图像；
[0018]·
一组补片数据项，补片数据项包括补片的去投影数据，所述补片的色彩数据和所述补片的几何数据。
[0019]本公开还涉及一种适于在流中编码三维场景的设备。该设备包括与处理器相关联的存储器，该处理器被配置为执行在流中编码三维场景的本方法。
[0020]本公开还涉及从数据流解码三维场景的方法。该方法包括：
[0021]‑
从所述数据流中获得：
[0022]·
色彩图像，包括打包在所述色彩图像中的色彩画面；
[0023]·
深度图像，包括打包在所述深度图像中的深度画面；和
[0024]·
一组补片数据项，补片数据项包括：
[0025]‑
去投影数据；
[0026]‑
色彩数据，包括色彩画面在色彩图像中的位置的描述；和
[0027]‑
属于两种几何类型的集合的几何类型的几何数据；第一种几何类型的几何数据包括深度画面在深度图像中的位置的描述；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
[0028]‑
对于该组补片数据项：
[0029]·
如果几何数据是第一种几何类型，则根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素；
[0030]·
如果几何数据是第二种几何类型，则以由几何数据的参数化函数确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素，所述参数化用参数值的列表初始化。
[0031]本公开还涉及适于从数据流解码三维场景的设备。该设备包括与处理器相关联的存储器，该处理器被配置为执行从数据流中解码三维场景的本方法。
[0032]本公开还涉及一种承载表示三维场景的数据的数据流。该数据流包括：
[0033]‑
至少一个色彩图像，包括打包在所述色彩图像中的色彩画面；
[0034]‑
至少一个深度图像，包括打包在所述深度图像中的深度画面，深度图像与第一色彩图像相关联；和
[0035]‑
与所述第一色彩图像相关联的一组补片数据项，补片数据项包括：
[0036]·
去投影数据；
[0037]·
色彩数据，其包括色彩画面在第一色彩图像中的位置的描述；和
[0038]·
属于两种几何类型的集合的几何类型的几何数据；第一种几何类型的几何数据包括深度画面在与第一色彩图像相关联的深度图像中的位置的描述；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表。
附图说明
[0039]在阅读以下描述时，将更好地理解本公开，并且将出现其他特定特征和优点，该描述参考附图，在附图中：
[0040]‑
图1示出根据本原理的非限制性实施例的对象的三维(3D)模型和与3D模型对应的点云的点；
[0041]‑
图2示出根据本原理的非限制性实施例的表示三维场景的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：
‑
从所述数据流中获得：
·
打包在色彩图像中的色彩画面；
·
打包在深度图像中的深度画面；以及
·
元数据，对于所述色彩图像的每个色彩画面，所述元数据包括：
‑
去投影数据；
‑
色彩数据，包括色彩画面在所述色彩图像中的位置的描述；和
‑
属于类型组的一个类型的几何数据，所述类型组包括：第一几何类型，其包括深度画面在所述深度图像中的位置的描述；和第二几何类型，其包括恒定深度值；以及
‑
指示所述几何数据属于所述第一几何类型还是所述第二几何类型的信息；以及
‑
对于所述色彩图像的色彩画面：
·
在所述几何数据属于所述第一几何类型的情况下，使用去投影数据去投影由在根据由所述几何数据描述的所述深度画面的像素确定的深度值处的色彩数据描述的色彩画面的像素；
·
在所述几何数据属于所述第二几何类型的情况下，使用去投影数据去投影由在所述几何数据的所述恒定深度值处的色彩数据描述的色彩画面的像素。2.根据权利要求1所述的方法，其中，所述色彩图像中的每个色彩画面色彩数据还包括色彩画面的大小和/或形状的描述。3.根据权利要求1所述的方法，其中，所述数据流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；所述色彩图像由时间信息进行结构化。4.一种方法，包括：
‑
获得一组补片，所述一组补片包括：
·
去投影数据；
·
色彩画面；以及
·
第三几何类型的补片几何数据，其包括深度画面；或第二几何类型的补片几何数据，其包括恒定深度值；
‑
通过打包所述补片的色彩画面和色彩数据来生成色彩图像，所述色彩数据包括打包在所述色彩图像中的每个色彩画面的位置的描述；
‑
通过打包具有第一几何类型的几何数据和所述类型组的几何数据的补片的深度画面来生成深度图像，所述类型组包括：第一几何类型，其包括深度画面在所述深度图像中的位置的描述；和所述第二几何类型；以及
‑
在数据流中编码：
·
生成的色彩图像；
·
生成的深度图像；
·
元数据，其包括所述去投影数据、所述色彩数据、所述几何数据和指示每个几何数据属于所述第一几何类型还是所述第二几何类型的信息。5.根据权利要求4所述的方法，其中，色彩数据还包括所述色彩图像中的色彩画面的大
小和/或形状的描述。6.根据权利要求4所述的方法，其中，所述数据流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；所述色彩...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：