用于将体积内容编码在数据流中以及从数据流中解码出体积内容的方法和装置制造方法及图纸

本发明专利技术公开了用于对体积场景进行编码和解码的方法和装置。通过根据投影参数将体积场景样本投影到分块上来获得属性和几何分块的集合。如果几何分块与根据投影参数位于恒定深度处的平面层相当，则仅将属性分块打包在属性图集图像中，并且将深度值编码在元数据中。否则，将属性分块和几何分块都打包在图集中。在解码时，如果属性分块的元数据指示其几何结构可由投影参数和恒定深度来确定，则将属性反向投影在平面层上。否则，根据相关联的几何分块将属性反向投影。将属性反向投影。将属性反向投影。

【技术实现步骤摘要】
【国外来华专利技术】用于将体积内容编码在数据流中以及从数据流中解码出体积内容的方法和装置
1.

[0001]本专利技术原理总体涉及三维(3D)场景和体积视频内容的域。还在编码、格式化和解码表示3D场景的纹理和几何结构的数据的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]最近，可用的大视场内容(高达360
°
)有所增长。观看沉浸式显示设备(诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等)上的内容的用户可能无法完全看到此类内容。这意味着在给定的时刻，用户只能观看一部分内容。然而，用户通常可通过例如头部移动、鼠标移动、触摸屏、语音以及类似物的各种手段在内容内导航。通常希望对该内容进行编码和解码。
[0004]沉浸式视频(也称为360
°
平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以满足第一次全向视频体验(例如，使用头戴式显示器(HMD设备))的要求，但3DoF视频对于期望更多自由(例如，通过体验视差)的观看者可能很快变得令人沮丧。此外，3DoF还可能导致眩晕，因为用户永远不会只旋转其头部，而是还向三个方向平移头部，这些平移不会在3DoF视频体验中再现。
[0005]其中，大视场内容可以是三维计算机图形图像场景(3D CGI场景)、点云或沉浸式视频。许多术语可用于设计此类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π球面度、沉浸式、全向或大视场。
[0006]体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。在观看6DoF视频时，除了旋转之外，用户还可以在观看的内容中平移其头部，甚至其身体，并且体验视差甚至体积。这种视频显著增加了沉浸感和对场景深度的感知，并通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容是通过专用传感器创建的，允许同时记录感兴趣场景的颜色和深度。即使仍然存在技术困难，使用结合摄影测量技术的彩色相机装备也是执行这种记录的一种方式。
[0007]虽然3DoF视频包括由纹理图像的解映射产生的图像序列(例如，根据纬度/经度投影映射或等角投影映射编码的球面图像)，但6DoF视频帧嵌入了来自多个视点的信息。它们可被视为由三维捕获产生的点云的时间序列。根据观看条件可以考虑两种体积视频。第一种(即完整的6DoF)允许在视频内容内完全自由导航，而第二种(又名3DoF+)将用户观看空间限制到称为观看边界框的有限体积，从而允许有限的头部平移和视差体验。该第二种情况是在自由导航和就座观众的被动观看条件之间的有价值的折衷。
[0008]体积视频(3DoF+或6DoF)是3D场景序列。对体积视频进行编码的解决方案是将序列的每个3D场景投影到被聚集在称为分块的彩色(或其他属性)画面和深度画面中的投影映射上。分块被打包在存储在视频流的视频轨道中的彩色和深度图像中。这种编码具有利用标准图像和视频处理标准的优点。在解码时，在由存储在相关联的深度画面中的信息确定的深度处反向投影彩色画面的像素。此类解决方案是有效的。然而，将这种大量的数据编码为处于视频流的视频轨道中的图像产生了问题。比特流的大小引起关于存储空间、网络上的传输和解码性能的比特率技术问题。
3.
技术实现思路

[0009]以下呈现本专利技术原理的简化概述，以便提供对本专利技术原理的一些方面的基本理解。本
技术实现思路
不是本专利技术原理的广泛概述。不旨在识别本专利技术原理的关键或重要元素。以下
技术实现思路
仅以简化形式呈现本专利技术原理的一些方面，作为下面提供的更详细描述的前言。
[0010]本专利技术原理涉及一种方法，该方法包括从数据流中获得属性图集图像、几何图集图像。(属性或几何)图集图像打包分块画面。(属性或几何)分块画面是三维场景样本的投影。还从数据流中获得元数据。元数据针对属性图集图像的属性分块画面包括：
[0011]与属性分块画面相关联的投影参数，以及
[0012]指示属性分块画面是否与几何图集图像的几何分块画面相关联或者属性分块画面是否与被编码在元数据中的深度值相关联的信息。
[0013]在属性分块画面与几何分块画面相关联的条件下，该方法包括将属性分块画面的像素反向投影在由几何分块画面和与属性分块画面相关联的投影参数确定的位置处。
[0014]或者，在属性分块画面与深度值相关联的条件下，该方法包括将属性分块画面的像素反向投影在由深度值和与属性分块画面相关联的投影参数确定的位置处。
[0015]在一个实施方案中，属性分块画面的像素针对不同属性(例如，颜色、法向量、光照、热量、速度)编码两个(或更多个)值。在另一个实施方案中，每个属性获得属性图集。不同的属性图集是根据相同的打包布局编码的，并且元数据应用于每个属性图集的对应分块画面。
[0016]本专利技术原理还涉及一种包括被配置用于实现上述方法的处理器的设备。
[0017]本专利技术原理也涉及一种方法，该方法包括：
[0018]‑
获得与几何分块画面相关联的属性分块画面的集合，属性和几何分块画面是通过根据投影参数对三维场景样本进行投影而获得的；
[0019]‑
针对属性分块画面的集合中的属性分块画面，
[0020]将属性分块画面打包在属性图集图像中；并且
[0021]如果与属性分块画面相关联的几何分块画面与处于由深度值和投影参数确定的位置处的平面层相当，则生成包括以下项的元数据：投影参数、深度值、以及指示属性分块画面与深度值相关联的信息，或者
[0022]在另一种情况下，将几何分块画面打包在几何图集图像中，并且生成包括以下项的元数据：投影参数、以及指示属性分块画面与几何分块画面相关联的信息；以及
[0023]‑
将属性图集图像、几何图集图像和所生成的元数据编码在数据流中。
[0024]本专利技术原理还涉及一种包括被配置用于实现上述方法的处理器的设备。
[0025]本专利技术原理还涉及一种例如由上述方法生成的数据流。该数据流包括属性图集图像、几何图集图像和元数据，图集图像打包分块画面，分块画面是三维场景样本的投影，元数据针对属性图集图像的属性分块画面包括：
[0026]‑
与属性分块画面相关联的投影参数，以及
[0027]指示属性分块画面是否与几何图集图像的几何分块相关联或者属性分块画面是否与被编码在元数据中的深度值相关联的信息。
[0028]在一个实施方案中，属性分块画面的像素针对不同属性(例如，颜色、法向量、光照、热量、速度)编码两个(或更多个)值。在另一个实施方案中，数据流包括每个属性的属性图集。不同的属性图集是根本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：
‑
从数据流中获得属性图集图像、几何图集图像和元数据，图集图像打包分块画面，分块画面是三维场景样本的投影，所述元数据针对所述属性图集图像的属性分块画面包括：与所述属性分块画面相关联的投影参数，以及指示所述属性分块画面是否与所述几何图集图像的几何分块画面相关联或者所述属性分块画面是否与被编码在所述元数据中的深度值相关联的信息；
‑
在属性分块画面与几何分块画面相关联的条件下，将所述属性分块画面的像素反向投影在由所述几何分块画面和与所述属性分块画面相关联的投影参数确定的位置处；
‑
在属性分块画面与深度值相关联的条件下，将所述属性分块画面的像素反向投影在由所述深度值和与所述属性分块画面相关联的投影参数确定的位置处。2.根据权利要求1所述的方法，其中，所述属性图集的像素针对两个不同属性编码两个值，所述两个属性被反向投影在一起。3.根据权利要求1所述的方法，其中，所述数据流包括根据相同的打包布局编码的两个属性图集，针对每个属性图集的一对属性分块画面生成所述元数据，所述一对属性分块画面被反向投影在一起。4.一种包括处理器的设备，所述处理器被配置用于：
‑
从数据流中获得属性图集图像、几何图集图像和元数据，图集图像打包分块画面，分块画面是三维场景样本的投影，所述元数据针对所述属性图集图像的属性分块画面包括：与所述属性分块画面相关联的投影参数，以及指示所述属性分块画面是否与所述几何图集图像的几何分块相关联或者所述属性分块画面是否与被编码在所述元数据中的深度值相关联的信息；
‑
在属性分块画面与几何分块画面相关联的条件下，将所述属性分块画面的像素反向投影在由所述几何分块画面和与所述属性分块画面相关联的投影参数确定的位置处；
‑
在属性分块画面与深度值相关联的条件下，将所述属性分块画面的像素反向投影在由所述深度值和与所述属性分块画面相关联的投影参数确定的位置处。5.根据权利要求4所述的设备，其中，所述属性分块画面的像素针对两个不同属性编码两个值，所述两个属性被反向投影在一起。6.根据权利要求4所述的设备，其中，所述数据流包括根据相同的打包布局编码的两个属性图集，针对每个属性图集的一对属性分块画面生成所述元数据，所述一对属性分块画面被反向投影在一起。7.一种方法，所述方法包括：
‑
获得与几何分块画面相关联的属性分块画面的集合，属性和几何分块画面是通过根据投影参数对三维场景样本进行投影而获得的；
‑
针对所述属性分块画面的集合中的属性分块画面，将所述属性分块画面打包在属性图集图像中；并且如果与所述属性分块画面相关联的...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：交互数字VC控股法国有限公司，
类型：发明
国别省市：