编码和解码沉浸式视频制造技术

公开了用于对针对沉浸式视频的多视图数据进行编码和解码的概念。在编码方法中，生成包括指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段的元数据。所生成的元数据提供了将包括原始纹理和深度数据的片块数据单元与包括修复数据(例如修复纹理和深度数据)的片块数据单元区分开的手段。在沉浸式视频的元数据内提供这样的信息可以解决与混合和修剪的视图重建相关联的问题。还提供了针对沉浸式视频的多视图数据的编码器和解码器，以及包括元数据的对应比特流。以及包括元数据的对应比特流。以及包括元数据的对应比特流。

【技术实现步骤摘要】
【国外来华专利技术】编码和解码沉浸式视频


[0001]本专利技术涉及沉浸式视频。其特别地涉及用于对针对沉浸式视频的多视图数据进行编码和解码的方法和装置。

技术介绍

[0002]沉浸式视频，也称为六自由度(6DoF)视频，是一种三维(3D)场景的视频，其允许针对位置和方向上不同的视点重建场景的视图。它表示了三自由度(3DoF)视频的发展，其允许为具有任意取向的视点重建视图，但仅在空间中的固定点处重建。在3DoF中，自由度是有角度的
‑
即俯仰、滚动和偏航。3DoF视频支持头部旋转
‑
换句话说，消费视频内容的用户可以在场景中的任何方向上观看，但不能移动到场景中的不同地点。6DoF视频支持头部旋转，并且额外地支持在场景中选择观看场景的位置。
[0003]生成6DoF视频要求多个相机来记录场景。每个相机生成图像数据(在该上下文中常被称为纹理数据)和对应的深度数据。对于每个像素，深度数据表示观察到对应图像像素数据的深度。多个相机中的每个提供场景的相应视图。
[0004]针对目标视图的生成的问题在于，仅可以合成在来自源相机的视图中可用的图像数据。目标视图的一些图像区域可能从传输的视频流中不可用(例如因为它们从任何源相机不可见)。为了解决该问题，通常使用来自其他背景区域的可用颜色数据来填充或“修复”这些图像区域。这样的“修复”是在视图合成阶段之后作为后处理步骤(例如在解码器处)执行的。这是复杂的操作，特别地当缺失数据的(一个或多个)区域的大小很大时。
[0005]在后处理期间修复的备选方案是在数据编码期间(例如在编码器处)进行修复，并且然后将所得的纹理图谱连同通常的片块一起打包。然而，这具有相关联的缺点，包括以下各项：
[0006](i)修复图像区域涉及纹理以及深度信息。对于必要的重新投影需要深度信息。除了纹理信息之外，修复深度信息也被认为具有比原始深度信息更低的质量。因此，修复数据的区域的重新投影是不太准确的。
[0007](ii)在从编码数据重建修剪(没有冗余部分)的源视图期间，当纹理图谱与额外的修复图像区域一起打包时，出现问题。修复片块和具有原始图像数据的片块可以映射到重建视图中的相同位置，这导致冲突。
[0008](iii)在视频流内打包额外的修复纹理增加了它们的比特率。它还增加了纹理和深度图谱的所要求的(活动)帧大小，即像素率。这在客户端设备上放置了增加的资源要求(其通常将仅具有有限的资源)。

技术实现思路

[0009]本专利技术由权利要求定义。
[0010]根据本专利技术的方面的示例，提供了一种根据权利要求1的对针对沉浸式视频的多视图数据进行编码的方法。
[0011]所提出的概念旨在提供与对针对沉浸式视频的多视图数据进行编码相关的方案、解决方案、概念、设计、方法和系统。特别地，实施例旨在提供用于区分保持原始纹理和深度信息的片块数据单元与保持在修复数据的片块数据单元的概念。这样一来，可以解决混合和修剪的视图重建问题。特别地，实施例提出使用沉浸式视频的元数据来提供指示多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的方式。以这种方式，可以利用沉浸式视频的现有特征来指示所述多视图数据中的修复数据的存在。
[0012]例如，根据所提出的实施例，可以生成沉浸式视频的元数据以包括指示片块数据单元是否包括修复数据的字段(即语法元素、元数据字段、元数据元素或填充有数据的输入元素)。
[0013]字段可以包括至少两个允许值的集合。所述集合的第一值可以指示所述多视图数据的片块数据单元包括从至少一个视点捕获的原始图像数据，并且所述集合的第二值指示所述多视图数据的片块数据单元包括修复数据。例如，所述字段可以包括二元标志或布尔指示符，并且因此包括简单位(指示布尔值“0”/“低”或“1”/“高”)。所述字段可以具有比特流中的语法元素的形式。备选地，所述字段从其他字段导出。例如，第一其他字段可以表示所述比特流中存在的视图的总数，并且第二其他字段可以指示未被修复的视图的总数。当视图索引超过未修复的视图总数时，那么(导出的)字段是“1”，否则它是“0”，或者反之亦然。因此，这样的实施方式可能仅要求对常规沉浸式视频元数据进行最小或微小的修改。
[0014]然而，在一些实施例中，允许值的集合可以包括两个以上允许值。例如，所述字段的值可以指示针对所述片块数据单元的细节水平(LoD)。所述字段的一个值可以指示所述片块数据单元包括具有最高质量(并且因此具有最高使用优先级，即没有丢失)的原始/采集的数据。所述字段的另一个值可以指示所述片块数据单元包括从所采集的数据合成的数据(即，具有一些较小的保真度，但仍具有良好的质量)。所述字段的又一个值可以指示所述片块数据单元包括具有最低质量(并且因此具有最低使用优先级，即修复丢失)的修复数据。以这种方式，所述字段可以提供关于所述修复数据的进一步信息(诸如所述修复数据的LoD细节)。因此，一些实施例可以采用具有三个或更多个允许值的字段。因此，所述字段可以包括多个比特(例如一个或多个字节)。
[0015]可以对所述多视图数据进行编码。所述字段然后可以与编码多视图数据的帧相关联，并且包括包含修复数据的帧的一个或多个片块数据单元的描述(或定义)。
[0016]在一些实施例中，所述字段包括存储值的标识符或地址。例如，这样的存储值可以包括绘制参数值。即，所述字段可以包括使得一个或多个值能够被检索或“查找”的信息。例如，可以预定义不同的绘制参数集，并且每个绘制参数集使用相应的唯一标识符(例如地址)存储。然后，包括在用于片块数据单元的字段中的标识符/地址可以被用于识别和检索用于与片块数据单元一起使用的参数集(即参数值集)。即，与片块数据单元相关联的字段可以包括用于定位与所述片块数据单元相关的额外信息的标识符或地址。
[0017]一些实施例还可以包括以下先前步骤：确定多视图数据的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据；并且基于确定的结果来定义用于指示所述片块数据单元是包括原始图像数据还是包括修复数据的字段值。即，一些实施例可以包括以下过程：分析片块数据单元以确定其是否包括修复数据，并且然后根据分析结果设置所述字段的值。例如，当尚未通过备选手段(例如经由用户
输入或从分离的数据分析过程)以其他方式提供关于多视图数据中的修复数据的信息时，可以进行这样的过程。
[0018]根据一些实施例，所述字段值可以包括视图参数。确定多视图数据的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据然后可以包括：响应于识别出所述片块数据单元包括对修复视图的引用而确定多视图数据的片块数据单元包括修复数据。在这样的实施例中，所述字段可以是所述视图参数的一部分，并且当片块引用修复视图时，它可以被识别为修复片块。这对于创建合成背景视图的实施方式可能是特别有益的，该合成背景视图然后被修复成片块数据单元。
[0019]此外，实施例还可以包括基于确定的结果来定义细本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对针对沉浸式视频的多视图数据(110)进行编码的方法，所述方法包括：生成(130)元数据(140)，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段。2.根据权利要求1所述的方法，其中，所述字段包括至少两个允许值的集合，并且其中，所述集合的第一值指示所述多视图数据的所述片块数据单元包括从至少一个视点捕获的原始图像数据，并且其中，所述集合的第二值指示所述多视图数据的所述片块数据单元包括修复数据，并且其中，所述字段的所述值指示针对所述片块数据单元的细节水平。3.根据权利要求1所述的方法，其中，所述字段包括存储值的标识符或地址。4.根据权利要求3所述的方法，其中，所述存储值包括绘制参数值。5.根据权利要求1至4中的任一项所述的方法，还包括以下先前步骤：确定(120)多视图数据(110)的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据；并且基于确定的结果来定义(125)用于指示所述片块数据单元是包括原始图像数据还是包括修复数据的字段值。6.根据当从属于权利要求3时的权利要求5所述的方法，其中，所述字段值包括视图参数，并且其中，确定多视图数据(110)的片块数据单元是包括从至少一个视点捕获的原始图像数据还是包括用于表示缺失图像数据的修复数据包括：响应于识别出所述片块数据单元包括对修复视图的引用而确定多视图数据的所述片块数据单元包括修复数据。7.一种对针对沉浸式视频的多视图数据进行解码的方法，所述方法包括：接收(310)包括多视图数据和相关联的元数据(140)的比特流，所述元数据包括指示所述多视图数据的片块数据单元是否包括用于表示缺失数据的修复数据的字段；并且对所述多视图数据的所述片块数据单元进行解码(320)，包括基于指示所述多视图数据的所述片块数据单元包括修复数据的所述字段来设置所述片块数据单元的绘制参数。8.根据权利要求7所述的方法，其中，所述字段包括存储值的标识符或地址，并且其中，设置所述片块数据单元的所述绘制参数包括：基于所述标识符或所述地址来确定所述存储值；并且基于所述存储值来设置所述绘制参数。9.根据权...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：