用于解码3D视频的方法和装置制造方法及图纸

本发明专利技术公开了一种用于解码体积视频的方法及其装置。此类方法包括接收(E111)表示包括用于根据渲染视点选择包括与所述体积视频中的视点相关联的颜色和深度数据分块的至少一个图集的信息的文件的数据流，所述颜色和深度数据分块相对于从所述体积视频中的参考视点获取的深度和颜色参考数据生成。获取的深度和颜色参考数据生成。获取的深度和颜色参考数据生成。

【技术实现步骤摘要】
【国外来华专利技术】用于解码3D视频的方法和装置
1.

[0001]本专利技术原理总体涉及三维(3D)场景和体积视频内容的域。还在编码、格式化和解码表示3D场景的纹理和几何结构的数据的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染体积内容。
2.
技术介绍

[0002]本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本专利技术原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本专利技术原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。
[0003]最近，可用的大视场内容(高达360
°
)有所增长。观看沉浸式显示设备(诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等)上的内容的用户可能无法完全看到此类内容。这意味着在给定的时刻，用户只能观看一部分内容。然而，用户通常可通过例如头部移动、鼠标移动、触摸屏、语音以及类似物的各种手段在内容内导航。通常希望对该内容进行编码和解码。
[0004]全向视频(也称为360
°
平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以满足全向视频体验(例如，使用头戴式显示器设备(HMD))的要求，但3DoF视频对于期望更多自由(例如，通过体验视差，即3D渲染)的观看者可能很快变得令人沮丧。此外，3DoF还可能导致眩晕，因为用户永远不会只旋转其头部，而是还向三个方向平移头部，这些平移不会在3DoF视频体验中再现。
[0005]其中，大视场内容可以是三维计算机图形图像场景(3D CGI场景)、点云或沉浸式视频。许多术语可用于设计此类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π球面度、沉浸式、全向或大视场。
[0006]体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。在观看6DoF视频时，除了旋转之外，用户还可以在观看的内容中平移其头部，甚至其身体，并且体验视差甚至体积。这种视频显著增加了沉浸感和对场景深度的感知，并通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容可通过专用传感器创建，允许同时记录感兴趣场景的颜色和深度。即使仍然存在技术困难，使用结合摄影测量技术的彩色相机装备也是执行这种记录的一种方式。
[0007]虽然3DoF视频包括由纹理图像的解映射产生的图像序列(例如，根据纬度/经度投影映射或等角投影映射编码的球面图像)，但6DoF视频帧嵌入了来自多个视点的信息。它们可被视为由三维捕获产生的点云的时间序列。根据观看条件可以考虑两种体积视频。第一种(即完整的6DoF)允许在视频内容内完全自由导航，而第二种(又名3DoF+)将用户观看空间限制到称为观看边界框的有限体积，从而允许有限的头部平移和视差体验。该第二种情况是在自由导航和就座观众的被动观看条件之间的有价值的折衷。
[0008]通常通过流传输会话向用户提供观看体验。编码的体积视频可通过有线或无线网络连接从流传输服务器发送到用户的终端。然而，网络连接应适应这些新的视频格式，并且更具体地在带宽方面。仍然存在对要递送到终端设备的视频内容和格式的约束的网络的一些限制。
[0009]应当指出的是，此类体积视频需要将大量数据传输到终端设备，以便提供所示场景中的3D空间的实际感知，并且以便为用户提供“在场景中移动”的可能性，即当在真实世界中移动时改变视点，同时避开视觉伪影。
[0010]因此，需要改进现有技术。
3.
技术实现思路

[0011]以下呈现本专利技术原理的简化概述，以便提供对本专利技术原理的一些方面的基本理解。本
技术实现思路
不是本专利技术原理的广泛概述。不旨在识别本专利技术原理的关键或重要元素。以下
技术实现思路
仅以简化形式呈现本专利技术原理的一些方面，作为下面提供的更详细描述的前言。
[0012]根据本公开的一个方面，呈现了一种用于解码体积视频的方法。此类方法包括接收表示包括用于根据渲染视点选择包括与体积视频中的视点相关联的颜色和深度数据分块的至少一个图集的信息的文件的数据流，这些颜色和深度数据分块相对于从体积视频中的参考视点获取的深度和颜色参考数据生成。
[0013]在一个实施方案中，该方法包括使用包括在文件中的信息，向服务器请求：
[0014]‑
表示包括颜色和深度参考数据的参考视图的至少一个数据流和，
[0015]‑
表示至少一个选定图集的至少一个数据流，
[0016]以及解码表示参考视图的该至少一个数据流和表示该至少一个选定图集的该至少一个数据流。
[0017]根据本公开的另一个方面，呈现了一种用于编码体积视频的方法，该方法包括：
[0018]‑
编码表示包括与体积视频中的参考视点相关联(例如从其获取)的颜色和深度参考数据的至少一个参考视图的至少一个数据流，
[0019]‑
编码表示包括与体积视频中的视点相关联(例如从其获取)的颜色和深度数据分块的至少一个图集的至少一个数据流，这些颜色和深度数据分块相对于深度和颜色参考数据生成，
[0020]‑
编码表示包括用于根据体积视频中的渲染视点选择至少一个图集的信息的文件的数据流。
[0021]根据本公开的另一个方面，呈现了一种数据流，该数据流表示包括用于根据体积视频的渲染视点选择包括与对应于体积视频中的视点的至少一个虚拟摄像机相关联的颜色和深度数据分块的至少一个图集的信息的文件，这些颜色和深度数据分块相对于与该体积视频中的参考视点相关联的深度和颜色参考数据生成。
[0022]根据本公开的另一个方面，呈现了一种用于解码体积视频的装置，该装置包括用于接收表示包括用于根据渲染视点选择包括与体积视频中的视点相关联的颜色和深度数据分块的至少一个图集的信息的文件的数据流的装置，这些颜色和深度数据分块相对于从该体积视频中的参考视点获取的深度和颜色参考数据生成。
[0023]根据本公开的另一个方面，呈现了一种用于编码体积视频的装置，该装置包括：
[0024]‑
用于编码表示包括与体积视频中的参考视点相关联的颜色和深度参考数据的至少一个参考视图的至少一个数据流的装置，
[0025]‑
用于编码表示包括与对应于该体积视频中的视点的至少一个虚拟摄像机相关联的颜色和深度数据分块的至少一个图集的至少一个数据流的装置，这些颜色和深度数据分块相对于与体积视频中的参考视点相关联的深度和颜色参考数据生成，
[0026]‑
用于编码表示包括用于根据体积视频中的渲染视点选择至少一个图集的信息的文件的数据流的装置。
[0027]根据本公开的另外的方面，呈现了一种计算机程序，该计算机程序包括用于命令执行根据本文所呈现的实施方案中的任何一个实施方案的方法步骤的指令，同时这些指令由处理器处理。
4.附图说明
[0028]将更好地理解本公开，并且在阅读以下描述、参考附图的描述之后，将出现其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码体积视频的方法，所述方法包括：
‑
接收(E111)表示包括用于根据渲染视点选择包括与所述体积视频中的视点相关联的颜色和深度数据分块的至少一个图集的信息的文件的数据流，所述颜色和深度数据分块相对于从所述体积视频中的参考视点获取的深度和颜色参考数据生成。2.根据权利要求1所述的用于解码体积视频的方法，所述方法还包括：
‑
使用包括在所述文件中的信息，向服务器请求：
‑
表示包括所述颜色和深度参考数据的参考视图的至少一个数据流和，
‑
表示至少一个选定图集的至少一个数据流，以及
‑
解码表示所述参考视图的所述至少一个数据流和表示所述至少一个选定图集的所述至少一个数据流。3.根据权利要求1或2中任一项所述的用于解码体积视频的方法，其中根据所述体积视频的渲染视点选择至少一个图集，包括：
‑
确定能够用于请求所述体积视频的下一个时间片段的网络带宽，
‑
根据包括在所述文件中的所述信息以及根据所述网络带宽，确定参考视图和与对应于虚拟摄像机的视点相关联的至少一个图集，以用于渲染所述体积视频的所述下一个时间片段。4.根据权利要求1至3中任一项所述的用于解码体积视频的方法，其中根据所述体积视频的渲染视点选择至少一个图集，使用以下中的至少一个：
‑
预测至少一个未来渲染视点，
‑
确定感兴趣区域，所述区域的视差随着对应的图集的传输而提高。5.一种用于编码体积视频的方法，所述方法包括：
‑
编码(E101)表示包括从所述体积视频中的参考视点获取的颜色和深度参考数据的至少一个参考视图的至少一个数据流，
‑
编码(E102)表示包括从所述体积视频中的视点获取的颜色和深度数据分块的至少一个图集的至少一个数据流，所述颜色和深度数据分块相对于深度和颜色参考数据生成，
‑
编码(E103)表示包括用于根据所述体积视频中的渲染视点选择至少一个图集的信息的文件的数据流。6.一种数据流，所述数据流表示包括用于根据体积视频的渲染视点选择包括从所述体积视频中的视点获取的颜色和深度数据分块的至少一个图集的信息的文件，所述颜色和深度数据分块相对于从所述体积视频中的参考视点获取的深度和颜色参考数据生成。7.根据权利要求1至5中任一项所述的方法，其中所述信息包括自适应视差参数列表，所述自适应视差参数列表包括：
‑
包括至少一个参考视点的参考视点的列表，以及针对所述参考视点中的每个参考视点：
‑
体积笛卡尔坐标系中的所述至少一个参考视点的相关联的坐标，和
‑
允许下载表示与所述参考视点相关联的图集的编码的数据流的至少一个统一资源标识符，
‑
针对所述列表中的所述参考视点中的每个参考视点，多个虚拟摄像机，所述虚拟摄像机中的每个虚拟摄像机对应于所述体积视频中的视点，
‑
针对所述虚拟摄像机中的每个虚拟摄像机：
‑
所述3D笛卡尔坐标系中的对应于所述虚拟摄像机的所述视点的相关联的坐标，和
‑
允许下载表示与所述虚拟摄像机相关联的图集的编码的数据流的至少一个统一资源标识符。8.根据权利要求7所述的方法，其中所述自适应视差参数还包括属于组的至少一个参数：
‑
量化表示与虚拟摄像机或参考视点相关联的图集的所述编码的数据流的尺寸的参数，
‑
定义与虚拟摄像机相关联以用于2D到3D转换的投影的一组参数，
‑
至少一个感兴趣区域的列表，所述至少一个感兴趣区域的视差随着对应的图集的传输而提高。9.根据权利要求7或8中任一项所述的方法，其中所述信息针对所述自适应视差参数中的至少一个自适应视差参数，还包括对所述至少一个自适应视差参数能够在所述体积视频的渲染期间改变的时间的指示。10.根据权利要求9所述的方法，其中能够改变的所述至少一个自适应视差参数对应于与参考视点相关联的虚拟摄像机的数量。11...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：