用于对表示全向视频的数据流进行编码和解码的方法技术

本发明专利技术涉及一种用于对表示全向视频的数据流进行编码的方法和一种编码装置，并且相关地，涉及一种用于对表示全向视频的数据流进行解码的方法和一种解码装置。根据本发明专利技术，表示全向视频的所述数据流包括表示2D或3D视频的至少一个基础层的编码数据，所述2D或3D视频表示由所述全向视频捕获的场景的视图，所述数据流还包括表示所述全向视频的至少一个增强层的编码数据，通过相对于所述至少一个基础层的预测对所述至少一个增强层进行编码。

【技术实现步骤摘要】
【国外来华专利技术】用于对表示全向视频的数据流进行编码和解码的方法
本专利技术属于视频压缩领域，且更具体地，属于用于对沉浸式或全向(例如在2D或3D中的180°、360°)视频进行编码和解码的

技术介绍
全向视频可以用于从中心点表示场景，并可以在各个方向上做到这一点。当使用整个场时，使用术语“360°视频内容”。也可以捕获场的子集，例如仅覆盖180°。可以单视场地(2D)或立体地(3D)捕获内容。可以通过组合由不同摄像机捕获的图像序列来生成这种类型的内容，或者可以由计算机合成地生成这种类型的内容(例如，在VR视频游戏中)。这种视频内容的图像能够实现经由适当的装置沿着任何方向渲染视频。用户可以控制显示所捕获场景的方向，并在每个可能的方向上连续导航。可以例如通过使用虚拟现实头盔来渲染这种360°视频内容，所述虚拟现实头盔为用户提供沉浸在由360°视频内容捕获的场景中的印象。这种360°视频内容需要适合于这种类型的内容的接收装置(例如，虚拟现实头盔)，以便提供用户沉浸和控制所显示的视图的功能。然而，大多数当前使用的视频内容接收器与这种类型的360°视频内容不兼容，并且只能渲染经典2D或3D视频内容。实际上，渲染360°视频内容需要对视频图像进行几何变换，以渲染所需的观看方向。因此，360°视频内容的广播与现有的视频接收器机群不向后兼容，并且仅限于适用于这种类型的内容的接收器。然而，可以观察到，专门为360°视频广播捕获的内容可能已经针对2D或3D视频广播捕获。在这种情况下，广播的是投影在平面上的整体360°内容。另外，由于需要发送尽可能多的格式的视频流，即同一所捕获场景的2D、3D、360°视图，因此同时广播以不同格式(2D或3D和360°)捕获的相同内容以解决不同的视频接收器的带宽成本很高。因此，需要优化表示场景的一部分(180°)或场景的整体(360°)的全向视频内容的编码和广播，并且单视场地(2D)或立体地(3D)如此进行。存在被称为可缩放视频编码的逐层视频编码的技术，所述技术用于在细化的几个连续层中对2D视频流进行编码，从而提供不同层级的2D视频的重建。例如，空间可缩放性能够实现在提高空间分辨率的几个层中对视频信号进行编码。PSNR(峰值信噪比)方面的可扩展性能够实现在提升质量的几个层中针对固定空间分辨率对视频信号进行编码。比色空间中的可扩展性能够实现在越来越宽的比色空间中呈现的若干层中对视频信号进行编码。然而，现有技术中没有一种能够生成表示场景的可以由经典2D或3D视频解码器以及360°视频解码器解码的视频数据流。美国文献2016/156917描述了一种用于视频的可扩展编码的方法，所述视频可以是多视图视频，并且其中多视图视频的每个视图在流的层中编码并且通过多视图视频的另一个视图来预测。
技术实现思路
本专利技术对现有技术进行了改进。为此，本专利技术涉及一种用于对表示全向视频的数据流进行编码的方法，包括：-在所述流中对表示2D或3D视频的至少一个基础层进行编码，所述2D或3D视频表示由全向视频(360°、180°等)捕获的同一场景的视图，-在所述流中对表示全向视频的至少一个增强层进行编码，通过相对于至少一个基础层的预测对至少一个增强层进行编码。当必须以2D视图以及360°视图或3D视图和3D-360°视图传输视频内容时，本专利技术因此而降低了视频流的传输成本。因此，经典2D或3D视频解码器将仅解码基础层或基础层之一以重建场景的2D或3D视频，并且兼容的360°解码器将解码一个或多个基础层或至少一个增强层以重建360°视频。使用至少一个基础层的预测来对增强层进行编码因此可以降低对增强层进行编码的成本。相关地，本专利技术还涉及一种用于对表示全向视频的数据流进行解码的方法，其包括：-从所述流中对表示2D或3D视频的至少一个基础层进行解码，所述2D或3D视频表示由全向视频捕获的同一场景的视图，-从所述流中对表示全向视频的至少一个增强层进行解码，通过相对于至少一个基础层的预测对至少一个增强层进行解码。术语“全向视频”在本文中被理解为同样等同地表示对其捕获了场的整体(360°)的场景的视频，以及针对其捕获了360°场的子部分的场景的视频，例如180°、160°、255.6°等。因此，全向视频表示对360°场的至少一个连续部分捕获的场景。根据本专利技术的一个具体实施例，相对于至少一个基础层预测增强层包括，为了编码或重建增强层的至少一个图像：-生成参考图像，通过将从至少一个基础层重建的被称为基础图像的图像几何投影在参考图像上来获得，-将所述参考图像存储在增强层的参考图像的存储器中。有利地，在增强层的图像的编码或解码期间，通过添加从基础层重建的图像被投影的参考图像来进行增强层中的预测。因此，新的参考图像被添加到增强层的参考图像的存储器中。此新的参考图像是通过某一时刻从基础层重建的所有基础图像的几何投影生成的。根据本专利技术的另一具体实施例，数据流包括一条信息，所述信息表示用于表示全向视频的几何投影的类型。根据本专利技术的另一具体实施例，由2D或3D视频表示的视图是从全向视频中提取的视图。根据本专利技术的另一具体实施例，数据流包括一条信息，所述信息表示用于提取全向视频的视图及其位置参数的几何投影的类型。根据一个变体，在360°视频的每个图像中在数据流中对表示所述基础图像的投影和位置的参数的所述条信息进行编码。有利地，此变体用于考虑用作增强层的预测的视图的场景中的移位。例如，基础层的视频的图像可以对应于在场景中移动时捕获的图像，例如以跟踪场景中运动的对象。例如，视图可以由运动中的摄像机捕获，或由位于场景中不同视点的多个摄像机连续捕获，例如在足球比赛期间跟踪球或球员。根据本专利技术的另一具体实施例，数据流包括至少两个基础层，每个基础层表示2D或3D视频，所述2D或3D视频分别表示场景的视图，所述至少两个基础层彼此独立地编码。因此，有可能在流中具有几个独立的基础层，从而可以独立地重建360°视频的几个2D或3D视图。根据本专利技术的另一具体实施例，借助于一组瓦片对增强层的图像进行编码，每个瓦片覆盖增强层的图像的区域，每个区域与增强层的图像的其它区域不同且分开，通过相对于至少一个基础层的预测对每个瓦片进行编码。对增强层进行解码包括：重建增强层的图像的一部分，重建图像的所述部分包括对覆盖将要重建的增强层的图像的部分的增强层的瓦片进行解码；以及对至少一个基础层进行解码，包括对用于预测覆盖将要重建的增强层的图像的部分的瓦片的基础层进行解码。本专利技术的这种具体实施例能够实现重建全向图像的仅一部分而不是整个图像。通常，仅重建用户正在观看的部分。因此，不必对视频流的所有基础层进行解码，甚至不必将它们发送到接收器。实际上，在用户无法同时看到全向视频的整个图像的情况下，有可能通过瓦片机制对全向图像进行编码，从而实现对全向图像区域的独立编码，以使得有可能对仅用户可见的全向图像的那些区域进行解码。...

【技术保护点】
1.一种用于对表示全向视频的数据流进行编码的方法，其特征在于，所述方法包括：/n在所述流中对表示2D或3D视频的至少一个基础层进行编码的步骤，所述2D或3D视频表示由所述全向视频捕获的同一场景的视图，/n在所述流中对表示所述全向视频的至少一个增强层进行编码的步骤，通过相对于所述至少一个基础层的预测对所述至少一个增强层进行编码。/n

【技术特征摘要】
【国外来华专利技术】20171019 FR 17598221.一种用于对表示全向视频的数据流进行编码的方法，其特征在于，所述方法包括：
在所述流中对表示2D或3D视频的至少一个基础层进行编码的步骤，所述2D或3D视频表示由所述全向视频捕获的同一场景的视图，
在所述流中对表示所述全向视频的至少一个增强层进行编码的步骤，通过相对于所述至少一个基础层的预测对所述至少一个增强层进行编码。


2.一种用于对表示全向视频的数据流进行解码的方法，其特征在于，所述方法包括：
从所述流中对表示2D或3D视频的至少一个基础层进行解码的步骤，所述2D或3D视频表示由所述全向视频捕获的同一场景的视图，
从所述流中对表示所述全向视频的至少一个增强层进行解码的步骤，通过相对于所述至少一个基础层的预测对所述至少一个增强层进行解码。


3.根据权利要求1或2所述的方法，其中相对于所述至少一个基础层预测所述增强层包括，为了编码或重建所述增强层的至少一个图像：
生成参考图像，通过将从所述至少一个基础层重建的被称为基础图像的图像几何投影在所述参考图像上来获得，
将所述参考图像存储在所述增强层的参考图像的存储器中。


4.根据权利要求3所述的方法，其中所述数据流包括一条信息，所述信息表示用于表示所述全向视频的几何投影的类型。


5.根据权利要求1至4中任一项所述的方法，其中由所述2D或3D视频表示的所述视图是从所述全向视频中提取的视图。


6.根据权利要求5所述的方法，其中所述数据流包括表示所述全向视频的图像中的所述基础图像的投影和位置的参数的一条信息，所述信息用于将所述基础图像投影在所述参考图像上。


7.根据权利要求6所述的方法，其中在所述全向视频的每个图像处在所述数据流中对表示所述基础图像的投影和位置的所述参数的所述条信息进行编码。


8.根据权利要求1至7中任一项所述的方法，其中所述数据流包括至少两个基础层，每个基础层表示2D或3D视频，所述2D或3D视频分别表示所述场景的视图，所述至少两个基础层彼此独立地编码。


9.根据权利要求8所述的解码方法，其中借助于一组瓦片对所述增强层的图像进行编码，每个瓦片覆盖所述增强层的所述图像的区域，每个区域与所述增强层的所述图像的其它区域不同且分开，通过...

【专利技术属性】
技术研发人员：蒂博·比亚特克，
申请(专利权)人：TDF公司，
类型：发明
国别省市：法国;FR