立体全向帧打包制造技术

使得能够进行与诸如具有等矩形投影的立体全向视频的全向视频有关的视频编码和解码的方法和设备。对于场景的立体图像，将视频图像数据进行分割、重采样和布置，以使表示两个图像的部分都可以适合于帧。随帧发送消息，以描述重采样或布置信息。在至少一个实施例中，重采样是水平进行的。在至少一个实施例中，消息在补充增强信息消息内发送。对应的操作在解码器处逆转该过程，使得能够重新创建两个立体图像。

3D omnidirectional frame packing

【技术实现步骤摘要】
【国外来华专利技术】立体全向帧打包
以下描述的方面一般涉及视频压缩领域，并且尤其涉及全向视频领域。
技术介绍
近来，可用的大视场内容(高达360°)已经有了增长。用户在诸如头戴式显示器(HMD)、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容时，可能无法完全看到这样的内容。这意味着在给定时刻，用户可能仅在观看内容的一部分。然而，典型地，用户可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种方式在内容内导航。典型地，期望对该内容进行编码和解码。
技术实现思路
通过所描述的实施例中的至少一个，解决了现有技术的这些和其他不足和缺点，这些实施例针对用于打包立体全向视频的方法和装置，其改善了这种内容在帧打包框架中的紧凑性(compacity)，该帧打包框架包括相同编码帧中的两个(左和右)视点。在所描述的实施例中的至少一个中，考虑到全向内容的特殊性，在帧打包的上下文中重新定义立体帧的布置，从而提高了最终压缩效率。在至少一个实施例中，提供了一种方法。该方法包括以下步骤：在对应的时间对表示场景的至少两个视图的视频图像部分进行重采样；布置至少两个视图的重采样部分，以使得所述布置的重采样部分适合于帧；对帧进行编码，所述帧包括指示所述布置和重采样操作中的至少一个的消息。在至少另一实施例中，提供了一种方法。该方法包括以下步骤：从比特流对视频的帧进行解码，所述帧也包括消息；从所述解码的帧中提取至少两个视图的部分；对至少两个视图的所述提取的部分进行重采样；以及将所述重采样的提取的部分布置成表示至少两个视图的视频图像，其中，所述提取、重采样和布置中的至少一个基于所述消息。在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，对表示两个视图的图像使用水平重采样。在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，消息位于补充增强信息消息中。在另一实施例中，提供了一种根据前述方法中的任一种的方法，其中，消息传达关于每个视图的每个图像被划分成的部分的数量以及水平重采样比率的信息。在另一实施例中，提供了一种装置。该装置包括存储器和处理器。处理器被配置为执行前述方法实施例的任何变型，以进行编码或解码。根据本文描述的另一方面，提供了一种非暂时性计算机可读存储介质，包含根据前述方法实施例中任一个的方法或由前述装置实施例中任一个的装置生成的数据内容，以用于使用处理器进行回放。根据本文描述的另一方面，提供了一种信号，包括根据用于对视频数据块进行编码的前述方法实施例中的任一个的方法或由用于对视频数据块进行编码的上述装置实施例中的任一个的装置生成的视频数据，以用于使用处理器进行回放。根据本文描述的另一方面，提供了一种包括指令的计算机程序产品，当由计算机运行程序时，该指令使计算机执行前述方法实施例中的任一个的方法。通过以下结合附图对示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。附图说明图1图示了根据特定且非限制性实施例的用于对全向视频进行编码和解码的示例性系统，图2-6图示了根据各种实施例的被配置为对沉浸式视频进行解码、处理和呈现的系统，图7-9表示根据各种实施例的具有沉浸式墙的系统，该沉浸式墙被配置为对沉浸式视频进行解码、处理和呈现，以及图10-12表示根据各种实施例的沉浸式视频呈现设备。图13A和13B图示了从球面S到矩形图片F上的投影的示例，图14A和14B图示了从立方表面S到六张图片上的投影以及在2D图片上投影的立方体的六个面的布局的示例，图15A和图15B图示了表示全向视频的3D表面的投影图片F中的运动对象，以及在投影图片的块划分中的对应运动矢量。图16A和16B图示了从帧坐标到呈现的帧以及从呈现的帧到编码的帧的映射。图17图示了视频解码器的示例流程图实施例，可以将本文描述的一般方面应用于该视频解码器。图18图示了可以将所描述的方面应用于其的编码器的示例。图19图示了可以将所描述的方面应用于其的解码器的另一示例。图20图示了使用四叉树分割将经典块细分(subdivision)为正方形编码树单元(CTB和CB)。图21图示了等矩形映射，示出了强度变化，该强度变化描绘了顶部和底部的水平像素密度，水平密度是与赤道的垂直的角度的函数。图22示出了经典的顶底帧打包布置。图23示出了区块或图像部分的分布，其水平尺寸取决于等矩形帧中像素的分辨率。图24示出了左视图和右视图的打包分布的示例。图25示出了以单个编码的序列发送和接收两个视图的流程示意图的实施例。图26示出了带有子采样区块的图像的示例。图27示出了所提出的帧打包分布的示例。图28示出了具有四个部分或区块的示例。图29图示了根据所描述的方面的编码方法的一个实施例。图30图示了根据所描述的方面的解码方法的一个实施例。图31图示了根据所描述的方面的用于编码或解码的装置的一个实施例。具体实施方式通常将全向内容投影到给定的布局上，以便将要进行编码/解码的最终内容适合于便于由现有编解码器进行处理的矩形帧。取决于映射，可能会引入几何失真，这会损害压缩性能。特别地，在处理等矩形投影(ERP)映射时，运动矢量预测可能不适合。以下实施例也可以扩展到具有类似特性的其他映射。将所描述的实施例中的至少一个用于适合于立体全向视频映射的帧打包中。对现有技术进行了一些改进。大视场内容尤其可以是三维计算机图形图像场景(3DCGI场景)、点云或沉浸式视频。可以使用许多术语来设计这样的沉浸式视频，例如，诸如虚拟现实(VR)、360、全景、4π、球面弧度、沉浸式、全向、大视场。沉浸式视频通常指代在矩形帧上编码的视频，该矩形帧是像“常规”视频的二维像素(即颜色信息的元素)阵列。在许多实施方式中，可以执行以下过程。要进行呈现，首先将帧映射到凸体积的内表面上，也称为映射表面(例如，球体、立方体、金字塔)，其次，该体积的一部分被虚拟相机捕获。由虚拟相机捕获的图像在沉浸式显示设备的屏幕上进行呈现。立体视频在一个或两个矩形帧上进行编码，并投影在两个映射表面上，该两个映射表面根据设备的特性进行组合，以由两个虚拟相机捕获。可以根据帧中的映射函数对像素进行编码。映射函数可以取决于映射表面。对于同一映射表面，可能有几种映射函数。例如，立方体的面可以根据帧表面内的不同布局来构造。例如，可以根据等矩形投影或球形投影映射球体。由所选投影函数产生的像素组织会修改或破坏线的连续性、正交局部帧、像素密度，并引入时间和空间的周期性。这些是用于对视频进行编码和解码的典型特征。现有的编码和解码方法通常不考虑沉浸式视频的特殊性。实际上，由于沉浸式视频可以是360°视频，因此，平移会例如引入运动和不连续性，这些运动和不连续性需要大量的数据进行编码，而场景的内容不会发生变化。在对视频帧进行编码和解码时，考虑沉浸式视频的特殊性将为本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在对应的时间对表示场景的至少两个视图的视频图像的部分进行重采样；/n布置所述至少两个视图的重采样部分，以使得所述布置的重采样部分适合于帧；/n对所述帧进行编码，所述帧包括指示所述布置和重采样操作中的至少一个的消息。/n

【技术特征摘要】
【国外来华专利技术】20171020 EP 17306428.81.一种方法，包括：
在对应的时间对表示场景的至少两个视图的视频图像的部分进行重采样；
布置所述至少两个视图的重采样部分，以使得所述布置的重采样部分适合于帧；
对所述帧进行编码，所述帧包括指示所述布置和重采样操作中的至少一个的消息。


2.一种方法，包括：
从比特流对视频的帧进行解码，所述帧也包括消息；
从所述解码的帧中提取至少两个视图的部分；
对所述至少两个视图的所述提取的部分进行重采样；以及
将所述重采样的提取的部分布置成表示所述至少两个视图的视频图像，其中，所述提取、重采样和布置中的至少一个基于所述消息。


3.一种用于对视频数据的至少部分进行编码的装置，包括：
存储器，以及
处理器，被配置为执行：
在对应时间对表示场景的至少两个视图的视频图像的部分进行重采样；
布置所述至少两个视图的重采样部分，以使得所述布置的重采样部分适合于帧；
对所述帧进行编码，所述帧包括指示所述布置和重采样操作中的至少一个的消息。


4.一种用于对视频数据的至少部分进行解码的装置，包括：
存储器，以及
处理器，被配置为执行：
从比特流对视频的帧进行解码，所述帧也包括消息；
从所述解码的帧中提取至少两个视图的部分；
对所述至少两个视图的所述提取的部分进行重采样；以及
将所述重采样的提取的部分布置成表示所述至少两个视图的视频图像，其中，所述提取、重采样和布置中的至少一个基于所述消息。


5.根据权利要求1或2所述的方法，或者根据...

【专利技术属性】
技术研发人员：F拉卡普，F加尔平，A罗伯特，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US