自由视图视频解码制造技术

提供了一种视频解码的方法、计算机程序和计算机系统。接收包括包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。解码所述视频数据。解码所述视频数据。

【技术实现步骤摘要】
【国外来华专利技术】自由视图视频解码
相关申请的交叉引用
[0001]本申请要求2021年5月20日提交的第17/325,496号美国专利申请的优先权，该专利申请要求于2020年8月24日提交的第63/069,371号美国临时申请的优先权，这些申请的全部内容通过引用方式并入本文。

技术介绍

[0002]本公开总体上涉及数据处理领域，尤其是视频编码、解码和视频流化。
[0003]沉浸式视频是同时记录多个方向上的视图的视频记录，使用全向相机或一组相机拍摄。在普通平面显示器上回放期间，观看者可以像全景图一样控制观看方向。沉浸式视频也可以在布置在球面或球面的某些部分上的显示器或投影仪上播放。对于支持3自由度(3DoF)的沉浸式媒体的已编码表示，观看者的位置是静态的，但是其头部可以偏转、俯仰和翻滚。除3自由度方向之外，6自由度(6DoF)允许在水平、垂直和深度方向上平移。支持平移实现交互式运动视差，能够向观看者提供对其视觉系统的自然提示，并且导致对观看者周围的体积的感知增强。

技术实现思路

[0004]实施例涉及视频解码的方法、系统和计算机可读介质。根据一个方面，提供了一种视频解码的方法。该方法可以包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
[0005]根据另一方面，提供了一种视频解码的计算机系统。计算机系统可以包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备，以及存储在一个或多个存储设备中的至少一个上的程序指令，以供一个或多个处理器中的至少一个经由一个或多个存储器中的至少一个执行，由此计算机系统能够执行一种方法。该方法可以包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
[0006]根据另一方面，提供了一种视频解码的计算机可读介质。计算机可读介质可以包括一个或多个计算机可读存储设备和存储在一个或多个有形存储设备中的至少一个上的程序指令，这些程序指令可由处理器执行。程序指令可由处理器执行，以执行一个方法，所述方法相应地包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。包括：接收代码，被配置为使所述一个或多个计算机处理器接收视频数据，所述视频数据包括一个或多个视图；生成代码，被配置为使所述一个或多个计算机处理器基于已
接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图；以及解码代码，被配置为使一个或多个计算机处理器基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
附图说明
[0007]从下面结合附图阅读的示例性实施例的详细描述中，本申请上述的和其它目的、特征和优点将变得显而易见。附图的各种特征未按比例绘制，因为图示是为了清楚起见，以便于本领域技术人员结合详细描述对本申请技术方案进行理解。在附图中：图1示出了根据至少一个实施例的联网计算机环境；图2A是根据至少一个实施例的系统的框图；图2B
‑
2I是根据至少一个实施例的沉浸式视频的拼接布局；图3A
‑
3C是根据至少一个实施例的拼接布局说明表；图3D
‑
3E是根据至少一个实施例的语法元素表；图4是根据至少一个实施例说明由视频解码程序执行的步骤的操作流程图，所述视频解码程序基于对来自多个相机的纹理和深度图像进行排列；图5是根据至少一个实施例的图1中所示的计算机和服务器的内部组件和外部组件的框图；图6是根据至少一个实施例的包括图1所示的计算机系统的示例性云计算环境的框图；以及图7是根据至少一个实施例的图6所示的示例性云计算环境的功能层的框图。
具体实施方式
[0008]本申请公开了所要求保护的结构和方法的具体实施例。然而，应当理解的是，所公开的实施例仅是可以以各种形式体现的所要求保护的结构和方法的示例。然而，这些结构和方法可以以许多不同的形式来体现，并且不应被解释为限于本申请所描述的示例性实施例。相反，提供这些示例性实施例是为了使本申请更加全面和完整，并且将范围完全传达给本领域技术人员。在说明书中，可以省略公知的特征和技术的细节，以避免不必要地混淆所呈现的实施例。
[0009]实施例总体上涉及数据处理领域，更具体地，涉及视频编码，解码和视频流化。以下描述的示例性实施例提供了一种视频解码的系统、方法和计算机程序，用于排列来自多个相机的纹理和深度图像等。因此，一些实施例具有通过允许改进的自由视点视频编码和解码来改进计算领域的能力。
[0010]如前所述，沉浸式视频是同时记录多个方向上的视图的视频记录，使用全向相机或一组相机拍摄。在普通平面显示器上回放期间，观看者可以像全景图一样控制观看方向。沉浸式视频也可以在布置在球面或球面的某些部分上的显示器或投影仪上播放。对于支持3自由度(3DoF)的沉浸式媒体的已编码表示，观看者的位置是静态的，但是其头部可以偏转、俯仰和翻滚。除3自由度方向之外，6自由度(6DoF)允许在水平、垂直和深度方向上平移。支持平移实现交互式运动视差，能够向观看者提供对其视觉系统的自然提示，并且导致对观看者周围的体积的感知增强。
[0011]然而，对于给定的瞬间，来自多个视口的纹理和深度图像被拼接在一起，形成一幅复合图片。复合图片将通过视频编码器进行压缩。然而，由于纹理图像和深度图像具有完全不同的特征，因此在对复合图像进行编解码时，由于纹理图像和深度图像之间的边界特征不同，编码效率会降低。此外，输入的深度图像仅包含Y分量，并且可以使用yuv400采样格式的编码器进行编码，从而实现更快的编码/解码操作，因为不需要处理U和V分量。然而，由于拼接操作，深度图像必须转换为yuv420格式，因此禁止使用yuv400采样格式的编码器/解码器。因此，将来自多个相机的纹理和深度图像排列用于视频编解码以改进自由视图视频，可能是有利的。
[0012]参考各个实施例的方法、装置(系统)和计算机可读存储介质的流程图和/或框图来描述各个方面。应当理解，流程图和/或框图中的每个框、以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0013]以下描述的示例性实施例提供了一种去除视频数据的噪声的的系统、方法和计算机程序。图1是一种联网计算机环境的功能框图，其示出了基于增加的视频拼接布置进行视频编解码的视频编解码系统100(以下称为“系统”)。应当理解，图1仅提供了一种实施方式的图示，并不暗示对可以实现不同实施例的环境的任何限制。基于设计本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由处理器执行的视频解码的方法，其特征在于，包括：接收视频数据，所述视频数据包括一个或多个视图；基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图；以及基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。2.根据权利要求1所述的方法，其中，所述复合深度图像包括基于将所述一个或多个视图划分成一个或多个组的一个或多个子图像。3.根据权利要求1所述的方法，其中，所述复合纹理图像包括基于将所述一个或多个视图划分成一个或多个组的一个或多个子图像。4.根据权利要求1所述的方法，其中，宽度值和高度值在与已接收的所述视频数据相关联的码流中用信号表示，所述宽度值和所述高度值与所述复合深度图像和所述复合纹理图像相关联。5.根据权利要求1所述的方法，其中，所述视频数据是基于与所述复合深度图像和所述复合纹理图像对应的拼接布局解码的。6.根据权利要求1所述的方法，其中，所述复合深度图像是基于与所述一个或多个视图对应的下采样深度信息生成的。7.根据权利要求6所述的方法，其中，所述下采样率在与已接收的所述视频数据相关联的码流中用信号表示。8.一种视频解码的计算机系统，所述计算机系统包括：一个或多个计算机可读非暂时性存储介质，被配置为存储计算机程序代码；和一个或多个计算机处理器，被配置为访问所述计算机程序代码，并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：接收代码，被配置为使所述一个或多个计算机处理器接收视频数据，所述视频数据包括一个或多个视图；生成代码，被配置为使所述一个或多个计算机处理器基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图；以及解码代码，被配置为使一个或多个计算机处理器基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。9.根据权利要求8所述的计算机系统，其中，所述复合深度图像包括基于将所述一个或多个视图划分成一个或多个组的一个或...

【专利技术属性】
技术研发人员：高文，田军，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：