分层HEVC文件格式中的轨道和操作点信令的设计制造技术

本发明专利技术提供用于产生用于多层视频数据的输出文件的技术和系统，其中所述输出文件是根据文件格式而产生。还提供用于处理根据所述文件格式产生的输出文件的技术和系统。所述多层视频数据可以是例如使用L‑HEVC视频编码算法经编码的视频数据。所述文件格式可基于ISO基础媒体文件格式ISOBMFF。所述输出文件可包含多个轨道。产生所述输出文件可包含根据限制产生所述输出文件。所述限制可以是所述多个轨道中的每一轨道包括来自所述多层视频数据的至多一个层。也可以根据所述多个轨道中的每一者不包含聚合器或提取器中的至少一者的限制来产生所述输出文件。

Design of track and operating point signaling in layered HEVC file format

The present invention provides a technique and a system for producing an output file for multi-layer video data, in which the output file is generated according to a file format. The technology and system for processing output files generated according to the format of the file are also provided. The multilayer video data can be for example using L HEVC video encoding algorithm by encoding the video data. The file format may be based on the ISO basic media file format ISOBMFF. The output file may include a plurality of tracks. The production of the output file may include the production of the described output file according to the limitation. The limitation may be that each track of the plurality of tracks includes at most one layer from the multi-layer video data. Can also according to each of the plurality of tracks do not contain the aggregator or extractor in at least one of the constraints to generate the output file.

【技术实现步骤摘要】
【国外来华专利技术】分层HEVC文件格式中的轨道和操作点信令的设计
本公开涉及呈文件格式的视频内容的存储。更具体来说，本专利技术涉及在根据ISO基础媒体文件格式和基于ISO基础媒体文件格式导出的文件格式形成的一或多个文件中的分层高效视频译码(L-HEVC)位流的存储的轨道和操作点信息的设计。
技术介绍
视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual、ITU-TH.264或ISO/IECMPEG-4AVC，包含分别称为SVC和MVC的可缩放视频译码和多视图视频译码扩展，以及也被称作ITU-TH.265和ISO/IEC23008-2的高效视频译码(HEVC)，包含可缩放译码(可缩放高效视频译码、SHVC)和多视图(多视图高效视频译码、MV-HEVC)扩展。
技术实现思路
在各种实施方案中，提供用于产生用于多层视频数据的输出文件的技术和系统，其中所述输出文件是根据文件格式而产生。还提供用于处理根据所述文件格式产生的输出文件的技术和系统。所述多层视频数据可以是例如使用分层高效视频译码(L-HEVC)视频编码算法经编码的视频数据。文件格式可以基于ISO基础媒体文件格式(ISOBMFF)。在各种实施方案中，可提供用于产生输出文件的方法。所述方法可包含处理多层视频数据，例如使用基于L-HEVC的算法产生的视频数据。所述多层视频数据可包含多个层，其中每一层可包含至少一个图片单元。图片单元可包含至少一个视频译码层(VCL)网络抽象层(NAL)单元，且还可包含与所述图片单元相关联的非VCLNAL单元。所述方法可进一步包含使用格式产生用于多层视频数据的输出文件。所述输出文件可包含多个轨道。产生所述输出文件可包含根据限制产生所述输出文件。所述限制可以是所述多个轨道中的每一轨道包括来自所述多层视频数据的至多一个层。也可以根据所述多个轨道中的每一者不包含聚合器或提取器中的至少一者的限制来产生所述输出文件。聚合器可包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构。提取器可包含实现NAL单元从除了含有媒体数据的轨道之外的其它轨道的提取的结构。在各种实施方案中，提供包含一或多个处理器和非暂时性计算机可读媒体的设备。文件。所述设备可以是例如视频编码装置。所述非暂时性计算机可读媒体可包含当由所述一或多个处理器执行时致使所述一或多个处理器执行用于产生输出文件的操作的指令。在各种实施方案中，所述指令可致使所述一或多个处理器执行包含处理多层视频数据的操作。所述多层视频数据可包含多个层，其中每一层可包含至少一个图片单元。图片单元可包含至少一个VCLNAL单元，且还可包含与图片单元相关联的非VCLNAL单元。所述指令可进一步致使所述一或多个处理器执行包含使用格式产生用于多层视频数据的输出文件的操作。所述输出文件可包含多个轨道。产生输出文件可包含根据限制产生输出文件。所述限制可以是所述多个轨道中的每一轨道包括来自所述多层视频数据的至多一个层。所述输出文件也可根据所述多个轨道中的每一者不包含聚合器或提取器中的至少一者的限制而产生。聚合器可包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构。提取器可包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。在各种实施方案中，提供有形地体现于非暂时性机器可读存储媒体中的计算机程序产品。所述计算机程序产品可包含在由一或多个处理器执行时致使所述一或多个处理器产生输出文件的指令。在各种实施方案中，所述指令可致使所述一或多个处理器处理多层视频数据。所述多层视频数据可包含多个层，其中每一层可包含至少一个图片单元。图片单元可包含至少一个VCLNAL单元，且还可包含与图片单元相关联的非VCLNAL单元。所述指令可进一步致使所述一或多个处理器使用格式产生用于多层视频数据的输出文件。所述输出文件可包含多个轨道。产生输出文件可包含根据限制产生输出文件。所述限制可以是所述多个轨道中的每一轨道包括来自所述多层视频数据的至多一个层。所述输出文件也可根据所述多个轨道中的每一者不包含聚合器或提取器中的至少一者的限制而产生。聚合器可包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构。提取器可包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。在各种实施方案中，提供包含用于产生输出文件的装置的设备。所述设备可包含用于处理多层视频数据的装置。所述多层视频数据可包含包含多个层的视频数据。来自所述多个层的每一层可包含至少一个图片单元。图片单元可包含至少一个VCLNAL单元且还可包含与多层视频数据相关联的非VCLNAL单元。所述设备可进一步包含用于产生与多层视频数据相关联的输出文件的装置。所述输出文件可使用格式而产生。所述输出文件可进一步包含多个轨道。产生输出文件可包含用于根据限制产生输出文件的装置。所述限制可以是来自所述多个轨道的每一轨道包括来自多层视频的至多上层。产生输出文件可进一步包含来自所述多个轨道的每一轨道不包含聚合器或提取器中的至少一者的限制。聚合器可包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构。提取器可包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。在各种实施方案中，产生用于多层视频数据的输出文件可进一步包括使样本条目名称与输出文件关联。所述样本条目名称可指示输出文件中的所述多个轨道中的每一轨道包含至多层。所述样本条目可进一步指示来自所述多个轨道的每一轨道不包含聚合器或提取器中的至少一者。在各种实施方案中，样本条目名称可以是文件类型。文件类型可包含在输出文件中。在各种实施方案中，产生输出文件可进一步包含不产生轨道内容信息(tcon)盒。在各种实施方案中，产生输出文件可进一步包含产生用于所述一或多个轨道中的每一者的层识别符。层识别符可识别包含在轨道中的层。在各种实施方案中，产生输出文件可进一步包含产生操作点信息(oinf)盒。oinf盒可包含包含在多层视频数据中的一或多个操作点的列表。操作点可与一或多个层相关联。oinf盒可指示所述多个轨道中的哪些含有与所述一或多个操作点中的每一者相关联的层。在各种实施方案中，所述多层视频数据可进一步包含一或多个时间子层。在此实施方案中，产生输出文件可包含约束所述格式以使得来自所述多个轨道的每一轨道包含来自多层视频数据的至多一个层或一个时间子层。在各种实施方案中，所述多层视频数据可以是L-HEVC视频数据。在各种实施方案中，输出文件的格式可包含ISO基础媒体文件格式。在各种实施方案中，提供用于处理输出文件的方法。所述方法可包含处理输出文件的样本条目名称。输出文件可与多层视频数据相关联。所述多层视频数据可包含多个层，其中每一层包含至少一个图片单元。图片单元可包含至少一个视频译码层(VCL)网络抽象层(NAL)单元。图片单元还可包含与多层视频数据相关联的非VCLNAL单元。所述输出文件可进一步包含多个轨道。所述方法可进一步包含基于输出文件的样本条目名本文档来自技高网...

【技术保护点】
一种用于对视频数据进行编码的装置，其包括：存储器，其经配置以存储所述视频数据；以及视频编码装置，其与所述存储器通信，其中所述视频编码装置经配置以：处理多层视频数据，所述多层视频数据包含多个层，每一层包括至少一个图片单元，所述至少一个图片单元包含至少一个视频译码层VCL网络抽象层NAL单元和任何相关联的非VCL NAL单元；使用格式产生与所述多层视频数据相关联的输出文件，其中所述输出文件包含多个轨道，其中产生所述输出文件包含根据所述多个轨道中的每一轨道包括所述多层视频数据的仅一个层的限制以及所述多个轨道中的每一轨道不包含聚合器或提取器中的至少一者的限制而产生所述输出文件，聚合器包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构，且提取器包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。

【技术特征摘要】
【国外来华专利技术】2015.06.18 US 62/181,196;2016.06.16 US 15/184,9301.一种用于对视频数据进行编码的装置，其包括：存储器，其经配置以存储所述视频数据；以及视频编码装置，其与所述存储器通信，其中所述视频编码装置经配置以：处理多层视频数据，所述多层视频数据包含多个层，每一层包括至少一个图片单元，所述至少一个图片单元包含至少一个视频译码层VCL网络抽象层NAL单元和任何相关联的非VCLNAL单元；使用格式产生与所述多层视频数据相关联的输出文件，其中所述输出文件包含多个轨道，其中产生所述输出文件包含根据所述多个轨道中的每一轨道包括所述多层视频数据的仅一个层的限制以及所述多个轨道中的每一轨道不包含聚合器或提取器中的至少一者的限制而产生所述输出文件，聚合器包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构，且提取器包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。2.根据权利要求1所述的装置，其中所述视频编码装置进一步经配置以：使样本条目名称与所述输出文件关联，其中所述样本条目名称指示所述输出文件的所述多个轨道中的每一轨道包括仅一个层且指示所述多个轨道中的每一轨道不包含所述聚合器或所述提取器中的至少一者。3.根据权利要求2所述的装置，其中识别符是文件类型，且其中所述文件类型包含在所述输出文件中。4.根据权利要求1所述的装置，其中所述视频编码装置进一步经配置以不产生轨道内容信息tcon盒。5.根据权利要求1所述的装置，其中所述视频编码装置进一步经配置以产生用于所述一或多个轨道中的每一者的层识别符，其中层识别符识别包含在轨道中的层。6.根据权利要求1所述的装置，其中所述视频编码装置进一步经配置以产生操作点信息oinf盒，其中所述oinf盒包含包含在所述多层视频数据中的一或多个操作点的列表，其中操作点与一或多个层相关联，且其中所述oinf盒指示所述一或多个轨道中的哪些含有与所述一或多个操作点中的每一者相关联的层。7.根据权利要求1所述的装置，其中所述多层视频数据进一步包含层子集，其中所述层子集包含一或多个时间子层，且其中视频编码装置进一步经配置以根据来自所述一或多个轨道的每一轨道包含来自所述多层视频数据的至多一个层或一个层子集的限制而产生所述输出文件。8.根据权利要求1所述的装置，其中所述多层视频数据是分层高效视频译码L-HEVC视频数据。9.根据权利要求1所述的装置，其中所述输出文件的所述格式包含国际标准组织ISO基础媒体文件格式。10.一种用于对视频数据进行解码的装置，其包括：存储器，其经配置以存储所述视频数据；以及视频解码装置，其与所述存储器通信，其中所述视频解码装置经配置以：处理与多层视频数据相关联的输出文件的样本条目名称，所述多层视频数据包含多个层，每一层包括至少一个图片单元，所述至少一个图片单元包含至少一个视频译码层VCL网络抽象层NAL单元和任何相关联非VCLNAL单元，所述输出文件包括多个轨道；以及基于所述输出文件的样本条目名称确定所述输出文件的所述多个轨道中的每一轨道包括所述多个层中的仅一个层且所述多个轨道中的每一者不包含聚合器或提取器中的至少一者，聚合器包含通过将NAL单元的不规则模式改变为聚合数据单元的规则模式而实现NAL单元的可缩放分组的结构，且提取器包含实现NAL单元从除了含有媒体数据的轨道之外的轨道的提取的结构。11.根据权利要求10所述的装置，其中所述样本条目名称是文件类型，且其中所述文件类型包含在所述输出文件中。12.根据权利要求10所述的装置，其中所述输出文件不包含轨道内容信息tcon盒。13.根据权利要求10所述的装置，其中所述输出文件包含用于所述一或多个轨道中的每一者的层识别符，其中层识别符识别包含在轨道中的层。14.根据权利要求10所述的装置，其中所述输出文件包含操作点信息oinf盒，其中所述oinf盒包含包含在所述视频数据中的一或多个操作点的列表，其中操作点与一或多个层相关联，且其中所述oinf盒指示所述一或多个轨道中的...

【专利技术属性】
技术研发人员：伏努·亨利，王业奎，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US