一种处理多层视频数据的方法、视频装置和计算机可读数据存储媒体制造方法及图纸

计算装置产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框。用于所述播放轨的媒体数据包括一连串样本。所述样本中的每一者为多层视频数据的视频存取单元。作为产生所述文件的部分，所述计算装置在所述文件中产生以文件记载含有至少一帧内随机存取点IRAP图片的所有所述样本的额外框。

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2013年10月23日申请的第61/894,886号美国临时专利申请案的权利，所述申请案的全部内容被以引用的方式并入本文中。
本专利技术涉及视频译码。
技术介绍
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此些标准的扩展中所描述的那些视频压缩技术。视频装置通过实施此些视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块(其也可被称作树块)、译码单元(CU)及/或译码节点。可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。空间或时间预测导致用于待编码的块的预测性块。残余数据表示经译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。经帧内译码块是根据帧内译码模式及残余数据来编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而导致可接着进行量化的残余变换系数。可扫描最初排列成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至较多压缩。
技术实现思路
一般来说，本专利技术涉及基于国际标准组织(ISO)基本媒体文件格式(ISOBMFF)将视频内容存储于文件中。本专利技术的一些实例涉及用于存储含有多个经译码层的视频流的方法，其中每一层可为可缩放层、纹理视图、深度视图等，且所述方法可适用于存储多视图高效率视频译码(MV-HEVC)、可缩放HEVC(SHVC)、三维HEVC(3D-HEVC)及其它类型的视频数据。在一个方面中，本专利技术描述一种处理多层视频数据的方法，所述方法包括：产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元，且产生所述文件包括：在所述文件中产生以文件记载含有至少一帧内随机存取点(IRAP)图片的所有所述样本的额外框。在另一方面中，本专利技术描述一种处理多层视频数据的方法，所述方法包括：从文件获得含有用于所述文件中的播放轨的元数据的播放轨框，其中用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；从所述文件获得以文件记载含有至少一IRAP图片的所有所述样本的额外框；及基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者。在另一方面中，本专利技术描述一种视频装置，所述视频装置包括：数据存储媒体，其经配置以存储多层视频数据；及一或多个处理器，其经配置以：产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元，且产生所述文件包括在所述文件中产生以文件记载含有至少一IRAP图片的所有所述样本的额外框。在另一方面中，本专利技术描述一种视频装置，所述视频装置包括：数据存储媒体，其经配置以存储多层视频数据；及一或多个处理器，其经配置以从文件获得含有用于所述文件中的播放轨的元数据的播放轨框，其中用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；从所述文件获得以文件记载含有至少一IRAP图片的所有所述样本的额外框；及基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者。在另一方面中，本专利技术描述一种视频装置，其包括：用于产生文件的装置，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元，且产生所述文件包括：在所述文件中产生以文件记载含有至少一IRAP图片的所有所述样本的额外框。在另一方面中，本专利技术描述一种视频装置，其包括：用于从文件获得含有用于所述文件中的播放轨的元数据的播放轨框的装置，其中用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；用于从所述文件获得以文件记载含有至少一IRAP图片的所有所述样本的额外框的装置；及用于基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者的装置。在另一方面中，本专利技术描述一种计算机可读数据存储媒体，其具有存储于其上的指令，所述指令当经执行时使一或多个处理器：产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元，为了产生所述文件，所述一或多个处理器在所述文件中产生以文件记载含有至少一IRAP图片的所有所述样本的额外框。在另一方面中，本专利技术描述一种计算机可读数据存储媒体，其具有存储于其上的指令，所述指令当经执行时使一或多个处理器：从文件获得含有用于所述文件中的播放轨的元数据的播放轨框，其中用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；从所述文件获得以文件记载含有至少一IRAP图片的所有所述样本的额外框；及基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者。在附图及以下描述中阐明本专利技术的一或多个实例的细节。其它特征、目标及优势将从描述、图式及权利要求书显而易见。附图说明图1为说明可使用本专利技术中描述的技术的实例视频编码及解码系统的框图。图2为说明可实施本专利技术中所描述的技术的实例视频编码器的框图。图3为本文档来自技高网...

【技术保护点】
一种处理多层视频数据的方法，所述方法包括：产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元，且产生所述文件包括：在所述文件中产生以文件记载含有至少一帧内随机存取点IRAP图片的所有所述样本的额外框。

【技术特征摘要】
【国外来华专利技术】2013.10.23 US 61/894,886;2014.10.22 US 14/521,0991.一种处理多层视频数据的方法，所述方法包括：
产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：
用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数
据的视频存取单元，且
产生所述文件包括：
在所述文件中产生以文件记载含有至少一帧内随机存取点IRAP图片的所有所述样本
的额外框。
2.根据权利要求1所述的方法，其中所述额外框定义以文件记载含有至少一IRAP图片
的所有所述样本的样本群组。
3.根据权利要求1所述的方法，其中产生所述文件进一步包括：
在所述文件中产生样本项，所述样本项包含指示所述一连串样本中的特定样本中的所
有经译码图片是否为IRAP图片的值。
4.根据权利要求3所述的方法，其中产生所述样本项包括：
当所述特定样本中并非所有经译码图片皆为IRAP图片时：
在所述样本项中包含指示所述特定样本中的IRAP图片的数目的值；及
在所述样本项中包含指示所述特定样本中的所述IRAP图片的层识别符的值。
5.根据权利要求3所述的方法，其中产生所述样本项包括：
在所述样本项中包含指示在所述特定样本的IRAP图片中的视频译码层VCL网络抽象层
NAL单元的NAL单元类型的值。
6.根据权利要求1所述的方法，其中：
产生所述文件包括在所述文件中产生包含以文件记载所述播放轨的同步样本的同步
样本表的同步样本框，
所述播放轨的每一同步样本为所述播放轨的随机存取样本，
如果存取单元中的每一经译码图片为IRAP图片，那么可缩放视频译码样本为同步样
本，且
如果所述存取单元中的每一经译码图片为无随机存取跳过前置RASL图片的IRAP图片，
那么多视图视频译码样本为同步样本。
7.根据权利要求1所述的方法，其进一步包括编码所述多层视频数据。
8.一种处理多层视频数据的方法，所述方法包括：
从文件获得含有用于所述文件中的播放轨的元数据的播放轨框，其中用于所述播放轨
的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；
从所述文件获得以文件记载含有至少一帧内随机存取点IRAP图片的所有所述样本的
额外框；及
基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者。
9.根据权利要求8所述的方法，其中所述额外框定义以文件记载含有至少一IRAP图片
的所有所述样本的样本群组。
10.根据权利要求8所述的方法，其中进一步包括：
从所述文件获得样本项，所述样本项包含指示所述一连串样本中的特定样本中的所有
经译码图片是否为IRAP图片的值。
11.根据权利要求10所述的方法，其包括：
当所述特定样本中并非所有经译码图片皆为IRAP图片时：
从所述样本项获得指示所述特定样本中的IRAP图片的数目的值；及
从所述样本项获得指示所述特定样本中的IRAP图片的层识别符的值。
12.根据权利要求10所述的方法，其包括：
从所述样本项获得指示在所述特定样本的IRAP图片中的视频译码层VCL网络抽象层
NAL单元的NAL单元类型的值。
13.根据权利要求8所述的方法，其进一步包括：
从所述文件获得包含以文件记载所述播放轨的同步样本的同步样本表的同步样本框，
所述播放轨的每一同步样本为所述播放轨的随机存取样本，
如果存取单元中的每一经译码图片为IRAP图片，那么可缩放视频译码样本为同步样
本，且
如果所述存取单元中的每一经译码图片为无随机存取跳过前置RASL图片的IRAP图片，
那么多视图视频译码样本为同步样本。
14.根据权利要求8所述的方法，其进一步包括在含有至少一IRAP图片的所述一或多个
样本中的一者处开始对所述多层视频数据的解码。
15.一种视频装置，其包括：
数据存储媒体，其经配置以存储多层视频数据；及
一或多个处理器，其经配置以：
产生文件，所述文件包括含有用于所述文件中的播放轨的元数据的播放轨框，其中：
用于所述播放轨的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数
据的视频存取单元，且
产生所述文件包括在所述文件中产生以文件记载含有至少一帧内随机存取点IRAP图
片的所有所述样本的额外框。
16.根据权利要求15所述的视频装置，其中所述额外框定义以文件记载含有至少一
IRAP图片的所有所述样本的样本群组。
17.根据权利要求15所述的视频装置，其中所述一或多个处理器经配置以：
在所述文件中产生样本项，所述样本项包含指示所述一连串样本中的特定样本中的所
有经译码图片是否为IRAP图片的值。
18.根据权利要求17所述的视频装置，其中所述一或多个处理器经配置以：
当所述特定样本中并非所有经译码图片皆为IRAP图片时：
在所述样本项中包含指示所述特定样本中的IRAP图片的数目的值；及
在所述样本项中包含指示所述特定样本中的所述IRAP图片的层识别符的值。
19.根据权利要求17所述的视频装置，其中所述一或多个处理器经配置以：
在所述样本项中包含指示在所述特定样本的IRAP图片中的视频译码层VCL网络抽象层
NAL单元的NAL单元类型的值。
20.根据权利要求15所述的视频装置，其中所述一或多个处理器经配置以在所述文件
中产生包含以文件记载所述播放轨的同步样本的同步样本表的同步样本框，
所述播放轨的每一同步样本为所述播放轨的随机存取样本，
如果存取单元中的每一经译码图片为IRAP图片，那么可缩放视频译码样本为同步样
本，且
如果所述存取单元中的每一经译码图片为无随机存取跳过前置RASL图片的IRAP图片，
那么多视图视频译码样本为同步样本。
21.根据权利要求15所述的视频装置，其中所述一或多个处理器经配置以编码所述多
层视频数据。
22.一种视频装置，其包括：
数据存储媒体，其经配置以存储多层视频数据；及
一或多个处理器，其经配置以：
从文件获得含有用于所述文件中的播放轨的元数据的播放轨框，其中用于所述播放轨
的媒体数据包括一连串样本，所述样本中的每一者为所述多层视频数据的视频存取单元；
从所述文件获得以文件记载含有至少一帧内随机存取点IRAP图片的所有所述样本的
额外框；及
基于所述额外框中的信息确定含有至少一IRAP图片的所述样本中的一或多者。
23.根据权利要求22所述的视频装置，其中所述额外框定义以文件记载含有至少一
IRAP图片的所有所述样本的样本群组。
24.根据权利要求22所述的视频装置，其中所述一或多个处理器经配置以：
从所述文件获得样本项，所述样本项包含指示所述一连串样本中的特定样本中的所有
经译码图片是否为IRAP图片的值。
25.根据权利要求24所述的视频装置，其中所述一或多个处理器经配置以：
当所述特定样本中并非所有经译码图片皆为IRAP图片时：
从所述样本项获得指示所述特定样本中的IRAP图片的数目的值；及
从所述样本项获得指示所述特定样本中的所述IRAP图片的层识别符的值。
26.根据权利要求24所述的视频装置，其中所述一或多个处理器经配置以：
从所述样本项获得指示在所述特定样本的IRAP图片中的视频译码层VCL网络抽象层
NAL单元的NAL单元类型的值。
27.根据权利要求22所述的视频装置，其中所述一或多个处理器经配置以：
从所述文件获得包含以文件记载所述播放轨的同步样本的同步样本表的同步样本框，
所述播放轨的每一同步样本为所述播放轨的随机存取样本，
如果存取单元中的每一经译码图片为IRAP图片，那么可缩放视频译码样本为同步样
本，且
如果所述存取单元中的每一经译码图片为无随机存取跳过前置RASL图片的IRAP图片，
那么多视图视频译码样本为同步样本。
28.根据权利要求22所述的视频装置，其中所述一或多个处理器经配置以在含有至少
一IRAP图片的所述一或多个样本中的一者处开始对所述多层视频数据的解码。
2...

【专利技术属性】
技术研发人员：王益魁，陈颖，阿达许·克里许纳·瑞玛苏布雷蒙尼安，伏努·亨利，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US