一种解码视频数据的方法和装置、以及非暂时性计算机可读数据存储媒体制造方法及图纸

本发明专利技术提供一种装置，其可基于值而确定是否帧内随机存取点IRAP存取单元的所有跨层随机存取跳过CL‑RAS图片都存在于视频数据位流中。另外，所述装置可至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片。

【技术实现步骤摘要】
【国外来华专利技术】一种解码视频数据的方法和装置、以及非暂时性计算机可读数据存储媒体本申请案主张2013年6月3日申请的美国临时专利申请案第61/830,512号的权利，所述案的全部内容以引用方式并入本文中。
本专利技术涉及视频编码和解码。
技术介绍
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(personaldigitalassistant,PDA)、膝上型或桌上型计算机、平板计算机、电子书读取器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓“智能型电话”、视频电传会议装置、视频流式传输装置，和其类似者。数字视频装置实施例如以下各者的视频压缩技术：描述于由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分(先进视频译码(AdvancedVideoCoding,AVC))定义的标准、高效率视频译码(HighEfficiencyVideoCoding,HEVC)标准和这些标准的扩展中的视频压缩技术。视频装置可通过实施这些视频压缩技术而较有效率地发射、接收、编码、解码和/或存储数字视频信息。视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以缩减或去除视频序列中所固有的冗余。对于以块为基础的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码帧间译码块。根据帧内译码模式和残余数据来编码帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而引起残余系数，可接着量化所述残余系数。可扫描最初以二维阵列布置的经量化系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多压缩。可通过编码视图(例如，从多个视点)而产生多视图译码位流。已开发使用多视图译码方面的一些三维(3D)视频标准。例如，不同视图可传输左眼视图和右眼视图以支持3D视频。替代地，一些3D视频译码过程可应用所谓多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量，而且含有深度视图分量。例如，每一视图可包括一个纹理视图分量和一个深度视图分量。
技术实现思路
一般来说，本专利技术的一或多个技术定义对于视频译码过程在可未被正确地解码的增强层图片不存在于位流中时的额外一致性。此外，本专利技术的一或多个技术定义当解码初始帧内随机存取点(IRAP)存取单元(AU)的跨层随机存取跳过(CL-RAS)图片时且当指示CL-RAS图片未经输出时的用于不可用参考图片的完整解码过程，且提供用于当CL-RAS图片存在或不存在的两种状况的假设的参考解码器(HRD)参数。在一个实例中，本专利技术描述一种解码视频数据的方法，所述方法包括：基于值确定是否IRAP存取单元的所有CL-RAS图片都存在于视频数据位流中；和至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片。在另一实例中，本专利技术描述一种处理视频数据的方法，所述方法包括：产生设定指定IRAP存取单元的CL-RAS图片是否存在于位流中的变量的SEI消息，所述位流包含形成经译码图片和相关联数据的表示的位序列；和将所述SEI消息包含于所述位流中。在另一实例中，本专利技术描述一种装置，其包括：数据存储媒体，其经配置以存储视频数据；和一或多个处理器，其经配置以：基于值确定是否IRAP存取单元的所有CL-RAS图片都存在于视频数据位流中；和至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片。在另一实例中，本专利技术描述一种装置，其包括：数据存储媒体，其经配置以存储视频数据；和一或多个处理器，其经配置以：产生设定指定IRAP存取单元的CL-RAS图片是否存在于位流中的变量的SEI消息，所述位流包含形成经译码图片和相关联数据的表示的位序列；和将所述SEI消息包含于所述位流中。在另一实例中，本专利技术描述一种装置，其包括：用于基于值确定是否IRAP存取单元的所有CL-RAS图片都存在于视频数据位流中的装置；和用于至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片的装置。在另一实例中，本专利技术描述一种装置，其包括：用于产生设定指定IRAP存取单元的CL-RAS图片是否存在于位流中的变量的SEI消息的装置，所述位流包含形成经译码图片和相关联数据的表示的位序列；和用于将所述SEI消息包含于所述位流中的装置。在另一实例中，本专利技术描述一种计算机可读数据存储媒体，其具有存储于其上的指令，所述指令在经执行时使得装置进行以下操作：基于值确定是否IRAP存取单元的所有CL-RAS图片都存在于视频数据位流中；和至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片。在另一实例中，本专利技术描述一种计算机可读数据存储媒体，其具有存储于其上的指令，所述指令在经执行时使得装置进行以下操作：产生设定指定IRAP存取单元的CL-RAS图片是否存在于位流中的变量的SEI消息，所述位流包含形成经译码图片和相关联数据的表示的位序列；和将所述SEI消息包含于所述位流中。在随附图式和下文的描述中阐述本专利技术的一或多个实例的细节。其它特征、目标和优点将从所述描述、所述图式以及权利要求书显而易见。附图说明图1为说明可利用本专利技术中所描述的技术的实例视频译码系统的框图。图2为说明清洁随机存取(“CleanRandomAccess,CRA”)图片和前置图片的概念图。图3为说明可实施本专利技术中所描述的技术的实例视频编码器的框图。图4为说明可实施本专利技术中所描述的技术的实例视频解码器的框图。图C-1为说明用于假设的参考解码器(“HypotheticalReferenceDecoder,HRD”)一致性检查的字节流和网络抽象层(“NetworkAbstractionLayer,NAL”)单元流的概念图。图C-2为说明实例HRD缓冲器模型的概念图。图5为根据本专利技术的一或多个技术的说明CL-RAS图片的概念图。图6A为根据本专利技术的一或多个技术的说明视频编码器的实例操作的流程图。图6B为根据本专利技术的一或多个技术的说明装置的实例操作的流程图。图6C为根据本专利技术的一或多个技术的说明视频解码器的实例操作的流程图。具体实施方式一般来说，本专利技术描述用于多层视频译码的技术。如本文所描述，视频数据位流可包括形成经译码图片和相关联数据的表示的位序列。所述图片可属于不同存取单元和层。属于同一存取单元的图片可具有同一输出时间。属于不同存取单元的图片可具有不同输出时间。在多视图译码中，属于不同层的图片可属于不同视图。在可调式视频译码中，属于较高层的图片可提供增强型视觉质量。一些图片为帧内随机存取点(IRAP)图片。视频译码器可在不本文档来自技高网...

【技术保护点】
一种解码视频数据的方法，所述方法包括：基于值确定是否帧内随机存取点IRAP存取单元的所有跨层随机存取跳过CL‑RAS图片都存在于视频数据位流中；以及至少部分地基于从所述视频数据位流解码的语法元素而重新构建所述视频数据的图片。

【技术特征摘要】
【国外来华专利技术】2013.06.03 US 61/830,512;2014.06.02 US 14/293,8291.一种解码视频数据的方法，所述方法包括：产生不可用参考图片且将所述不可用参考图片包括在用于视频数据位流中存在的初始帧内随机存取点IRAP存取单元中的跨层随机存取跳过CL-RAS图片的第一、第二、第三、第四和第五参考图片子集中，其中所述CL-RAS图片未经输出，所述CL-RAS图片为并非IRAP图片但处于所述初始IRAP存取单元中的图片，其中所述CL-RAS图片含有对不存在于所述视频数据位流中的图片的参考且所述CL-RAS图片的层识别符大于0，其中所述第一参考图片子集中的每一参考图片为以输出次序在所述CL-RAS图片前出现的短期参考图片，所述第二参考图片子集中的每一参考图片为以输出次序在所述CL-RAS图片后出现的短期参考图片，所述第三参考图片子集中的每一参考图片为不用于所述CL-RAS图片的帧间预测的短期参考图片，所述第四参考图片子集中的每一参考图片为可用于所述CL-RAS图片的帧间预测的长期参考图片，且所述第五参考图片子集中的每一参考图片为不用于所述CL-RAS图片的帧间预测的长期参考图片；以及至少部分地基于所述产生的不可用参考图片中的一或多者解码所述CL-RAS图片；其中产生所述不可用参考图片包括：对于所述第一参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么产生以下情况适用的参考图片：用于所述所产生参考图片的图片次序计数POC值等于第一POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第一参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的层识别符；对于所述第二参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第二POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第二参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于所述第三参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第三POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第三参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于所述第四参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第四POC值集合中的所述相应位置处的POC值，指定用于所述所产生图片的POC值的最低有效位的语法元素的值经推断为等于所述第四POC值集合中的所述相应位置处的所述POC值与由指示允许所述POC值的所述最低有效位具有的最大值的变量减1导致的值的按位“和”运算的结果，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于长期参考，所述第四参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于第五参考图片子集阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第五POC值集合中的所述相应位置处的POC值，指定用于所述所产生图片的POC值的最低有效位的语法元素的值经推断为等于所述第五POC值集合中的所述相应位置处的所述POC值与由指示允许所述POC值的所述最低有效位具有的最大值的变量减1导致的值的按位“和”运算的结果，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于长期参考，所述第五参考图片子集阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符。2.根据权利要求1所述的方法，其中所述方法包括：至少部分地基于所述视频数据位流的补充增强信息SEI消息中的数据来设定值；以及基于所述值确定是否与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中。3.根据权利要求1所述的方法，其进一步包括：基于值确定是否与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中，其中所述值通过用于所述视频数据的解码过程外部的机制来设定。4.根据权利要求1所述的方法，其进一步包括：基于值确定是否与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中；以及部分地基于所述值而执行经译码图片缓冲器CPB操作。5.根据权利要求4所述的方法，其中执行所述CPB操作包括：基于所述值指示并非与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中且缓冲周期补充增强信息SEI消息包含指定第二语法元素和第三语法元素在所述缓冲周期SEI消息中的存在的第一语法元素：将CPB去除延迟设定到由所述第二语法元素指定的替代去除延迟；以及将CPB去除偏移设定到由所述第三语法元素指定的替代去除偏移。6.根据权利要求1所述的方法，其进一步包括执行位流一致性测试以确定所述视频数据位流是否符合视频译码规范，其中位流一致性的要求为：如果当前图片为层识别符大于0的IRAP图片，那么对于当前层的每一直接参考层，在经译码视频序列CVS中存在层识别符等于所述当前层的层识别符且解码次序在所述当前图片之前的至少一个IRAP图片。7.根据权利要求1所述的方法，其进一步包括：从所述经译码视频位流的SEI消息获得指定替代CPB去除延迟语法元素和替代CPB去除偏移语法元素是否存在于所述SEI消息中的语法元素，其中所述替代CPB去除延迟语法元素指定当网络抽象层NAL假设的参考解码器HRD参数在使用中时用于CPB的替代初始CPB去除延迟，且其中所述替代CPB去除偏移语法元素指定当所述NALHRD参数在使用中时用于所述CPB的替代初始CPB去除偏移；从所述SEI消息获得指定偏移的CPB跨层延迟偏移语法元素，所述偏移待用于在与相关联于所述SEI消息的IRAP存取单元相关联的CL-RAS图片不存在于所述视频数据位流中时以解码次序在与所述SEI消息相关联的所述IRAP存取单元之后的存取单元的标称CPB去除时间的导出；以及从所述SEI消息获得指定偏移的经解码图片缓冲器DPB跨层延迟偏移语法元素，所述偏移待用于在与所述初始IRAP存取单元相关联的CL-RAS图片不存在于所述视频数据位流中时与所述SEI消息相关联的IRAP存取单元的DPB输出时间的导出。8.根据权利要求1所述的方法，其进一步包括：从所述经译码视频位流的SEI消息获得指定替代CPB去除延迟语法元素和替代CPB去除偏移语法元素是否存在于所述SEI消息中的语法元素，其中所述替代CPB去除延迟语法元素指定当视频译码层VCL假设的参考解码器HRD参数在使用中时用于CPB的替代初始CPB去除延迟，且其中所述替代CPB去除偏移语法元素指定当所述VCLHRD参数在使用中时用于所述CPB的替代初始CPB去除偏移；从所述SEI消息获得指定偏移的CPB跨层延迟偏移语法元素，所述偏移待用于在与相关联于所述SEI消息的IRAP存取单元相关联的CL-RAS图片不存在于所述视频数据位流中时以解码次序在与所述SEI消息相关联的所述IRAP存取单元之后的存取单元的标称CPB去除时间的导出；以及从所述SEI消息获得指定偏移的经解码图片缓冲器DPB跨层延迟偏移语法元素，所述偏移待用于在与所述初始IRAP存取单元相关联的CL-RAS图片不存在于所述视频数据位流中时与所述SEI消息相关联的IRAP存取单元的DPB输出时间的导出。9.根据权利要求1所述的方法，其进一步包括：基于值确定是否与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中；以及至少部分地基于所述值而执行图片输出过程。10.根据权利要求1所述的方法，其中所述初始IRAP存取单元为含有一或多个IRAP图片且其中nuh_layer_id等于0的经译码图片具有等于1的NoRaslOutputFla的存取单元，其中所述初始IRAP存取单元的基础层中的图片为IRAP图片且并非所述初始IRAP存取单元的图片中的所有者都是在IRAP图片中。11.一种用于解码视频数据的装置，所述装置包括：非暂时性数据存储媒体，其经配置以存储视频数据，以及一或多个处理器，其经配置以：产生不可用参考图片且将所述不可用参考图片包括在用于视频数据位流中存在的初始帧内随机存取点IRAP存取单元中的跨层随机存取跳过CL-RAS图片的第一、第二、第三、第四和第五参考图片子集中，其中所述CL-RAS图片未经输出，所述CL-RAS图片为并非IRAP图片但处于所述初始IRAP存取单元中的图片，其中所述CL-RAS图片含有对不存在于所述视频数据位流中的图片的参考且所述CL-RAS图片的层识别符大于0，其中所述第一参考图片子集中的每一参考图片为以输出次序在所述CL-RAS图片前出现的短期参考图片，所述第二参考图片子集中的每一参考图片为以输出次序在所述CL-RAS图片后出现的短期参考图片，所述第三参考图片子集中的每一参考图片为不用于所述CL-RAS图片的帧间预测的短期参考图片，所述第四参考图片子集中的每一参考图片为可用于所述CL-RAS图片的帧间预测的长期参考图片，且所述第五参考图片子集中的每一参考图片为不用于所述CL-RAS图片的帧间预测的长期参考图片；以及至少部分地基于所述产生的不可用参考图片中的一或多者解码所述CL-RAS图片；其中所述一或多个处理器经配置以使得：对于所述第一参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么所述一或多个处理器产生以下情况适用的参考图片：用于所述所产生参考图片的图片次序计数POC值等于第一POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第一参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的层识别符；对于所述第二参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么所述一或多个处理器产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第二POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第二参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于所述第三参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么所述一或多个处理器产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第三POC值集合中的所述相应位置处的POC值，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于短期参考，所述第三参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于所述第四参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么所述一或多个处理器产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第四POC值集合中的所述相应位置处的POC值，指定用于所述所产生图片的POC值的最低有效位的语法元素的值经推断为等于所述第四POC值集合中的所述相应位置处的所述POC值与由指示允许所述POC值的所述最低有效位具有的最大值的变量减1导致的值的按位“和”运算的结果，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于长期参考，所述第四参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符；对于所述第五参考图片子集的阵列中的每一相应位置，如果所述相应位置处的条目等于“无参考图片”，那么所述一或多个处理器产生以下情况适用的参考图片：用于所述所产生参考图片的POC值等于第五POC值集合中的所述相应位置处的POC值，指定用于所述所产生图片的POC值的最低有效位的语法元素的值经推断为等于所述第五POC值集合中的所述相应位置处的所述POC值与由指示允许所述POC值的所述最低有效位具有的最大值的变量减1导致的值的按位“和”运算的结果，用于所述所产生参考图片的图片输出旗标经设定为等于0，所述所产生参考图片经标记为用于长期参考，所述第五参考图片子集的所述阵列中的所述相应位置经设定到所述所产生参考图片，且用于所述所产生参考图片的层识别符经设定到所述CL-RAS图片的所述层识别符。12.根据权利要求11所述的装置，其中所述一或多个处理器经配置以：至少部分地基于所述视频数据位流的补充增强信息SEI消息中的数据来设定值；以及基于所述值确定是否与所述初始IRAP存取单元相关联的所有CL-RAS图片都存在于所述视频数据位流中。13.根据权利要求11所述的装置，其中所述一或多个处理器经配置以基于值确定是否与所述初...

【专利技术属性】
技术研发人员：阿达许·克里许纳·瑞玛苏布雷蒙尼安，王益魁，陈颖，克里希纳坎斯·拉帕卡，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US