多层视频编解码器中的恢复点SEI消息制造技术

一种用于视频编码多层视频数据的装置包含：存储器，其经配置以存储视频数据的多层位流的至少一部分；以及一或多个处理器，其经配置以进行以下操作：对包括至少一层和所述层的参考层的第一存取单元进行编码；确定所述第一存取单元是否是恢复点；响应于所述第一存取单元是恢复点而在所述第一存取单元中包含应用到至少所述层和所述参考层的恢复点SEI消息；以及产生具有所述SEI消息的所述第一存取单元。

【技术实现步骤摘要】
【国外来华专利技术】本申请案主张2014年6月25日申请的美国临时申请案62/017,238的权利，所述临时申请案的全部内容以引用的方式并入本文中。
本专利技术涉及视频译码和压缩，以及与位流中的经压缩视频相关联的数据的传信。
技术介绍
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准和此些标准的扩展中所描述的技术。视频装置通过实施此类视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(即，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。空间或时间预测产生用于待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据进行编码。经帧内译码块根据帧内译码模式和残余数据进行编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可将残余变换系数量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
技术实现思路
本专利技术涉及多视图视频译码，并且更确切地说，涉及在多层视频中包含恢复点SEI消息。在一个实例中，对视频数据进行编码的方法包含对包括至少层和层的参考层的第一存取单元进行编码；确定第一存取单元是否是恢复点；响应于第一存取单元是恢复点而在第一存取单元中包含应用到至少层和参考层的恢复点SEI消息；以及产生具有SEI消息的第一存取单元。在另一个实例中，用于视频编码多层视频数据的装置包含存储器，其经配置以存储视频数据的多层位流的至少一部分，以及一或多个处理器，其经配置以对包括至少层和层的参考层的第一存取单元进行编码；确定第一存取单元是否是恢复点；响应于第一存取单元是恢复点而在第一存取单元中包含应用到至少层和参考层的恢复点SEI消息；以及产生具有SEI消息的第一存取单元。在另一个实例中，计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时使一或多个处理器对包括至少层和层的参考层的第一存取单元进行编码；确定第一存取单元是否是恢复点；响应于第一存取单元是恢复点而在第一存取单元中包含应用到至少层和参考层的恢复点SEI消息；以及产生具有SEI消息的第一存取单元。在另一个实例中，用于对视频数据进行编码的设备包含用于对包括至少层和层的参考层的第一存取单元进行编码的装置；用于确定第一存取单元是否是恢复点的装置；用于响应于第一存取单元是恢复点而在第一存取单元中包含应用到至少层和参考层的恢复点SEI消息的装置；以及用于产生具有SEI消息的第一存取单元的装置。在附图和下文描述中阐明本专利技术的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式和权利要求书变得显而易见。附图说明图1为说明可利用本专利技术中描述的技术的实例视频编码和解码系统的框图。图2绘示包含多个存取单元的位流的实例。图3绘示包含多个存取单元的位流的实例。图4为说明可实施本专利技术中描述的技术的实例视频编码器的框图。图5为说明可实施本专利技术中描述的技术的实例视频解码器的框图。图6为说明其中可实施本专利技术的一或多个方面的包封单元的一个实例的框图。图7为说明其中可实施本专利技术的一或多个方面的一个实例网络的框图。图8为说明本专利技术的技术的流程图。具体实施方式本专利技术包含用于在多层情形中应用定义于高效视频译码(HEVC)标准中的补充增强信息(SEI)消息的技术。在一些情况下，可利用如下文提到的对HEVC标准的多层扩展(例如对HEVC的多视图视频译码扩展(MV-HEVC)或对HEVC的可缩放视频译码(SVC)扩展(SHVC))来执行所述技术。虽然将大体上使用HEVC术语描述本专利技术的技术，但本专利技术的技术未必限于任何特定视频译码标准，且可另外或替代地与对HEVC的其它扩展、其它多视图译码标准及/或其它多层视频译码标准一起使用。另外，除非另外陈述，否则应假定如下文所描述的本专利技术的技术可独立地或组合地应用。视频数据的“层”可通常指具有至少一个共同特性(例如，视图、帧速率、分辨率或类似者)的图片序列。例如，层可包含与多视图视频数据的特定视图(例如，透视图)相关联的视频数据。作为另一实例，层可包含与可缩放视频数据的特定层相关联的视频数据。因此，本专利技术可互换地提及视频数据的层和视图。也就是说，视频数据的视图可被称为视频数据的层，且反之亦然，并且多个视图或多个可缩放层可以类似方式被称为多个层(例如，在多层译码系统中)。另外，多层编解码器(也被称为多层视频译码器或多层编码器-解码器)可指多视图编解码器或可缩放编解码器(例如，经配置以使用MV-HEVC、SHVC或另一多层译码技术对视频数据进行编码和/或解码的编解码器)。HEVC标准大体上将层定义为全部具有特定nuh_layer_id值的网络抽象层(NAL)单元和相关联的非视频译码层(VCL)NAL单元的集合，或具有阶层式关系的语法结构的集合中的一者。HEVC标准大体上将NAL单元定义为语法结构，所述语法结构含有包含在NAL单元中的数据类型的指示和含有所述数据并呈原始字节序列有效负载(RBSP)形式的字节。语法元素“nuh_layer_id”识别NAL单元所属于的层。多层位流可包含基础层和一或多个非基础层(例如，在SHVC中)或多个视图(例如，在MV-HEVC中)。在可缩放位流中，基础层可通常具有等于零的层识别符(例如，nuh_layer_id)。非基础层可具有大于零的层识别符，并可提供不包含于基础层中的额外视频数据。例如，多视图视频数据的非基础层可包含视频数据的额外视图。可缩放视频数据的非基础层可包含可缩放视频数据的额外层。非基础层可互换地称为增强层。多层位流的存取单元(有时简称为AU)通常为包含共同时间例项的所有层分量(例如，所有NAL单元)的数据单元。存取单元的层分量通常意图一起输出(即，实质上同时输出)，其中输出图片大体上涉及从经解码图片缓冲器(DPB)传送图片(例如，将来自DPB的图片存储到外部存储器、将来自DPB的图片发送到显示器或类似者)。HEVC标准大体上将存取单元定义为根据指定分类规则而与彼此相关联的、在解码次序上是连续的且恰好含有一个经译码图片的NAL单本文档来自技高网...

【技术保护点】
一种对视频数据进行编码的方法，所述方法包括：对包括至少一层和所述层的参考层的第一存取单元进行编码；确定所述第一存取单元是否是恢复点；响应于所述第一存取单元是恢复点而在所述第一存取单元中包含应用到至少所述层和所述参考层的恢复点SEI消息；以及产生具有所述SEI消息的所述第一存取单元。

【技术特征摘要】
【国外来华专利技术】2014.06.25 US 62/017,238;2015.06.24 US 14/749,5771.一种对视频数据进行编码的方法，所述方法包括：对包括至少一层和所述层的参考层的第一存取单元进行编码；确定所述第一存取单元是否是恢复点；响应于所述第一存取单元是恢复点而在所述第一存取单元中包含应用到至少所述层和所述参考层的恢复点SEI消息；以及产生具有所述SEI消息的所述第一存取单元。2.根据权利要求1所述的方法，其进一步包括：确定所述第一存取单元是否是图片次序计数POC复位存取单元，其中进一步响应于所述第一存取单元是所述POC复位存取单元而在所述第一存取单元中包含应用到至少所述层和所述参考层的所述恢复点SEI消息。3.根据权利要求1所述的方法，其进一步包括：确定所述第一存取单元是否包括一或多个图片，所述一或多个图片包括用信号通知的图片次序计数POC最高有效位MSB信息，其中进一步响应于所述第一存取单元包括所述一或多个图片而在所述第一存取单元中包含应用到至少所述层和所述参考层的所述恢复点SEI消息，所述一或多个图片包括所述POCMSB信息。4.根据权利要求1所述的方法，其进一步包括：确定在按解码次序在所述第一存取单元之后的存取单元中是否存在在解码次序上先于第二存取单元、第三存取单元和第四存取单元中的第一者的图片，其中所述第二存取单元含有全部瞬时解码刷新IDR图片或断链存取BLA图片，其中所述第三存取单元是POC复位周期的开始，并且其中所述第四存取单元含有基础层中的帧内随机存取点IRAP图片和至少一个非输出跨层随机存取图片，其中进一步响应于确定在之后的存取单元中不存在在解码次序上先于所述第二存取单元、所述第三存取单元和所述第四存取单元中的所述第一者的图片，而在所述第一存取单元中包含应用到至少所述层和所述层的所述参考层的所述恢复点SEI消息。5.根据权利要求1所述的方法，其进一步包括：确定是否存在属于第二存取单元或第三存取单元中的一个的图片，其中所述第二存取单元和所述第三存取单元中的所述一个在解码次序上先于第四存取单元，其中所述第二存取单元是按解码次序在所述第一存取单元之后且含有全部瞬时解码刷新IDR图片或断链存取BLA图片的初始存取单元，其中所述第三存取单元是按解码次序在所述第一存取单元之后且是POC复位周期的开始的初始存取单元，并且其中所述第四存取单元是按解码次序在所述第一存取单元之后且含有基础层中的帧内随机存取点IRAP图片和至少一个非输出跨层随机存取图片的初始存取单元，其中进一步响应于确定不存在属于所述第二存取单元或所述第三存取单元中的一个的图片而在所述第一存取单元中包含应用到至少所述层和所述层的所述参考层的所述恢复点SEI消息。6.根据权利要求1所述的方法，其进一步包括：根据约束条件对所述第一存取单元进行编码，以使得应用到至少所述层和所述参考层的所述恢复点SEI消息不被允许存在于所述第一存取单元中，除非所述第一存取单元是图片次序计数POC复位存取单元，所述第一存取单元中的一或多个图片包含用信号通知的POCMSB信息，或不存在满足以下条件中的任一者的图片：(1)所述图片在解码次序上先于第二存取单元、第三存取单元和第四存取单元中的第一者，(2)当所述第二存取单元、所述第三存取单元和所述第四存取单元中在解码次序上的第一者是所述第二存取单元或所述第三存取单元时，所述图片属于所述第二存取单元或所述第三存取单元，或(3)位流中不存在所述第二存取单元、所述第三存取单元和所述第四存取单元，其中所述第二存取单元是按解码次序在所述第一存取单元之后且含有全部是IDR图片或BLA图片的图片的初始存取单元，所述第三存取单元是按解码次序在所述第一存取单元之后且是POC复位周期的开始的初始存取单元，以及所述第四存取单元是按解码次序在所述第一存取单元之后且含有基础层中的IRAP图片与至少一个非输出跨层随机存取图片的初始存取单元。7.一种用于视频编码多层视频数据的装置，所述装置包括：存储器，其经配置以存储视频数据的多层位流的至少一部分；以及一或多个处理器，其经配置以：对包括至少一层和所述层的参考层的第一存取单元进行编码；确定所述第一存取单元是否是恢复点；响应于所述第一存取单元是恢复点而在所述第一存取单元中包含应用到至少所述层和所述参考层的恢复点SEI消息；以及产生具有所述SEI消息的所述第一存取单元。8.根据权利要求7所述的装置，其中所述一或多个处理器经进一步配置以：确定所述第一存取单元是否是图片次序计数POC复位存取单元；以及进一步响应于所述第一存取单元是所述POC复位存取单元而在所述第一存取单元中包含应用到至少所述层和所述参考层的所述恢复点SEI消息。9.根据权利要求7所述的装置，其中所述一或多个处理器经进一步配置以：确定所述第一存取单元是否包括一或多个图片，所述一或多个图片包括图片次序计数POC最高有效位MSB值；以及进一步响应于所述第一存取单元包括所述一或多个图片而在所述第一存取单元中包含应用到至少所述层和所述参考层的所述恢复点SEI消息，所述一或多个图片包括所述POCMSB值。10.根据权利要求7所述的装置，其中所述一或多个处理器经进一步配置以：确定在按解码次序在所述第一存取单元之后的存取单元中是否存在在解码次序上先于第二存取单元、第三存取单元和第四存取单元中的第一者的图片，其中所述第二存取单元含有全部瞬时解码刷新IDR图片或断链存取BLA图片，其中所述第三存取单元是POC复位周期的开始，并且其中所述第四存取单元含有基础层中的帧内随机存取点IRAP图片和至少一个非输出跨层随机存取图片；以及进一步响应于确定在之后的存取单元中不存在在解码次序上先于所述第二存取单元、所述第三存取单元和所述第四存取单元中的所述第一者的图片，而在所述第一存取单元中包含应用到至少所述层和所述层的所述参考层的所述恢复点SEI消息。11.根据权利要求7所述的装置，其中所述一或多个处理器经进一步配置以：确定是否存在属于第二存取单元或第三存取单元中的一个的图片，其中所述第二存取单元和所述第三存取单元中的所述一个在解码次序上先于第四存取单元，其中所述第二存取单元是按解码次序在所述第一存取单元之后且含有全部瞬时解码刷新IDR图片或断链存取BLA图片的初始存取单元，其中所述第三存取单元是按解码次序在所述第一存取单元之后且是POC复位周期的开始的初始存取单元，并且其中所述第四存取单元是按解码次序在所述第一存取单元之后且含有基础层中的帧内随机存取点IRAP图片和至少一个非输出跨层随机存取图片的初始存取单元；以及进一步响应于确定不存在属于所述第二存取单元或所述第三存取单元中的一个的图片而在所述第一存取单元中包含应用到至少所述层和所述层的所述参考层的所述恢复点SEI消息。12.根据权利要求7所述的装置，其中所述一或多个处理器经进一步配置以：根据约束条件对所述第一存取单元进行编码，以使得应用到至少所述层和所述参考层的所述恢复点SEI消息不被允许存在于所述第一存取单元中，除非所述第一存取单元是图片次序计数POC复位存取单元，所述第一存取单元中的一或多个图片包含用信号通知的POCMSB信息，或不存在满足以下条件中的任一者的图片：(1)所述图片在解码次序上先于第二存取单元、第三存取单元和第四存取单元中的第一者，(2)当所述第二存取单元、所述第三存取单元和所述第四存取单元中在解码次序上的第一者是所述第二存取单元或所述第三存取单元时，所述图片属于所述第二存取单元或所述第三存取单元，或(3)位流中不存在所述第二存取单元、所述第三存取单元和所述第四存取单元，其中所述第二存取单元是按解码次序在所述第一存取单元之后且含有全部是IDR图片或BLA图片的图片的初始存取单元，所述第三存取单元是按解码次序在所述第一存取单元之后且是POC复位周期的开始的初始存取单元，以及所述第四存取单元是按解码次序在所述第一存取单元之后且含有基础层中的IRAP图片与至少一个非输出跨层随机存取图片的初始存取单元。13.根据权利要求7所述的装置，其中所述装置包括以下各者中的至少一者：集成电路；微处理器；或无线通信装置。14.根据权利要求7所述的装置，其中所述装置进一步包括经配置以输出所述第一存取单元的一或多个图片的显示器。15.根据权利要求7所述的装置，其中所述装置包括蜂窝式电话，所述蜂窝式电话包括发射器，并且其中所述蜂窝式...

【专利技术属性】
技术研发人员：伏努·亨利，阿达许·克里许纳·瑞玛苏布雷蒙尼安，王益魁，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US