可伸缩视频编码方法及装置制造方法及图纸

本发明专利技术揭露一种可伸缩视频编码方法及装置。视频数据被配置为基本层和增强层，且增强层具有比基本层更高的空间分辨率或更佳的视频品质。依据本发明专利技术的实施例，来自基本层的信息被用于编码增强层。所述用于编码增强层的信息包含编码单元架构、运动向量预测子信息、运动向量预测子/合并候选项、帧内预测模式、残余四叉树信息、纹理信息、残差信息、上下文自适应熵编码、自适应环路滤波、采样点自适应偏移以及去块滤波。

【技术实现步骤摘要】
【国外来华专利技术】可伸缩视频编码方法及装置相关申请的交叉引用本申请要求如下申请的优先权：序列号为61/495,740、2011年6月10日提交的、名称为“ScalableCodingofHighEfficiencyVideoCoding”的美国临时专利申请，以及序列号为61/567,774、2011年12月7日提交的美国临时专利申请。上述美国临时专利申请的全部内容在此一并作为参考。
本专利技术有关于视频编码，且特别地，本专利技术有关于将基本层的信息用于增强层编码的可伸缩视频编码（scalablevideocoding）。
技术介绍
压缩数字视频（compresseddigitalvideo）被广泛用于各种应用，例如数字网络中的视频流以及数字信道中的视频传输。通常，单个视频内容可以不同特性在网络中传送。举例来说，用于高品质视频服务的生动的运动事件可在宽带网络中以高带宽流格式来栽送。在这些应用中，压缩视频通常保有高分辨率及高品质，从而其视频内容适合高清晰度装置，例如高清电视或高分辨率液晶显示器。相同的内容也可栽送于蜂窝数据网络，从而使所述内容可以在诸如智能手机或可联网的便携式媒体装置的便携式装置上观看。在这些应用中，由于考虑到网络带宽以及智能手机与便携式装置上典型的低分辨率显示器，视频内容通常被压缩成低分辨率和低比特率（bitrates）的格式。因此，对于不同的网络环境及不同应用来说，其对视频分辨率及视频品质的需求也非常不同。即使对于相同类型的网络而言，由于不同的网络基础能力（infrastructure）和网络流量状况，用户可用的网络带宽也各不相同。因此，在可用带宽高的时候，用户可能希望接收具有较高品质的视频，而在网络堵塞（infrastructure）发生时，则希望接收具有较低品质但却流畅的视频。在另一场景中，高端的媒体播放器能够处理高分辨率及高比特率的压缩视频，而廉价的媒体播放器则受限于有限的计算资源而只能够处理低分辨率和低比特率的压缩视频。因此，需要以可伸缩的方式来构建压缩视频，从而可以自相同的压缩比特流中推导出具有不同空间-时间分辨率及/或品质的视频。在当前的H.264/AVC视频标准中，有一种H.264/AVC标准的扩展，叫做可伸缩视频编码（ScalableVideoCoding，以下简称SVC）。基于单一比特流，SVC提供时间、空间以及品质的伸缩。SVC比特流中可分别包含从低帧率、低分辨率及低品质到高帧率、高清晰度及高品质的伸缩视频信息。因此，SVC适合各种不同视频应用，例如适合网络基础设施、流量控制、用户偏好等应用的视频广播（videobroadcasting）、视频流（videostreaming）、视频监控（videosurveillance）。在SVC中，有三种伸缩，即，提供时间伸缩、空间伸缩和品质伸缩。SVC利用多层（multi-layer）编码架构来实现上述三种维度的伸缩。SVC的主要目的之一是为了产生伸缩的比特流，其可以容易且快速地适用于与各种不同传输信道、显示能力以及不同计算资源相关的比特率需求，而无需进行转码（trans-coding）或再编码（re-coding）。SVC设计的一个重要特性在于伸缩是在比特流层提供的。换句话说，用于推导视频且具有降低的空间及/或时间分辨率的比特流可简单地通过从解码所需视频而需要的伸缩比特流中撷取网络抽象层（NetworkAbstractionLayer，以下简称为NAL）单元（或网络封包）得到。用于品质细化（qualityrefinement）的NAL单元可另外截去以降低比特率及相关视频的品质。举例来说，依据H.264/AVC标准，时间伸缩可以而从基于B图像的（B-pictures）分层编码架构（hierarchicalcodingstructure）中推导出来。图1显示了具有4个时间层的分层B图像架构以及具有8张图像的图像组的范例。图1中的图像0和图像8称为关键图像（keypictures）。关键图像的帧间预测仅仅使用先前的关键图像作为参考。两张关键图像之间的其他图像被分层预测。仅仅具有关键图像的视频可形成伸缩系统中的最粗糙的时间分辨率。时间伸缩可通过依据伸缩系统中增强层来添加B图像，从而逐步细化低水平（粗糙的）视频来达成。在图1的实施例中，在两张关键图像被编码之后，首先利用关键图像（即图像0和图像8）对图像4进行双向预测。在处理完图像4之后，图像2和图像6被处理。图像2是利用图像0和图像4来进行双向预测，而图像6则是利用图像4和图像8进行双向预测。如图1所示，在图像2和图像6被编码之后，剩余的图像，即图像1、3、5、7，则分别利用相邻的图像进行双向预测处理。因此，图像组中的处理顺序是0、8、4、2、6、1、3、5、7。依据图1所示的分层处理处理过的图像将产生分层的四级图像（hierarchicalfour-levelpictures），其中图像0和图像8属于第一时间顺序，图像4属于第二时间顺序，图像2和图像6属于第三时间顺序，而图像1、3、5、7则属于第四时间顺序。通过解码基本层的图像及添加更高时间层的图像就可以提供较高层的视频。举例来说，基本层的图像0和图像8可与第二时间顺序的图像4结合以形成第二层的视频。若在第二层视频的基础上进一步添加第三时间顺序的图像则可以形成第三层的视频。类似地，通过在第三层视频中添加第四时间顺序的图像则可以形成第四层的视频。相应地，所述时间伸缩也可以获取。若原始视频具有每秒30帧的帧率，则基本层视频的帧率为30/8=3.75帧/秒。而第二层、第三层和第四层视频则对应于7.5帧/秒、15帧/秒以及30帧/秒的帧率。所述第一时间顺序的图像也称为基本层视频或基本层图像。而所述的第二时间顺序的图像到第四时间顺序的图像也被称为增强层视频或增强层图像。除了使能时间伸缩之外，分层B图像的编码架构同时也以增加编码-解码延迟的代价提升了典型的IBBP图像组架构的编码效率。如图2所示，在SVC中，空间伸缩是基于金字塔形编码机制而被支持的。在具有空间伸缩的SVC系统中，视频序列首先被降采样（down-sampled）以获得具有不同空间分辨率（层）的较小的图像。举例来说，具有原始分辨率的图像210可被空间抽取（spatialdecimation）220处理以获取分辨率降低的图像211。如图2所示，分辨率降低的图像211可进一步被空间抽取221处理以获取分辨率进一步降低的图像212。除了二进的（dyadic）空间分辨率（其空间分辨率在每一层被减少至一半）之外，SVC还支持任意的分辨率比例，其被称为扩展的空间伸缩（ExtendedSpatialScalability，以下简称ESS）图2中的SVC系统显示了具有三层的空间伸缩系统的范例，其中层0对应于具有最低空间分辨率的图像，而层2则对应于具有最高空间分辨率的图像。所述层0的图像是不参考其他层而被编码，即，单层编码（single-layercoding）。举例来说，最低层图像212是利用运动补偿及帧内预测230来编码。与编码相关信息（例如运动信息）一样，所述运动补偿及帧内预测230会产生语法元素以用于进一步的熵编码240。图2实际上显示的是一个组合式SVC系统，其在提供空间伸缩的同时也提供品质伸本文档来自技高网...

【技术保护点】
一种用于可伸缩视频编码的编码单元架构编码、模式信息编码或运动信息编码的方法，其中视频数据被配置为一个基本层和一个增强层，且该增强层具有比该基本层更高的空间分辨率或更佳的视频品质，该方法包含：决定用于该基本层中的编码单元的编码单元架构、模式、运动信息或以上三者的组合；以及依据用于该基本层中的该编码单元的该编码单元架构、该模式、该运动信息或以上三者的该组合，分别决定用于该增强层中对应编码单元的编码单元架构、模式、运动向量预测子信息或以上三者的组合。

【技术特征摘要】
【国外来华专利技术】2011.06.10 US 61/495,740;2011.12.07 US 61/567,7741.一种编码方法，用于可伸缩视频编码的编码单元架构编码、模式信息编码或运动信息编码，其中视频数据被配置为一个基本层和一个增强层，且该增强层具有比该基本层更高的空间分辨率或更佳的视频品质，该编码方法包含：决定用于该基本层中的编码单元的编码单元架构、模式、运动信息或以上三者的组合；以及依据用于该基本层中的该编码单元的该编码单元架构、该模式、该运动信息或以上三者的该组合，分别决定用于该增强层中对应编码单元的编码单元架构、模式、运动向量预测子信息或以上三者的组合。2.如权利要求1所述的编码方法，其特征在于，该依据用于该基本层中的该编码单元的该编码单元架构、该模式、该运动信息或以上三者的该组合，分别决定用于该增强层中对应编码单元的编码单元架构、模式、运动向量预测子信息或以上三者的组合的步骤，是在编码器需要分别编码用于该增强层中该对应编码单元的该编码单元架构、该模式、该运动向量预测子信息或以上三者的该组合时执行。3.如权利要求1所述的编码方法，其特征在于，该依据用于该基本层中的该编码单元的该编码单元架构、该模式、该运动信息或以上三者的该组合，分别决定用于该增强层中对应编码单元的编码单元架构、模式、运动向量预测子信息或以上三者的组合的步骤，是在解码器需要分别解码用于该增强层中该对应编码单元的该编码单元架构、该模式、该运动向量预测子信息或以上三者的该组合时执行。4.如权利要求1所述的编码方法，更包含：整合第一旗标，用来指示决定用于该增强层中该对应编码单元的该编码单元架构、该模式、该运动向量预测子信息或以上三者的该组合是否是分别基于用于该基本层中的该编码单元的该编码单元架构、该模式、该运动信息或以上三者的该组合进行的。5.如权利要求4所述的编码方法，其特征在于，若该第一旗标指示决定用于该增强层中该对应编码单元的该编码单元架构是基于用于该基本层的该编码单元的该编码单元架构预测的，则用于该增强层中该对应编码单元的该编码单元架构从用于该基本层中该编码单元的该编码单元架构缩放得到，且被用作该增强层中该对应编码单元的初始编码结构。6.如权利要求5所述的编码方法，其特征在于，一分割旗标被整合以指示该增强层中的该对应编码单元的叶编码单元是否被分割成子编码单元。7.如权利要求4所述的编码方法，其特征在于，若该第一旗标指示决定用于该增强层中该对应编码单元的该编码单元架构、该模式、该运动向量预测子信息是基于用于该基本层的该编码单元的该编码单元架构、该模式、该运动信息预测的，则用于该增强层中该对应编码单元的该编码单元架构、该模式、及该运动向量预测子信息从用于该基本层中该编码单元的该编码单元架构、该模式、及该运动信息缩放得到。8.如权利要求1所述的编码方法，其特征在于，当决定用于该增强层中该对应编码单元的该编码单元架构、该模式、及该运动向量预测子信息的组合是分别基于用于该基本层的该编码单元的该编码单元架构、该模式、该运动信息进行时，该编码单元架构为编码单元分割旗标或残余四叉树分割旗标；该模式为跳过模式、合并模式、或帧内模式；以及该运动信息包含帧间预测方向、参考图像索引、运动向量、合并索引、及运动向量预测子索引中的一个或其组合。9.如权利要求1所述的编...

【专利技术属性】
技术研发人员：庄子德，陈庆晔，傅智铭，黄毓文，雷少民，
申请(专利权)人：联发科技股份有限公司，
类型：
国别省市：