用于可伸缩视频编码的帧间层预测方法及装置制造方法及图纸

本发明专利技术提出一种用于可伸缩视频编码的帧间层预测方法。该方法包括：接收与当前增强层区块相关的输入数据；决定基本层区块；基于基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；得到最后的运动矢量预测子；以及使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。本发明专利技术所提出的用于可伸缩视频编码的帧间层预测方法，可改善帧间层编码效率。

Inter layer prediction method and device for scalable video coding

The invention proposes an inter frame prediction method for scalable video coding. The method includes receiving input data related to the current enhanced layer block; determining the basic layer block; based on the basic layer motion information, two or more interframe candidates are obtained, in which the two or more interframe candidates are added to the combination candidate list or the advanced motion vector prediction candidate list; the final motion is obtained. The vector predictor; and using the last motion vector predictor, the application encoding or decode the input data related to the current enhancement layer block, in which the current enhanced layer block is coded based on the advanced motion vector prediction in the merge mode or the inter frame mode. The inter layer prediction method proposed in this invention for scalable video coding can improve the inter layer coding efficiency.

【技术实现步骤摘要】
用于可伸缩视频编码的帧间层预测方法及装置本申请是申请日为2013年10月29日，申请号为201380059903.0，专利技术名称为“用于可伸缩视频编码的帧间层预测方法及装置”的专利申请的分案申请交叉引用本专利技术主张在2012年11月15日提出的申请号为61/726,837、标题为“MethodsofInter-layertexturepredictiontransformandmultipleInter-layermotioncandidatesforScalableVideoCoding”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
本专利技术是有关于可伸缩视频编码(scalablevideocoding,以下简称为SVC)，特别是有关于包括自适应变换或多个帧间层运动候选的帧间层纹理编码。
技术介绍
压缩的数字视频已经广泛地应用于各种应用中。例如,对于数字网络的视频流和对于数字通道的视频传输。通常，单一的视频内容可以通过不同特性的网络来传输。举例来说，现场直播的体育赛事可以载入高宽带数据流格式，并通过收费视频服务的宽带网络传输。在这样的应用中，压缩的视频通常保存高分辨率和高品质，以使得视频内容适合于高清晰度设备，例如，高清晰度电视或高清晰度显示器。相同的内容也可以载入蜂窝数据网络，以使得该内容可以在便携式设备(例如，智能手机或通过网络连接的便携式媒体设备)上进行观看。在此应用中，由于网络带宽问题和在智能手机或便携式设备上的低分辨率显示，视频内容通常被压缩为低分辨率和低比特率。因此，对于不同的网络环境和不同的应用，视频分辨率和视频品质的要求是完全不同的。即使对于相同类型的网络，用户可能由于不同的网络基础设施和网络流量状况而感受到不同的可用带宽。因此，用户可能希望当可用带宽较宽时，接收高品质视频，当网络拥塞发生时，接收较低品质但是很流畅的视频。在另一种情况下，高端媒体播放器可以处理的高分辨率和高比特率的已压缩视频，然而由于限制的计算资源，低成本的媒体播放器仅能够处理低分辨率和低比特率的已压缩视频。相应地，需要以可伸缩的方法构造压缩的视频，以使得可以从相同的已压缩比特流处得到不同的时空分辨率及/或不同品质的视频。ISO/IECMPEG和ITU-TVCEG的联合视频工作组(jointvideoteam,JVT)标准化对于H.264/AVC标准的可伸缩视频编码扩展。H.264/AVCSVC比特流包括从低帧率、低分辨率、和低品质到高帧率、高清晰度和高品质的视频信息。此种单一的比特流能够适应各种应用并能够在不同配置的设备上显示。相应地，H.264/AVCSVC适用于各种视频应用，例如，视频广播、视频数据流、以及视频监控，以适合网络基础设施，交通条件，用户偏好等。在SVC中，提供三种可伸缩类型，即时间可伸缩，空间可伸缩和品质可伸缩。SVC采用多层编码结构来实现三维可伸缩。SVC的主要目标是产生一个可伸缩比特流，以容易和迅速地适应各种传输信道、不同的显示能力、和不同的计算资源相关的比特率要求，而无需反式编码(trans-coding)或重编码(re-encoding)。SVC设计的一个重要特征是，在比特流层(bitstreamlevel)提供这种可伸缩性。换言之，对于取得缩减空间及/或时间分辨率的视频的比特流，可以简单地通过从需要打算解码的视频的可伸缩比特流中提取网络抽象层(以下简称为NAL)单元(或网络数据包)而获得。可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。图1为用于可伸缩视频编码系统的预测结构的示例的示意图。如图1所示，在SVC中，基于金字塔编码(pyramidcoding)支持空间可伸缩。在具有空间可伸缩性的SVC系统中，首先降采样视频序列，以获得不同的空间分辨率(层)的较小图片。例如，原始分辨率的图片110可以通过空间抽取120处理，而获得分辨率降低的图片111。如图1所示，分辨率降低的图片111可进一步通过空间抽取121处理，而获得分辨率进一步减小的图象112。除二阶(dyadic)空间分辨率之外，该空间分辨率在每一层减小一半，SVC还支持任意分辨率的比率，这被称为扩展空间可缩放(extendedspatialscalability,ESS)。图1中的SVC系统描述了三层空间可伸缩系统的示意图，其中第0层对应于具有最低空间分辨率的图片，第2层对应于具有最高空间分辨率的图片。不需要参考其他层，可以编码第0层，即单层的编码。例如，使用编码运动补偿和帧内预测130编码最底层图片112。运动补偿和帧内预测130将生成语法元素和编码相关信息(例如，运动信息)，以进一步用于基本层熵编码140。图1实际上描述了一个联合SVC系统，该系统提供空间可伸缩和品质可伸缩(也称为SNR可伸缩)。该系统也可提供时间可伸缩，这并没有明确显示出来。对于每一个单层编码，编码残差(residualcodingerrors)可以使用SNR增强层编码150而改善。图1中SNR增强层可以提供多个品质层(level)(品质可伸缩)。支持分辨率层的每一个品质层，可以由各自的单层运动补偿和帧内预测进行编码，例如非可伸缩编码系统。基于一个或多个的较低空间层，也可以使用帧间层编码来编码每个较高空间层。举例来说，在宏块或其他区块单元的基础上，使用根据第0层视频的帧间层预测或者使用单层编码，来自适应编码第1层视频。同样地，使用基于重构的第1层视频的帧间层预测或使用单层编码，来自适应编码第2层视频。如图1所示,第1层图片111可以通过运动补偿和帧内预测131、基本层熵编码141和SNR增强层编码151来编码。如图1所示，运动补偿和帧内预测131也利用重建的基本层视频数据，其中在空间第1层中的编码块可使用重建的基本层视频数据作为附加的帧内预测数据(即，不涉及运动补偿)。相似地，第2层图片110可以通过运动补偿和帧内预测132、基本层熵编码142和SNR增强层编码152来编码。来自所有空间层的基本层比特流和SNR增强层比特流通过复用器160复用产生可伸缩的比特流。由于帧间层编码，可以提高编码效率。此外，编码空间第1层需要的信息取决于重建的第0层(帧间层预测)。SVC系统中较高层被称为增强层。H.264SVC提供三种类型的帧间层预测工具：帧间层运动预测、帧间层帧内预测、以及帧间层残差预测。在SVC中，增强层(EL)可以重新使用在基本层(BL)中的运动信息，以减少帧间层运动数据冗余。例如，增强层宏块编码可以使用一个标志，例如在语法元素mb_type之前的标志base_mode_flag被确定为指示增强层运动信息是否是直接来自于基本层。如果标志base_mode_flag等于1时，增强层宏块的分割数据以及相关的参考索引和运动矢量来自基本层中同一位置的8×8区块相应的数据。基本层的参考图片索引直接用于增强层。增强层的运动矢量是自与基本层相关的数据来进行缩放的。此外，已缩放的基本层运动矢量可以被用作增强层的附加的运动矢量预测子(predictor)。帧间层残差预测使用上采样的基本层残差信息，以减少所需编码增强层残差的信息。可使用双线性滤波器来区块式(block-wise)上采样基本层的同一位置的残差，以及基本文档来自技高网...

【技术保护点】
一种用于可伸缩视频编码的帧间层预测方法，其特征在于，视频数据被配置成基本层和增强层，以及增强层视频数据比基本层视频数据具有更高的空间分辨率或更好的视频品质，该方法包括：接收与该增强层视频数据的当前增强层区块相关的输入数据；决定该基本层中对应的基本层区块；基于与对应的基本层视频数据相关的基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；自该合并候选清单或该先进运动矢量预测候选清单得到最后的运动矢量预测子；以及使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。

【技术特征摘要】
2012.11.15 US 61/726,8371.一种用于可伸缩视频编码的帧间层预测方法，其特征在于，视频数据被配置成基本层和增强层，以及增强层视频数据比基本层视频数据具有更高的空间分辨率或更好的视频品质，该方法包括：接收与该增强层视频数据的当前增强层区块相关的输入数据；决定该基本层中对应的基本层区块；基于与对应的基本层视频数据相关的基本层运动信息，得到两个或多个帧间层候选，其中将该两个或多个帧间层候选添加至合并候选清单或先进运动矢量预测候选清单；自该合并候选清单或该先进运动矢量预测候选清单得到最后的运动矢量预测子；以及使用该最后的运动矢量预测子，应用编码或解码于该当前增强层区块相关的该输入数据，其中基于先进运动矢量预测以合并模式或帧间模式编码该当前增强层区块。2.根据权利要求1所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，基于与在该对应的基本层区块中选择的基本层视频数据相关的缩放的基本层运动信息得到该两个或多个帧间层候选中的至少一个。3.根据权利要求2所述的用于可伸缩视频编码的帧间层预测方法，其特征在于，在该对应的基本层区块中选择的基本层视频数据对应于基本层四个角的像素和基本层四个中心的像素的位置中的至少一个，其中该基本层四个角...

【专利技术属性】
技术研发人员：庄子德，陈震中，刘杉，陈庆晔，徐志玮，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71