用于视频编解码的自适应帧间预测的方法及装置制造方法及图纸

技术编号:17963863 阅读:31 留言:0更新日期:2018-05-16 07:14
本申请公开了用于视频编解码的自适应帧间预测的方法和装置。选择的帧间预测处理被确定,其中该选择的帧间预测处理根据包括当前块的相邻重建像素(neighbouring reconstructed pixel,NRP)的第一像素数据从多个帧间预测滤波器中选择用于当前块的帧间预测滤波器。选择的帧间预测处理可以根据对应于当前块的运动补偿参考块周围的额外运动补偿像素(extra motion compensated pixel,EMPC)来进一步确定。NRP和EMCP之间的失真可以被用于确定选择的帧间预测滤波器。该失真可以使用NRP和EMCP之间的绝对差值的和或者差值的平方和来计算。

Adaptive inter frame prediction method and device for video codec

The present invention discloses a method and an apparatus for adaptive inter frame prediction for video codec. The selected interframe prediction processing is determined, in which the selected interframe prediction processing selects an interframe prediction filter for the current block from a plurality of inter frame prediction filters, based on the first pixel data of the adjacent reconstruction pixels (neighbouring reconstructed pixel, NRP) including the current block. The selected interframe prediction processing can be further determined according to the additional motion compensation pixels around the motion compensation reference block corresponding to the current block (extra motion compensated pixel, EMPC). The distortion between NRP and EMCP can be used to identify selected interframe prediction filters. The distortion can be calculated by the sum of the absolute difference between NRP and EMCP or the sum of squares of the difference.

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的自适应帧间预测的方法及装置优先权声明本申请基于且要求于2015年9月6日提交的申请号为PCT/CN2015/088952的PCT专利申请的优先权,其整体以引用的方式并入本文。
本申请涉及视频数据的视频编解码。尤其是,本申请涉及用于提高编解码效率的视频编解码中的自适应帧间预测。
技术介绍
视频数据要求大量的存储空间用于存储或者较宽的带宽用于传输。随着高分辨率和高帧速率的提升,如果视频数据以未压缩的格式存储或者传输,那么对存储空间或者带宽的要求将相当高。因此,视频数据通常使用视频编解码技术以压缩的格式存储或者传输。使用诸如H.264/AVC和HEVC(HighEfficiencyVideoCodin,高效率视频编解码)标准之类的更新的视频压缩格式,很大程度上提高了编解码效率。图1是环路处理的自适应帧间/帧内结合的视频编解码系统。对于帧间预测,运动估计(MotionEstimation,ME)/运动补偿(MotionCompensation,MC)器112用于基于来自一个或多个其他图片的视频数据而提供预测数据。开关114选择帧内预测110或者帧间预测数据并且选择的预测数据将被提供给加法器116以形成预测误差,也称为残差。然后,预测误差被转换器(T)118处理,接着量化器(Q)对其进行处理。经过转换和量化处理的残差被熵编码器122编解码,以包括于对应压缩视频数据的视频比特流中。当使用帧间预测模式时,一个或多个参考图片还将在编码器端被重建。因此,经过转换和量化处理的残差经过反向量化器(IQ)124和反向转换器(IT)126处理以复原残差。残差随后被加回重建器(REC)128中的预测数据136以重建视频数据。重建的视频数据被存储在参考图片缓冲器134中,并用于预测其他帧。然而,在视频数据被储存到参考图片缓冲器134中之前,环路滤波器130(例如,去块滤波器和/或采样自适应偏移(sampleadaptiveoffset,SAO))可以被用于重建视频数据。图2是与图1中的编码系统对应的视频解码器的框图。因为编码器还包括用于重建视频数据的本地解码器,除了熵解码器210,一些解码器组件已经在编码器中被使用。此外,在解码器侧仅需要运动补偿器220。开关146选择帧内预测数据或者帧间预测数据,并且选择的预测数据被提供给重建器(REC)128与复原的残差结合。除了对压缩的残差执行解码之外,熵解码器210也负责对边信息进行熵解码,并且将边信息提供给各个块。例如,帧内模式信息被提供给帧内预测子110,帧间模式信息被提供给运动补偿器220,环路滤波器信息被提供给环路滤波器130,以及残差被提供给反向量化器124。残差被IQ124、IT126处理,以及随后被重建器(REC)128处理以重建视频数据。同样的,如图2所示,来自REC128的重建的视频数据经历包括IQ124和IT126的一系列处理,并且受制于编解码伪像。重建的视频数据被环路滤波器130进行进一步处理。在高效视频编解码(HighEfficiencyVideoCoding,HEVC)系统中,H.264/AVC的固定大小的宏模块被名为编解码单元(codingunit,CU)的灵活块所取代。CU中的像素共享同样的编解码参数以提高编解码效率。CU可以以最大CU(largestCU,LCU)开始,最大CU也可以认为是HEVC中的编解码树单元(codedtreeunit,CTU)。每一个CU都是一个2Nx2N的方块,并且可以递归地分割成4个更小的CU,直到达到预定的最小尺寸为止。一旦CU分层树的分割完成,根据预测类型和PU(predictionunit,预测单元)分区将每一个叶CU进一步分割成一个或多个预测单元(predictionunit,PU)。此外,转换编解码的基本单元是被称为转换单元(TransformUnit,TU)的方块。在HEVC中,帧内预测和帧间预测被应用于每一个块(即,PU)。帧内预测模式采用空间相邻重建像素来生成定向预测子。另一方面,帧间预测模式采用临时重建参考帧来生成运动补偿预测子。采用变换、量化和熵编解码对预测残差进行编解码。更精确的预测子将会导致更小的预测残差,这又将导致更小的压缩数据(即,更高的压缩比)。帧间预测将会探索帧与帧之间的像素的相关性,并且如果场景是静止的或者运动是平移的,则帧间预测是有效的。在这种情况下,运动估计将很容易地在时间相邻的帧中找到具有相似像素值的相似块。对于HEVC中的帧间预测,该帧间预测可以是单向预测或者双向预测。对于单向预测,通过先前编解码图片中的一个参考块对当前块进行预测。对于双向预测,通过两个先前编解码图片中的两个参考块对当前块进行预测。来自于两个参考块的预测被进行平均以形成双向预测的最终预测子。在许多视频编解码标准中,也支持分数运动向量。例如,在HEVC标准中,通过分别使用针对亮度分量的预先定义的8抽头差值滤波器和针对色度分量的预先定义的4抽头插值滤波器来实施分数运动补偿。然而。HEVC中的帧间预测的处理是固定的。例如,双向预测中的加权因子(即0.5和0.5)或者分数运动补偿中的滤波器系数是固定的。因此,传统的帧间预测不能很好地适应块的局部特征。因此,为了进一步提高帧间预测的压缩效率,希望能开发一种自适应帧间预测方法。
技术实现思路
本申请主要目的在于提供用于视频编解码的自适应帧间预测的方法和装置,能够提高帧间预测的压缩效率。根据本申请,确定选择的帧间预测处理,其中所选择的帧间预测处理根据包括当前块的相邻重建像素的第一像素数据从多个帧间预测滤波器中选择一个帧间预测滤波器。使用所选择的帧间预测处理对当前块进行编码或解码。第一像素数据可以进一步包括对应于当前块的运动补偿参考块周围的额外运动补偿像素。可以使用当前块的相邻重建像素与运动补偿参考块周围的额外运动补偿像素之间的失真来确定帧间预测滤波器。可以通过当前块的相邻重建像素与运动补偿参考块周围的额外运动补偿像素之间的绝对差之和或者平方差之和来计算该失真。基于当前块的运动信息和当前块的相邻重建像素的运动信息来选择第一像素数据。当前块的相邻重建像素可以包括在当前块的顶部边界之上的一个或多个行或列的相邻像素。可以使用子采样来选择当前块的相邻重建像素。在一个实施例中,多个帧间预测滤波器具有不同数量的滤波器抽头,或者不同的滤波器系数或同时具备不同数量的滤波器抽头和不同的滤波器系数。通过在一组包括支持多个帧间预测滤波器的帧间预测处理、支持多组用于双向预测的加权因子的帧间预测处理、或者既支持多个帧间预测滤波器又支持多组用于双向预测的加权因子的预测处理的帧间预测处理中进行选择确定选择的帧间预测处理。与该组帧间预测处理相关的信息可以在视频比特流的序列级、图片级、或者切片级通过信号发送。可以根据切片类型、预测模式或者运动信息来确定这组帧间预测处理。所选择的帧间预测处理的信息可以明确通过信号发送给编码器或者解码器。是否将所选择的帧间预测处理启用或停用可以在视频比特流中的序列级、图片级、切片级、编码单元级或者预测单元级通过信号发送。在另一个实施例中,确定选择的帧间预测处理,其中所选择的帧间预测处理从用于当前块的双向预测的多组加权因子中选择一组加权因子,然后使用所选择的帧间预测处理本文档来自技高网
...
用于视频编解码的自适应帧间预测的方法及装置

【技术保护点】
一种用于视频编解码的帧间预测方法,其特征在于,包括:接收与当前图片中的当前块有关的输入数据;确定选择的帧间预测处理,其中所述选择的帧间预测处理根据包括所述当前块的相邻重建像素的第一像素数据,从多个帧间预测滤波器中选择用于所述当前块的帧间预测滤波器;以及使用所述选择的帧间预测处理对所述当前块进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2015.09.06 CN PCT/CN2015/0889521.一种用于视频编解码的帧间预测方法,其特征在于,包括:接收与当前图片中的当前块有关的输入数据;确定选择的帧间预测处理,其中所述选择的帧间预测处理根据包括所述当前块的相邻重建像素的第一像素数据,从多个帧间预测滤波器中选择用于所述当前块的帧间预测滤波器;以及使用所述选择的帧间预测处理对所述当前块进行编码或解码。2.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述第一像素数据进一步包括对应于所述当前块的运动补偿参考块周围的额外运动补偿像素。3.根据权利要求2所述的用于视频编解码的帧间预测方法,其特征在于,所述当前块的所述相邻重建像素和所述运动补偿参考块周围的所述额外运动补偿像素之间的失真被用于确定所述帧间预测滤波器。4.根据权利要求3所述的用于视频编解码的帧间预测方法,其特征在于,所述失真是通过使用所述当前块的所述当前相邻重建像素和所述运动补偿参考块周围的所述额外运动补偿像素之间的绝对差之和来计算。5.根据权利要求3所述的用于视频编解码的帧间预测方法,其特征在于,所述失真的通过使用所述当前块的所述相邻重建像素和所述运动补偿参考块周围的所述额外运动补偿像素之间的差值平方和来计算。6.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述第一像素数据是基于所述当前块的运动信息和所述相邻重建像素的运动信息来选择。7.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述当前块的所述相邻重建像素包括一行或多行位于所述当前块的上边界之上的相邻像素。8.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述当前块的所述相邻重建像素包括一列或多列位于所述当前块的左边界之左的相邻像素。9.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述当前块的所述相邻重建像素是通过使用子采样法选择的。10.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述多个帧间预测滤波器具有不用的滤波器抽头或者具有不同的滤波器系数或者既具有不用的滤波器抽头又具有不同的滤波器系数。11.根据权利要求1所述的用于视频编解码的帧间预测方法,其特征在于,所述选择的帧间预测处理由在一组帧间预测处理的选择来确定,所述一组帧间预测处理包括支持多种帧间滤波器的帧间滤波处理,支持多组用于双向预测的加权因子的帧间预测处理,或者既支持多种帧间预测滤波器又支持多组加权因子的帧间预测处理。12.根据权利要求11所述的用于视频编解码的帧间预测方法,其特征在于,与所述一组帧间预测处理的信息在视频比特流的序列级、图片级或者切片级通过信号发送。13.根据权利要求11所述的用于视频编解码的帧间预测方法,其特征在于,所述一组帧间预测处理由切片类型、预测模式或者运动信息来确定。14.根据权利要求11所述的用于视频编解码的帧间预测方法,其特征在于,所述选择的帧间预测处理的信息通过信号明确地发送给编码器或者解码器。15....

【专利技术属性】
技术研发人员:陈庆晔徐志玮黄晗黄毓文
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1