用于针对图像的重建样本的集合提供补偿偏移的方法和装置制造方法及图纸

针对图像的重建样本的集合提供补偿偏移。各样本具有样本值。提供补偿偏移的方法包括基于率失真标准来从多个预定分类中选择分类。各预定分类的分类范围小于样本值的整个范围并且由多个类构成，多个类各自定义分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类。使应用于类的各样本的样本值的补偿偏移与所选择的分类的各类相关联。

【技术实现步骤摘要】
【国外来华专利技术】用于针对图像的重建样本的集合提供补偿偏移的方法和装置
本专利技术涉及用于针对图像的重建样本的集合补偿偏移的方法和装置。本专利技术还涉及用于对数字图像序列进行编码或解码的方法和装置。本专利技术可以应用于数字信号处理领域，尤其应用于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。
技术介绍
例如H.263、H.264、MPEG-1、MPEG-2、MPEG-4、SVC等的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿来除去空间冗余和时间冗余。这些格式经常被称为预测视频格式。视频信号的各帧或各图像被分割成进行了编码并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外，各片可以被分割成宏块(MB)，并且各宏块被进一步分割成块、通常为64×64、32×32、16×16或8×8个像素的块。在高效率视频编码(HEVC)中，可以使用64×64～4×4的块。根据四叉树结构，基于最大编码单位(LCU)来对该分区进行组织。LCU与64×64的正方形块相对应。如果需要对LCU进行分割，则分割标志表示将LCU分割成4个32×32的块。同样，如果需要对这4个块中的任何块进行分割，则将分割标志设置为真并且将32×32的块分割成4个16×16的块等。在将分割标志设置为假的情况下，当前块是编码单位CU。CU的大小等于64×64、32×32、16×16或8×8个像素。存在如下两类编码模式来对图像的块进行编码：被称为帧内(INTRA)预测的基于空间预测的编码模式和基于时间预测的编码模式(帧间(INTER)、合并(Merge)、跳过(Skip))这两类编码模式。在空间预测模式和时间预测模式这两者中，通过从原始块中减去预测值来计算残差。通常根据INTRA块的因果边界处的编码像素，通过INTRA预测处理来预测该INTRA块。在INTRA预测中，对预测方向进行编码。时间预测在于：从参考帧(视频序列的先前帧或将来帧)中发现与要编码的块最接近的图像部分或参考区域。该步骤通常已知为运动估计。接着，在通常被称为运动补偿的步骤中使用参考区域来预测要编码的块，即连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起，对要编码的块和参考部分之间的差进行编码。在时间预测中，对至少一个运动矢量进行编码。为了进一步降低对运动信息进行编码的成本，代替直接对运动矢量进行编码，在假定运动均匀的情况下，可以按照运动矢量和通常根据要编码的块周围的块的一个或多个运动矢量所计算出的运动矢量预测结果之间的差来对运动矢量进行编码。在H.264中，例如，针对根据位于要编码的块的因果邻域的运动矢量(例如根据位于要编码的块的上方和左方的三个块)所计算出的中值预测结果，来对运动矢量进行编码。仅将中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)编码在位流中以降低编码成本。使用残差运动矢量的编码节省了若干位率，但需要解码器进行运动矢量预测结果的相同计算从而对要解码的块的运动矢量的值进行解码。编码处理和解码处理这两者都可能涉及编码图像的解码处理。为了使得编码器和相应解码器能够具有相同参考帧的未来运动估计的目的，该处理通常在编码器侧进行。为了重建编码帧，对残差进行逆量化和逆变换，从而在像素域中提供“解码”残差。然后，利用一种或几种后滤波处理来对第一重建进行滤波。将这些后滤波器在编码器和解码器侧应用于重建帧以使得在这两侧使用相同的参考帧。该后滤波的目的是消除压缩效应。例如，H.264/AVC使用去块滤波器。该滤波器可以消除由于残差的DCT量化和块运动补偿所引起的块效应(blockingartifact)。在当前HEVC标准中，使用去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)这三种环路滤波器。图1是示出已知的HEVC实现的环路滤波处理的步骤的流程图。在初始步骤101中，编码器或解码器生成整个帧的重建。接着，在步骤102中，对该第一重建应用去块滤波器从而生成去块重建103。去块滤波器的目的是消除残差量化和块运动补偿或块帧内预测所产生的块效应。这些效应在低位率的情况下在视觉上是重要的。去块滤波器工作以根据两个相邻块的特性来使块边界平滑化。考虑各块的编码模式、残差编码所使用的量化参数、以及边界中的相邻像素差。对所有帧应用相同的标准/分类并且没有传输附加数据。去块滤波器通过消除块效应来改进当前帧的视觉质量，并且去块滤波器还改进了针对后续帧的运动估计和运动补偿。实际上，消除了块效应的高频率，因此无需利用后续帧的纹理残差来对这些高频率进行补偿。在去块滤波器之后，在步骤104中利用样本自适应偏移(SAO)环路滤波器来对去块重建进行滤波。然后，在步骤106中利用自适应环路滤波器(ALF)对由此得到的帧105进行滤波以生成重建帧107，其中将显示并使用该重建帧107作为后续帧间帧的参考帧。与没有传输信息的去块滤波器相对，SAO环路滤波器和ALF的目的是通过发送附加数据来改进帧重建。SAO环路滤波器的原理是将各像素分类成类并且向该类的各像素的各像素值添加相同的偏移值。因而，针对各类传输一个偏移。SAO环路滤波提供了针对帧区域的边缘偏移和带偏移这两种分类。边缘偏移分类涉及通过将各像素的相应像素值与两个相邻像素的像素值进行比较来确定该像素的类。此外，两个相邻像素依赖于表示这两个相邻像素的方向的参数。这些方向是0度(水平方向)、45度(对角线方向)、90度(垂直方向)和135度(另一对角线方向)。以下将这些方向称为边缘偏移分类的“类型”。第二种分类是依赖于像素值的带偏移分类。SAO带偏移中的类与像素值的范围相对应。因而，向具有给定范围的像素值内的像素值的所有像素添加相同的偏移。为了更适应于帧内容，已提出了应用基于四叉树结构的SAO滤波以对SAO进行编码。结果，与四叉树的叶节点相对应的帧区域可以由SAO进行滤波或可以不由SAO进行滤波，使得仅对部分区域进行滤波。此外，在SAO有效的情况下，根据针对各分类所传输的相关参数仅使用一个SAO分类(边缘偏移或带偏移)。最后，针对各SAO叶节点，传输SAO分类及其参数以及所有类的偏移。四叉树的主要优点是高效地跟随信号的局部属性。然而，四叉树需要位流的专用编码。还可以设想利用按照LCU等级的编码来替换SAO参数的基于四叉树的编码的另一解决方案。可以将要编码的视频数据的图像提供作为样本值的一组二维阵列(还已知为颜色通道)，其中该二维阵列的各条目表示诸如从中性灰度颜色向着蓝色或红色(YUV)的亮度明度和色度颜色偏差的度量、或者红色、绿色或蓝色光成分强度(RGB)的度量等的颜色成分的强度。YUV模型定义了一个亮度(Y)成分和两个色度(UV)成分的颜色空间。通常，Y代表亮度成分(明度)，并且U和V是色度(颜色)或色差成分。独立地对亮度成分以及对U和V色度成分这两者应用SAO滤波。如图2所示，SAO带偏移的已知实现将像素值的范围分割成预定义的相同大小的32个范围。像素值的范围的最小值系统地为零，并且根据以下关系Max＝2位深度-1可知，最大值依赖于像素值的位深度。例如，在位深度为8位时，像素的最大值可以为255。因而，像素值的范围为0～255。对于8位的该位深度，各类包括16个像素值的本文档来自技高网...

【技术保护点】
一种用于针对图像的重建样本的集合提供补偿偏移的方法，各样本具有样本值，所述方法包括以下步骤：基于率失真标准来从多个预定分类中选择分类，各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类；以及使所选择的分类的各类与应用于该类的各样本的样本值的补偿偏移相关联。

【技术特征摘要】
【国外来华专利技术】2011.11.07 GB 1119206.9;2012.02.24 GB 1203285.01.一种用于提供对图像的重建样本的集合进行样本自适应偏移环路滤波所使用的补偿偏移的方法，各样本具有样本值，所述方法包括以下步骤：基于率失真标准来从多个预定分类中选择分类，各所述预定分类具有等于所述样本值的整个范围的1/8的分类范围并且由四个类构成，所述四个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类；以及使所选择的分类的各类与应用于该类的各样本的样本值的补偿偏移相关联。2.根据权利要求1所述的方法，其中，针对各类的补偿偏移是根据该类的各重建样本的样本值和相应原始图像的各样本值之间的差的平均值所确定的。3.根据权利要求1所述的方法，其中，所述样本值表示位深度，并且所述分类范围、各类的范围和所选择的分类的中心至少之一依赖于所述位深度。4.一种用于对包括多个样本的图像进行编码的方法，所述方法包括以下步骤：对所述样本进行编码；对已编码的样本进行解码以提供重建样本；对所述重建样本进行样本自适应偏移环路滤波，所述样本自适应偏移环路滤波包括向各所述重建样本的样本值应用补偿偏移，各所述补偿偏移与样本值的范围相关联，其中所述补偿偏移是根据权利要求1所述的方法所提供的；以及生成已编码的样本的位流。5.根据权利要求4所述的方法，其中，还包括以下步骤：在所述位流中传输表示与所选择的分类的所述多个类分别相关联的补偿偏移的已编码的数据。6.根据权利要求4所述的方法，其中，还包括以下步骤：在所述位流中传输与所选择的分类有关的已编码的分类数据。7.根据权利要求6所述的方法，其中，所述分类数据包括表示所选择的分类的中心的数据。8.根据权利要求6所述的方法，其中，所述分类数据包括表示与所选择的分类有关的索引的数据。9.根据权利要求6所述的方法，其中，所述分类数据包括表示所选择的分类在样本值的所述整个范围内的位置的数据。10.根据权利要求9所述的方法，其中，所述位置是所选择的分类的端位置。11.根据权利要求10所述的方法，其中，将所述端位置表示为相对于所述整个范围的一端的移位。12.一种用于对包括多个样本的图像进行解码的方法，各样本具有样本值，所述方法包括以下步骤：接收已编码的样本值；接收已编码的分类数据；接收已编码的补偿偏移；对所述分类数据进行解码，并且基于已解码的分类数据来从多个预定分类中选择分类，各所述预定分类具有等于所述样本值的整个范围的1/8的分类范围并且由四个类构成，所述四个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类；对已编码的样本进行解码以...

【专利技术属性】
技术研发人员：E·弗朗考伊斯，G·拉罗彻，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP