用于对图像的序列进行编码和解码的方法、装置和程序制造方法及图纸

一种对图像的序列进行编码的方法，包括以下步骤：对所述序列中的至少一个图像进行以区域为单位的环路滤波，并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波。使所述序列的各图像与多个等级中的各等级相关联，其中所述等级与不同的率失真平衡或不同的图像质量相对应，并且根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。

【技术实现步骤摘要】
【国外来华专利技术】用于对图像的序列进行编码和解码的方法、装置和程序
本专利技术涉及用于对数字图像序列进行编码或解码的方法、装置和程序。本专利技术可以应用于数字信号处理领域，尤其应用于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。
技术介绍
例如H.263、H.264、MPEG-1、MPEG-2、MPEG-4、SVC等的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿来除去空间冗余和时间冗余。这些格式经常被称为预测视频格式。视频信号的各帧或各图像被分割成进行了编码并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外，各片可以被分割成宏块(MB)，并且各宏块被进一步分割成块、通常为64×64、32×32、16×16或8×8个像素的块。在高效率视频编码(HEVC)中，可以使用64×64～4×4的块。根据四叉树结构，基于最大编码单位(LCU)来对该分区进行组织。LCU与64×64的正方形块相对应。如果需要对LCU进行分割，则分割标志表示将LCU分割成4个32×32的块。同样，如果需要对这4个块中的任何块进行分割，则将分割标志设置为真并且将32×32的块分割成4个16×16的块等。在将分割标志设置为假的情况下，当前块是编码单位CU。CU的大小等于64×64、32×32、16×16或8×8个像素。存在如下两类编码模式来对图像的块进行编码：被称为帧内(INTRA)预测的基于空间预测的编码模式和基于时间预测的编码模式(帧间(INTER)、合并(Merge)、跳过(Skip))这两类编码模式。在空间预测模式和时间预测模式这两者中，通过从原始块中减去预测值来计算残差。通常根据INTRA块的因果边界处的编码像素，通过INTRA预测处理来预测该INTRA块。在INTRA预测中，对预测方向进行编码。时间预测在于：从参考帧(视频序列的先前帧或将来帧)中发现与要编码的块最接近的图像部分或参考区域。该步骤通常已知为运动估计。接着，在通常被称为运动补偿的步骤中使用参考区域来预测要编码的块，即连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起，对要编码的块和参考部分之间的差进行编码。在时间预测中，对至少一个运动矢量进行编码。为了进一步降低对运动信息进行编码的成本，代替直接对运动矢量进行编码，在假定运动均匀的情况下，可以按照运动矢量和通常根据要编码的块周围的块的一个或多个运动矢量所计算出的运动矢量预测结果之间的差来对运动矢量进行编码。在H.264中，例如，针对根据位于要编码的块的因果邻域的运动矢量(例如根据位于要编码的块的上方和左方的三个块)所计算出的中值预测结果，来对运动矢量进行编码。仅将中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)编码在位流中以降低编码成本。使用残差运动矢量的编码节省了若干位率，但需要解码器进行运动矢量预测结果的相同计算从而对要解码的块的运动矢量的值进行解码。可以通过考虑编码帧之间在率和失真方面的平衡来进一步利用通过帧间编码所利用的时间依赖性的编码效率。一个方式是代替针对所有帧设置相同的率失真折中、而是针对几个连续帧设置不同的率失真折中。对于一组连续帧，利用率和失真之间的特定平衡来对各帧进行编码。率和失真之间的各折中与等级(折中)的层级结构中的等级相对应。图28示出包括与针对低延迟情况的率失真折中的层级结构相关联的图像的图片组(GoP)的示例。如该图所示，图像的大小与质量方面的层级结构有关。例如，等级等于“2”的图像具有最大大小，因此与中等大小且等级为1的图像相比具有较高质量。大小最小(等级等于0)的图像具有较低质量。用以评价图像在率失真方面的层级结构的另一方式是考虑构成GoP280的图像的量化参数。如从图28看出，质量最高的图像与量化参数QP相关联。这些图像的等级等于2。中等质量的图像与量化参数QP+1相关联。这些图像的等级等于1。并且，质量最低的图像与量化参数QP+2相关联。这些图像的等级等于0。在该层级结构中，与低等级相比，对于较高等级，质量(无失真)(相对于成本)在率失真折中方面重要性较高。其影响是层级结构(等级)顶部的图像与等级较低的图像相比应具有较高的质量。然后，在帧间编码模式的帮助下，该质量针对以下的编码图像进行传播，其中与层级结构中的等级较高的图像相比，这些编码图像所具有的层级结构中的等级较低并且在率失真折中方面所具有的质量较低。率和失真之间的折中可以由量化参数或由率失真标准中的拉格朗日(Lagrangian)参数(被称为λ)或由这两者来确定。等级较低的图像的QP值高于等级较高的图像的QP值、或者其Lagrangian参数高于等级较高的图像的Lagrangian参数(这意味着：对于较低等级，在率失真折中方面，率(相对于失真)具有较高的重要性)。编码处理和解码处理这两者都可能涉及编码图像的解码处理。为了使得编码器和相应解码器能够具有相同参考帧的未来运动估计的目的，该处理通常在编码器侧进行。为了重建编码帧，对残差进行逆量化和逆变换，从而在像素域中提供“解码”残差。然后，利用一种或几种后滤波处理来对第一重建进行滤波。将这些后滤波器在编码器和解码器侧应用于重建帧以使得在这两侧使用相同的参考帧。该后滤波的目的是消除压缩效应。例如，H.264/AVC使用去块滤波器。该滤波器可以消除由于残差的DCT量化和块运动补偿所引起的块效应(blockingartifact)。在当前HEVC标准中，使用去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)这三种环路滤波器。图1是示出已知的HEVC实现的环路滤波处理的步骤的流程图。在初始步骤101中，编码器或解码器生成整个帧的重建。接着，在步骤102中，对该第一重建应用去块滤波器从而生成去块重建103。去块滤波器的目的是消除残差量化和块运动补偿或块帧内预测所产生的块效应。这些效应在低位率的情况下在视觉上是重要的。去块滤波器工作以根据两个相邻块的特性来使块边界平滑化。考虑各块的编码模式、残差编码所使用的量化参数、以及边界中的相邻像素差。对所有帧应用相同的标准/分类并且没有传输附加数据。去块滤波器通过消除块效应来改进当前帧的视觉质量，并且去块滤波器还改进了针对后续帧的运动估计和运动补偿。实际上，消除了块效应的高频率，因此无需利用后续帧的纹理残差来对这些高频率进行补偿。在去块滤波器之后，在步骤104中利用样本自适应偏移(SAO)环路滤波器来对去块重建进行滤波。然后，在步骤106中利用自适应环路滤波器(ALF)对由此得到的帧105进行滤波以生成重建帧107，其中将显示并使用该重建帧107作为后续帧间帧的参考帧。与没有传输信息的去块滤波器相对，SAO环路滤波器和ALF的目的是通过发送附加数据来改进帧重建。SAO环路滤波器的原理是将各像素分类成类并且向该类的各像素的各像素值添加相同的偏移值。因而，针对各类传输一个偏移。SAO环路滤波提供了针对帧区域的边缘偏移和带偏移这两种分类。边缘偏移分类涉及通过将各像素的相应像素值与两个相邻像素的像素值进行比较来确定该像素的类。此外，两个相邻像素依赖于表示这两个相邻像素的方向的参数。这些方向是0度(水平方向)、45度(对角线方向)、90度(垂直方向)和本文档来自技高网...

【技术保护点】
一种用于对图像的序列进行编码的方法，所述方法包括以下步骤：对所述序列中的至少一个图像进行以区域为单位的环路滤波，并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波。

【技术特征摘要】
【国外来华专利技术】2011.11.07 GB 1119206.9;2012.02.24 GB 1203285.0;201.一种用于对图像的序列进行编码的方法，所述方法包括以下步骤：确定图像的所述序列中的作为允许以区域为单位的环路滤波的有效图像的图像以及图像的所述序列中的作为禁用以区域为单位的环路滤波的无效图像的图像，其中，允许同一有效图像内的不同图像区域具有不同的环路滤波选择，不允许同一无效图像内的不同图像区域具有不同的环路滤波选择；以及对所述序列中的各所述有效图像进行以区域为单位的环路滤波，并且对所述序列中的各所述无效图像禁用所述以区域为单位的环路滤波；所述方法还包括以下步骤：产生以区域为单位的环路滤波活动在一个或多个图像中的度量，在允许针对所述一个或多个图像的图像区域的以区域为单位的环路滤波的情况下，所述度量依赖于针对所述一个或多个图像的图像区域的环路滤波选择；以及根据所述度量来确定所述序列中的至少一个图像是有效图像还是无效图像。2.根据权利要求1所述的方法，其中，以区域为单位的环路滤波包括：在所述有效图像中以图像区域为单位选择在相关图像区域中使用环路滤波还是不使用环路滤波。3.根据权利要求1所述的方法，其中，禁用以区域为单位的环路滤波包括：将所述无效图像作为一个整体选择为不使用环路滤波。4.根据权利要求1所述的方法，其中，所述以区域为单位的环路滤波是以区域为单位的样本自适应偏移环路滤波或者包括以区域为单位的样本自适应偏移环路滤波。5.根据权利要求2所述的方法，其中，产生所述度量包括：确定图像内选择使用环路滤波的包括连续的图像区域以及不连续的图像区域的图像区域的数量。6.根据权利要求1所述的方法，其中，还包括以下步骤：将所述度量与阈值进行比较，并且根据比较结果来判断所述至少一个图像是有效图像还是无效图像。7.根据权利要求1所述的方法，还包括以下步骤：在没有进行环路滤波的状态下、目标图像的图像质量与先前图像的图像质量相比下降或下降超过预定量的情况下，将所述目标图像确定为无效图像。8.根据权利要求1所述的方法，其中，所述序列的图像具有多个颜色成分，并且所述方法还包括以下步骤：针对各颜色成分单独确定作为有效图像的图像和作为无效图像的图像。9.根据权利要求4所述的方法，其中，所述以区域为单位的样本自适应偏移环路滤波的类型能够在边缘型和带型之间进行切换，并且所述方法还包括以下步骤：针对各类型单独确定作为有效图像的图像和作为无效图像的图像。10.根据权利要求1所述的方法，还包括以下步骤：使多个等级中的各等级与所述序列的各图像相关联，其中所述等级与不同的率失真平衡或不同的图像质量相对应；以及根据所述度量和所述等级来确定所述序列中作为有效图像的图像和所述序列中作为无效图像的图像。11.根据权利要求10所述的方法，其中，所述等级与不同的率失真平衡相对应，并且所述等级越高，在率失真平衡中失真的重要性相对于成本的重要性越高。12.根据权利要求10所述的方法，其中，所述等级与不同的图像质量相对应，并且所述等级越高，图像质量越高。13.根据权利要求1所述的方法，还包括以下步骤：使多个等级中的各等级与所述序列的各图像相关联，其中所述等级与不同的量化参数值相对应，并且所述等级越低，量化参数值越高；以及根据所述度量和所述等级来确定所述序列中作为有效图像的图像和所述序列中作为无效图像的图像。14.根据权利要求1所述的方法，其中，图像的所述序列是图片组即GoP，或者图像的所述序列包括图片组即GoP，并且所述方法还包括以下步骤：使多个等级中的各等级与所述序列的各图像相关联，其中所述图片组中的针对所述图片组的给定图像的编码所依赖的参考图像的数量越高，所述给定图像的等级越低；以及根据所述度量和所述等级来确定所述序列中作为有效图像的图像和所述序列中作为无效图像的图像。15.根据权利要求10至14中任一项所述的方法，其中，所述度量是环路滤波活动在具有所述等级中的预定等级的一个或多个图像中的度量。16.根据权利要求15所述的方法，其中，所述确定是以图像为单位执行的，并且所述预定等级是比当前图像的等级高的等级。17.根据权利要求15所述的方法，其中，所述预定等级是最高等级。18.根据权利要求15所述的方法，其中，还包括以下步骤：针对两个以上的所述等级分别产生所述度量，其中各所述度量是环路滤波活动在具有所关注的等级的一个或多个图像中的度量；以及根据针对两个以上的所述等级中的给定等级所产生的度量来判断具有所述给定等级的图像是有效图像还是无效图像。19.根据权利要求16所述的方法，其中，还包括以下步骤：将所述度量与阈值进行比较，并且根据比较结果来判断当前图像是有效图像还是无效图像。20.根据权利要求19所述的方法，其中，所述阈值依赖于所述预定等级和所述当前图像的等级之间的等级差。21.根据权利要求10至14中任一项所述的方法，还包括以下步骤：将具有最高等级的所有图像确定为有效图像。22.根据权利要求10至14中任一项所述的方法，还包括以下步骤：将具有最低等级的所有图像确定为无效图像。23.根据权利要求10至14中任一项所述的方法，还包括以下步骤：在没有进行环路滤波的状态下、目标图像的图像质量与先前图像的图像质量相比下降或下降超过预定量的情况下，将所述目标图像确定为无效图像。24.根据权利要求23所述的方法，其中，所述预定量依赖于所述目标图像和/或所述先前图像的等级。25.根据权利要求10至14中任一项所述的方法，其中，还包括以下步骤：将具有给定等级的图像确定为无效图像。26.根据权利要求25所述的方法，其中，还包括以下步骤：在对预定数量的具有所述给定等级的所述无效图像进行编码之后，将具有所述给定等级的后续图像确定为有效图像。27.一种用于对图像的序列进行解码的方法，所述方法包括以下步骤：确定图像的所述序列中的作为允许以区域为单位的环路滤波的有效图像的图像以及图像的所述序列中的作为禁用以区域为单位的环路滤波的无效图像的图像，其中，允许同一有效图像内的不同图像区域具有不同的环路滤波选择，不允许同一无效图像内的不同图像区域具有不同的环路滤波选择；以及对所述序列中的各所述有效图像进行以区域为单位的环路滤波，并且对所述序列中的各所述无效图像禁用所述以区域为单位的环路滤波；所述方法还包括以下步骤：产生以区域为单位的环路滤波活动在一个或多个图像中的度量，在允许针对所述一个或多个图像的图像区域的以区域为单位的环路滤波的情况下，所述度量依赖于针对所述一个或多个图像的图像区域的环路滤波选择；以及根据所述...

【专利技术属性】
技术研发人员：G·拉罗彻，C·吉斯科特，E·弗朗考伊斯，P·乌诺，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP