用于视频编码的环内滤波装置及方法制造方法及图纸

本发明专利技术涉及一种用于视频编码的环内滤波装置，其中所述环内滤波装置用于处理对应于当前帧的重建帧以生成滤波后的重建帧，其中所述重建帧包括多个像素，每个像素对应一个像素值。所述环内滤波装置包括处理单元，用于：将所述重建帧分割为多个重叠和/或非重叠的2D像素块；通过对所述2D像素块进行2D变换为每个2D像素块生成2D频谱，其中所述2D频谱包括多个频谱分量；通过将每个频谱分量乘以相应的增益系数，为每个2D像素块生成滤波后的2D频谱，其中所述相应的增益系数取决于所述相应的频谱分量和/或所述相应的频谱分量的一个或多个相邻频谱分量以及一个或多个滤波参数；通过对所述滤波后的2D频谱进行逆2D变换为每个2D像素块生成滤波后的2D像素块；和基于所述多个滤波后的2D像素块生成所述滤波后的重建帧。此外，本发明专利技术涉及一种包括这种环内滤波装置的编码装置和解码装置。

Inner loop filtering device and method for video coding

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的环内滤波装置及方法
本专利技术涉及视频编码领域。更具体地，本专利技术涉及一种用于对重建视频帧进行滤波的环内滤波装置和方法，以及包括此类环内滤波装置的编码装置和解码装置。
技术介绍
数字视频通信和存储应用由各种数字设备实现，例如数码相机、蜂窝式无线电话、膝上型计算机、广播系统、视频会议系统等。这些应用中最重要和最具挑战性的任务之一就是视频压缩。视频压缩是一个复杂的任务，受到两个相互制约的参数(压缩效率和计算复杂度)的约束。视频编码标准(如ITU-TH.264/AVC或ITU-TH.265/HEVC)为这些参数之间提供了良好的权衡。因此，几乎所有视频压缩应用都必须支持视频编码标准。最先进的视频编码标准将源帧或源图像分割为帧块或图像块。这些块的处理取决于其大小、空间位置和编码器指定的编码方式。根据预测类型，编码模式可以分为两个组：帧内预测模式和帧间预测模式。帧内预测模式使用同一帧(也称为图像或影像)的像素来生成参考样本，以计算正在重建的块的像素的预测值。帧内预测也称为空间预测。帧间预测模式设计用于时间预测，并使用上一帧或下一帧的参考样本来预测当前帧的块的像素。在预测阶段之后，对预测误差(原始信号与其预测值之间的差值)进行变换编码。然后，使用熵编码器(例如，AVC/H.264和HEVC/H.265标准中的CABAC)对变换系数和边信息进行编码。最近采用的ITU-TH.265/HEVC标准(ISO/IEC23008-2:2013，2013年11月《信息技术-异构环境中的高效编码和媒体传送》-第2部分：高效视频编码)宣布了一套最先进的视频编码工具，在编码效率和计算复杂度之间提供了合理的权衡。盖里J.苏利文在《高效视频编码(HEVC)标准概述》(IEEE视频技术电路和系统学报第22卷第12期，2012年12月)中对ITU-TH.265/HEVC标准进行了概述，其全部内容通过引用结合在本申请中。与ITU-TH.264/AVC视频编码标准类似，HEVC/H.265视频编码标准规定以编码单元(codingunit，CU)的形式将源帧划分为帧块。每个CU可以进一步分为更小的CU或预测单元(predictionunit，PU)。可以根据PU的像素使用的处理类型，对PU进行帧内或帧间预测。对于帧间预测，PU表示通过使用为PU指定的运动矢量的运动补偿来处理的像素区域。对于帧内预测，使用相邻块的相邻像素作为参考样本来预测当前块。PU指定了预测模式，所述预测模式是从这个PU中包含的所有变换单元(transformunit，TU)的帧内预测模式集中选择的。TU可以具有不同的大小(例如，4x4、8x8、16x16和32x32像素)，可以以不同的方式处理。TU进行变换编码，即通过离散余弦变换或离散正弦变换(在HEVC/H.265标准中，应用于帧内编码块)对预测误差进行变换和量化。因此，重建像素包含量化噪声(例如单元之间的块效应、振铃伪像以及锐边等，这一点变得很明显)，环内滤波器(例如去块滤波器(deblockingfilter，DBF)、采样自适应偏移(sampleadaptiveoffset，SAO)和自适应环路滤波器(adaptiveloopfilter，ALF))用于抑制量化噪声。传统自适应环路滤波器在陈乾、郑云飞、尹鹏、陆晓安、乔尔索尔、徐茜、爱德华弗朗索瓦和吴大鹏等人的《基于分类四叉树的自适应环路滤波器》(2011年IEEE国际多媒体与博览会会议，第1-6页)中进行了描述。在此滤波器中，每个重建帧被分成一组小的宏块(超像素)，每个宏块由自适应环路滤波器滤波，因为滤波后的重建帧的每个像素是在生成滤波像素的位置周围的重建帧的像素连接区域中的几个像素的加权和。图1中示出了这个滤波过程。所述重建帧中的像素x[0]、x[1]、x[2]、x[3]、x[4]创建用于从重建帧中对像素x[2]进行滤波的像素连接区域。滤波后的像素yflt为像素x[0]、x[1]、……、x[4]的加权和，并将其放置在所述滤波后的重建帧中的像素x[2]的位置处。加权系数(也称为滤波器系数)w[0]、w[1]和w[2]具有中心对称性，可以从编码器侧传输到解码器侧。编码器侧基于原始像素和滤波像素之间的最小化平方误差度量对这些加权系数进行估计。可以表明，以这种方式估计加权系数增加了重建帧中沿边缘的空间像素位置的加权系数(ALF是边缘定向滤波器)，因此其允许有效地抑制量化噪声。边缘通常具有较大的尺寸，因此要传输的加权系数可能太多而无法有效处理。大量的加权系数需要在编码器侧进行复杂的率失真优化(rate-distortionoptimization，RDO)，以减少传输的加权系数的数量。在解码器侧，ALF要求实现通用乘法器，每个2x2像素块应重新加载这些乘法器。因此，需要一种改进的环内滤波装置和方法，允许在较低复杂度下提高预测质量，从而提高视频编码效率。
技术实现思路
本专利技术的目标是提供一种改进的环内滤波装置和方法，允许在有限复杂度下提高预测质量，从而提高视频编码效率。上述和其他目标通过独立权利要求请求保护的主题来实现。进一步的实现方式在从属权利要求、具体实施方式和附图中显而易见。根据第一方面，本专利技术涉及一种用于视频编码的环内滤波装置，其中所述环内滤波装置用于处理对应于当前帧的重建帧以生成滤波后的重建帧，其中所述重建帧包括多个像素，每个像素对应一个像素值或样本值。所述环内滤波装置包括处理单元，所述处理单元用于：将所述重建帧分割为多个重叠和/或非重叠的2D像素块(即2D像素块)；通过对所述2D像素块进行2D变换为每个2D像素块生成2D频谱，其中所述2D频谱包括多个频谱分量；通过将每个频谱分量乘以相应的增益系数，为每个2D像素块生成滤波后的2D频谱，其中所述相应的增益系数取决于所述相应的频谱分量和/或所述相应频谱分量的一个或多个相邻频谱分量以及一个或多个滤波参数；通过对所述滤波后的2D频谱进行逆2D变换为每个2D像素块生成滤波后的2D像素块；和基于所述多个滤波后的2D像素块生成所述滤波后的重建帧。因此，提供了一种改进的环内滤波装置，能够提高视频编码的效率。更具体地，根据本专利技术的实施例的改进的环内滤波装置从重建帧本身获得关于边缘的信息，因此，与传统滤波器(用于在图像域中发送用于滤波的加权系数)相比，需要明显更少的信令。此外，由于要传输的滤波参数数量较少，因此本专利技术的实施例可以使用比传统滤波器简单得多的速率失真优化来实现。此外，本专利技术实施例执行的滤波可以是非线性的，因为每个频谱分量的增益系数取决于频谱分量本身，因此可以通过非线性处理获得附加编码增益。此外，在本专利技术实施例中，滤波可以为查找表。因此，本专利技术实施例可以在没有任何乘法的情况下实现(2D变换使用常数值的乘法，因此只能基于加法和移位操作实现)。最后，本专利技术的实施例可以使用DCT和逆DCT进行滤波过程，这已经在混合视频编解码器中出现。在第一方面的另一种可能的实现方式中，所述处理单元用于基于所述相应的增益系数为每个2D像素块生成滤波后的2D频谱，其中增益系数Gij＝Func(R，Prm)是R和本文档来自技高网...

【技术保护点】
1.一种用于视频编码的环内滤波装置(120、220)，其特征在于，所述环内滤波装置(120、220)用于处理对应于当前帧的重建帧以生成滤波后的重建帧，其中所述重建帧包括多个像素，每个像素对应一个像素值，所述环内滤波装置(120、220)包括处理单元，用于：/n将所述重建帧分割为多个重叠和/或非重叠的2D像素块；/n通过对所述2D像素块进行2D变换为每个2D像素块生成2D频谱，其中所述2D频谱包括多个频谱分量；/n通过将每个频谱分量乘以相应的增益系数，为每个2D像素块生成滤波后的2D频谱，其中所述相应的增益系数取决于所述相应的频谱分量和/或所述相应的频谱分量的一个或多个相邻频谱分量以及一个或多个滤波参数；/n通过对所述滤波后的2D频谱进行逆2D变换为每个2D像素块生成滤波后的2D像素块；和/n基于所述多个滤波后的2D像素块生成所述滤波后的重建帧。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于视频编码的环内滤波装置(120、220)，其特征在于，所述环内滤波装置(120、220)用于处理对应于当前帧的重建帧以生成滤波后的重建帧，其中所述重建帧包括多个像素，每个像素对应一个像素值，所述环内滤波装置(120、220)包括处理单元，用于：
将所述重建帧分割为多个重叠和/或非重叠的2D像素块；
通过对所述2D像素块进行2D变换为每个2D像素块生成2D频谱，其中所述2D频谱包括多个频谱分量；
通过将每个频谱分量乘以相应的增益系数，为每个2D像素块生成滤波后的2D频谱，其中所述相应的增益系数取决于所述相应的频谱分量和/或所述相应的频谱分量的一个或多个相邻频谱分量以及一个或多个滤波参数；
通过对所述滤波后的2D频谱进行逆2D变换为每个2D像素块生成滤波后的2D像素块；和
基于所述多个滤波后的2D像素块生成所述滤波后的重建帧。


2.根据权利要求1所述的环内滤波装置(120、220)，其特征在于，所述处理单元用于基于所述相应的增益系数为每个2D像素块生成滤波后的2D频谱，其中增益系数Gij＝Func(R，Prm)是R和Prm的函数，其中(i，j)表示2D频谱中频谱分量的2D索引，R表示重建帧中的2D像素块的2D频谱，Prm表示多个滤波参数。


3.根据权利要求1或2所述的环内滤波装置(120、220)，其特征在于，仅使用一个滤波参数用于估计重建帧中每个2D像素块的频域增益系数。


4.根据前述权利要求中任一项所述的环内滤波装置(120、220)，其特征在于，所述处理单元用于基于由以下等式定义的所述相应增益系数为每个2D像素块生成滤波后的2D频谱：



其中Gij表示所述相应增益系数，Rij表示所述2D频谱的所述频谱分量，σ表示所述一个滤波参数，(i，j)表示所述2D频谱中频谱分量的2D索引。


5.根据前述权利要求中任一项所述的环内滤波装置(120、220)，其特征在于，所述处理单元用于对不同的2D像素块使用相同的一个或多个滤波参数，以生成所述相应的滤波后的2D频谱。


6.根据前述权利要求中任一项所述的环内滤波装置(120、220)，其特征在于，所述处理单元用于对不同2D像素块或不同2D像素块组使用不同的滤波参数，以生成所述相应的滤波后的2D频谱。


7.根据前述权利要求中任一项所述的环内滤波装置(120、220)，其特征在于，所述处理单元用于基于四叉树分割或四叉树和二叉树分割对所述重建帧进行分割，对不同2D像素块组使用不同的滤波参数，所述2D像素块组由大小和形状相同的2D像素块组成。


8.根据前述权利要求中任一项所述的环内滤波装置(120、220)，其特征在于，所述2D变换为DCT，所述逆2D变换为逆DCT。


9.一种用于处理对应于当前帧的重建帧以生成滤波后的重建帧的环内滤波方法(900)，其特征在于，所述重建帧包括多个像素，每个像素对应一个像素值，所述环内滤波方法(900)包括：
将所述重建帧分割(901)为多个重叠和/或非重叠的2D像素块；
通过对所述2D像素块进行2D变换为每个2D像素块生成(903)2D频谱，其中所述2D频谱包括多个频谱分量；
通过将每个频谱分量乘以相应的增益系数，为每个2D像素块生成(905)滤波后的2D频谱，其中所述相应的增益系数取决于所述相应的频谱分量和/或所述相应的频谱分量的一个或多个相邻频谱分量以及一个或多个滤波参数；
通过对所述滤波后的2D频谱进行逆2D变换为每个2D像素块生成(907)滤波后的2D像...

【专利技术属性】
技术研发人员：维克多·阿列克谢耶维奇·斯蒂平，罗马·伊戈雷维奇·车雅克，谢尔盖·尤里维奇·伊科宁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44