用于视频编解码的环内去块滤波器设备和方法技术

一种环内去块滤波器设备(120)，用以将当前样本行或列处理成滤波后样本行或列。当前样本行或列包括来自视频流的重建图像的第一样本块和水平或垂直相邻的第二样本块的多个样本。当前样本行或列具有样本值p

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的环内去块滤波器设备和方法


[0001]一般地，本专利技术涉及图像处理领域，尤其涉及视频图像编解码。更具体地说，本专利技术涉及用于对重建视频图像进行滤波的环内去块滤波器设备和方法，以及包括这种环内去块滤波器设备的编码设备和解码设备。

技术介绍

[0002]视频编解码(视频编码和解码)用于广泛的数字视频应用，例如广播数字TV、通过互联网和移动网络的视频传输、诸如视频聊天和视频会议的实时对话应用、DVD和蓝光盘、视频内容获取和编辑系统、以及安全应用的便携式摄像机。
[0003]自从1990年H.261标准中开发基于块的混合视频编码方法以来，开发了新的视频编解码技术和工具并形成了新的视频编码标准的基础。大多数视频编码标准的目标之一是在不牺牲图像质量的情况下实现与其前身相比降低比特率。其他的视频编码标准包括MPEG-1视频、MPEG-2视频、ITU-TH.262/MPEG-2、ITU-TH.263、ITU-TH.264/MPEG-4第10部分(Part 10)、高级视频编码(advanced video coding，AVC)、ITU-TH.265、高效视频编码(high efficiency video coding，HEVC)、以及这些标准的扩展，例如可缩放性和/或三维(three-dimensional，3D)扩展。
[0004]基本上，根据基于块的混合视频编码方法，首先将图像划分为多个样本块，然后通过使用图像内预测或图像间预测来预测每个块。这些块与相邻块相对独立地被编码，并且以一定的相似度来近似原始信号。由于编码块仅是原始信号的近似，因此近似值之间的差异可导致预测和变换块边界处的不连续性。这些不连续性可以通过环内去块滤波器来衰减。
[0005]HEVC定义了具有两种滤波器或滤波模式的环内去块滤波器，即正常去块滤波器和强去块滤波器。正常去块滤波器修改两个垂直或水平相邻块之间的边缘两侧上的至多两个样本。为了使用强去块滤波器，边缘上的样本必须满足相对于某个预定义阈值的三个附加条件。如果满足所有这些条件，则应用强去块滤波器。对于沿边缘的样本，强去块滤波器具有比正常去块滤波器更显著的平滑效果，且可修改两个相邻样本块之间的边缘的两侧上的至多三个样本。
[0006]ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC1/SC29/WG11)正在研究被称为通用视频编码(versatile video coding，VVC)的下一代视频编解码器标准。这种新的视频编解码器标准的主要目标之一是提供显著超过当前HEVC标准(包括其针对屏幕内容编码和高动态范围编码的近期扩展和当前扩展)的压缩能力。为此，被称为联合视频探索组(joint video exploration team，JVET)做出联合协作努力以评估不同的潜在压缩技术设计。VVC测试模型(VVC test model，VTM)描述了处于JVET的协调测试模型研究下的特征，作为超出HEVC的当前能力的潜在增强视频编码技术。
[0007]VTM使用被称为四叉树加二叉树(quadtree plus binary tree，QTBT)的新的划分块结构方案。QTBT结构去除了多个分区类型的概念，即，去除了编码单元(coding unit，
CU)、预测单元(prediction unit，PU)和变换单元(transform unit，TU)的分离，即，CU＝PU＝TU。QTBT支持更灵活的CU分区形状，其中CU可具有正方形或矩形形状。CU的最小宽度和高度可为4个样本，且CU的大小也可为4
×
N或N
×
4，其中N可取范围[4，8，16，32]中的值。此外，编码树单元(coding tree unit，CTU)的最大尺寸已经增加到128
×
128像素，这是HEVC中CTU尺寸的4倍。
[0008]尤其对于矩形CU，失真可能发生在接近较短边缘处，这导致块伪影(block artifact)，即使在应用HEVC强滤波器时也是如此。这些块伪影也可沿大CU的边缘观察到，其中失真会因较大的预测和变换操作而显著。
[0009]为了解决传统HEVC去块滤波器的这个问题，在文献JVET-J0024中JVET提出，如果满足以下条件，则对大CU应用较强的去块滤波器：(i)对于垂直边缘，相邻样本块的宽度大于8个样本，或者对于水平边缘，相邻样本块的高度大于8个样本；以及(ii)对于边缘的每一侧上的样本，以下关系成立：
[0010][0011]其中p0表示第一样本的样本值，p7表示在垂直/水平边缘的左边/上方的第八样本的样本值，其中q0表示第一样本的样本值，q7表示在垂直/水平边缘的右边/下方的第八样本的样本值，β表示取决于量化参数(quantization parameter，QP)的阈值。值得注意的是，滤波操作适用于由四个样本行/列组成的垂直/水平边缘。只有当第一和第四样本行/列都满足由等式(1)定义的条件时，才应用较强的滤波器。
[0012]图4示出了在两个相邻样本块之间的边缘或边界处的样本值的不连续性的示例。为了清楚起见，仅示出了边缘每侧的前四个样本。理想地，应当应用去块滤波器来平滑如图4所示的这种不连续性。然而，由于在边缘的两侧，样本值远离边缘连续减小或增加，因为在边缘两侧的第一样本和第八样本的样本值之间的差异大，使得不满足等式(1)中定义的条件，所以将不应用JVET-J0024中提出的强去块滤波器。因此，图4中示出的样本值的不连续性将不会被JVET-J0024中所提出的强去块滤波器平滑，且因此将导致最终图像中的块伪影。
[0013]因此，需要一种更有效地去除块伪影的改进的环内去块滤波器设备和方法。

技术实现思路

[0014]本专利技术的实施例由独立权利要求的特征定义，并且实施例的进一步有利实施方式由从属权利要求的特征定义。
[0015]根据第一方面，本专利技术涉及一种用于将当前样本行或列处理成滤波后样本行或列的环内去块滤波器设备，其中，所述当前样本行或列包括来自视频流的重建图像的第一样本块以及水平或垂直相邻的第二样本块的多个样本，且其中，当前样本行或列中的每一样本具有样本值p
N-1-p0、q
0-q
N-1
，其中N为大于2的偶整数。该滤波器设备包括处理电路，该处理电路用于：
[0016]确定(i)是否满足由以下等式定义的第一条件：
[0017][0018]其中β表示正阈值参数，k是正整数，并且符号“＜＜”表示左移操作，并且其中k是正整数，
[0019]或者(ii)是否满足由以下等式定义的第二条件：
[0020][0021]其中，对于i∈[1,2,
…
,N-2]，SDp
i
＝|p
i-1-2
·
p
i
+p
i+1
|，SDq
i
＝|q
i-1-2
·
q...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种环内去块滤波器设备(120、220)，用于将当前样本行或列(501)处理成滤波后样本行或列，其特征在于，所述当前样本行或列(501)包括来自视频流的重建图像的第一样本块(503a)和水平或垂直相邻的第二样本块(503b)的多个样本，并且其中，所述当前样本行或列(501)中的每个样本具有样本值p
N-1-p0，q
0-q
N-1
，其中N为大于2的偶整数，其中，所述滤波器设备(120、220)包括处理电路，所述处理电路用于：确定(i)是否满足由以下等式定义的第一条件：其中β表示阈值参数，k是正整数，并且符号“＜＜”表示左移操作，或者(ii)是否满足由以下等式定义的第二条件：其中，对于i∈[1，2，...，N-2]，SDp
i
＝|p
i-1-2
·
p
i
+p
i+1
|，SDq
i
＝|q
i-1-2
·
q
i
+q
i+1
|，并且β表示阈值参数，k是正整数；以及如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：通过将具有2N-1个滤波器系数的(2N-1)抽头滤波器应用于所述当前样本行或列(501)的所述样本值，确定所述当前样本行或列中在所述第一和第二样本块(503a，503b)之间的垂直或水平边缘(505)的右边或下方的第一样本的滤波后样本值q
′0，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的右边或下方的所述第一样本的样本值q0的滤波器系数等于2，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的左边或上方的最远样本的样本值p
N-1
的滤波器系数等于0，并且用于其他样本值的滤波器系数等于1；和/或通过将具有2N-1个滤波器系数的(2N-1)抽头滤波器应用于所述当前样本行或列(501)的所述样本值，确定所述当前样本行或列中在所述第一和第二样本块(503a，503b)之间的垂直或水平边缘(505)的左边或上方的第一样本的滤波后样本值p
′0，其中，用于所述当前样本行或列中在所述垂直和水平边缘(505)的左边或上方的所述第一样本的样本值p0的滤波器系数等于2，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的右边或下方的最远样本的样本值q
N-1
的滤波器系数等于0，并且用于所述其他样本值的滤波器系数等于1。2.根据权利要求1所述的滤波器设备(120，220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：通过将具有2N-2个滤波器系数的(2N-2)抽头滤波器应用于所述当前样本行或列(501)的所述样本值，确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的右边或下方的第二样本的滤波后样本值q
′1，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的右边或下方的所述第一样本的所述样本值q0的滤波器系数等于3，其中，用于所述当前样本行或列中在所述垂直或水平边缘
(505)的左边或上方的最远样本的样本值p
N-1
和p
N-2
的滤波器系数等于0，并且用于其他样本值的滤波器系数等于1；和/或通过将具有2N-2个滤波器系数的(2N-2)抽头滤波器应用于所述当前样本行或列(501)的所述样本值，确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的左边或上方的第二样本的滤波后样本值p
′1，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的左边或上方的所述第一样本的所述样本值p0的滤波器系数等于3，其中，用于所述当前样本行或列中在所述垂直或水平边缘(505)的右边或下方的最远样本的样本值q
N-1
和q
N-2
的滤波器系数等于0，并且用于其他样本值的滤波器系数等于1。3.根据权利要求2所述的滤波器设备(120，220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于用于确定所述滤波后样本值p
′1的所述(2N-2)抽头滤波器的填充版本确定滤波后样本值p
′
N-2
，p
′
N-3
，...，p
′2，和/或基于用于确定所述滤波后样本值q
′1的所述(2N-2)抽头滤波器的填充版本确定滤波后样本值q
′
N-2
，q
′
N-3
，...，q
′2。4.根据前述权利要求中任一项所述的滤波器设备(120，220)，其特征在于，所述处理电路还用于基于与所述多个样本的量化步长关联的量化参数QP来确定所述阈值参数β。5.根据权利要求4所述的滤波器设备(120，220)，其特征在于，所述处理电路还用于基于所述量化参数QP使用查找表来确定所述阈值参数β。6.根据前述权利要求中任一项所述的滤波器设备(120，220)，其特征在于，所述处理电路还用于确定(iii)是否满足第三条件，即所述第一样本块(503a)和水平或垂直相邻的所述第二样本块(503b)的宽度或高度大于N个样本，并且如果满足所述第一条件和所述第三条件或者满足所述第二条件和所述第三条件，则将所述当前样本行或列(501)处理成所述滤波后样本行或列。7.根据前述权利要求中任一项所述的滤波器设备(120，220)，其特征在于，N等于8，并且所述处理电路用于：确定(i)是否满足由以下等式定义的所述第一条件：或(ii)是否满足由以下等式定义的所述第二条件：其中k是正整数，以及如果满足第一条件或第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的右边或下方的所述第一样本的所述滤波后样本值q
′0：q
′0＝(0
·
p7+1
·
p6+1
·
p5+1
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+2
·
q0+1
·
q1+1
·
q2+1
·
q3+1
·
q4+1
·
q5+1
·
q6+1
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的左边或上方的所述第一样本的所述滤波后样本
值p
′0：p
′0＝(1
·
p7+1
·
p6+1
·
p5+1
·
p4+1
·
p3+1
·
p2+1
·
p1+2
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+1
·
q4+1
·
q5+1
·
q6+0
·
q7+8)/16.8.根据权利要求7所述的滤波器设备(120，220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的右边或下方的所述第二样本的滤波后样本值q
′1：q
′1＝(0
·
p7+0
·
p6+1
·
p5+1
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+3
·
q1+1
·
q2+1
·
q3+1
·
q4+1
·
q5+1
·
q6+1
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平边缘(505)的左边或上方的的所述第二样本的滤波后样本值p
′1：p
′1＝(1
·
p7+1
·
p6+1
·
p5+1
·
p4+1
·
p3+1
·
p2+3
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+1
·
q4+1
·
q5+0
·
q6+0
·
q7+8)/16。9.根据权利要求8所述的滤波器设备(120，220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘(505)的右边或下方的第三样本的滤波后样本值q
′2：q
′2＝(0
·
p7+0
·
p6+0
·
p5+1
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+3
·
q2+1
·
q3+1
·
q4+1
·
q5+1
·
q6+2
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘的左边或上方的第三样本的滤波后样本值p
′2：p
′2＝(2
·
p7+1
·
p6+1
·
p5+1
·
p4+1
·
p3+3
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+1
·
q4+0
·
q5+0
·
q6+0
·
q7+8)/16。10.根据权利要求8或9所述的滤波器设备(120，220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘(505)的右边或下方的第四样本的滤波后样本值q
′3：q
′3＝(0
·
p7+0
·
p6+0
·
p5+0
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+3
·
q3+1
·
q4+1
·
q5+1
·
q6+3
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘(505)的左边或上方的第四样本的滤波后样本值p
′3：p
′3＝(3
·
p7+1
·
p6+1
·
p5+1
·
p4+3
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+0
·
q4+0
·
q5+0
·
q6+0
·
q7+8)/16。11.根据权利要求8至10中任一项所述的滤波器设备(120、220)，其特征在于，所述处理
电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a、503b)之间的所述垂直或水平延伸边缘(505)的右边或下方的第五样本的滤波后样本值q
′4：q
′4＝(0
·
p7+0
·
p6+0
·
p5+0
·
p4+0
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+3
·
q4+1
·
q5+1
·
q6+4
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一样本块和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘(505)的左侧或上方的第五样本的滤波后样本值p
′4：p
′4＝(4
·
p7+1
·
p6+1
·
p5+3
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+0
·
q3+0
·
q4+0
·
q5+0
·
q6+0
·
q7+8)/16。12.根据权利要求8至11中任一项所述的滤波器设备(120、220)，其特征在于，所述处理电路用于，如果满足所述第一条件或所述第二条件，则通过以下将所述当前样本行或列(501)处理成所述滤波后样本行或列：基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a、503b)之间的所述垂直或水平延伸边缘(505)的右边或下方的第六样本的滤波后样本值q
′5：q
′5＝(0
·
p7+0
·
p6+0
·
p5+0
·
p4+0
·
p3+0
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+1
·
q2+1
·
q3+1
·
q4+3
·
q5+1
·
q6+5
·
q7+8)/16；和/或基于以下等式确定所述当前样本行或列(501)中在所述第一和第二样本块(503a，503b)之间的所述垂直或水平延伸边缘(505)的左侧或上方的第六样本的滤波后样本值p
′5：p
′5＝(5
·
p7+1
·
p6+3
·
p5+1
·
p4+1
·
p3+1
·
p2+1
·
p1+1
·
p0+1
·
q0+1
·
q1+0
·
q2+0
·
q3+0
·
q4+0
·
q5+0
·
q6+0
·
q7+8)/16。13.根据权利要求8至12中任一项所述的滤波器设备(120、220)，其特征在于，所述处理电路用于，...

【专利技术属性】
技术研发人员：阿南德，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：