视频图片边界的解块制造技术

用于将解块应用于视频图片中的编码单元的方法和设备。一方面，解块被应用于编码单元中的子块边界和编码单元中的隐式变换单元边界。

【技术实现步骤摘要】
【国外来华专利技术】视频图片边界的解块
本公开涉及用于视频处理的装置和方法。本公开的一些方面涉及用于对已经被分割为一个或多个编码块的视频图片进行编码、解码和/或滤波的装置和方法。
技术介绍
视频序列由一系列图像组成，其中，每个图像由一个或多个分量组成。通常，每个分量都可以被描述为样本值的二维矩形数组。常见的是，视频序列中的图像由三个分量组成：一个亮度分量Y，其中，样本值是亮度值；以及两个色度分量(Cb、Cr)，其中，样本值是色度值。其他示例分量可以包括Y’、CbCr、Yuv和ICTCP。对于ICTCP，“I”被称为“强度亮度”分量。在当前公开的上下文中，在给定示例中，亮度分量(例如，Y’、Y或I)可以简单地被称为Y或亮度。另外，通常是色度分量的维度小于亮度分量的情况。例如，它们可在每个维度上小一半。例如，HD图像的亮度分量的尺寸可以是1920x1080，并且色度分量可各自具有960x540的维度。分量有时也被称为颜色分量。对于视频编码，图像可以被拆分成单元，其中每个单元覆盖图像的特定区域。每个单元可以由来自构成特定区域的每个分量的块组成，其中，每个块被完全包括在该单元中。H.264中的宏块和HEVC中的编码单元(CU)是这种单元的示例。在这种情况下，块可以被理解为样本的一个二维数组。通常在视频编码中，每个分量都被拆分成这种块，并且编码的视频比特流因此包括一系列块。在HEVC中，每个图片都被分割为编码树单元(CTU)。HEVC中的CTU由NxN亮度样本块和两个对应的MxM色度块组成。HEVC中的CTU类似于H.264和更早标准中的宏块，但是与宏块相比，CTU的尺寸是可配置的。然而，在大多数情况下，HEVC中的CTU尺寸被设置为64x64亮度样本。每个CTU可以按递归四叉树拆分，且然后将四叉树的根与CTU相关联。该四叉树被拆分，直到到达叶子为止，该叶子被称为编码单元(CU)。HEVC中的CU始终由具有相等高度和宽度的亮度块组成。有关如何拆分每个CTU的信息在比特流中传送。此外，CU是另外两个树的根节点-包括作为节点的预测单元(PU)的预测树和包括作为节点的变换单元(TU)的变换树。在CU级、PU级和TU级上执行一些解码处理。相邻PU之间的边界和相邻TU之间的边界通过解块滤波器进行滤波，以减少TU和PU之间的不连续性。在HEVC中，PU有两种预测类型：(1)帧内预测，其仅使用来自当前图片的先前解码样本的预测来进行预测，以及(2)帧间预测，其使用来自至少一个先前解码图片的预测。在HEVC中，首先在垂直边界上应用解块，然后在水平边界上应用解块。该边界是TU边界或PU边界。为了启用并行友好的解块，在8x8样本网格上执行解块。在HEVC中，针对每个边界设置解块滤波器强度参数(bs)。如果针对边界的bs的值大于0，则可以将解块应用于该边界。所应用的滤波的强度取决于边界强度有多大。例如，在第一步骤中，检查在块之间的PU边界处的任何块是否是帧内预测块。如果块之间的PU边界是帧内预测块，则将用于PU边界的解块滤波器强度参数设置为2(例如，将bs设置为2)。如果两个块都使用帧间预测，但是这些块使用不同的参考帧或具有显著不同的运动矢量，则将用于PU边界的解块滤波器强度参数设置为1(例如，将bs设置为1)。还检查块之间的TU边界在这些块中的至少一个块中是否具有非零变换系数(例如，代码块标志CBF等于1)。如果有，则将用于TU边界的解块滤波器强度参数设置为1(例如，将bs设置为1)。因此，在HEVC中，首先检查边界强度(bs)是否大于0，以确定是否应该应用解块。为了减少和/或避免在解块时移除自然结构，针对亮度检查边界的相应侧是否有自然结构。在HEVC中，使用以下不等式在边界的相应侧使用梯度计算：abs(p0-2*p1+p2)+abs(q0-2*q1+q2)＜beta，其中，beta是基于块的量化参数的参数，并且p0、p1到p2是块边界一侧的样本，而q0、q1到q2是块边界另一侧的样本。在沿着边界的两个位置处检查条件，并且如果两个条件都满足，则针对边界的该样本部分，对亮度样本进行解块。如果相邻块中的任何一个被帧内编码，则可以始终对色度边界进行滤波。仍然需要改进边界处的视频处理，例如，解块滤波。
技术实现思路
根据实施例，提供了一种用于对已经被分割为一个或多个编码块的视频图片进行解码的解码器。该方法包括，对于视频图片的具有大于最大变换尺寸N的尺寸的编码块，将该编码块拆分为至少第一变换块和第二变换块，从而在第一变换块和第二变换块之间形成第一变换边界。例如，这可以是隐式拆分。在一些实施例中，解码器可以确定尺寸大于最大值N。该方法还包括：将编码块的一部分拆分为第一预测子块和第二预测子块，从而在第一预测子块和第二预测子块之间生成第一预测边界，其中，第一预测边界在第一变换块内。该方法还包括：将第一解块滤波器应用于第一预测边界，以及将第二解块滤波器应用于第一变换边界。该方法还可以包括：对用于第一块和第二块中的至少一个的变换系数进行解码，以及将逆变换操作应用于第一块或第二块。在某些方面，第一解块滤波器在第一预测边界处修改的最大样本数不同于第二解块滤波器在第一变换边界处修改的最大样本数。根据实施例，提供了一种由解码器执行的用于对视频图片进行解码的方法。该方法包括：解码器将编码单元的亮度分量拆分为第一块和第二块，而不对指示块级上的该拆分的任何语法元素进行解码；该方法还包括：解码器对用于第一块和第二块中的至少一个的至少一个变换系数进行解码，并将逆变换应用于第一块和第二块中的该至少一个。该方法还包括：解码器将编码单元的亮度分量拆分为多个预测子块，其中，该多个预测子块在第一块和第二块中的至少一个中创建边界。然后，解码器可以将解块滤波器应用于第一块和第二块中的至少一个中的边界。该方法还可以包括：解码器将解块滤波器应用于第一块和第二块之间的边界。在某些方面，该方法可应用于编码单元的色度分量。在一些实施例中，拆分编码单元的亮度分量的步骤包括垂直拆分亮度分量。在一些实施例中，拆分编码单元的亮度分量的步骤包括水平拆分亮度分量。根据一些实施例，提供了一种解码器，其被配置为执行对视频图片进行解码的一种或多种方法。根据一些实施例，提供了一种由编码器执行的用于对被分割为一个或多个编码块的视频图片进行编码的方法。该方法包括，对于视频图片的具有大于最大变换尺寸N的尺寸的编码块，将该编码块拆分为至少第一变换块和第二变换块，从而在第一变换块和第二变换块之间形成第一变换边界。例如，这可以是隐式拆分。该方法还可以包括确定尺寸大于N。该方法还包括：将编码块的一部分拆分为第一预测子块和第二预测子块，从而在第一预测子块和第二预测子块之间生成第一预测边界，其中，第一预测边界在第一变换块内。该方法还可以包括：将第一解块滤波器应用于第一预测边界，以及将第二解块滤波器应用于第一变换边界。在一些实施例中，该方法还包括：对于第一块或第二块，在编码视频图片中包括至少一个变换系数。在某些方面，第一解块滤波器在第一预测边界处修改的最大样本数不同于第二解块滤波器在第一变换边界处修改的最大样本文档来自技高网...

【技术保护点】
1.一种用于对被分割为一个或多个编码块的视频图片进行解码的方法(900)，所述方法包括：/n对于所述视频图片的具有大于最大变换尺寸N的尺寸的编码块，将所述编码块拆分(902)为至少第一变换块和第二变换块，从而在所述第一变换块和第二变换块之间形成第一变换边界；/n将所述编码块拆分(904)为至少第一预测子块和第二预测子块，从而在所述第一预测子块和第二预测子块之间生成第一预测边界，并且其中，所述第一预测边界在所述第一变换块内；/n将第一解块滤波器应用于(905)所述第一预测边界；以及/n将第二解块滤波器应用于(906)所述第一变换边界，/n其中，所述第一解块滤波器在所述第一预测边界处修改的最大样本数不同于所述第二解块滤波器在所述第一变换边界处修改的最大样本数。/n

【技术特征摘要】
【国外来华专利技术】20180621 US 62/688,0851.一种用于对被分割为一个或多个编码块的视频图片进行解码的方法(900)，所述方法包括：
对于所述视频图片的具有大于最大变换尺寸N的尺寸的编码块，将所述编码块拆分(902)为至少第一变换块和第二变换块，从而在所述第一变换块和第二变换块之间形成第一变换边界；
将所述编码块拆分(904)为至少第一预测子块和第二预测子块，从而在所述第一预测子块和第二预测子块之间生成第一预测边界，并且其中，所述第一预测边界在所述第一变换块内；
将第一解块滤波器应用于(905)所述第一预测边界；以及
将第二解块滤波器应用于(906)所述第一变换边界，
其中，所述第一解块滤波器在所述第一预测边界处修改的最大样本数不同于所述第二解块滤波器在所述第一变换边界处修改的最大样本数。


2.根据权利要求1所述的方法，
其中，所述第一预测边界和所述第一变换边界之间的距离是8个样本，所述第一解块滤波器修改所述边界之间的2个样本，并且所述第二解块滤波器修改所述边界之间的5个样本。


3.根据权利要求1所述的方法，其中，所述第一解块滤波器修改的样本数小于所述第二解块滤波器修改的样本数。


4.根据权利要求1-3中任一项所述的方法，其中，所述第一解块滤波器是弱滤波器，并且所述第二解块滤波器是长滤波器。


5.根据权利要求1所述的方法，还包括：
对用于所述第一块和所述第二块中的至少一个的变换系数进行解码(903)，并将逆变换操作应用于所述第一块或所述第二块。


6.根据权利要求1-5中任一项所述的方法，
其中，所述第一预测边界和所述第一变换边界均是垂直边界，或者所述第一预测边界和所述第一变换边界均是水平边界，以及
其中，所述第一解块滤波器和所述第二解块滤波器被无干扰地并行应用。


7.根据权利要求1-6中任一项所述的方法，其中，在所述将第二解块滤波器应用于所述第一变换边界之前，执行所述将第一解块滤波器应用于所述第一预测边界。


8.根据权利要求1-7中任一项所述的方法，还包括：
获得所述视频图片的所述编码块，其中，所述编码块的尺寸为D1×D2或D2×D1；以及
确定(901)D1大于N，
其中，所述将所述编码块拆分为至少第一变换块和第二变换块是至少部分地基于所述确定D1大于N的，
其中，所述第一变换块的尺寸为N×D2、D2×N或N×N，以及
其中，所述第二变换块的尺寸为N×D2、D2×N或N×N。


9.根据权利要求1-7中任一项所述的方法，还包括：
获得所述视频图片的所述编码块，其中，所述编码块的尺寸为D1×D2或D2×D1；以及
确定D1和D2均大于N，
其中，对所述编码块进行所述拆分还包括：将所述编码块拆分为至少第三变换块和第四变换块，从而形成第二变换边界、第三变换边界和第四变换边界。


10.根据权利要求9所述的方法，其中，每个所述变换块具有N×N的尺寸。


11.根据权利要求9或10所述的方法，
其中，所述将所述编码块拆分为预测子块还包括：将所述编码块拆分为第三预测子块和第四预测子块，从而至少生成第二预测边界。


12.根据权利要求11所述的方法，
其中，所述第一变换边界、所述第三变换边界和所述第一预测边界中的每一个都是垂直边界，并且所述应用所述第一解块滤波器和所述第二解块滤波器包括将所述滤波器并行应用于所述第一变换边界、所述第三变换边界和所述第一预测边界，以及
其中，所述第二变换边界和所述第四变换边界以及所述第二预测边界是水平边界，并且所述应用所述第一解块滤波器和所述第二解块滤波器包括将所述滤波器并行应用于所述第二变换边界和所述第四变换边界以及所述第二预测边界。


13.根据权利要求1-12中任一项所述的方法，其中，对所述编码块进行所述拆分包括执行以下拆分：针对所述拆分，没有语法元素来传送视频元素的拆分信息。


14.根据权利要求1-13中任一项所述的方法，其中，所述编码块是编码块的亮度分量，并且其中，所述第一块和所述第二块中的每一个包括亮度样本。


15.根据权利要求1-14中任一项所述的方法，其中，所述生成第一预测边界包括：在所述第一预测边界的任一侧上，将编码第一块拆分为第一预测子块和第二预测子块。


16.根据权利要求1-14中任一项所述的方法，其中，与所述第二预测子块相比，所述第一预测子块使用不同的参考帧或者在运动上具有显著差异。


17.根据权利要求1-16中任一项所述的方法，其中，所述生成第一预测边界包括确定将子块预测工具用于所述编码块。


18.根据权利要求17所述的方法，其中，所述预测工具是FRUC、AFFINE和MVPREDICTION工具之一。


19.根据权利要求1-18中任一项所述的方法，
其中，应用所述第一解块滤波器在所述第一预测边界的每一侧上修改至少一个样本，以及
其中，应用所述第二解块滤波器在所述第一变换边界的每一侧上修改至少一个样本。


20.根据权利要求1-19中任一项所述的方法，
其中，所述第一预测边界与所述第一变换边界之间的距离为M，在所述第一预测边界的任一侧通过解块来修改的样本数为G，并且在所述变换边界的任一侧通过解块来修改的样本数为F，并且其中：
(viii)N等于64，所述编码块的宽度D1为128，所述编码块的高度D2为128，M等于8，G等于2，并且F等于5；或者
(ix)N等于64，所述高度D2等于128，所述宽度D1等于64，F等于7，G等于1，并且M等于4；或者
(x)N等于64，所述高度D2等于128，并且所述宽度D1等于32；或者
(xi)F等于3或5，并且应用长解块滤波器；或者
(xii)F等于2，并且应用弱解块滤波器；或者
(xiii)G等于2或3；或者
(xiv)M等于8。


21.根据权利要求1-20中任一项所述的方法，
其中，所述编码块的高度大于N，并且所述编码块的宽度小于或等于N，并且其中，所述拆分是垂直的；或者
其中，所述编码块的宽度大于N，并且所述编码块的高度小于或等于N，并且其中，所述拆分是水平的。


22.根据权利要求1-21中任一项所述的方法，还包括：
确定所述第一变换块或所述第二变换块中的一个或多个实现了帧内预测，以及
其中，所述生成预测边界和所述应用第一解块滤波器中的至少一个是基于所述对实现帧内预测的确定的。


23.根据权利要求1-22中任一项所述的方法，其中，在视频编码规范中将所述最大尺寸设置为固定值。


24.根据权利要求1-23中任一项所述的方法，其中，在比特流中发信号通知所述最大尺寸，并且其中，对于多个编码单元，一次性发信号通知所述最大尺寸。


25.根据权利要求24所述的方法，其中，所述尺寸是针对每个视频剪辑一次性发信号通知的，针对每个图片集一次性发信号通知的，针对每个图片一次性发信号通知的，或者针对每个切片一次性发信号通知的。


26.一种包括指令(1144)的计算机程序(1143)，所述指令在由处理电路(1102)执行时使所述处理电路(1102)执行根据权利要求1-25中任一项所述的方法。


27.一种包含权利要求26所述的计算机程序的载体，其中，所述载体是电信号、光信号、无线电信号和计算机可读存储介质(1142)之一。


28.一种用于对被分割为一个或多个编码块的视频图片进行解码的解码器(1101)，所述解码器适用于：
对于所述视频图片的具有大于最大变换尺寸N的尺寸的编码块，将所述编码块拆分为至少第一变换块和第二变换块，从而在所述第一变换块和第二变换块之间形成第一变换边界；
将所述编码块拆分为至少第一预测子块和第二预测子块，从而在所述第一预测子块和第二预测子块之间生成第一预测边界，并且其中，所述第一预测边界在所述第一变换块内；
将第一解块滤波器应用于所述第一预测边界；以及
将第二解块滤波器应用于所述第一变换边界，
其中，所述第一解块滤波器在所述第一预测边界处修改的最大样本数不同于所述第二解块滤波器在所述第一变换边界处修改的最大样本数。


29.根据权利要求28所述的解码器，其中，所述解码器还被配置为执行根据权利要求2-25中任一项所述的方法。


30.一种用于对被分割为一个或多个编码块的视频图片进行编码的方法(950)，所述方法包括：
对于所述视频图片的具有大于最大变换尺寸N的尺寸的编码块，将所述编码块拆分(952)为至少第一变换块和第二变换块，从而在所述第一变换块和第二变换块之间形成第一变换边界；
将所述编码块拆分(954)为至少第一预测子块和第二预测子块，从而在所述第一预测子块和第二预测子块之间生成第一预测边界，并且其中，所述第一预测边界在所述第一变换块内；
将第一解块滤波器应用于(955)所述第一预测边界；以及
将第二解块滤波器应用于(956)所述第一变换边界，
其中，所述第一解块滤波器在所述第一预测边界处修改的最大样本数不同于所述第二解块滤波器在所述第...

【专利技术属性】
技术研发人员：肯尼思·安德森，理卡尔德·肖伯格，张智，雅各布·斯特罗姆，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE