视频编解码中高级去块滤波的方法以及装置制造方法及图纸

本发明专利技术公开了一种自适应去块滤波器的方法以及装置。决定与去块滤波器有关的一个或多个参数，使用所导出的参数然后将所述去块滤波器应用于多个重构的块，参数的每一集合用于每一图像、切片、编码树单元(CTU)或CU(编码单元)。可以在视频比特流的VPS(视频参数集)、SPS(序列参数集)、PPS(图像参数集)、切片数据头、CTU(编码树单元)或CU(编码单元)中发信所述参数。所述参数对应于一个或多个用作为阈值的值、限幅边界或者用于所述去块滤波器的所述阈值以及所述限幅边界两者。在一个实施例中，利用使用当前编码的图像或先前编码的图像作为训练数据的训练进程决定用于所述当前图像的所述参数。

Method and device for advanced deblocking filtering in video codec

The invention discloses an adaptive deblocking filter method and a device. Determine one or more parameters related to a block filter, use the derived parameters and apply the block filter to a plurality of reconstructed blocks, and each set of the parameters is used for each image, slice, coded tree unit (CTU) or CU (encoding unit). The parameters such as VPS (video parameter set), SPS (sequence parameter set), PPS (image parameter set), slice data head, CTU (encoding tree unit), or CU (encoding unit) can be sent in the video bit stream. The parameters are corresponding to one or more values used as a threshold value, a limit boundary or a threshold value for the deblocking filter, and the limit amplitude boundary. In one embodiment, the parameters of the current image are determined using the training process using the current encoded image or the previously encoded image as the training data.

【技术实现步骤摘要】
【国外来华专利技术】视频编解码中高级去块滤波的方法以及装置相关引用本专利技术要求递交于2015年9月14日，号码为PCT/CN2015/089523的PCT专利申请的优先权，该PCT专利申请全文通过引用纳入其中。
本专利技术涉及视频以及图像数据的编解码，特别地，本专利技术涉及通过在重构视频或图像上使用去块滤波(de-blocking(deblocking)filtering)以提高视频质量的技术。
技术介绍
视频数据需要大量存储空间以存储该视频数据或需要宽带宽(bandwidth)以传输该视频数据。随着高分辨率以及更高的帧率的发展，如果视频数据以未压缩格式进行存储或传输，那么存储或传输带宽的需求将是非常可怕的。因此，视频数据通常使用视频编解码技术来以压缩格式进行存储或传输，使用诸如H.264/AVC以及新兴的HEVC(HighEfficiencyVideoCoding)标准的新的视频压缩格式，编解码效率已经得到大幅度的提高。在高效视频编码(HEVC)系统中，H.264/AVC中的固定尺寸的宏块(macroblock)被灵活的块所代替，称为编码单元(codingunit，CU)，CU中的像素共享相同的编解码参数以提高编解码效率。CU可以开始于最大的CU(LCU)，在HEVC中也被称为编码树单元(codedtreeunit，CTU)，除了编码单元的概念，HEVC中也引入了预测单元(predictionunit，PU)的概念。一旦完成CU分层树(hierarchicaltree)的拆分，根据预测类型以及PU分割，每一叶CU进一步被拆分成一个或多个预测单元(predictionunit，PU)。此外，用于转换编解码的基本单元是正方形尺寸，叫做转换单元(TransformUnit，TU)。在H.265/HEVC编码标准中，在图像被重构后应用去块滤波器(de-blockingfilter)。对多个编码单元、多个预测单元或者多个转换单元之间的多个边界进行滤波，以减轻由基于块的编解码所导致的阻塞的伪影(blockingartefacts)。边界可以是垂直或者水平的边界。去块滤波器所涉及的用于垂直边界(110)以及水平边界(120)的多个边界像素分别如图1A以及图1B所示。在HEVC中，亮度像素以及色度像素以不同的方式在去块进程中被处理，根据两个相邻块P以及Q的编解码模式，对用于每一边界的边界强度(boundarystrength，BS)值进行计算如表1所示：表1对于亮度像素，当BS大于0时，在每4行上执行去块，对于每4行，几种变量(variant)计算如下，其中pij以及qij，且0≤i，j≤3如图1A以及图1B所示：dp0＝|2*p01-p02-p00|dq0＝|2*q01-q02-q00|dp3＝|2*p31-p32-p30|dq3＝|2*q31-q32-q30|dp＝dp0+dp3(1)dq＝dq0+dq3(2)d0＝dp+dq.图3示出了根据HEVC用于滤波图2所示的所述4行的每一行的示例性流程图。在图2中，在边界210的一侧上的4个像素，从离边界最近的像素至离边界最远的像素被标记为p0、p1、p2以及p3，在边界210的另一侧上的4个像素，从离边界最近的像素至离边界最远的像素被标记为q0、q1、q2以及q3。在图3中，执行基于上述所导出的边界强度以及边界像素特性的各种测试(312、314、316、318、324以及326)来确定是否有强滤波(320)、弱滤波(322、328以及330)或者对4行无滤波(332)，或者对1行(334)是否无滤波。在图3中，beta0、beta1以及beta2是阈值，其从视频比特流中发信的B_Table或T_Table中确定。在图3中，TcS、Tc0、Tc1对应于限幅边界值(clippingboundaryvalues)或者限幅边界，其从视频比特流中发信的T_Table确定。对于强去块滤波，所述去块滤波被执行如下，其中p0′、p1′、p2′、q0′、q1′以及q2′是滤波的像素：p0′＝(p2+2*p1+2*p0+2*q0+q1+4)>>3p1′＝(p2+p1+p0+q0+2)>>2p2′＝(2*p3+3*p2+p1+p0+q0+4)>>3q0′＝(p1+2*p0+2*q0+2*q1+q2+4)>>3q1′＝(p0+q0+q1+q2+2)>>2q2′＝(p0+q0+q1+3*q2+2*q3+4)>>3.对于弱去块滤波，所述去块滤波被执行如下，其中p0′、p1′、p2′、q0′、q1′以及q2′是滤波的像素：p0′＝p0+Δq0′＝q0-Δp1′＝p1+Δpq1′＝q1+Δq，其中Δ＝(9*(q0-p0)-3*(q1-p1)+8)>>4(3)Δp＝(((p2+p0+1)>>1)-p1+Δ)>>1Δq＝(((q2+q0+1)>>1)-q1-Δ)>>1.方程式(3)中Δ的绝对差被称为d1(也就是d1＝|Δ|)。为了方便起见，d1被称为第一边界活动测量(firstboundaryactivitymeasure)，上述所提到的dp以及dq在本专利技术中分别被称为第二边界活动测量(secondboundaryactivitymeasure)以及第三边界活动测量(thirdboundaryactivitymeasure)。对4行中用于色度分量的单个行滤波如图2所示，滤波流程图如图4所示。该流程图比亮度分量更简单，在步骤410中，检查边界强度(BS)是否大于1，如果该结果是“Y”(也就是，是)，在步骤420中，执行去块滤波。否则，(也就是“N”的路径)没有滤波被应用于这一行。在图4中，TcC是限幅边界，其从视频比特流中发信的T_Table确定。对于色度分量的去块滤波，所述去块滤波被执行如下，其中p0′以及q0′是滤波的像素：p0′＝Clip1C(p0+Δc)q0′＝Clip1C(q0-Δc)，其中Δc＝((((q0-p0)<<2)+p1-q1+4)>>3).阈值以及限幅边界被设置如下：QP＝(QP_P+QP_Q)/2B＝B_Table[QP],T＝T_Table[QP][BS]Beta0＝B,Beta1＝10*T,Beta2＝3*B/16(4)TcS＝2*T,Tc0＝T,Tc1＝T/2,TcC＝T.(5)在上述阈值和限幅边界中，B_Table以及T_Table是标准中预定义的两个固定的表，并且应当保持在编码器以及解码器两者中。B_Table对应于阈值并在视频比特流中被发信用于各种QP(quantizationparameters，量化参数)。T_Table对应于限幅边界并且在视频比特流中被发信用于各种QP以及BS值，所述阈值以及限幅边界被用于确定用于滤波器决定的参数。当前的去块滤波方法不能总是实现用于各种序列的最佳主观和客观性能。因此，需要发展可以将去块本文档来自技高网...

【技术保护点】
一种视频解码器中重构图像的去块滤波的方法，其特征在于，所述方法包括：接收包括用于当前图像的编码的数据的视频比特流；从所述视频比特流中导出用于所述当前图像的多个重构的块；从所述视频比特流中决定与去块滤波器有关的一个或多个参数；使用所述一个或多个参数将所述去块滤波器应用于所述多个重构的块的多个边界，以生成多个去块的块；以及基于所述多个去块的块生成解码的图像。

【技术特征摘要】
【国外来华专利技术】2015.09.14 CN PCT/CN2015/0895231.一种视频解码器中重构图像的去块滤波的方法，其特征在于，所述方法包括：接收包括用于当前图像的编码的数据的视频比特流；从所述视频比特流中导出用于所述当前图像的多个重构的块；从所述视频比特流中决定与去块滤波器有关的一个或多个参数；使用所述一个或多个参数将所述去块滤波器应用于所述多个重构的块的多个边界，以生成多个去块的块；以及基于所述多个去块的块生成解码的图像。2.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中所述一个或多个参数的每一集合用于每一图像、切片、编码树单元(CTU)或CU(编码单元)。3.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中从所述视频比特流的VPS(视频参数集)、SPS(序列参数集)、PPS(图像参数集)、切片数据头、CTU(编码树单元)或CU(编码单元)中导出所述一个或多个参数。4.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中所述一个或多个参数对应于用作所述去块滤波器的阈值、限幅边界或者所述阈值以及所述限幅边界两者的一个或多个值。5.如权利要求4所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中所述阈值对于与Beta0、Beta1以及Beta2，以及所述限幅边界对应于TcS、Tc0、Tc1以及TcC。6.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中用于不同边界方向、不同边界强度或者量化参数的所述一个或多个参数是不同的，其中所述不同边界方向对应于垂直边界以及水平边界。7.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中所述一个或多个参数包括限幅边界TcC，以及其中用于第一色度分量以及第二色度分量的所述限幅边界TcC是不同的。8.如权利要求7所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中用于所述第一色度分量以及所述第二色度分量中一个的限幅边界TcC由用于所述第一色度分量以及所述第二色度分量中另一个的限幅边界TcC进行预测。9.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中从所述视频比特流中决定一旗标来指示所述一个或多个参数是否在所述视频比特流中发信。10.如权利要求9所述的视频解码器中重构图像的去块滤波的方法，其特征在于，从所述视频比特流中决定所述旗标来指示用于特定边界强度、特定边界方向或者特定色彩分量的所述一个或多个参数是否在所述视频比特流中发信，其中所述特定边界方向对应于垂直边界或水平边界，以及所述特定色彩分量对应于亮度分量或色度分量。11.如权利要求1所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中使用预测对所述一个或多个参数进行编码。12.如权利要求11所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中用于第一边界方向的所述一个或多个参数由用于第二边界方向的所述一个或多个参数进行预测，以及其中从包括垂直边界以及水平边界的组中选择所述第一边界方向和所述第二边界方向，并且所述第一边界方向以及所述第二边界方向是不同的边界方向。13.如权利要求11所述的视频解码器中重构图像的去块滤波的方法，其特征在于，其中用于第一边界强度的所述一个或多个参数由用于第二边界强度的所述一个或多个参数进行预测，以及其中所述第一边界强度大于或小于所述第二边界强度。14.如权利要求11所述的视频...

【专利技术属性】
技术研发人员：张凯，安基程，黄晗，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：新加坡,SG