用于基于块的自适应环路滤波的滤波器控制的方法技术

本发明专利技术揭露了一种用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的方法以及装置，以提升性能。在一个实施例中，与重建的当前图像单元相关联的视频数据的每个像素被分类为第一组以及第二组。接着，自适应环路滤波被应用到属于第一组的这些像素。对于第二组的像素，自适应环路滤波不被应用。图像单元可对应于一个编码树块或一个编码树单元。本发明专利技术也揭露了将每个像素分类为第一组或第二组的多种分类方式。具有隐式地基于样本的开/关控制的自适应环路滤波还可被用作为支持基于块的开/关控制的系统中的附加模式。

【技术实现步骤摘要】
【国外来华专利技术】【相关申请的交叉引用】本专利技术主张申请于2013年11月15日，序列号为61/904,511，标题为“Block-based Adaptive Loop Filtering”的美国临时专利申请以及申请于2014年3月5日，序列号为61/948,183，标题为“Block-based Adaptive Loop Filtering”的美国临时专利申请的优先权。将以上美国临时专利申请以参考的方式并入本文中。
本专利技术涉及视频编码。特别地，本专利技术涉及用于视频编码的基于块(block-based)的自适应环路滤波(Adaptive Loop Filtering，ALF)的滤波器开/关控制。
技术介绍
高效视频编码(High efficiency video coding，HEVC)是由视频编码联合合作小组(Joint Collaborative Team on Video Coding，JCT-VC)开发的新一代的国际视频编码标准。此标准是基于现有的混合编码方法。根据HEVC，一张图片被分割为多个不重叠的最大编码单元(Largest Coding Unit，LCU)，也被称为编码树块(Coding Tree Block，CTB)。编码单元(Coding Unit，CU)的像素值被空间或时间预测。所得到的残差信号被转换以用于进一步的冗余移除。接着，转换系数被量化及熵编码。重建的图片是从已解码的残差信号机预测信号中恢复。于重建后，重建的图片进一步由环路滤波来处理以减少编码失真。在HEVC测试模型7(HEVC Test Model 7，HM-7)之前，一种环路滤波技
术，被称为自适应环路滤波(Adaptive Loop Filtering，ALF)，被包含于测试模型中。为了优化性能，ALF使用维纳滤波技术来导出滤波器系数。此外，多个滤波器可被用于不同的图片区域。系数被编码于自适应参数集(AdaptationParameter Set，APS)，且开/关控制旗标被编码于CTU等级的语法元素。如图1所示，滤波器形状为中心具有3x3方块的9x7的交叉。由于此9x7滤波器的对称性，只有一半的系数需要被编码。图2所示为结合环路处理的自适应帧间/帧内视频编码系统的示例。输入图片由帧内预测210或帧间预测(即，运动估计/运动补偿212)来编码。对于帧间预测，运动估计/运动补偿212用于基于来自其它单个图片或多个图片的视频数据提供预测数据。开关214选择帧内预测210或帧间预测的数据，且已选择的预测数据被提供到加法器216以形成预测误差，也被称为残差。接着，预测误差由转换/量化(Transform/Quantization，T/Q)218来处理。接着，已转换及已量化的残差由熵编码器222来编码以产生对应于已压缩视频数据的视频比特流。接着，与残差相关联的比特流根据辅助信息(side information)(例如运动、模式、以及与图像区域相关联的其它信息)被打包。辅助信息也可被熵编码以减少所需的带宽。于帧内模式，重建的块可用于形成空间邻近块的帧内预测。因此，来自重建(Reconstruction，REC)228的重建的块可被提供到帧内预测210。当帧间预测模式被使用时，参考的单个图片或多个图片也必须于编码器端被重建。因此，已转换及已量化的残差由逆量化/逆转换(InverseQuantization/Inverse Transform，IQ/IT)226处理以恢复此残差。接着，残差被加回到REC 228的预测数据236以重建视频数据。重建视频数据可被储存于参考图片缓冲器234，且被用于其它帧的预测。如图2所示，输入的视频数据于编码系统中进行一系列的处理。来自REC228的重建视频数据可能会因为一系列处理而受到各种损害。因此，为了提高视
频质量，于重建视频数据被储存于参考图片缓冲器234之前，各种环路处理被应用于重建视频数据。包括解块(deblocking，DB)处理模块230、样本自适应偏置(Sample Adaptive Offset，SAO)处理模块231、ALF 232的环路滤波被开发出来以增强图片质量。环路滤波器信息可被并入(incorporate)到比特流中，以使解码器可以合适地恢复所需的信息。于图2中，在来自REC 228的重建视频被DF 230以及SAO 231处理之后，ALF 232被应用。另外，ALF 232还可被应用于来自REC 228的重建视频，或于来自REC 228的重建视频被DF 230处理之后，ALF 232被应用。
技术实现思路
本专利技术揭露了一种用于重建视频的具有隐式地基于样本的开/关控制的自适应环路滤波的方法以及装置，以提升性能。在一个实施例中，与重建的当前图像单元相关联的视频数据的每个像素被分类为第一组以及第二组。接着，自适应环路滤波(Adaptive Loop Filtering，ALF)被应用到属于第一组的这些像素。对于第二组的像素，ALF不被应用。图像单元可对应于一个编码树块(coding treeblock，CTB)或一个编码树单元(coding tree unit，CTU)。分类(Classification)被逐像素地应用于与重建的当前图像单元相关联的视频数据。此外，分类采用编码器侧以及解码器侧均可用的重建视频数据，以使基于样本的开/关控制可以被隐式地获得，而不需传送用于每个像素的开/关控制。分类过程(classification process)可由线性滤波、非线性滤波、边缘检测、待分类像素以及相邻像素之间的差别或相似性、强度(intensity)、边缘偏置(edge offset，EO)分类、带宽偏置(band offset，BO)分类、残差幅度、及任何其组合所组成的组中来选择。已选择的分类过程可于已编码比特流的序列等级、图片等级、条带等级或块等级被传送。与分类相关联的辅助信息可被显式地传送或被隐式
地确定。具有隐式地基于样本的开/关控制的自适应环路滤波也可被并入使用块ALF开/关控制的视频编码系统。在此情况下，ALF模式可用于指示被用于对应的序列、图片、条带或块中的一个块或多个块的ALF模式。ALF模式从由ALF开启模式(ALF-On mode)、ALF关闭模式(ALF-Off mode)以及ALF隐式开/关模式(ALF Implicit On/Off mode)所组成的组中选择。如果ALF隐式开/关模式被选择，具有隐式地基于样本的开/关控制的自适应环路滤波被应用。如果ALF关闭模式被选择，则对于与重建的当前图像单元相关联的视频数据的所有像素，自适应环路滤波被略过。如果ALF开启模式被选择，则将自适应环路滤波应用到与重建的当前图像单元相关联的视频数据中的所有样本。【附图说明】图1所示为对应于中心具有3x3方块的9x7的交叉的滤波器形状。图2所示为结合环路处理的帧内/帧间视频编码系统的示例。图3A所示为被用于分类的高通线性滤波器的示例。图3B所示为被用于分类的低通线性滤波器的示例。图3C以及图3D所示为被用于分类的索贝尔滤波器的两个示例。图3E至图3F所示为通过比较待分类像素以及用于分类的两个本文档来自技高网...

【技术保护点】
一种用于重建视频的自适应环路滤波方法，用于视频编码系统或视频解码系统中，其特征在于，所述重建视频的每个图片被分割为多个图像单元，所述方法包含：接收与重建的当前图像单元相关联的视频数据；以及应用隐式地基于样本的开/关自适应环路滤波到所述视频数据，其中，所述应用隐式地基于样本的开/关自适应环路滤波的步骤包括：基于可共用于编码器侧以及解码器侧的重建视频，将与所述重建的当前图像单元相关联的所述视频数据的每个像素分类为第一组或第二组；将自适应环路滤波应用到与所述重建的当前图像单元相关联的所述视频数据中属于所述第一组的像素；以及对与所述重建的当前图像单元相关联的所述视频数据中属于所述第二组的像素跳过所述自适应环路滤波。

【技术特征摘要】
【国外来华专利技术】2013.11.15 US 61/904,511;2014.03.05 US 61/948,1831.一种用于重建视频的自适应环路滤波方法，用于视频编码系统或视频解码系统中，其特征在于，所述重建视频的每个图片被分割为多个图像单元，所述方法包含：接收与重建的当前图像单元相关联的视频数据；以及应用隐式地基于样本的开/关自适应环路滤波到所述视频数据，其中，所述应用隐式地基于样本的开/关自适应环路滤波的步骤包括：基于可共用于编码器侧以及解码器侧的重建视频，将与所述重建的当前图像单元相关联的所述视频数据的每个像素分类为第一组或第二组；将自适应环路滤波应用到与所述重建的当前图像单元相关联的所述视频数据中属于所述第一组的像素；以及对与所述重建的当前图像单元相关联的所述视频数据中属于所述第二组的像素跳过所述自适应环路滤波。2.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述图像单元对应于一个编码树块或一个编码树单元。3.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素的步骤将分类过程应用到与所述重建的当前图像单元相关联的所述视频数据，其中，所述分类过程是从由线性滤波、非线性滤波、边缘检测、待分类像素以及多个相邻像素之间的差别或相似性、强度、边缘偏置分类、带宽偏置分类、残差幅度、以及任何以上过程的组合所组成的滤波器组中选择。4.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素的步骤将分类过程应用到与所述重建的当前图像单元相关联的所述视频数据，其中，
\t所述分类过程是从适应于比特流的序列等级、图片等级、条带等级或块等级的滤波器组中选择。5.如权利要求4所述的用于重建视频的自适应环路滤波方法，其特征在于，所述块等级对应于编码树块等级或编码树单元等级。6.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，与所述重建的当前图像单元相关联的所述视频数据对应于所述重建的当前图像单元、将解块过程应用到所述重建的当前图像单元所产生的第一输出数据、或将所述解块过程以及样本自适应偏置过程应用到所述重建的当前图像单元所产生的第二输出数据。7.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，进一步包括：于比特流的序列等级、图片等级、条带等级或块等级并入与所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素相关联的辅助信息。8.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，与所述分类与所述重建的当前图像单元相关联的所述视频数据的每个像素相关联的辅助信息被隐式地确定。9.如权利要求1所述的用于重建视频的自适应环路滤波方法，其特征在于，对于所述视频编码系统，还包括：从由自适应环路滤波关闭模式、自适应环路滤波开启模式、以及自适应环路滤波隐式开/关模式所组成的滤波器模式组中选择用于所述重建的当前图像单元的自适应环路滤波模式，其中，只有在所述自适应环路滤波隐式开/关模式被选择时，所述应用隐式地基于样本的开/关自适应环路滤波被执行；如果所述自适应环路滤波关闭模式被选择，对与所述重建的当前图像单元相关联的所述视频数据的所有像素略过所述自适应环路滤波；如果所述自适应环路滤波开启模式被选择，将所述自适应环路滤波应用于与所述重建的当前图像单元相关联的所述视频数据的所有样本；以及将一个或多个语法元素并入已编码比特流以传送被选择以用于所述重建的当前图像单元的所述自适应环路滤波模式。10.如权利要求9所述的用于重建视频的自适应环路滤波方法，其特征在于，所述一个或多个语法元素被并入所述已编码比特流的序列等级、图片等级、条带等级、或块等级，以传送所述自适应环路滤波模式。11.如权利要求1所述的用于...

【专利技术属性】
技术研发人员：陈庆晔，蔡家扬，黄毓文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71