使用自适应乘数系数进行图像滤波的方法及装置制造方法及图纸

技术编号:26181459 阅读:71 留言:0更新日期:2020-10-31 14:47
本发明专利技术提供一种使用自适应乘法滤波器对重建图像(特别是视频图像)进行滤波的装置和方法。通过将滤波器系数的允许值限制为那些只具有二进制表示中的有限个“1”的值,提高了滤波操作效率。

【技术实现步骤摘要】
【国外来华专利技术】使用自适应乘数系数进行图像滤波的方法及装置
本专利技术实施例涉及图像处理(例如,视频图像和/或静止图像编码)领域,提供了使用具有自适应乘数滤波器系数的滤波器进行图像滤波的新方法和装置。
技术介绍
视频编码(视频编码和视频解码)广泛用于数字视频应用,例如,广播数字TV、经由互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。自从1990年开发H.261标准中的基于块的混合视频编码方法以来,已经开发了新的视频编码技术和方法,而这些新的视频编码技术和方法成为新的视频编码标准的基础。大多数视频编码标准的目标之一是在不牺牲图像质量的情况下,实现相比前一个标准更低的码率。其它视频编码标准包括MPEG-1视频、MPEG-2视频、ITU-TH.262/MPEG-2、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频编码(AdvancedVideoCoding,AVC)、ITU-TH.265、高效视频编码(HighEfficiencyVideoCoding,HEVC)以及这些标准的扩展版(例如,可扩展性和/或三维(threedimension,3D)扩展版)。图1示出了编码系统300的一个实施例的示意性框图,下面将更详细地描述。图2是视频编码器的一个示例性结构的框图。本专利技术可以在该结构中实现,该结构将在下文更详细地描述。具体而言,所示出的编码器100包括“环路滤波器”120,其中,可以进行本专利技术提供的滤波操作。然而,更一般地,滤波操作适用于编解码器中的其它位置,例如,适用于插值滤波器中。更一般地,本专利技术不仅适用于视频编码,而且还适用于静态图像编码。图3是视频解码器的一个示例结构的框图。本专利技术可以在该结构中实现,该结构也将在下文更详细地描述。具体地,本专利技术适用于环路滤波器220等。下面将总结一些关于自适应滤波的背景信息。用于视频编码的自适应滤波用以通过使用基于维纳(Wiener)的自适应滤波器使原始像素点与解码像素点之间的均方误差最小化。具体而言,所提出的自适应环路滤波器(AdaptiveLoopFilter,ALF)位于每个图像的最后一个处理阶段,并且可以作为捕获和修复前面阶段中伪影的手段。合适的滤波器系数由编码器确定并显式地指示给解码器。关于自适应滤波的一般信息可以在Chia-YangTsai、Ching-YehChen、TomooYamakage、InSukChong、Yu-WenHuang、Chih-MingFu、TakayukiItoh、TakashiWatanabe、TakeshiChujoh、MartaKarczewicz和Shaw-MinLei发表于《IEEEJournalofSelectedTopicsinSignalProcessing》(2013年12月第7卷第6期)的文章《AdaptiveLoopFilteringforVideoCoding》中找到。上述文档给出的描述介绍了使用自适应滤波器系数进行滤波操作的具体实现方式。该操作的一般原理可以描述如下。通常,滤波方程式如下:这里,R(i,j)是滤波之前的图像帧中的位于坐标(i,j)处的像素点。R′(i,j)为滤波之后的图像帧中的像素点。f(k,l)为滤波器系数。图4示出了一个示例性滤波器内核。在本示例中,C20为滤波器内核的中心坐标(k=0,1=0),L等于8。在该示例中,滤波器内核关于中心对称。但是可能并非普遍如此。在使用整数运算的情况下,滤波方程式可以写为这里,N是对输出进行位移操作的位数,即,输出除以归一化因子。具体而言,N可以是预定义的。“offset”是用于补偿整数运算中损失的标量。在位移了N位的情况下,偏移可以是2(N-1)。在上述方程式中,滤波系数f(k,l)可以只具有整数值,而没有分数值。为了确保硬件中的精确实现,根据整数运算实现滤波方程式十分重要。右移位运算“>>N”的结果是除以2N,然后进行向下取整运算。通常(但不一定),如果期望平均照明度不发生变化,则以下方程式成立。在编码器中,通过使原始像素与滤波像素之间的误差的预期值最小化来估计滤波器系数。在上述方程式中,O(i,i)表示原始图像的像素点。图5示出了自适应滤波器的一些典型的示例性滤波器形状。左侧图示出了5×5菱形滤波器(具有7个唯一系数的13抽头滤波器),中间图示出了7×7菱形滤波器(具有13个唯一系数的25抽头滤波器),右侧图示出了9×9菱形滤波器(具有21个唯一系数的41抽头滤波器)。术语“自适应”滤波是指滤波过程可以通过编码器进行调整。这涉及滤波器形状、滤波器大小、滤波系数的数量、滤波系数的值,等等。这些数据也称为“滤波器辅助信息”,会指示给解码器。当自适应滤波应用于包括乘法的滤波实现方式时,即当滤波器系数为所谓的乘法系数或乘数系数时,自适应滤波存在以下间题。换句话说,本专利技术所要解决的以下问题涉及使用自适应滤波器系数进行滤波,其中,可以单独适应性地确定(修改)在乘法运算中使用的滤波器系数。关于这一点,“单独”意指对于每个图像(picture/image/frame),和/或对于每个像素,和/或对于每个系数。问题在于,乘法运算的实现成本很高,尤其是在专用硬件实现方式中。使用滤波器需要进行较多次的滤波乘法运算(例如,在9×9菱形滤波器的情况下,每个像素进行41次乘法运算,如图4所示)。下文将更详细地说明这一点。假设要使两个无符号的八位整数相乘。滤波器系数为C,像素点为A。乘法过程可以分解为如下所示的8次一位乘法运算以及7次加法运算,其中,每次乘法运算可以实现为二进制运算中的位移位运算。因此,大约1次乘法运算等于7次加法运算。问题在于乘法过程需要大量计算。因此,在专用硬件中的实现成本很高。这里,用二进制表示8位无符号滤波器系数C,其中,C[0]为系数C的最低有效位,C[7]为最高有效位。类似地,A[7]、A[6]……A[0]是按顺序对应于最高有效位到最低有效位的各位。证明了二进制运算中的运算P=C*A,结果显示在最低行中。在图4的示例中,滤波器内核包括41个滤波器抽头,这意味着为了处理像素点,需要41次乘法运算。需要指出的是,本专利技术及其所解决的上述问题具体涉及使用乘数滤波器系数进行自适应滤波。该问题不适用于固定滤波器,特别是不适用于采用多个固定滤波器的滤波操作。采用多个固定滤波器的示例是插值滤波,用于在帧间预测中的分数像素位置处进行插值,如图6所示。许多已知的编解码器使用固定的插值滤波器进行插值滤波。虽然滤波器的滤波器系数是固定的,但是不同的分数像素位置(图中的半像素位置和四分之一像素位置)对应有多个滤波器。在该示例中,基于运动矢量对整个滤波器组进行适应性地确定,而不是单独对滤波器系数进行适应性地确定。在图中本文档来自技高网...

【技术保护点】
1.一种使用具有由整数表示的自适应乘数系数的滤波器(120、220)对图像的像素点(115、215)集合进行滤波的装置,其特征在于,所述装置包括处理电路,所述处理电路用于:/n确定所述滤波器(120、220)的至少一个乘数系数的值位于允许值集合内,使得所述具有预定L个数位的至少一个乘数系数的绝对值的二进制表示包括至少一个“0”;/n使用所述滤波器(120、220)对所述图像的像素点(115、215)集合进行滤波。/n

【技术特征摘要】
【国外来华专利技术】20180309 EP PCT/EP2018/0559791.一种使用具有由整数表示的自适应乘数系数的滤波器(120、220)对图像的像素点(115、215)集合进行滤波的装置,其特征在于,所述装置包括处理电路,所述处理电路用于:
确定所述滤波器(120、220)的至少一个乘数系数的值位于允许值集合内,使得所述具有预定L个数位的至少一个乘数系数的绝对值的二进制表示包括至少一个“0”;
使用所述滤波器(120、220)对所述图像的像素点(115、215)集合进行滤波。


2.根据权利要求1所述的装置,其特征在于,将所述集合中的最大绝对值限制为预定最大值Nmax。


3.根据权利要求1或2所述的装置,其特征在于,所述至少一个乘数系数的绝对值的二进制表示最多包括两个“1”。


4.根据权利要求3所述的装置,其特征在于,所述至少一个乘数系数的绝对值的二进制表示最多包括一个“1”。


5.根据权利要求1至4中任一项所述的装置,其特征在于,确定所述滤波器(120、220)的所有乘数系数均位于所述允许值集合内。


6.根据权利要求1至4中任一项所述的装置,其特征在于,
所述处理电路还用于将所述滤波器(120、220)的乘数系数划分为至少两组,
将所述两组中的一组的乘数系数限制为所述允许值集合。


7.根据权利要求6所述的装置,其特征在于,允许所述两组中的另一组的乘数系数取由所述绝对值的预定最大值限定的范围内的所有值。


8.根据权利要求1至7中任一项所述的装置,其特征在于,所述图像的像素点集合是视频图像的像素点(115、215)集合。


9.根据权利要求8所述的装置,其特征在于,所述装置用于分别对每个图像和每个像素适应性地确定所述乘数系数。


10.一种使用具有由整数表示的自适应乘数系数的滤波器(120、220)对图像的像素点(115、215)集合进行滤波的方法,其特征在于,所述方法包括以下步骤:
确定(S80、S92、S94)所述滤波器(120、220)的至少一个乘数系数的值位于允许值集合内,使得所述具有预定L个数位的至少一个乘数系数的绝对值的二进制表示包括至少一个“0”;
使用所述滤波器(120、220)对所述图像的像素点(115、215)集合进行滤波(S82、S96)。


11.一种对包括多个像素的图像的当前像素点集合(103)进行编码的装置,其特征在于,所述装置包括:
编码器和解码器(110、112、1...

【专利技术属性】
技术研发人员:塞米赫·艾森力克阿南德·梅赫·科特拉赵志杰陈建乐
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1