用于图像处理的组合环路滤波制造技术

技术编号:32263013 阅读:18 留言:0更新日期:2022-02-12 19:24
在图像处理设备(即,编码器或解码器)中,通过将双边环路滤波(或哈达玛环路滤波)与样本自适应偏移滤波(SAO)或自适应环路滤波(ALF)组合,来降低环路滤波器级的数量。这避免了与过多环路滤波器级相关联的实现问题,并且提供了与具有单独环路滤波器级大致相同的压缩效率增益。缩效率增益。缩效率增益。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理的组合环路滤波


[0001]本专利技术总体上涉及图像和视频处理,并且具体地涉及一种对图像数据进行组合环路滤波操作的系统和方法。

技术介绍

[0002]技术,特别是复杂的无线移动通信设备的出现(其中大多数包括一个或多个相机),已经使数字图像学在世界许多地方的日常生活中无处不在。视频在盛行,不仅来自诸如广播和有线电视分发系统之类的传统源,还涉及计算机、平板设备、智能手机、甚至手表。另外,新闻和娱乐源,以及正在重新定义人际社区的社交媒体网络,都充斥着高分辨率的彩色数字图像。图像学的庞大体量一直是驱动最先进的网络技术、数字存储以及相机和显示技术发展的因素。
[0003]图像处理算法以及专用图像处理硬件已经发生了显著的进步。然而,即使网络的带宽和数据速度、存储设备的容量等不断进步,智能地处理数字图像以减少其存储大小,并促进其在网络上的有效传输,仍然是研究和开发的重要领域。这涉及单个图像和视频二者,后者由单个图像的序列组成。
[0004]当在屏幕上观看时,图像(无论是静态图像还是视频帧)由像素组成,每个像素具有红、绿、蓝值(RGB)。然而,在对视频序列进行编码和解码时,图像通常不使用RGB表示,而是经常在另一色彩空间中表示。常见的图像色彩空间包括(但不限于):YCbCr;ICtCp;以及这些的变型,例如非恒定亮度YCbCr和恒定亮度YCbCr。考虑YCbCr的示例,它包括三个分量:亮度(Y)以及蓝差(Cb)和红差(Cr)色度分量。Y分量大致表示亮度或强度,它是全分辨率的,而色度分量Cb和Cr的分辨率通常较小。典型的示例是包含1920
×
1080RGB像素的高清(HD)视频序列,它通常用1920
×
1080分辨率的Y分量、960
×
540的Cb分量和960
×
540的Cr分量表示。这些分量中的元素被称为样本。在高清视频的示例中,Y分量中由此有1920
×
1080个样本,因此样本与像素之间有直接关系。在这种情况下,术语像素和样本是同义的,可以互换使用。对于Cb和Cr分量,样本与像素之间没有直接关系;单个Cb样本通常影响若干像素。
[0005]在许多视频编码标准中,分量Y、Cb和Cr进一步被划分为块。作为示例,在高级视频编码(AVC)中,将图像划分为16
×
16的Y样本与8
×
8的Cb和Cr样本的宏块,它们代表相同的16
×
16像素区域。
[0006]在高效率视频编码(HEVC)中,将图像划分为编码树单元(CTU)。CTU由N
×
N块的亮度样本、针对Cb的M
×
M色度样本和针对Cr的M
×
M色度样本组成。作为一个示例,N=64且M=32。可以将CTU划分为四个正方形块,每个正方形块又可以递归地划分为四个正方形块。这形成了分区树,以CTU为根、被称为编码单元(CU)的正方形块为叶。
[0007]在多功能视频编码(VVC)标准中,将图像划分为编码树单元(CTU)。CTU由N
×
N块的亮度样本、针对Cb的M
×
M色度样本和针对Cr的M
×
M色度样本组成。作为典型的示例,N=128且M=64。就像HEVC的情况一样,然后可以将CTU划分为较小的块;然而,这些块不必是正方形。作为示例,可以使用水平划分将块划分为两个较小的块,其中经划分的块的宽度与原始
块的宽度相同,但是高度时原始块高度的一半。这种划分可以递归地进行,形成分区树,其中CTU是根、叶上的块被称为编码单元(CU)。这些CU可以进一步被划分为变换单元或TU。在解码器中,首先对TU的样本进行预测,可以使用来自相同图像中的先前解码块的样本(帧内预测),或者使用来自先前解码图像中的块的样本(帧间预测),或者二者的组合。
[0008]在本领域中已知的是,在形成重构图像块之后直接对图像数据进行双边滤波,可以利于视频压缩,如P.Wennersten,J.Y.Wang,K.Andersson,R.和J.Enhorn在“Bilateral Filtering for Video Coding”中所述,发表在IEEE Visual Communications and Image Processing(VCIP),2017年12月,可在http://www.jacobstrom.com/publications/Wennersten et al VCIP2017.pdf获得,本文通过引用并入其全部公开内容。Wennersten等人表明使用双边滤波器能够降低比特率,同时保持视觉质量。Bjontegaard度量法提供了一种在相同数据上比较编解码器或编码技术的方法,并产生被称为BD率(BD

rate)的度量,其中

1%的负增量BD率数字意味着比特率已经减少1%,同时保持相同的视觉质量。对于Wennersten的论文中的滤波器,随机访问的运行时间增加3%(编码)和0%(解码)时,增量BD率为

0.5%。运行时间是对序列进行编码或解码所需的时间,并且期望低运行时间增加。由于这种情况下的滤波直接发生在块重构之后,因此这种类型的双边滤波在本文被称为“后重构双边滤波”。
[0009]另一种在形成重构块之后直接进行滤波的方法是延迟滤波,直到整个图像已被重构,这时可以对整个图像(或其部分)进行滤波。J.P.Wennersten,J.Enhorn和R.在标准化贡献“CE1

related:Multiplication

free bilateral loop filter”中描述了这种方法,作为JVET

N0493发表于第14次JVET会议,瑞士,日内瓦,2019年3月19~27日,可作为压缩文件从http://phenix.it

sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET

N0493

v4.zip下载,本文通过引用并入其全部公开内容。这种滤波方案通常被称为环滤波器,或环路滤波器,因为滤波的结果被循环回以用于对尚未被编码/解码的帧进行预测。因此,这种类型的双边滤波在本文被称为“双边环路滤波”。
[0010]作为双边滤波器的替代方案,也可以在哈达玛(Hadamard)域进行滤波,如S.Ikonin,V.Stepin,A.Karabutov和J.Chen在标准化贡献“CE1:Hadamard transform domain filter(CE1

2)”中所描述的,作为JVET

N0478发表于第14次JVET会议,瑞士,日内瓦,2019年3月19~27日,可作为压缩文件从http://phenix.it

sudparis本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对图像数据应用多个不同的滤波器操作(22、24、34、36、42、45、52、53、62、64、82、86、92、96)的方法(110),其特征在于:将所述图像数据划分(111)为一个或多个分区(32、51);以及针对图像数据的每个分区(32、51):对图像数据的当前分区(32、51)应用(112)第一滤波操作(22、34、42、52、62、82、92),以生成第一经滤波图像数据和第一增量数据之一;对图像数据的当前分区(32、51)应用(113)第二滤波操作(24、36、45、53、64、86、96),以生成第二经滤波图像数据和第二增量数据之一;将针对所述当前分区(32、51)的第一滤波操作和第二滤波操作(22、24、34、36、42、45、52、53、62、64、82、86、92、96)的输出组合(114),以生成组合后的经滤波图像数据;以及对当前分区(32、51)的组合后的经滤波图像数据进行裁剪(115)。2.根据权利要求1所述的方法(110),还包括:基于所述第一滤波操作(82、92)的输出来估计用于所述第二滤波操作(86、96)的一个或多个参数(84、94);并且其中,应用(113)第二滤波操作(86、96)包括使用一个或多个经估计的参数(84、94)来应用所述第二滤波操作(86、96)。3.根据权利要求2所述的方法(110),其中,经估计的参数(84、94)之一建立了图像数据中应用所述第二滤波操作(86、96)的分区的范围。4.根据权利要求1所述的方法(110),其中,在图像或视频解码器中执行所述滤波操作(22、24、34、36、42、45、52、53、62、64、82、86、92、96)。5.根据权利要求1至4中任一项所述的方法(110),其中,每个分区包括整个图像数据;应用(112)第一滤波操作(62)包括使用第一处理单元CPU0对整个图像数据应用所述第一滤波操作(62);以及应用(113)第二滤波操作(64)包括使用第二处理单元CPU1对整个图像数据应用所述第二滤波操作(64)。6.根据权利要求1至4中任一项所述的方法(110),其中,每个分区包括编码树单元CTU(41、44、51);应用(112)第一滤波操作(42、52)包括在第一时间执行对图像数据的当前CTU(41、51)应用所述第一滤波操作(42、52)的软件;应用(113)第二滤波操作(45、53)包括在不同于所述第一时间的第二时间执行对图像数据的当前CTU(44、51)应用所述第二滤波操作(45、53)的软件。7.根据权利要求6所述的方法(110),其中,执行对图像数据的当前CTU(41、44)应用(112、113)第一滤波操作和第二滤波操作(42、44)之一的软件包括:在寄存器不足以同时执行这两个滤波操作(42、44)的计算设备上执行单指令多数据SIMD指令。8.根据权利要求1至4中任一项所述的方法(110),其中,每个分区包括一组像素;应用(112)第一滤波操作(34)包括使用硬件对当前像素组应用所述第一滤波操作(34);以及应用(113)第二滤波操作(36)包括使用硬件对当前像素组应用所述第二滤波操作
(36)。9.根据权利要求1至4中任一项所述的方法(110),其中,图像数据的每个分区包括一个或多个像素,并且其中,在处理图像数据的下一分区之前,对图像数据的每个分区执行所述第一滤波操作(22、34、42、52、62、82、92)、所述第二滤波操作(24、36、45、53、64、86、96)、组合(26、37、47、54、66、88、98)操作和裁剪(28、38、48、55、68、89、99)操作。10.根据权利要求1至9中任一项所述的方法(110),其中,将针对当前分区的第一滤波操作(22、34、42、52、62、82、92)和第二滤波操作(24、36、45、53、64、86、96)的输出组合(26、37、47、54、66、88、98)包括:针对图像数据的每个分区,如果所述第一滤波操作(22、34、42、52、62、82、92)生成第一经滤波图像数据,则将第一增量数据计算为所述图像数据与所述第一经滤波图像数据之间的差;如果所述第二滤波操作(24、36、45、53、64、86、96)生成第二经滤波图像数据,则将第二增量数据计算为所述图像数据与所述第二经滤波图像数据之间的差;以及对所述图像数据、所述第一增量数据和所述第二增量数据求和。11.根据权利要求1至9中任一项所述的方法(110),其中,将针对当前分区的第一滤波操作(22、34、42、52、62、82、92)和第二滤波操作(24、36、45、53、64、86、96)的输出组合(26、37、47、54、66、88、98)包括:针对图像数据的每个分区,如果所述第一滤波操作(22、34、42、52、62、82、92)生成经滤波图像数据,则将第一增量数据计算为所述图像数据与所述第一经滤波图像数据之间的差;以及如果所述第二滤波操作(24,36,45,53,64,86,96)生成经滤波图像数据,则对所述第一增量数据与所述第二经滤波图像数据求和。12.根据权利要求1至9中任一项所述的方法(110),其中,将针对当前分段的第一经滤波图像数据和第二经滤波图像数据组合包括:针对图像数据的每个分段,计算第一经滤波图像数据与图像数据的第一比率;计算第二经滤波图像数据与图像数据的第二比率;以及将所述图像数据与所述第一比率和所述第二比率相乘。13.根据权利要求12所述的方法(110),其中,将所述第一比率和所述第二比率计算为通过常数值偏移的相应第一经滤波图像数据和第二经滤波图像数据与通过常数值偏移的图像数据的比率。14.根据权利要求12所述的方法(110),其中,对所述组合后的经滤波图像数据进行裁剪(28、38、48、55、68、89、99)包括确保数据在预定范围内。15.根据权利要求14所述的方法(110),其中,裁剪函数为:clip(x)=max(0,min(2
n

1,x)),其中n是像素数据的比特长度,min(x)是选择两个参数中的最小值的函数,max(x)是选择两个参数中的最大值的函数。16.根据上述任一项权利要求的方法(110),其中,第一滤波操作(22、34、42、52、62、82、92)和第二滤波操作(24、36、45、53、64、86、96)能够包括以下一个或多个:后重构双边滤波、双边环路滤波、后重构哈达玛滤波、双边哈达玛滤波、去块滤波、样本自适应偏移SAO滤波和自适应环路滤波器ALF滤波。17.根据权利要求16所述的方法(110),其中,所述第一滤波操作(22、34、42、52、62、82、92)是双边滤波操作;以及
所述第二滤波操作(24、36、45、53、64、86、96)是SAO滤波操作。18.根据权利要求17所述的方法(110),其中,所述方法(110)在去块滤波操作之后且在ALF滤波操作之前。19.一种图像处理设备(100),适于对图像数据应用多个不同的滤波器操作(22、24、34、36、42、45、52、53、62、64、82、86、92、96),其特征在于,至少...

【专利技术属性】
技术研发人员:雅各布
申请(专利权)人:瑞典爱立信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1