视频编码中的非局部自适应环内滤波器的方法和装置制造方法及图纸

本发明专利技术公开了一种使用非局部(NL)去噪滤波器的视频编码的方法和装置。根据本发明专利技术，解码图像或经处理的解码图像被分成多个块。NL环路滤波器应用于具有NL开/关控制的目标块以生成滤波后的输出。NL环路滤波器处理包括：针对目标块确定包括位于一个或多个参考区域中的搜索窗口内的K个最近的参考块的块组，以及导出一个滤波后的输出，该滤波后的输出可以是目标块的一个块，或基于目标块的像素值和块组的像素值的一个滤波后的块组。如果存在任何进一步的环路滤波器处理，则提供滤波后的输出以用于进一步的环路滤波器处理，或者如果没有进一步的环路滤波器处理，则提供滤波后的输出以存储在参考图像缓冲器中。

【技术实现步骤摘要】
【国外来华专利技术】视频编码中的非局部自适应环内滤波器的方法和装置优先权声明本申请要求在2016年02月04日提出申请号为62/291,047的美国临时专利申请的优先权。上述申请整体以引用方式并入本文中。
本专利技术涉及视频数据的视频编码。特别地，本专利技术涉及对解码图像的去噪滤波器以提高视觉质量和/或编码效率。
技术介绍
视频数据需要大量的存储空间以存储，或者较宽带宽以传输。随着增长的高分辨率与更高的帧率，如果视频数据以未压缩形式被存储或者传输，则存储要求或者传输带宽要求将变得难以满足。因此，视频数据通常使用视频编解码技术，以压缩格式被存储或者传输。使用诸如H.264/AVC和新兴的高效视频编码(High-efficiencyvideocoding，HEVC)标准的新的视频压缩格式，编解码效率本质上已被提高。图1示出了包括环路处理的示例性自适应帧间/帧内视频编解码系统。对于帧间预测，运动估计(MotionEstimation，ME)/运动补偿(MotionCompensation，MC)112用于基于来自于其他图像的视频数据而提供预测数据。开关114选择帧内预测110或者帧间预测数据，并且所选择的预测数据被提供给加法器116以形成预测误差，也称为残差(residue)。随后，预测误差由变换(Transform，T)118处理，再由量化(Quantization，Q)120处理。随后，已变换与已量化的残差由熵编码器122进行编码，以使其包含在对应于已压缩视频数据的视频比特流中。当帧间预测模式被使用时，参考图像也得在编码器侧处被重构。因此，已变换与已量化的残差由逆量化(InverseQuantization，IQ)124和逆变换(InverseTransformation，IT)126处理，以恢复残差。随后，这些残差在重构(Reconstruction，REC)128处被添加回到预测数据136中，以重构视频数据。重构的视频数据被存储在参考图像缓存器134中，并用于其他帧的预测。然而，在视频数据被存储到参考图像缓存器之前，环路滤波器130(例如，去块(deblocking)滤波器和/或样本自适应偏移(sampleadaptiveoffset，SAO))可以被应用到重构的视频数据。图2示出了用于图1中编码器系统的相应的视频解码器的系统结构示意图。由于编码器也包括局部(local)解码器，以用于重构视频数据，除了熵解码器之外，一些解码器组件已用在编码器中。另外，仅运动补偿220需要用于解码器侧。开关146选择帧内预测或者帧间预测数据，并且所选择的预测数据被提供给重构128，以使其与已恢复的残差进行组合。除了对已压缩的残差执行熵解码之外，熵解码器210也负责辅助信息(sideinformation)的熵解码，并提供辅助信息给各自的块。例如，帧内模式信息被提供给帧内预测110，帧间模式信息被提供给运动补偿220，环路滤波器信息被提供给环路滤波器130，残差被提供给逆量化124。残差由逆量化124、逆变换126及后续重构处理进行处理，以重构视频数据。同样，来自于重构128的重构的视频数据经过一系列处理，包括如图2所示的逆量化124和逆变换126，并可能产生编解码伪影(artefact)。重构的视频数据由环路滤波器130进行进一步处理。再次，AVC/H.264使用去块滤波器作为环路滤波器。对于HEVC，去块滤波器和SAO(样本自适应偏移)滤波器都可用作环路滤波器。在HEVC系统中，H.264/AVC的固定大小的宏块(macroblock)由灵活块来替换，其称为编码单元(codingunit，CU)。编码单元中的像素共享相同的编码参数以提高编码效率。编码单元可以是从最大编码单元(largestCU，LCU)开始，其在HEVC中也称为编码树单元(codedtreeunit，CTU)。每个编码单元是2Nx2N方块，并且可以递归地分成四个较小的编码单元，直到达到预定义的最小大小。一旦完成编码单元分层树的分割，则根据预测类型和预测单元(predictionunit，PU)分区，将每个叶编码单元进一步分割成一个或多个预测单元。此外，用于变换编码的基本单元是正方形大小，其称为变换单元(TransformUnit，TU)。为方便起见，切片、LCU、CTU、CU、PU和TU被称为图像单元。在HEVC中，帧内和帧间预测被应用于每个块(即，PU)。帧内预测模式使用空间相邻重构像素来生成方向预测器。另一方面，帧间预测模式使用时间重构参考帧来生成运动补偿预测器。使用变换、量化和熵编码对预测残差进行编码。更准确的预测器将导致更小的预测残差，这反过来将导致更少的压缩数据(即，更高的压缩比)。帧间预测将探索帧之间的像素的相关性，并且如果场景是静止的或者运动是平移的，则帧间预测将是有效的。在这种情况下，运动估计可以容易地找到在时间相邻帧中具有相似像素值的相似块。对于HEVC中的帧间预测，帧间预测可以是单向预测(uni-prediction)或双向预测(bi-prediction)。对于单向预测，通过先前编码图像中的一个参考块来预测当前块。对于双向预测，通过两个先前编码图像中的两个参考块来预测当前块。对来自两个参考块的预测进行平均以形成双向预测的最终预测器。用于图像处理的去噪滤波器除了环路滤波器技术之外，近年来已经公开了去噪技术作为改善视觉质量的手段。在许多去噪方法中，存在一种被称为“非局部均值(Non-LocalMeansorNon-LocalMean，NLM)”的技术，以根据一组相似的重构图像块(imagepatch)的统计来降低一个图像块中的噪声。例如，Baudes等人(A.Buades,B.Coll,andJ.M.Morel,“Anon-localalgorithmforimagedenoising,”inIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005,CVPR2005,vol.2,pp.60–65,Jun.2005)公开了一种用于图像的非局部去噪算法。特别是，Baudes等人公开了一种新算法，非局部均值(NLM)，基于图像中所有像素的非局部平均。NLM方法基于图像中的相邻像素的加权平均来生成去噪像素。Dabov等人已经公开了基于3D变换的图像去噪技术(K.Dabov,A.Foi,V.Katkovnik,andK.Egiazarian,“Imagedenoisingbysparse3-Dtransform-domaincollaborativefiltering,”IEEETrans.ImageProcess.,vol.16,no.8,pp.2080–2094,Aug.2007)。3-D变换域去噪方法将相似的块(patch)分组为3-D阵列，并通过稀疏协同滤波(sparsecollaborativefiltering)来处理这些阵列。该方法利用非局部自相似性(nonlocalself-similarity)和稀疏性(sparsity)进行图像去噪。最近，Guo等人公开了一种基于SVD的去噪技术(Q.Guo,C.Zhang,Y.Zhang,andH.Liu,“A本文档来自技高网...

【技术保护点】
1.一种用于视频编码的图像处理方法，由视频编码器或视频解码器执行，其特征在于，该方法包括：接收与视频序列中的解码图像或经处理的解码图像有关的输入数据；将所述解码图像或所述经处理的解码图像划分成多个块；将非局部环路滤波器应用于具有非局部开/关控制的目标块以生成滤波后的输出，其中所述将非局部环路滤波器应用于目标块包括：针对所述目标块，确定包括位于一个或多个参考区域中的搜索窗口内的K个最近的参考块的块组，其中K是正整数；以及基于所述目标块的像素值和所述块组的像素值导出所述目标块的一个滤波后的输出；以及如果存在任何进一步的环路滤波器处理，则提供所述滤波后的输出以用于进一步的环路滤波器处理，或者如果没有进一步的环路滤波器处理，则提供所述滤波后的输出以存储在参考图像缓冲器中。

【技术特征摘要】
【国外来华专利技术】2016.02.04 US 62/291,0471.一种用于视频编码的图像处理方法，由视频编码器或视频解码器执行，其特征在于，该方法包括：接收与视频序列中的解码图像或经处理的解码图像有关的输入数据；将所述解码图像或所述经处理的解码图像划分成多个块；将非局部环路滤波器应用于具有非局部开/关控制的目标块以生成滤波后的输出，其中所述将非局部环路滤波器应用于目标块包括：针对所述目标块，确定包括位于一个或多个参考区域中的搜索窗口内的K个最近的参考块的块组，其中K是正整数；以及基于所述目标块的像素值和所述块组的像素值导出所述目标块的一个滤波后的输出；以及如果存在任何进一步的环路滤波器处理，则提供所述滤波后的输出以用于进一步的环路滤波器处理，或者如果没有进一步的环路滤波器处理，则提供所述滤波后的输出以存储在参考图像缓冲器中。2.如权利要求1所述的方法，其特征在于，所述经处理的解码图像对应于在将一个或多个环路滤波器应用于所述解码图像之后的输出图像，其中所述一个或多个环路滤波器包括去块滤波器、样本自适应偏移滤波器和自适应环路滤波器中的一个或其组合。3.如权利要求1所述的方法，其特征在于，所述导出所述一个滤波后的输出是根据非局部均值去噪滤波器、非局部低秩去噪滤波器、或块匹配和3-D去噪滤波器。4.如权利要求3所述的方法，其特征在于，当使用块匹配和3-D去噪滤波器时，使用索引从预定义的基底的多个集合、发信的基底的多个集合、或前两者中，选择基底的一个集合。5.如权利要求4所述的方法，其特征在于，在序列级、图像级、切片级、最大编码单元级、编码单元级、预测单元级或块级中发信所述索引。6.如权利要求1所述的方法，其特征在于，所述一个滤波后的输出被导出为所述K个最近的参考块的对应像素的加权和。7.如权利要求1所述的方法，其特征在于，根据一个参考块和一个目标块之间的距离测量来确定所述K个最近的参考块，其中所述距离测量是从包括L2范数距离、L1范数距离和结构相似性的组中选择的。8.根据权利要求1所述的方法，其特征在于，根据一个参考块与一个目标块之间的距离测量来确定所述K个最近的参考块，其中所述距离测量对应于平方误差之和或绝对差之和，并且其中具有平方误差之和或绝对差之和等于零的最近的参考块的数量被限制为T，并且T是小于K的正整数。9.如权利要求1所述的方法，其特征在于，所述多个块对应于重叠的多个块。10.如权利要求1所述的方法，其特征在于，多个滤波后的样本值的加权和用于将所述多个滤波后的样本值融合为最终的滤波值。11.如权利要求10所述的方法，其特征在于，用于多个经滤波后的样本值的加权和的融合权重，是基于与解码图像、经处理的解码图像、滤波后的输出或其...

【专利技术属性】
技术研发人员：黄毓文，陈庆晔，庄子德，林建良，陈渏纹，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71