使用视频缩影对图像进行降噪的方法和装置制造方法及图纸

一种使用视频缩影对图像进行降噪的方法和装置，具体地，使用基于源视频图像的视频缩影对图像进行降噪。本原理的实施例提供处理视频中的图像的方法，包括：对图像的编码版本进行解码以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影来生成图像的降噪版本，其中从图像的源版本提取出视频图像缩影，其中所述生成包括使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片对当前碎片进行降噪。

【技术实现步骤摘要】
使用视频缩影对图像进行降噪的方法和装置
本公开涉及对视频图像进行降噪的方法和装置，更具体地，涉及使用基于源视频图像的视频缩影对视频图像进行降噪的方法和装置。
技术介绍
本部分旨在向读者介绍技术的各个方面，这可能与在下面描述和/或要求保护的本专利技术的各个方面有关。相信该讨论有助于向读者提供背景信息以便更好地理解本专利技术的各个方面。因此，应当理解到，这些陈述从这个角度来阅读，而不是作为对现有技术的承认。基于碎片(patch-based)的方法已经显著地提高了降噪方法的性能。具体地，由Buades等人的标题为“Anon-localalgorithmforimagedenoising”的文章(发表于CVPR2005会议记录)中所提出的非局部均值(NonLocalMean，NLM)以及由Dabov等人在标题为“Imagedenoisingbysparse3Dtransform-domaincollaborativefiltering”的文章(发表于TransactiononImageProcessing，第16卷，第8号，第2080-2095页，2007年8月)中提出的块匹配3D(BlockMatching3D，BM3D)是现在的参考方法。关于这两种方法，通过首先在有噪声的图像/视频之中找到碎片(patch)的K个最近近邻(K-NN)碎片，对该碎片进行降噪。NLM方法使用取决于K-NN与当前碎片之间的距离的权重来组合K-NN。BM3D是两步骤方法。在第一步骤中，BM3D将K-NN堆叠在3D分组中，然后对分组应用3D变换。然后，使用硬阈值处理(hardthresholding)对该分组中的碎片进行滤波，并且在逆变换之后获得经降噪的估计。对于每个像素，能够获得若干估计，所述若干估计最终被平均。在第二步骤中，在从第一步骤获得的经降噪的估计中找出新的K-NN。形成两个3D分组，分别包含来自第一经降噪估计的K-NN以及有噪声的图像/视频中的对应碎片。然后，对两个分组应用3D变换。使用维纳(Wiener)滤波器对包含有噪声的碎片的、经3D变换的分组进行滤波，其中使用包含第一经降噪估计的、经3D变换的分组作为谕示(oracle)。在逆变换之后获得最终的估计。这些方法是“盲目的(blind)”算法，因为它们应用于有噪声的图像/视频而不使用来自源信号的任何先验知识。如本文中所应用的术语“源信号”指在编码/解码操作(例如HEVC编码)之前、在传送以及由电视接收器解码之前的原始视频图像信号。替代地，设计有基于缩影表示的基于碎片的降噪方法。图像的缩影是包含图像的纹理和结构性质的本质的紧缩表示。缩影法针对通过利用图像内的重复内容来减少图像中的冗余信息(纹理)。缩影原理最先由Hoppe等人在发表于ACMSIGGRAPH2008会议记录的标题为“FactoringRepeatedContentWithinandAmongImages”的文章(ACMTransactiononGraphics，第27卷，第3号，第1-10页，2008年)中公开。图1例示Hoppe的方法。从图像Y，确定纹理缩影E和变换映射Ф，使得Y的所有图像块能够从E的匹配碎片来重构。匹配碎片也称作经变换的碎片。与块相反，碎片属于像素网格。一旦在图像Y中确定自相似性，Hoppe的方法就确定冗余的纹理碎片以构造缩影图，所有缩影图的联合构成纹理缩影E。每个缩影图表示图像中的重复区域。缩影图的构造由图初始化步骤继之以若干图扩展步骤来构成。变换映射Ф是保持跟踪图像Y的每个块与纹理缩影E的纹理碎片之间的对应的分配映射。在本文献中，变换映射也称作矢量映射或者分配映射。通过纹理缩影E和变换映射Ф，能够重构图像Y’，其内容与图像Y的内容非常相似。在下文中，术语视频缩影可以指纹理缩影E和变换映射Ф，或者在适当的情况下仅仅指纹理缩影E。当前的基于碎片的降噪方法如在Cheung等人的标题为“Videoepitomes”的文章(发表于InternationalJournalofComputerVision，第76卷，第141-152页，2008年)中那样地对来自缩影的碎片进行平均，或者如在Aharon等人的标题为“Sparseandredundantmodelingofimagecontentusingimage-signaturedictionary”的文章(发表于SIAMJournalonImagingSciences，第228-247页，2008年7月)中那样地使用稀疏表示来组合碎片。在这些方法中，缩影是直接从有噪声的图像/视频中提取出的。期望提高使用视频缩影的降噪方法的性能。
技术实现思路
根据本原理，描述对图像进行降噪的方法和装置，具体地，使用基于源视频图像的视频缩影对图像进行降噪的方法和装置。从图像的较高质量版本即源版本提取视频缩影得到较高质量的视频缩影，这改进降噪处理。如在本文中所使用的术语“高质量视频”或者“较高质量视频”指比已经经过编码或压缩处理的随后的或者另外的版本的视频包含更少的视频伪像和失真的视频图像。根据本原理，提供处理视频中的图像的方法，其包括：对图像的编码版本进行解码，以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影，来生成图像的降噪版本，其中，视频图像缩影是从图像的源版本提取出的，其中，所述生成包括：使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片，对当前碎片进行降噪。根据本原理，提供处理视频的图像的装置，其包括：通信接口，被配置为存取图像的编码版本，并且生成图像的解码版本以及作为与图像相关联的纹理缩影的视频图像缩影，其中，视频图像缩影是从图像的源版本提取出的；处理器，耦合到通信接口，并且被配置为使用视频的解码版本和视频图像缩影来生成包括经解码的图像的降噪版本的用于显示的输出，并且其中，图像缩影和处理器被配置为通过使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片对当前碎片进行降噪，来生成经解码的图像的降噪版本。根据本原理，提供处理视频的图像的装置，其包括：通信接口，被配置为存取图像；以及处理器，耦合到通信接口，并且被配置为生成图像的编码版本，并且在编码之前从图像的源版本提取视频缩影，并且生成包括图像的编码版本、视频缩影以及指示在比特流中存在视频缩影的标记的比特流。在实施例中，还使用与经编码的图像相同或者不同的编码方法对视频缩影进行编码。在实施例中，缩影是纹理缩影，并且所述生成步骤包括：确定要在对经解码的图像中的当前碎片进行降噪时所使用的K个最近近邻碎片；存取位于视频缩影中对应于所确定的K个最近近邻碎片的对应碎片；以及使用位于视频缩影中的对应碎片，对当前碎片进行降噪。在实施例中，所述降噪包括：使用视频图像缩影来执行降噪的非局部均值方法。在实施例中，所述降噪包括：通过估计噪声级别作为图像缩影碎片与对应的有噪声的碎片之间的均方误差，来设置滤波参数，其中将滤波参数设置为所估计的噪声级别与预先定义的用户参数的乘积。在实施例中，所述降噪包括：使用硬阈值处理步骤和维纳滤波步骤。在实施例中，硬阈值处理包括：通过对有噪声的碎片和它们的对应的图像缩影碎片的分组执行3D变换、确定经变换的碎片之间的阈值处理规则本文档来自技高网...

【技术保护点】
一种处理视频中的图像的方法，包括：对图像的编码版本进行解码，以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影，来生成图像的降噪版本，其中，视频图像缩影是从图像的源版本提取出的，其中，所述生成包括：使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片，对当前碎片进行降噪。

【技术特征摘要】
2015.10.09 EP 15306605.51.一种处理视频中的图像的方法，包括：对图像的编码版本进行解码，以产生图像的解码版本；以及使用图像的解码版本和作为与图像相关联的纹理缩影的视频图像缩影，来生成图像的降噪版本，其中，视频图像缩影是从图像的源版本提取出的，其中，所述生成包括：使用位于视频图像缩影中与多个最近近邻碎片中的至少一个相对应的对应碎片，对当前碎片进行降噪。2.根据权利要求1所述的方法，其中，所述降噪包括：使用视频图像缩影来执行降噪的非局部均值方法。3.根据权利要求2所述的方法，其中，所述降噪包括：通过估计噪声级别作为图像缩影碎片与对应的有噪声的碎片之间的均方误差，来设置滤波参数，其中将滤波参数设置为所估计的噪声级别与预先定义的用户参数的乘积。4.根据权利要求1所述的方法，其中，所述降噪包括：使用包括硬阈值处理步骤和维纳滤波步骤的方法。5.根据权利要求4所述的方法，其中，所述硬阈值处理步骤包括：通过对有噪声的碎片和它们的对应的图像缩影碎片的分组执行3D变换、确定经变换的碎片之间的阈值处理规则、用当前碎片替代有噪声的碎片的分组中的碎片、将阈值处理规则应用于包括当前碎片的有噪声的碎片的分组并且执行逆变换以生成当前碎片的第一降噪版本，来自适应地选取阈值。6.根据权利要求5所述的方法，其中，使用当前碎片的第一降噪版本作为维纳滤波步骤的谕示。7.根据权利要求1所述的方法，其中，经由在通信信道上所接收的比特流来存取视频图像缩影和图像的编码版本，并且其中，对视频图像缩影进行编码，...

【专利技术属性】
技术研发人员：M阿兰，C吉尔莫特，D索罗，P吉洛特尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR