用于视频的相互噪声估计制造技术

实施方案公开了用于视频的相互噪声估计。一种方法包括：确定视频的帧中的每个帧的强度值的最优帧噪声方差，所述最优帧噪声方差是基于所述帧中的均匀块的所述强度值的空间方差与时间方差之间的确定关系；基于所述视频的所述帧的最优帧噪声方差而识别所述视频的最优视频噪声方差；为所述视频的每个帧选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，所述一个或多个帧被选择为所述均匀块；以及利用所述选定的均匀块来估计所述视频的噪声信号。

【技术实现步骤摘要】
【国外来华专利技术】用于视频的相互噪声估计
本公开涉及视频处理的领域，且确切地说，涉及用于视频的相互噪声估计。
技术介绍
视频通常会受到视频采集(videoacquisition)、记录、处理和传输期间所产生的噪声破坏。噪声可以表示图像中的亮度或色彩信息的随机方差，所述信息不存在于所被成像的对象中。噪声降低了视频的视觉品质，同时影响诸如视频压缩、分割、格式转换、运动估计、去噪和滤波等许多视频处理应用的有效性和性能。当可获得关于噪声信号的准确信息时，所述视频处理应用的结果可以得到提高。视频噪声估计的准确性是信号和噪声处理领域中的重要组成。
技术实现思路
下面是本公开的简单概要，以便提供对本公开的一些方面的基本理解。本概要并非本公开的全面综述。意图并非在于识别本公开的主要或关键元素，也并非在于描绘本公开的特定实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为稍后呈现的更详细描述的序言。在本公开的一个方面中，一种方法包括：通过处理设备确定视频的帧中的每个帧的强度值的最优帧噪声方差，最优帧噪声方差是基于帧中的均匀块的强度值的空间方差与时间方差之间的确定的关系；基于视频的帧的最优帧噪声方差而识别视频的最优视频噪声方差；为视频的每个帧选择所述块中具有小于最优视频噪声方差的空间方差的一个或多个块，所述一个或多个选定的块被标记为均匀块；以及通过所述处理设备利用所述选定的均匀块来估计视频的噪声信号。在一个实施方案中，所述块中的每个包括帧的N×N个像素，其中N是正数。另外，所述块中的每个可以是至少半重叠的。所述方法还可以包括使用视频的估计的噪声信号对视频进行处理，其中对视频进行处理可以包括视频压缩、分割、格式转换、运动估计、去噪或滤波中的一个或多个。在一个实施方案中，确定每个帧的最优帧噪声方差还可以包括：计算帧中的每个块的空间方差；计算帧中的每个块的时间方差；基于空间方差与时间方差之间的确定的关系以及基于均匀块之间的噪声协方差是恒定值的这一假设而将所述帧的块的时间方差中的每个时间方差转换成经转换的时间方差；将第一函数应用于帧中的空间方差，所述第一函数用来为空间方差值小于方差值范围中的方差值‘x’的帧中的块提供空间方差的平均值；将第二函数应用于帧中的经转换的时间方差，所述第一函数用来为经转换的时间方差值小于有关方差值范围的方差值‘x’的帧中的块提供经转换的时间方差的平均值；以及基于应用的第一函数和应用的第二函数的交集而选择帧的最优帧噪声方差值。在一些实施方案中，时间方差利用位于帧之前和之后确定数目的帧。另外，方差值的范围可以包括从零到帧的空间方差和时间方差的集合的并集上的最大方差的方差值。在一个实施方案中，交集点小于V(x)的绝对最大值，其中V(x)包括在方差值x处应用的第一函数与应用的第二函数之间的差的方差。另外，每个帧的强度值可以包括帧中的像素的数值，其中所述数值与像素的灰度级值相对应。每个帧的强度值还可以包括帧中的像素的数值，其中所述数值与像素的色彩通道值相对应。另外，最优视频噪声方差可以是视频集合的帧的最优帧噪声方差的中值。本文公开了用于执行上述方法和本文所描述的各种实施方案的操作的计算设备。还公开了存储用于执行与上述方法和本文所描述的各种实施方案相关联的操作的指令的计算机程序产品(诸如非暂时性计算机可读存储介质，但是还包括暂时性信号，诸如通过通信网络传输的信号)。在本公开的第二方面中，计算机程序产品(诸如非暂时性机器可读存储介质)存储指令，当所述指令被执行时致使处理设备来执行操作，所述操作包括：计算视频的帧中的每个块的强度值的空间方差；计算帧中的每个块的强度值的时间方差；基于所述空间方差与所述时间方差之间的确定的关系以及基于均匀块之间的噪声协方差是恒定值的这一假设而将所述帧的块的时间方差中的每个时间方差转换成经转换的时间方差；将第一函数应用于帧中的空间方差，所述第一函数为空间方差值小于方差值范围中的方差值‘x’的帧中的块提供空间方差的平均值；将第二函数应用于帧中的经转换的时间方差，所述第二函数为经转换的时间方差值小于方差值范围中的方差值‘x’的帧中的块提供经转换的时间方差的平均值；以及基于应用的第一函数和应用的第二函数的交集而选择有关帧的最优帧噪声方差值。本专利技术的该方面可以可选地被限定为包括处理器和存储指令的存储器的系统，或者限定为当执行指令时由处理器所实施的方法。在本公开的第三方面中，系统包括：存储器；以及耦接至存储器的处理设备，其中所述处理设备将用来：识别与确定类型的视频捕获设备相对应的视频集合的每个视频的最优视频噪声方差，其中所述最优视频噪声方差是基于所述视频集合的帧中的每个帧中的均匀块的空间方差与时间方差之间的确定的关系；基于所识别的最优视频噪声方差而生成与所述确定类型的视频捕获设备相对应的噪声模型；存储所述确定类型的视频捕获设备的噪声模型；以及应用所存储的噪声模型来对被指示为由确定类型的视频捕获设备所捕获的上传视频进行去噪。本专利技术的该方面可以可选地被限定为包括由处理设备(处理器)所实施的步骤，或者被限定为存储指令的计算机程序产品(诸如非暂时性计算机可读存储介质，或者通信信号)，当所述指令被处理器实现时致使所述处理器来实施所述方法。术语“最优”(例如在“最优视频噪声方差”)在本文献中用来表示已经被识别的任何值，尤其是表示物理量的值。它可能被认为是用于特定目的的最优值。附图说明附图中的各图中通过举例而不是限制的方式对本公开进行了说明。图1是图示其中可以实现本公开的实施方案的示例性网络架构的框图。图2是根据本公开的实施方案的噪声估计组件的框图。图3是说明根据实施方案的用于视频的相互噪声估计的方法的流程图。图4是说明根据实施方案的用于视频的相互噪声估计的另一方法的流程图。图5是说明根据实施方案的使用对视频的相互噪声估计为视频捕获设备生成噪声模型的方法的流程图。图6是说明根据实施方案的计算机系统的一个实施方案的框图。具体实施方式本公开的各方面和实施方案描述了用于视频的相互噪声估计。视频通常会受到视频采集、记录、处理和传输期间所产生的噪声破坏。噪声可以表示图像中的亮度或色彩信息的随机方差，所述信息不存在于所成像的对象中。特定视频中所存在的噪声的准确估计对于诸如视频压缩、分割、格式转换、运动估计、去噪和滤波等许多视频处理应用是有用的。视频中所存在的估计的噪声级可以被用来调谐对应视频处理应用的参数。当可获得关于估计的噪声级的准确信息时，所述视频处理应用的结果可以得到提高。一般而言，视频噪声估计系统识别视频的视频帧中的大多数强度均匀块。所识别的强度均匀块内的任何强度变化被假定成是噪声。视频帧的块可以表示视频帧的包括帧的像素的子集的部分。强度可以表示视频帧中的像素的数值。例如，在灰度阶(grayscale)图像中，强度是每个像素处的灰度级值(例如，127比220暗)。在另一示例中，在彩色图像中，强度可以基于彩色图像中的每个色彩通道(例如，红绿蓝(RGB)色彩通道)的数值而确定。如本文所使用，术语“均匀(homogeneous)”可以表示具有扁平外观(例如，在整个块中始终保持单一色彩，没有纹理)。类似地，强度均匀块(或仅“均匀块”)可以表示视频帧的在块的像素中具有很小或没有强度值变化的那些块，或者本文档来自技高网...

【技术保护点】
1.一种方法，包括：通过处理设备确定视频的帧中的每个帧的强度值的最优帧噪声方差，所述最优帧噪声方差是基于所述帧中的均匀块的所述强度值的空间方差与时间方差之间的所确定的关系；基于所述视频的所述帧的最优帧噪声方差而识别所述视频的最优视频噪声方差；针对所述视频的每个帧，选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，一个或多个所选择的块被标记为所述均匀块；以及通过所述处理设备，利用所选择的均匀块来估计所述视频的噪声信号。

【技术特征摘要】
【国外来华专利技术】2017.05.31 US 15/609,8261.一种方法，包括：通过处理设备确定视频的帧中的每个帧的强度值的最优帧噪声方差，所述最优帧噪声方差是基于所述帧中的均匀块的所述强度值的空间方差与时间方差之间的所确定的关系；基于所述视频的所述帧的最优帧噪声方差而识别所述视频的最优视频噪声方差；针对所述视频的每个帧，选择所述块中具有小于所述最优视频噪声方差的空间方差的一个或多个块，一个或多个所选择的块被标记为所述均匀块；以及通过所述处理设备，利用所选择的均匀块来估计所述视频的噪声信号。2.根据权利要求1所述的方法，其中所述块中的每个块包括所述帧的NxN个像素，其中N是正数。3.根据权利要求2所述的方法，其中所述块中的每个块是至少半重叠的。4.根据权利要求1至3中任一项所述的方法，所述方法还包括：使用所述视频的所估计的噪声信号对所述视频进行处理，其中对所述视频的处理包括：视频压缩、分割、格式转换、运动估计、去噪或滤波中的一个或多个。5.根据权利要求1所述的方法，其中确定每个帧的所述最优帧噪声方差包括：计算所述帧中的每个块的所述空间方差；计算所述帧中的每个块的所述时间方差；基于所述空间方差与所述时间方差之间的所确定的关系以及基于所述均匀块之间的噪声协方差是恒定值的这一假设，将所述帧的所述块的所述时间方差中的每个时间方差转换成相应的经转换的时间方差；将第一函数应用于所述帧中的所述空间方差，所述第一函数针对所述帧中具有小于方差值范围中的方差值‘x’的空间方差的所述块提供所述空间方差的平均值；将第二函数应用于所述帧中的所述经转换的时间方差，所述第二函数针对所述帧中具有小于所述方差值范围中的所述方差值‘x’的经转换的时间方差的所述块提供所述经转换的时间方差的平均值；以及基于所应用的第一函数和所应用的第二函数的交集而选择所述帧的所述最优帧噪声方差值。6.根据权利要求5所述的方法，其中所述时间方差利用位于所述帧之前和之后的所确定数目的帧。7.根据权利要求5或6所述的方法，其中所述方差值范围包括从零到最大方差的方差值，所述最大方差是在所述帧的所述空间方差和所述时间方差的集合的并集之上。8.根据权利要求7所述的方法，其中所述交集小于V(x)的绝对最大值，其中V(x)表示在方差值x处所应用的第一函数与所应用的第二函数之间的差的方差。9.根据任一前述权利要求所述的方法，其中每个帧的所述强度值包括所述帧中的像素的数值，所述数值与所述像素的灰度级值相对应。10.根据任一前述权利要求所述的方法，其中每个帧的所述强度值包括所述帧中的像素的数值，所述数值与所述像素的色彩通道值相对应。11.根据任一前述权利要求所述的方法，其中所述最优视频噪声方差是所述视频集合中的所述帧的最优帧噪声方差的中值。12.一种存储指令的计算机程序产品，所述指令当被执行时致使处理设备执行操作，所述操作包括：计算视频的帧中的每个块的强度值的空间方差；计算所述帧中的每个块的所述强度值的时间方差；基于所述空间方差与所述时间方差之间的所确定的关系以及基于所述视频中的均匀块之间的噪声协方差是恒定值的这一假设，将所述帧的所述块的所述时间方差中的每个时间方差转换成经转换的时间方差；将第一函数应用于所述帧中的所述空间方差，所述第一函数针对所述帧中具有小于方差值范围中...

【专利技术属性】
技术研发人员：尼尔·比克贝克，穆罕默德·伊扎迪，阿纳尔·科卡拉姆，巴利尼杜·C·阿德苏米利，达米安·凯利，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US