用于视频编码的内容自适应降噪的方法和系统技术方案

本公开涉及用于视频编码的内容自适应降噪的方法和系统，提供了使用内容自适应时空滤波的用于视频编码的降噪的方法、物品和系统。

【技术实现步骤摘要】
用于视频编码的内容自适应降噪的方法和系统
本公开总体涉及图像处理领域，更具体地，涉及用于视频编码的内容自适应降噪的方法和系统。
技术介绍
随着视频编码和视频流送变得越来越普遍，对高质量视频的需求也不断增长。在编码过程中，视频流被编码、发送到远程计算设备、并被解码，在编码之前执行某些预处理操作，以更好地确保所生成的经解压缩和显示的视频的图像的质量。这可以包括在对视频进行编码或压缩以传输到另一设备之前执行降噪。降噪涉及从图像中去除噪声，这些噪声是不想要的点或斑点的形式，这些点或斑点会使图像变得云化或模糊以及在像素具有错误的图像值时出现变色或亮度误差。这可能是由于光线不足和/或故障或低质量的相机传感器或其他相机器件引起的。为了执行降噪，可以使用噪声估计技术，该技术估计噪声以从要编码的图像中识别并去除噪声。然而，这些技术通常是不足够的，因为图像内容和复杂图像内容的帧与帧之间运动会干扰识别、平滑或去除像素值中大量随机波动的能力。
技术实现思路
根据本公开的方面，提供了一种计算机实现的视频编码方法，该方法包括：获取视频序列帧的图像数据；基于被发现在满足一个或多个均匀性标准的图像数据中具有均匀性的像素的均匀块，确定当前帧的空间噪声估计；至少部分地基于均匀块与另一帧上的块之间的图像数据差来确定当前帧的时间噪声估计；以及根据至少一个阈值提供时间噪声估计或空间噪声估计，并在编码当前帧之前调整降噪滤波器强度以预处理当前帧。根据本公开的方面，提供了一种计算机实现的系统，该系统包括：存储器，该存储器用于存储至少一个图像的图像数据；以及至少一个处理器，该至少一个处理器通信地耦合到存储器并且被布置为通过以下操作：获取视频序列帧的图像数据；基于被发现在满足一个或多个均匀性标准的图像数据中具有均匀性的像素的均匀块，确定当前帧的空间噪声估计；至少部分地基于均匀块与另一帧上的块之间的图像数据差来确定当前帧的时间噪声估计；以及根据至少一个阈值提供时间噪声估计或空间噪声估计，并在编码当前帧之前调整降噪滤波器强度以预处理当前帧。根据本公开的方面，提供了至少一种非暂态计算机可读介质，其上存储有指令，当指令被执行时使得计算设备通过以下进行操作：获取视频序列帧的图像数据；基于被发现在满足一个或多个均匀性标准的图像数据中具有均匀性的像素的均匀块，确定当前帧的空间噪声估计；至少部分地基于均匀块与另一帧上的块之间的图像数据差来确定当前帧的时间噪声估计；以及根据至少一个阈值提供时间噪声估计或空间噪声估计，并在编码当前帧之前调整降噪滤波器强度以预处理当前帧。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：图1是示出被低估的噪声水平的结果的图像；图2是示出被高估的噪声水平的结果的图像；图3是传统视频编码系统的示意图；图4是另一传统视频编码系统的示意图；图5是根据本文的至少一个实现方式的具有噪声估计的视频编码系统的示意图；图6是根据本文的至少一个实现方式的用于视频编码的内容自适应降噪的方法的流程图；图7A至图7C是根据本文的至少一个实现方式的用于视频编码的降噪的方法的详细流程图；图7D是说明根据本文的至少一个实现方式的中值绝对偏差总和的示意图；图8是根据本文的至少一个实现方式的用于图7A-7C的方法的空间噪声估计生成的流程图；图9是示例系统的示意图；图10是另一示例系统的示意图；以及图11示出了完全根据本公开的至少一些实现方式布置的另一示例设备。具体实施方式现在参考附图描述一个或多个实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明性目的。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的多种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(SoC)架构之类的架构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的架构和/或计算系统，而是可由任何架构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种架构和/或诸如机顶盒、智能电话、平板电脑、移动设备、计算机等等之类的各种计算设备和/或消费电子(CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况中，为了避免模糊本文公开的素材，可能没有详细示出一些素材，例如控制结构和完整软件指令序列。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(ROM)；随机访问存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。在另一种形式中，诸如非暂态计算机可读介质之类的非暂态物品可以与上述任何示例或其他示例一起使用，除了它不包括暂态信号本身之外。它确实包括除信号本身以外的那些元件，例如RAM等，它们可以以“暂态”方式临时保存数据。说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性，但可能不一定每个实现方式都包括该特定特征、结构或特性。另外，这种短语不一定指同一实现方式。另外，当联系一实现方式来描述特定的特征、结构或特性时，认为联系其他实现方式(无论本文是否明确描述)来影响这种特征、结构或特性是在本领域技术人员的知识范围内的。下面描述与根据本文的实现方式的用于视频编码的内容自适应降噪有关的系统、物品和方法。作为在编码视频之前的预处理的一部分，降噪试图增大编码增益(原始视频与经编码的视频的信噪比(SNR))，从而提高视频的质量。已经证明，仅去除超过级别的某些图像数据(比如异常值)的技术是不够的。因此，已经开发了提供可识别的噪声估计的软件和/或硬件技术，使得可以在图像中去除或平滑与所识别的噪声匹配的图像值。参考图1-2，然而，传统的噪声估计技术通常基于单个图像噪声估计，其往往会低估从低质量设备和在弱光环境下捕获的强噪声内容的噪声水平。在图像100中示出了由一个传统系统进行的噪声估计，该图像100具有低噪声估计，其中产生了巨大的时间波动，使得从单个图像估计的噪声水平无法反映人类视觉系统感知到的噪声水平，从而导致较差质量的图像。图像200本文档来自技高网...

【技术保护点】
1.一种计算机实现的视频编码方法，所述方法包括：/n获取视频序列的帧的图像数据；/n基于所述图像数据中的像素的均匀块来确定当前帧的空间噪声估计，所述像素的均匀块被发现具有满足一个或多个均匀性标准的均匀性；/n至少部分地基于所述均匀块与另一帧上的块之间的图像数据差来确定所述当前帧的时间噪声估计；以及/n根据至少一个阈值提供所述时间噪声估计或所述空间噪声估计，并在编码所述当前帧之前调整降噪滤波器强度以预处理所述当前帧。/n

【技术特征摘要】
20190927 US 16/586,7511.一种计算机实现的视频编码方法，所述方法包括：
获取视频序列的帧的图像数据；
基于所述图像数据中的像素的均匀块来确定当前帧的空间噪声估计，所述像素的均匀块被发现具有满足一个或多个均匀性标准的均匀性；
至少部分地基于所述均匀块与另一帧上的块之间的图像数据差来确定所述当前帧的时间噪声估计；以及
根据至少一个阈值提供所述时间噪声估计或所述空间噪声估计，并在编码所述当前帧之前调整降噪滤波器强度以预处理所述当前帧。


2.根据权利要求1所述的方法，其中，确定空间噪声估计包括使用形成候选均匀块的每个像素周围的像素邻域的中值图像数据值。


3.根据权利要求1所述的方法，其中，确定空间噪声估计包括：对于所述当前帧的块中的每个块像素：
确定包括所述块像素的邻域窗口内的图像数据值的中值与所述邻域窗口内的每个邻域像素的图像数据值之间的差值；
对各个邻域窗口像素的所述差值求和以提供所述块像素的总和；以及
生成块的所述块像素的总和的块平均值或其他组合，并对帧中的每个块重复；以及
通过对所述块平均值取平均来计算帧平均值以生成帧空间噪声估计。


4.根据权利要求1所述的方法，其中，确定所述空间噪声估计包括：仅包括所有像素值都在上像素均匀性边界和下像素均匀性边界内的那些块。


5.根据权利要求1所述的方法，其中，确定所述空间噪声估计包括：确定块是否在该块的所述图像数据的内容中有对象边缘，并且仅使用其内容中没有边缘的块来确定所述空间噪声估计。


6.根据权利要求1所述的方法，其中，确定时间噪声估计包括：确定所述均匀块中的各个均匀块是否具有落入时间阈值范围内的空间代表值，以确定是否应使用所述均匀块之一来生成所述时间噪声估计。


7.根据权利要求6所述的方法，其中，所述空间代表值是中值绝对偏差总和。


8.根据权利要求1所述的方法，其中，确定时间噪声估计包括：生成各个均匀块的像素与所述另一帧的块的对应像素之间的时间绝对差值的总和STAD。


9.根据权利要求8所述的方法，包括：将各个均匀块的所述STAD与随前一帧的图像内容改变的自适应阈值进行比较。


10.根据权利要求9所述的方法，其中，所述自适应阈值随所述前一帧的噪声估计而改变。


11.根据权利要求9所述的方法，其中，所述自适应阈值将所述前一帧的运动检测阈值作为因素计入。


12.一种计算机实现的系统，所述系统包括：
存储器，所述存储器用于存储至少一个图像的图像数据；以及
通信地耦合到所述存储器的至少一个处理器，所述至少一个处理器被布置为通过以下步骤进行操作：
获取视频序列的帧的图像数据；
基于所述图像数据中的像素的均匀块来确定当前帧的空间噪声估计，所述像素的均匀块被发现具有满足一个或多个均匀性标准的均匀性；
至少部分地基于所述均匀块与另一帧上的块之间的图像数据差来确定所述当前帧的时间噪声估计；以及
根据至少一个阈值提供所述时间噪声估计或所述空间噪声估计，并在编码所述当前帧之前调整降噪滤波器强度以预处理所述当前帧。


13.根据权利要求12所述的系统，其中，确定空间噪声估计包括：使用形成候选均匀块的每个像素周围...

【专利技术属性】
技术研发人员：李郁婷，吴锺大，邱怡仁，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US