用于增强图像质量的方法和系统技术方案

可以提供一种用于增强图像质量的方法。该方法可以包括接收多个输入帧和元数据，以及从多个输入帧中确定接收的输入帧的一个或更多个特征分数。该方法还可以包括基于对接收的输入帧的一个或更多个特征分数和元数据的分析来确定接收的输入帧的参数分数。该方法可以包括基于参数分数识别接收的输入帧中的用于校正的一个或更多个伪影，以及基于参数分数确定接收的输入帧中识别出的至少一个伪影所需的校正强度，然后将所确定的校正强度应用于接收的输入帧。该方法还可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。校正强度的多个接收的输入帧执行多帧混合。校正强度的多个接收的输入帧执行多帧混合。

【技术实现步骤摘要】
【国外来华专利技术】用于增强图像质量的方法和系统


[0001]本专利技术总体上涉及图像处理，并且更具体地涉及一种用于增强图像质量的系统和方法。

技术介绍

[0002]多帧混合是用于改善在弱光和极弱光条件下捕捉的图像的质量的众所周知的技术。但是，由于输入帧中的噪声，该混合输出通常受到多个伪影的影响。由于多帧混合使用突发捕捉帧作为输入，因此所有众所周知的方法在传递到多帧混合之前将预处理方法(诸如去噪、边缘增强等)应用于所有输入帧。这些所述解决方案将相同的设置应用于所有输入帧，而不管它们的噪声/特征的特性。一些帧可能会具有更多噪声，一些帧可能会具有更好的细节和更少的噪声，一些帧可能会具有更高亮度等。
[0003]图1示出了描绘多个输入帧的多帧混合的常规方式的流程图100。在常规方式中，多个突发原始噪声图像帧被至少一个图像传感器101接收以用于多帧混合。然后，它使用合适的帧预处理技术对输入帧执行帧预处理125，以对每个接收的输入帧进行去噪，或者对每个接收的输入帧进行锐度增强。此后，多帧混合105处理可以包括参考帧选择110、图像配准115和混合120。然而，混合输出130具有伪影，诸如噪声、模糊边缘和颜色伪影。因此，需要一种减少去除通过多帧混合生成的异常所需的工作量/处理的方法。

技术实现思路

[0004]问题的解决方案
[0005]提供本概述是为了以简化的形式介绍一些构思，这些构思将在本专利技术的具体描述中进一步描述。本概述不旨在标识本专利技术的关键或基本专利技术构思，也不旨在确定本专利技术的范围。
[0006]根据本公开的实施例，可以提供一种用于增强图像质量的方法。该方法可以包括从图像传感器接收多个输入帧和元数据。所述方法可以包括确定来自所述多个输入帧的接收的输入帧的一个或更多个特征分数。所述方法可以包括基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析来确定所述接收的输入帧的参数分数。所述方法可以包括基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影。所述方法可以包括基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度。所述方法可以包括将所确定的校正强度应用于所述接收的输入帧。所述方法可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。
[0007]所述方法可以包括：使用上下文数据来提取所述接收的输入帧的至少一个特征，其中，所述上下文数据是基于一个或更多个图像捕捉条件来确定的，所述一个或更多个图像捕捉条件包括每帧ISO、曝光时间和光条件；以及基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。
[0008]所述方法还可以包括基于所述接收的输入帧的所述一个或更多个特征分数的加
权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数；对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合；对混合的向量分数进行缩放；以及基于所述混合的向量分数的缩放分数将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。
[0009]所述方法还可以包括：基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量，其中，基于峰值信噪比(PSNR)、结构相似性指数(SSIM)或多尺度结构相似性(MS
‑
SSIM)评级感知质量中的至少一个来估计所述质量；基于所述接收的输入帧的估计的质量对所述一个或更多个特征进行优先级排序；基于所估计的质量和所述优先级排序，确定所述接收的输入帧中的至少一个伪影的校正强度；以及基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。
[0010]所述方法还可以包括调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。
[0011]所述方法还可以包括利用图像捕捉条件的变化来更新所述参数分数；以及基于所述元数据来控制所述参数分数。
[0012]根据实施例，所述元数据可以包括图像传感器的ISO值、BV值和曝光值中的至少一个。
附图说明
[0013]从以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
[0014]图1示出了根据现有技术的描绘多个输入帧的多帧混合的处理的流程图；
[0015]图2示出了根据本主题的实施例的用于增强图像质量的系统的框图；
[0016]图3示出了根据本主题的实施例的描绘用于增强图像质量的方法的流程图；
[0017]图4示出了根据本主题的实施例的描绘多帧混合场景的示例性实施例的流程图；
[0018]图5a和图5b示出了根据本主题的实施例的描绘使用所提出的解决方案的极弱光去噪的示例性实施例的流程图；
[0019]图6a和图6b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的示例性实施例的流程图；
[0020]图7a和图7b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的另一示例性实施例的示图；
[0021]图8a和图8b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的又一示例性实施例的示图；以及
[0022]图9a和图9b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的又一示例性实施例的示图。
具体实施方式
[0023]首先应当理解，尽管下面示出了本公开的实施例的说明性实现方式，但是本专利技术可以使用任何数量的技术(无论是当前已知的还是现有的)来实现。本公开决不应限于下面示出的说明性实现方式、附图和技术，包括本文示出和描述的示例性设计和实现方式，而是
可以在所附权利要求的范围及其等同物的全部范围内进行修改。
[0024]如本文所使用的术语“一些”被定义为“无、或一个、或多于一个、或全部”。因此，术语“无”、“一个”、“多于一个”、“多于一个但不是全部”或“全部”都将落入“一些”的定义下。术语“一些实施例”可以指代无实施例或一个实施例或若干实施例或所有实施例。因此，术语“一些实施例”被定义为意指“无实施例、或一个实施例、或多于一个实施例、或所有实施例”。
[0025]本文采用的术语和结构用于描述、教导和说明一些实施例及其具体特征和元件，并且不限制、约束或减少权利要求或其等同物的精神和范围。
[0026]更具体地，除非另有说明，否则本文使用的任何术语，诸如但不限于“包括”、“包含”、“具有”、“组成”及其语法变体，并不指定确切的限制或约束，并且当然不排除可能添加一个或更多个特征或元件，并且此外，除非用限制性语言“必须包括”或“需要包括”另有说明，否则不应认为排除可能去除一个或更多个所列特征和元件。
[0027]无论某个特征或元件是否被限制为仅使用一次，无论哪种方式，它仍然可以被称为“一个或更多个特征”或“一个或更多个元件”或“至少一个特征”或“至少一个元件”。此外，除非另有限制性语言(诸如“需要有一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种增强图像质量的方法，所述方法包括：从图像传感器接收多个输入帧和元数据；确定所述多个输入帧中的接收的输入帧的一个或更多个特征分数；基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析，来确定所述接收的输入帧的参数分数；基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影；基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度；将所确定的校正强度应用于所述接收的输入帧；以及对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。2.根据权利要求1所述的方法，其中，确定所述一个或更多个特征分数包括：使用上下文数据来提取所述接收的输入帧的至少一个特征，其中，所述上下文数据是基于一个或更多个图像捕捉条件来确定的，所述一个或更多个图像捕捉条件包括每帧ISO、曝光时间和光条件；以及基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。3.根据权利要求1所述的方法，其中，确定所述参数分数包括：基于所述接收的输入帧的所述一个或更多个特征分数的加权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数；对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合；对混合的向量分数进行缩放；以及基于所述混合的向量分数的缩放分数，将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。4.根据权利要求3所述的方法，还包括：基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量，其中，基于峰值信噪比PSNR、结构相似性指数SSIM或多尺度结构相似性MS
‑
SSIM评级感知质量中的至少一个来估计所述质量；基于所述接收的输入帧的所估计的质量对所述一个或更多个特征进行优先级排序；基于所估计的质量和所述优先级排序，确定所述接收的输入帧中的至少一个伪影的校正强度；以及基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。5.根据权利要求1所述的方法，还包括：调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。6.根据权利要求1所述的方法，还包括：利用图像捕捉条件的变化来更新所述参数分数；以及基于所述元数据来控制所述参数分数。7.根据权利要求1所述的方法，其中，所述元数据包括所述图像传感器的ISO值、BV值和曝光值中的至少一个。8.一种增强图像质量的系统，所述系统包括：图像传感器；
输入帧分析模块；变换模块；以及至少一个处理器，其中，所述至少一个处理器被配置为：从...

【专利技术属性】
技术研发人员：高拉夫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：