用于数字图像传感器的自动化噪声和纹理优化的方法和设备技术

本发明专利技术公开用于使用从图像传感器获取的源图像并且将其与参考图像进行比较来校准图像传感器的系统和方法。在一个实施例中，所述方法可以涉及确定在连续频率水平处所述图像的部分的亮度和色度值并且计算所述源图像和所述参考图像两者的在每个频率水平处的标准偏差。可比较所述标准偏差值并确定差值。使用单位向量搜索向量，可以计算出噪声值以确定传感器校准值。

【技术实现步骤摘要】
【国外来华专利技术】用于数字图像传感器的自动化噪声和纹理优化的方法和设备
本申请涉及数字图像传感器中的噪声和纹理调谐，且更确切地说涉及基于图像数据确定定量指标。
技术介绍
数字图像传感器中的噪声和纹理调谐需要恰当地校准控制色度和亮度噪声频率的多种参数。在通过数码相机、摄录影机和扫描仪中的图像传感器获取的数字图像中存在噪声的不同来源，包含固定模式噪声和时间噪声。许多因素确定图像中的整体噪声特性：传感器类型、像素尺寸、温度、暴露时间等。噪声还可以在个体图像内改变。对于数码相机，较暗区可含有与较亮区相比更多的噪声。此外，噪声是空间改变和通道依赖性的。蓝色通道通常是最吵闹的通道。经典的噪声减少技术在色彩内插步骤之前从拜耳图像中移除噪声。因此，经典的噪声减少技术假设噪声对于不同像素是不相关的。并非通过噪声减少技术移除的噪声的数量通常通过色彩内插算法在邻域中传播，所述色彩内插算法推断缺失色彩分量。因此，噪声可具有低频(粗糙的颗粒)和高频(精细的颗粒)变体。高频噪声比低频噪声相对更容易移除，其可能难以与真实图像信号区分。此外，噪声由两个元素组成：色彩和亮度中的波动。色彩或“色度”噪声通常在外观上比亮度噪声更不自然，并且如果图像传感器是经过不当校准的，那么可以渲染不可用的图像。此种类的噪声可以显现为低空间频率的区中的低频、彩色斑点。这些彩色斑点可以是形状不规则的并且在给定方向上通常是大约5到25或更大像素宽的，并且通常与在较亮区中相比在较暗区中是更明显的。用于在数码相机和包含数码相机的装置(例如，移动电话)中的噪声和纹理调谐的现有方法通常涉及考虑超过数百的参数以及手动调谐方法。手动调谐方法可以是耗时的并且基于人类操作人员的主观评估。
技术实现思路
本专利技术的样本方面的概述如下。为了方便起见，本专利技术的一或多个方面在本文中可以被简单地称为“一些方面”。提供的是用于减少图像中的噪声且校准图像传感器的图像处理方法和设备，以及在其上储存有可由用于执行所述方法的处理器执行的程序的计算机可读存储媒体。本文中所公开的方法和设备或装置各自具有若干方面，所述方面中的任何单一者均不独自负责其所期望的属性。在不限制(例如)如由所附权利要求书所表示的本专利技术的范围的情况下，现将简要地论述其较显著的特征。在一个实例中，提供用于调谐通过图像传感器产生的给定图像的噪声水平和纹理水平的方法，所述方法包括：使用低通滤波器的集合确定通过图像传感器产生的图像的频率水平的第一集合，所述低通滤波器的集合包括至少一个双侧滤波器；确定对应于频率水平的第一集合的每个频率水平的色度噪声值和亮度噪声值的第一集合；计算与频率水平的第一集合的每个频率水平相关联的噪声值的目标集合，所述噪声值的目标集合是基于比较参考图像的色度和亮度噪声值的第一集合与色度和亮度噪声值的第二集合计算的；使用粗糙搜索确定与通过图像传感器产生的图像相关联的噪声值的第一集合，粗糙搜索基于向量的起始集合，其中噪声值的第一集合的每个噪声值对应于频率水平的第一集合的频率水平；使用精细搜索确定与通过图像传感器产生的图像相关联的噪声值的第二集合，精细搜索包括向量的另一集合，其中向量的另一集合是基于噪声值的目标集合与噪声值的第一集合之间的噪声值差异确定的，其中噪声值的第二集合的每个噪声值对应于频率水平的第一集合的频率水平；以及基于噪声值的第二集合与噪声值的第一集合之间的差异更新至少一个双侧低通滤波器的系数；使用至少一个双侧低通滤波器的系数更新图像传感器的噪声减少块，其中噪声减少块根据噪声值的目标集合单独地调节图像传感器的每个像素的噪声水平；以及存储噪声值的第一集合和第二集合。在一些方面，更新至少一个双侧低通滤波器是持续的直至噪声值的第二集合与噪声值的第一集合之间的差异在匹配的范围内。在一些方面，匹配的范围对于每个频率水平是不同的，并且向量的第一集合和向量的第二集合各自包括用于每个频率水平的四维向量，并且四维向量包括四个常数，并且其中每个常数是正整数。在一些方面，图像和参考图像是在距离色彩校准目标相同的距离处俘获的，色彩校准目标包括色彩区的布置。在一些方面，粗糙搜索包括算法：其中：n：色彩校准目标中的色彩区的总数；m：频率水平的总数；l：对象频率水平；k：对象色彩区；p：四维向量值。在一些方面，精细搜索包括算法：其中：MSE：均方误差。附图说明图1说明用于在每个频率水平处从输入图像中提取噪声的水平的一系列滤波器。图2说明从输入图像中移除的高幅度噪声的区的实例。图3A说明用于确定在每个频率水平处的高频分量的一系列低通滤波器。图3B说明用于比较通过未经校准的传感器俘获的图像与通过经过校准的传感器俘获的参考图像且更新图像信号处理器的系统的实例框图。图4说明具有在每个色彩正方形中的采样区的实例色彩校准图表。图5说明在三个不同频率水平处的输入图的小波分解的结果。图6说明两个实例图像，一个表示在去噪之前的输入图像，并且另一个表示在去噪之后的图像。用于每个图像的亮度和色度值的噪声值提供于表格中。图7说明两个图表，一个表示与输入图像和参考图像相关联的亮度噪声值，另一个图表表示与输入图像和参考图像相关联的色度噪声值。图8是说明用于校准图像传感器的实例过程的流程图。图9是说明用于确定用于图像传感器校准的双侧低通滤波器值的实例过程的流程图。具体实施方式以下详细描述包含标的物的某些说明性实施例。然而，所公开的标的物可以众多不同的方式实施。应当显而易见的是，本文中的方面可以多种多样的形式实施，并且本文中所公开的任何特定结构、功能或两者仅为代表性的。基于本文中的教示，所属领域的技术人员应了解，本文中所公开的方面可以独立于任何其它方面而实施，且可以各种方式组合这些方面中的两个或多于两个方面。举例来说，可以使用本文中所阐述的任何数目的方面来实施设备或实践方法。另外，通过使用除了本文中所阐述的方面中的一或多个之外或不同于本文中所阐述的方面中的一或多个的其它结构、功能性或结构与功能性，可实施此设备或可实践此方法。本文中所公开的是图像传感器的自动噪声和纹理优化。本文中所描述的实例、系统和方法是相对于用于校准图像传感器的技术描述的(例如，用于噪声和纹理)。本文中所描述的系统和方法可以在多种平台和操作系统上实施。噪声和纹理的定量指标此以下解决方案涉及通过使用小波分解高频分量西格玛(标准偏差)和用于小波去噪的特定的搜索引擎执行自动噪声和纹理优化。在一个实施例中，图像的噪声和纹理可以通过计算图像中的不同水平的频率并且确定用于图像中的每个水平的频率的亮度(或“亮度(luma)”)和色度(或“色度(chroma)”)噪声值来量化。图1和3说明如何可以从图像中提取高频分量西格玛的实例。在传感器已经经过校准以调节传感器产生的图像的噪声水平之前图像可以是使用图像传感器俘获的。图像可以是麦克白色卡图表400，或含有光谱反射的任何其它色彩校准媒体。使用经过校准的传感器来俘获麦克白色卡图表400的图像可以产生可以提供目标噪声水平的参考图像。举例来说，未经校准的图像的频率的水平可以是通过使用由如通过小波分解过程确定的高频率分量所产生的每一水平确定的。图1说明用于使用低通滤波器的集合提取100用于每个频率水平的噪声值105a到105n的方法，其中水平1是最高频率水平，并且水平n是最低频率水平。在本文档来自技高网...

【技术保护点】
1.一种对图像传感器的噪声水平进行调谐的方法，所述方法包括：使用低通滤波器的集合确定通过所述图像传感器产生的图像的频率水平的第一集合，所述低通滤波器的集合包括至少一个双侧低通滤波器；确定对应于所述频率水平的第一集合的每个频率水平的色度噪声值和亮度噪声值的第一集合；计算与所述频率水平的第一集合的每个频率水平相关联的噪声值的目标集合，所述噪声值的目标集合是基于比较参考图像的所述色度和亮度噪声值的第一集合与色度和亮度噪声值的第二集合而计算的，所述参考图像是使用经过校准的图像传感器俘获的；使用粗糙搜索确定与所述图像相关联的噪声值的第一集合，所述粗糙搜索基于向量的第一集合，其中所述噪声值的第一集合的每个噪声值对应于所述频率水平的第一集合的频率水平；使用精细搜索确定与所述图像相关联的噪声值的第二集合，所述精细搜索包括向量的第二集合，其中所述向量的第二集合是基于所述噪声值的目标集合与所述噪声值的第一集合之间的噪声值差异而确定的，其中所述噪声值的第二集合的每个噪声值对应于所述频率水平的第一集合的频率水平；基于所述噪声值的第二集合与所述噪声值的第一集合之间的差异更新所述至少一个双侧低通滤波器的系数；以及经由根据所述噪声值的目标集合应用具有所述更新后的系数的所述至少一个双侧低通滤波器调节所述图像传感器的每个像素的所述噪声水平。...

【技术特征摘要】
【国外来华专利技术】2016.05.02 US 62/330,703;2016.09.16 US 15/268,3911.一种对图像传感器的噪声水平进行调谐的方法，所述方法包括：使用低通滤波器的集合确定通过所述图像传感器产生的图像的频率水平的第一集合，所述低通滤波器的集合包括至少一个双侧低通滤波器；确定对应于所述频率水平的第一集合的每个频率水平的色度噪声值和亮度噪声值的第一集合；计算与所述频率水平的第一集合的每个频率水平相关联的噪声值的目标集合，所述噪声值的目标集合是基于比较参考图像的所述色度和亮度噪声值的第一集合与色度和亮度噪声值的第二集合而计算的，所述参考图像是使用经过校准的图像传感器俘获的；使用粗糙搜索确定与所述图像相关联的噪声值的第一集合，所述粗糙搜索基于向量的第一集合，其中所述噪声值的第一集合的每个噪声值对应于所述频率水平的第一集合的频率水平；使用精细搜索确定与所述图像相关联的噪声值的第二集合，所述精细搜索包括向量的第二集合，其中所述向量的第二集合是基于所述噪声值的目标集合与所述噪声值的第一集合之间的噪声值差异而确定的，其中所述噪声值的第二集合的每个噪声值对应于所述频率水平的第一集合的频率水平；基于所述噪声值的第二集合与所述噪声值的第一集合之间的差异更新所述至少一个双侧低通滤波器的系数；以及经由根据所述噪声值的目标集合应用具有所述更新后的系数的所述至少一个双侧低通滤波器调节所述图像传感器的每个像素的所述噪声水平。2.根据权利要求1所述的方法，其中更新所述至少一个双侧低通滤波器是持续的直至所述噪声值的第二集合与所述噪声值的第一集合之间的所述差异在匹配的范围内。3.根据权利要求2所述的方法，其中所述匹配的范围对于每个频率水平是不同的。4.根据权利要求1所述的方法，其中所述向量的第一集合和所述向量的第二集合各自包括用于每个频率水平的四维向量。5.根据权利要求4所述的方法，其中所述图像和所述参考图像是在距离色彩校准目标相同的距离处俘获的，所述色彩校准目标包括色彩区的布置。6.根据权利要求5所述的方法，其中所述粗糙搜索是基于以下等式的：其中：n：所述色彩校准目标中的色彩区的总数；m：频率水平的总数；l：对象频率水平；k：对象色彩区；p：四维向量值。7.根据权利要求6所述的方法，其中所述精细搜索是基于以下等式的：其中：MSE：均方误差。8.根据权利要求4所述的方法，其中所述四维向量包括四个常数并且每个常数是正整数，并且调节所述图像传感器的每个像素的所述噪声水平包括更新所述图像传感器的噪声减少块。9.一种用于对图像传感器的噪声水平进行调谐的设备，所述设备包括：图像传感器，其经配置以产生图像；处理器，其经配置以进行以下操作：使用低通滤波器的集合确定通过所述图像传感器产生的所述图像的频率水平的第一集合，所述低通滤波器的集合包括至少一个双侧低通滤波器；确定对应于所述频率水平的第一集合的每个频率水平的色度噪声值和亮度噪声值的第一集合；计算与所述频率水平的第一集合的每个频率水平相关联的噪声值的目标集合，所述噪声值的目标集合是基于比较参考图像的所述色度和亮度噪声值的第一集合与色度和亮度噪声值的第二集合而计算的，所述参考图像是使用经过校准的图像传感器俘获的；使用粗糙搜索确定与通过所述图像传感器产生的所述图像相关联的噪声值的第一集合，所述粗糙搜索基于向量的第一集合，其中所述噪声值的第一集合的每个噪声值对应于所述频率水平的第一集合的频率水平；使用精细搜索确定与通过所述图像传感器产生的所述图像相关联的噪声值的第二集合，所述精细搜索包括向量的第二集合，其中所述向量的第二集合是基于所述噪声值的目标集合与所述噪声值的第一集合之间的噪声值差异而确定的，其中所述噪声值的第二集合的每个噪声值对应于所述频率水平的第一集合的频率水平；以及基于所述噪声值的第二集合与所述噪声值的第一集合之间的差异更新所述至少一个双侧低通滤波器的系数；以及经由应用具有所述更新后的系数的所述至少一个双侧低通滤波器调节所述图像传感器的每个像素的所述噪声水平。10.根据权利要求9所述的设备，其中所述处理器经配置以更新所述至少一个双侧低通滤波器直至所述噪声值的第二集合与所述噪声值的第一集合之间的差异在匹配的范围内。11.根据权利要求10所述的设备，其中所述匹配的范围对于每个频率水平是不同的。12.根据权利要求9所述的设备，其中所述向量的第一集合和所述向量的第二集合各自包括用于每个频率水平的四维向量。13.根据权利要求12所述的设备，其中所述图像和所述参考图像是在距离色彩校准目标相同的距离处俘获的，所述色彩校准目标包括色彩区的布置。14.根据权利要求13所述的设备，其中所述粗糙搜索是基于以下等式的：其中：n：所述色彩校准目标中的色彩区的总数；m：频率水平的总数；l：对象频率水平；k：对象色彩区；p：四维向量值。15.根据权利要求14所述的设备，其中所述精细搜索是基于以下等式的：其中：MSE：均方误差。1...

【专利技术属性】
技术研发人员：余尚哲，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US