用于对图像执行自动白平衡的方法技术

本发明专利技术公开了一种对图像执行自动白平衡以调整图像的颜色增益的方法。该方法包括：预处理图像以获得多个预处理像素，每一个预处理像素都由包括红值、绿值和蓝值的三色值表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。通过上述方式，本发明专利技术可以使得白平衡方法更加稳定且对场景内容较不敏感。

Method for automatic white balance of images

The invention discloses a method for automatically adjusting white color of an image to adjust the color gain of an image. The method includes: preprocessing the image to obtain a plurality of preprocessing pixels, each of which is represented by a tricolor value including a red value, a green value and a blue value; calculating an indication value of each candidate light source in a set of candidate light sources, the indication value including a diffuse reflection component and a specular reflection component; and identifying the set of candidates. One of the light sources acts as a result light source, and the indication value of the result light source is the minimum indication value in the set of candidate light sources, wherein the minimum indication value corresponds to the elimination of the specular reflection component, and the color gain of the image is adjusted according to the color ratio derived from the result light source. By the above method, the white balance method can be made more stable and less sensitive to the scene content.

【技术实现步骤摘要】
用于对图像执行自动白平衡的方法
本专利技术涉及彩色摄影，数码相机，彩色打印和数字彩色图像处理领域领域。
技术介绍
所有的用户彩色显示设备都经过校准，以便于在颜色通道的红色(R)＝绿色(G)＝蓝色(B)时，显示的色彩为标准的“白点”色度，根据国际照明委员会(InternationalCommissiononIllumination，简称CIE)标准，其大部分为D65或D50。使用互补性氧化金属半导体(complementarymetal-oxidesemiconductor，CMOS)或者电荷耦合元件(charge-coupleddevice，CCD)的数字彩色相机对RGB通道具有不同的敏感度，从而导致原始图像具有某种偏色(例如，偏绿)。此外，物体的颜色会根据光源的颜色(例如钨丝灯或日光)和周围的物体的彼此反射而变化。因此，在以合适的颜色再现显示和处理图像前，常常需要调节原始图像的“白点”。白点的调节被称为白平衡(whitebalance，WB)，其通常通过对颜色通道应用适当的增益来执行，这样图像中的中性物件(例如黑色，灰色和白色)被呈现为大致相等的R、G、B值。在数字相机中，白点可以被手动或者自动调节。因此，自动白平衡(Automaticwhitebalance，AWB)是彩色成像应用中的重要操作。大多数传统的AWB算法依赖于自然场景的一些物理特征(例如色域)和统计特征(例如平均颜色分布)。传统的AWB算法对场景内容的统计比较敏感，常常遇到以下一个或多个难点：1)主色色偏影响结果，2)当图像中没有中性色时，预估出现错误的概率很高，3)错误的相机校正会导致场景统计与相机使用的统计不同，4)需要大量的参考标准当训练样本来建立可靠的统计，5)算法的性能受到相机的批量生产中的元件与元件的差异的影响。因此，非常需要开发出一种对多场景内容更加具有稳健性(robust)且相对不敏感的AWB技术。
技术实现思路
本专利技术主要解决的技术问题是提供对图像执行自动白平衡的方法和设备，能够降低白平衡对场景内容的敏感性，且提升执行的稳健性。在一个实施例中，提供了一种用于在图像上执行自动白平衡的方法。该方法包括：对图像进行预处理以获得多个预处理像素，每个预处理像素由包括红(R)值、绿(G)值和蓝(B)值的三色值来表示；计算一组候选光源中的每个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。在另一个实施例中，提供了一种在图像上执行自动白平衡的设备。该设备包括：存储器，用于存储图像；以及耦接于存储器的图像处理管道。图像处理管道用于：对图像进行预处理以获得多个预处理像素，每个预处理像素由包括红色(R)值，绿色(G)值和蓝色(B)值的三色值来表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。该设备还包括耦接于图像处理管道的显示器，用于根据调整后的色彩增益显示所述图像。本专利技术的有益效果是：区别于现有技术的情况，本专利技术通过计算一组候选光源中的每一个候选光源的指示值，找出其中最小的指示值对应的候选光源，将其作为结果光源，再根据该结果光源推导出的色彩比率来调整图像的色彩增益，其中，最小的指示值对应于镜面反射分量的消除，因此该方法对场景内容相对不敏感，且稳健性高。附图说明图1A是本专利技术一实施例中用于色彩校正的图像处理管道的示意图；图1B本专利技术一实施例中包括图1A所示的图像处理管道的设备的结构示意图；图2是本专利技术一实施例中在垂直于光源向量的平面上的两个颜色表面的投影；图3是本专利技术一实施例中执行最小投影面积(minimumprojectedarea，MPA)方法的自动白平衡模块的结构示意图；图4A、4B和4C是本专利技术一实施例中使用三种不同候选光源的投影结果；图5是本专利技术一实施例中执行块MPA方法的自动白平衡模块的结构示意图；图6是本专利技术一实施例的MPA方法的流程示意图；图7是本专利技术一实施例中执行最小总变差(minimumtotalvariation，MTV)方法的自动白平衡模块的结构示意图；图8是本专利技术另一实施例的MTV方法的流程示意图；图9是本专利技术一实施例中用于自动白平衡的方法的流程示意图。具体实施方式在下面的描述中，陈述了很多具体细节。然而，可以理解的是，本专利技术的实施例可以在没有这些具体细节的情况下实施。在其他情况下，没有详细的说明众所周知的电路、结构和技术，以免模糊对本说明书的理解。然而，本领域技术人员可以理解，可以在没有这些具体情节的情况下实践本专利技术。本领域的普通技术人员通过所包含的描述将能够无需过度的实验而实现适当的功能。本专利技术提供基于表面反射分解的系统和方法来执行自动白平衡(automaticwhitebalance，AWB)。与基于传统的AWB算法的系统和方法相比，该系统和方法具有稳健性且对场景内容相对不敏感。该系统和方法不依赖详细的场景统计或用于训练的大量图像数据库。在下文中，描述了最小投影面积方法(minimumprojectedarea，MPA)和最小总变差(minimumtotalvariation，MTV)方法，这两者都基于将表面反射分解为镜面反射分量(specularcomponent)和漫反射分量(diffusecomponent)，并且基于删除镜面反射分量。如本文中所使用的，术语“三色值”或等同地“RGB值”或“RGB通道”是指彩色图像的三个颜色值(红，绿，蓝)。术语“光源(illuminant)”和“光源(lightsource)”可互换使用。此外，色度图像指的是色彩差异图像，其可通过获取一个色彩通道和另一个色彩通道之间的差异来计算，也可以通过色彩通道的线性组合之间的差异来计算。图1A是本专利技术一个实施例中，执行色彩校正的图像处理管道100的示意图。图像处理管道100包括AWB模块110，AWB模块110接收原始的RGB值作为输入，并输出白平衡校正后的RGB值。原始的RGB值可以由图像传感器、相机、录像机等生成。AWB模块110的操作可以通过参考图2-图9进行理解。图像处理管道100还包括色彩校正矩阵(colorcorrectionmatrix，CCM)模块120。色彩校正矩阵120对从AWB模块110输出的RGB值执行3×3的矩阵操作。CCM模块120可以降低图像传感器的光谱特性和标准的色彩设备(例如，标准RGB色彩显示器)的光谱响应之间的差异。图像处理管道100还可以包括灰度校正(gammacorrection)模块130，其对从CCM模块120输出的RGB值应用非线性函数来补偿显示设备的非线性亮度效应。图像处理管道100的输出是准备好用于显示的标准RGB(standardRGB，sRGB)值的集合。图1B是本专利技术一实施例中包括图1A所示的图像处理管道10本文档来自技高网...

【技术保护点】
1.一种对图像执行自动白平衡的方法，其特征在于，包括：对所述图像进行预处理以获得多个预处理像素，所述多个预处理像素中的每一个预处理像素由包括红色值、绿色值和蓝色值的三色值来表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。

【技术特征摘要】
2017.02.06 US 15/425,1131.一种对图像执行自动白平衡的方法，其特征在于，包括：对所述图像进行预处理以获得多个预处理像素，所述多个预处理像素中的每一个预处理像素由包括红色值、绿色值和蓝色值的三色值来表示；计算一组候选光源中的每一个候选光源的指示值，所述指示值包括漫反射分量和镜面反射分量；识别所述一组候选光源中的一个作为结果光源，该结果光源的所述指示值是所述一组候选光源中的最小指示值，其中，所述最小指示值对应于镜面反射分量的消除；以及根据从所述结果光源推导出的色彩比率来调整所述图像的色彩增益。2.根据权利要求1所述的方法，其特征在于，所述计算一组候选光源中的每一个候选光源的指示值的步骤包括：计算垂直于表示所述候选光源的所述三色值的向量的投影平面；以及将所述每一个预处理像素的所述三色值投影到计算出的所述投影平面以获得投影面积，将所述投影面积作为所述指示值。3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：将所述图像划分为多个块；识别所述多个块的每一个的对应结果光源；以及基于为所述多个块识别的所有的所述对应结果光源，计算出所述结果光源。4.根据权利要求3所述的方法，其特征在于，所述结果光源是所有的所述对应结果光源的加权平均值，或者是从所述对应结果光源中选出的一个。5.根据权利要求1所述的方法，其特征在于，所述一组候选光源在色度空间中由多个点来表示，所述多个点位于图像数据库中已知的光源群体的光源轨迹上，或者来自于至少包括一个日光轨迹和一个黑体辐射轨迹的混合轨迹上。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于所述每一个候选光源，通过与所述候选光源相关的偏置值来加权指示值，其中所述偏置值用于指示所述候选光源是所述图像的真实光源的可能性。7.根据权利要求1所述的方法，其特征在于，所述对所述图像进行预处理的步骤包括：将所述图像划分为多组相邻像素；以及计算所述多组相邻像素的每一组中的相邻像素的所述三色值的加权平均值。8.根据权利要求1所述的方法，其特征在于，所述对图像进行预处理的步骤进一步包括：移除所述图像中过度曝光、曝光不足以及饱和的像素。9.根据权利要求8所述的方法，其特征在于，所述移除所述图像中过度曝光、曝光不足以及饱和的像素的步骤包括：当像素满足如下一个或多个条件时，移除所述像素：所述像素的红色值、绿色值和蓝色值中的一个处于所述像素的色彩数据范围中的最大值的预设相邻范围内；所述像素的红色值、绿色值和蓝色值之和超过第一阈值或低于第二阈值；以及所述像素的红色值、绿色值和蓝色值中的一个低于第三阈值。10.根据权利要求1所述的方法，其特征在于，所述计算一组候选光源中的每一个候选光源的指示值的步骤包括：计算所述预处理像素中的相邻像素之间的所述三色值的总变差，并将其作为所述指示值，其中计算所述总变差的步骤包括：计算所述三色值的线性变换，以获取三个变换值；计算第一缩放因子和第二缩放因子，所述第一缩放因子和所述第二缩放因子用于表示所述候选光源的两个色彩比率；通过获取按所述第一缩放因子缩放后的第一变换值与第二变换值之间的差值来构建第一色度图像；通过获取按所述第二缩放因子缩放后的第三变换值与第二变换值之间的差值来构建第二色度图像；以及通过将所述第一色度图像的绝对梯度大小和所述第二色度图像的绝对梯度大小相加来计算所述总变差。11.一种对图像执行自动白平衡处理的设备，其特征在于，包括：存储器，用于存储图像；图像处理管道，耦接于所述存储器...

【专利技术属性】
技术研发人员：李盈仪，李贤哲，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71