一种基于卷积神经网络的图像白平衡方法、装置和计算设备制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的图像白平衡方法，适于在计算设备中执行，该方法包括：采集多张不同场景下的带有基准色的实景原始图像提取实景原始图像和待处理图像的二维色度值直方图，其中色度值包括R增益、B增益和G增益中的其中两个；获取用户对实景原始图像进行校正时所设定的理想校正参数；设计用于进行图像白平衡校正的卷积神经网络；根据实景原始图像的二维色度值直方图及其理想校正参数对卷积神经网络进行训练；将待处理图像的二维色度值直方图输入到述训练后的卷积神经网络中，得到该图像的理想校正参数，并根据该理想校正参数对图像进行校正。本发明专利技术还公开了一种基于卷积神经网络的图像白平衡装置和计算设备。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其涉及一种基于卷积神经网络的图像白平衡方法、装置和计算设备。
技术介绍
由于相机传感器硬件上的缺陷，通过传感器获得的图像通常与我们人眼所看到的景象有一定的区别。例如，由于不同色温的光源影响，导致了通过传感器获得的图像的色调与实际场景的色调并不一致。为了获得色调与实际场景一致的图像，通常需要进行自动白平衡(AWB，AutoWhileBalance)校正。现有的自动白平衡方案中可以参考图像中的中性点进行矫正，但若图像中没有中性点(或者寻找中性点错误)，则会直接影响矫正的效果。即使存在中性点，这种矫正方式也仅仅是将图像完全的消除色温的影响，而并未考虑实际场景，制造出一副“看似正常”的图像。而且，这类算法通常需要一定的检测时间，还会出现误检/漏检等问题。另一种算法是基于推测待处理原始图像的相关色温(CCT，CorrelatedColorTemperature)，根据相关色温特性曲线，可以推测出待处理原始图像的相关色温值，进而计算出其相应的矫正参数，即可准确的矫正图像的色彩平衡。但这种方法存在一定的限制，一般在原始图像中有中性色时才会推测准确。因此，需要一种更准确更通用便捷的图像白平衡方法。
技术实现思路
为此，本专利技术提供一种基于卷积神经网络的图像白平衡方法、装置和计算设备，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供一种基于卷积神经网络的图像白平衡方法，适于在计算设备中执行，该方法包括：采集多张不同场景下的带有基准色的实景原始图像；提取实景原始图像和待处理图像的二维色度值直方图，其中色度值包括R增益、B增益和G增益中的其中两个；获取用户对实景原始图像进行校正时所设定的理想校正参数；设计用于进行图像白平衡校正的卷积神经网络；根据实景原始图像的二维色度值直方图及其对应的理想校正参数对卷积神经网络进行训练；将待处理图像的二维色度值直方图输入到训练后的卷积神经网络中，得到该图像的理想校正参数；以及根据待处理图像的理想校正参数对其进行白平衡校正处理。可选地，在根据本专利技术的图像白平衡方法中，提取图像的二维色度值直方图的步骤包括：将图像进行栅格化处理，计算每个栅格的色度值，并选择其中两个色度值统计在二维直方图中。可选地，在根据本专利技术的图像白平衡方法中，对卷积神经网络进行训练的步骤包括：将实景原始图像的二维色度值直方图输入到卷积神经网络中，得到该实景原始图像的训练校正参数；将训练校正参数和用户设定的理想校正参数作差值；以及根据差值对卷积神经网络进行调整，直至该差值达到最小。可选地，在根据本专利技术的图像白平衡方法中，还包括：新采集多张用于校验训练后的卷积神经网络的实景原始图像；获取新实景原始图像的二维色度值直方图；将新实景原始图像的二维色度值直方图输入到训练后的卷积神经网络中，得到该新实景原始图像的理想校正参数；根据该理想校正参数对新实景原始图像进行白平衡校正处理；判断新实景原始待处理图像的白平衡校正结果是否良好；若否，则提示对所述训练后的卷积神经网络进行调整。可选地，在根据本专利技术的图像白平衡方法中，不同场景至少包括室内场景、室外场景和夜间场景中的一种。可选地，在根据本专利技术的图像白平衡方法中，卷积神经网络包括：输入层；至少循环重复一次的卷积层、非线性激活层和下采样层；至少一层全连接层；以及输出层。根据本专利技术的另一方面，提供一种基于卷积神经网络的图像白平衡装置，适于驻留在计算设备中，该装置包括：图像采集单元，适于采集多张不同场景下的带有基准色的实景原始图像；特征提取单元，适于提取实景原始图像和待处理图像的二维色度值直方图，其中色度值包括R增益、B增益和G增益中的其中两个；第一获取单元，适于获取用户对实景原始图像进行校正时所设定的理想校正参数；卷积神经网络单元，适于设计用于进行图像白平衡校正的卷积神经网络；模型训练单元，适于根据实景原始图像的二维色度值直方图及其对应的理想校正参数对卷积神经网络进行训练；第二获取单元，适于将待处理图像的二维色度值直方图输入到训练后的卷积神经网络中，得到该图像的理想校正参数；图像校正单元，适于根据待处理图像的理想校正参数对其进行白平衡校正处理。可选地，在根据本专利技术的图像白平衡装置中，特征提取单元适于根据以下方法提取图像的二维色度值直方图：将图像进行栅格化处理，计算每个栅格的色度值，并选择其中两个色度值统计在二维直方图中。可选地，在根据本专利技术的图像白平衡装置中，模型训练单元适于根据以下方法对卷积神经网络进行训练：将实景原始图像的二维色度值直方图输入到卷积神经网络中，得到该实景原始图像的训练校正参数；将训练校正参数和用户设定的理想校正参数作差值；以及根据所述差值对卷积神经网络进行调整，直至该差值达到最小。可选地，在根据本专利技术的图像白平衡装置中，还包括模型校验单元，适于根据以下方法对训练后的卷积神经网络进行校验：新采集多张用于校验训练后的卷积神经网络的实景原始图像；获取所述新实景原始图像的二维色度值直方图；将新实景原始图像的二维色度值直方图输入到训练后的卷积神经网络中，得到该新实景原始图像的理想校正参数；根据该理想校正参数对所述新实景原始图像进行白平衡校正处理；判断新实景原始图像的白平衡校正结果是否良好；若否，则提示对训练后的卷积神经网络进行调整。可选地，在根据本专利技术的图像白平衡装置中，不同场景至少包括室内场景、室外场景和夜间场景中的一种。可选地，在根据本专利技术的图像白平衡装置中，卷积神经网络包括：输入层；至少循环重复一次的卷积层、非线性激活层和下采样层；至少一层全连接层；以及输出层。根据本专利技术的又一个方面，提供一种计算设备，包括如上所述的基于卷积神经网络的图像白平衡装置。根据本专利技术的技术方案，通过采集大量的不同场景下的实景原始图像作为素材，对这些实景原始图像进行特征统计后得到其的Rg和Bg的色度值直方图。通过对这些实景原始图像进行手动调参，得到其白平衡校正时的理想校正参数作为GroundTruth。之后，根据实景原始图像的Rg和Bg色度值直方图及其对应的理想校正参数对设计好的卷积神经网络进行训练。这样，只需获取到待处理图像的色度值直方图，将其输入到训练好的卷积神经网络中，即可得到待处理图像进行白平衡校正时需要的校正参数。因为输入的是已经降维的直方图数据，其已经有效的提取了特性，因此模型能够很快的训练好，有效提高了算法的计算速度。而且，采集的素材图像覆盖了不同的使用场景，有效保证了算法的精度，不会出现某些场景产生固定偏色的现象，如室外场景统一偏蓝，室内场景统一偏红的现象，从而明显提高了图像白平衡的处理效果。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的计算设备100的结构框图；图2示出了根据本专利技术一个实施例的基于卷积神经网络的图像白平衡方法200的流程图；图3示出了根据本专利技术一个实施例的基于卷积神经网络的图像白平衡装置300的结构框图。具体本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的图像白平衡方法，适于在计算设备中执行，该方法包括：采集多张不同场景下的带有基准色的实景原始图像；提取所述实景原始图像和待处理图像的二维色度值直方图，其中所述色度值包括R增益、B增益和G增益中的其中两个；获取用户对所述实景原始图像进行校正时所设定的理想校正参数；设计用于进行图像白平衡校正的卷积神经网络；根据所述实景原始图像的二维色度值直方图及其对应的理想校正参数对所述卷积神经网络进行训练；将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中，得到该图像的理想校正参数；以及根据所述待处理图像的理想校正参数对其进行白平衡校正处理。

【技术特征摘要】
1.一种基于卷积神经网络的图像白平衡方法，适于在计算设备中执行，该方法包括：采集多张不同场景下的带有基准色的实景原始图像；提取所述实景原始图像和待处理图像的二维色度值直方图，其中所述色度值包括R增益、B增益和G增益中的其中两个；获取用户对所述实景原始图像进行校正时所设定的理想校正参数；设计用于进行图像白平衡校正的卷积神经网络；根据所述实景原始图像的二维色度值直方图及其对应的理想校正参数对所述卷积神经网络进行训练；将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中，得到该图像的理想校正参数；以及根据所述待处理图像的理想校正参数对其进行白平衡校正处理。2.如权利要求1所述的方法，提取图像的二维色度值直方图的步骤包括：将图像进行栅格化处理，计算每个栅格的色度值，并选择其中两个色度值统计在二维直方图中。3.如权利要求1所述的方法，对所述卷积神经网络进行训练的步骤包括：将所述实景原始图像的二维色度值直方图输入到所述卷积神经网络中，得到该实景原始图像的训练校正参数；将所述训练校正参数和用户设定的理想校正参数作差值；以及根据所述差值对所述卷积神经网络进行调整，直至所述差值达到最小。4.如权利要求1所述的方法，还包括：新采集多张用于校验所述训练后的卷积神经网络的实景原始图像；获取所述新实景原始图像的二维色度值直方图；将所述新实景原始图像的二维色度值直方图输入到所述训练后的卷积神经网络中，得到该新实景原始图像的理想校正参数；根据该理想校正参数对所述新实景原始图像进行白平衡校正处理；判断所述新实景原始图像的白平衡校正结果是否良好；若否，则提示对所述训练后的卷积神经网络进行调整。5.如权利要求1所述的方法，所述不同场景...

【专利技术属性】
技术研发人员：周凡，张长定，张伟，陈星，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35