一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法技术

本发明专利技术公开了一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法，具体包括两个阶段，第一阶段是训练阶段，对原始图像进行处理得到光源先验信息，并建立训练数据集，然后构建NetQuery网络，使用训练数据集对网络进行训练；第二阶段是使用阶段，输入原始图像，通过多光源颜色恒常性方法得到该原始图像的光源颜色先验信息，将使用原始图像及其对应的光源颜色先验信息输入训练好的NetQuery网络，得到估计的多光源分布。本发明专利技术的方法将光源颜色先验信息融入进深度学习模型，能进一步提升深度学习网络对多光源图像的校正效果；通过有效的将输入图像与光源先验信息进行编码，并融合编码特征，进行精细的多光源估计，能够很好的实现多光源颜色恒常性。的实现多光源颜色恒常性。的实现多光源颜色恒常性。

【技术实现步骤摘要】
一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法


[0001]本专利技术属于计算机视觉和图像处理
，涉及彩色图像的场景光源颜色估计。

技术介绍

[0002]场景种光源颜色的改变使得相机拍摄到的图像产生严重的色偏，这种由光源颜色改变所导致的在机器设备记录的图像上产生的色偏会给后续的各种计算机视觉应用带来严重的影响，如何快速去除场景中光源颜色的干扰成为一个非常重要的问题。在过去的研究中，通常假设场景中只含有一种光源，这种假设降低了颜色恒常性问题的难度。但在实际的场景中，往往不只存在一种光源，而是多种光源同时存在。为了实现更加准确颜色恒常性，越来越多的研究人员开始研究包含多个光源的颜色恒常性问题，即多光源颜色恒常性。
[0003]Gijsenij等人较早地研究了多光源颜色恒常性，为了估计图像中的多个光源，先将图像分割为图像块，再对每个图像块中的光源进行估计，最后将估计结果组合到原始图像的方式得到对整个图像的多光源估计，这种估计方法有效地估计了场景中的多个光源，但其步骤较为繁琐，估计准确度也比较有限。参考文献：Gijsenij,Arjan,Rui Lu,and Theo Gevers."Color constancy for multiple light sources."IEEE Transactions on Image Processing 21.2(2011):697
‑
707.

技术实现思路

[0004]针对现有技术上存在的问题，本专利技术提出了一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法。
[0005]本专利技术所采用的技术方案为：一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法，包括以下步骤：
[0006]S1、制作训练数据集，所述训练数据集包括三个子集：含有多个光源的图像数据集、对应的含有光源先验信息的图像数据集、对应的多光源GroundTruth图像数据集；
[0007]S2、构建NetQuery网络，所述NetQuery网络由两个编码器，一个特征筛选器，一个查询单元组成，其中，两个编码器使用相同的结构，由四个卷积单元组成，每个卷积单元由包含大小为k
×
k的卷积核的卷积层、批归一化层、ReLU激活层依次构成；特征筛选器包括全局平均池化层、卷积层、批归一化层和Sigmoid激活层；查询单元包括四个全连接层；
[0008]S3、通过步骤S1制作的训练数据集对NetQuery网络进行训练，使NetQuery网络能够根据输入的含有多个光源的图像和含有光源先验信息的图像推断出真实的多光源颜色分布；
[0009]S4、在训练完成之后，对于新输入的原始图像，计算得到对应的光源颜色先验信息；
[0010]S5、将原始图像与对应的光源颜色先验信息输入训练好的NetQuery网络进行处
理。
[0011]进一步地，步骤S1包括以下分步骤：
[0012]S11、收集多光源颜色恒常性数据集，包括原始多光源图像，对应的多光源GroundTruth图像，设图像大小为n1×
n2；
[0013]S12、对数据集中的每张多光源图像获得关于该图像的光源先验信息；
[0014]S13、将原始多光源图像、对应的包含光源颜色先验信息的图像、对应的多光源GroundTruth图像均分割为m1×
m1像素大小的图像块；
[0015]S14、将步骤S13的图像块与其周围的像素点合并构成大小为(m1+2e1)
×
(m1+2e1)的超边图像块，其中，e1为预设的第一延伸宽度；
[0016]S15、每一个训练样本由三部分构成：原始多光源超边图像块、对应的包含光源先验信息的超边图像块、对应的多光源GroundTruth超边图像块，其中，原始多光源超边图像块和对应的包含光源先验信息的超边图像块作为NetQuery网络的输入，对应的多光源GroundTruth超边图像块作为NetQuery网络的预期输出；
[0017]S16、将所有的训练样本组合起来构成训练数据集。
[0018]进一步地，步骤S3包括以下分步骤：
[0019]S31、将原始多光源图像块和对应的包含光源颜色先验信息的图像块输入到NetQuery网络；
[0020]S32、建立损失函数：
[0021]其中，I1表示NetQuery网络输出的图像，I2表示多光源GroundTruth图像，I1(i)表示I1中第i个像素，I2(i)表示I2中的第i个像素，L
MSE
(I1,I2)表示I1与I2之间的均方误差，L
Angular
(I1,I2)表示I1与I2之间的角度误差，N表示图像中像素的数量，arccos表示反余弦函数；
[0022]S33、根据对应的多光源GroundTruth超边图像块使用反向传播算法和Adam优化器对NetQuery网络进行迭代训练。
[0023]进一步地，步骤S5包括以下分步骤：
[0024]S51、将输入的原始图像和对应的包含光源颜色先验信息的图像分割为m2×
m2像素大小的图像块；
[0025]S52、将这些图像块与其周围的像素点合并构成大小为(m2+2e2)
×
(m2+2e2)的超边图像块，其中，e2为预设的第二延伸宽度；
[0026]S53、将步骤S52得到的超边图像块输入训练好的NetQuery网络估计原始多光源图像块的光源分布；
[0027]S54、将估计出的光源分布超边图像块中心的m2×
m2的图像块组合为关于测试图像的完整光源分布；
[0028]S55、使用步骤S54得到的完整的光源分布校正原始多光源图像，得到校正图像。
[0029]进一步地，步骤S13中所述的m1×
m1像素大小的图像块中m1的取值范围为[1,n]中的所有整数，其中，n＝min(n1,n2)。
[0030]进一步地，步骤S14中所述的第一延伸宽度e1的取值范围为[1,n
‑
m1]中的所有整
数。
[0031]进一步地，步骤S51中所述的m2×
m2像素大小的图像块中m2的取值范围为[1,n]中的所有整数，其中，n＝min(n1,n2)。
[0032]进一步地，步骤S52中所述的第二延伸宽度e2的取值范围为[1,n
‑
m2]中的所有整数。
[0033]本专利技术的有益效果：本专利技术的方法将光源颜色先验信息融入进深度学习模型，能进一步提升深度学习网络对多光源图像的校正效果；通过有效的将输入图像与光源先验信息进行编码，并融合编码特征，进行精细的多光源估计，能够很好的实现多光源颜色恒常性。
附图说明
[0034]图1为本专利技术实施例提供的多光源颜色恒常性估计流程图。
[0035]图2为本专利技术实施例提供的训练数据集示意图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合光源颜色先验信息的NetQuery网络多光源颜色估计方法，包括以下步骤：S1、制作训练数据集，所述训练数据集包括三个子集：含有多个光源的图像数据集、对应的含有光源先验信息的图像数据集、对应的多光源GroundTruth图像数据集；S2、构建NetQuery网络，所述NetQuery网络由两个编码器，一个特征筛选器，一个查询单元组成，其中，两个编码器使用相同的结构，由四个卷积单元组成，每个卷积单元由包含大小为k
×
k的卷积核的卷积层、批归一化层、ReLU激活层依次构成；特征筛选器包括全局平均池化层、卷积层、批归一化层和Sigmoid激活层；查询单元包括四个全连接层；S3、通过步骤S1制作的训练数据集对NetQuery网络进行训练，使NetQuery网络能够根据输入的含有多个光源的图像和含有光源先验信息的图像推断出真实的多光源颜色分布；S4、在训练完成之后，对于新输入的原始图像，计算得到对应的光源颜色先验信息；S5、将原始图像与对应的光源颜色先验信息输入训练好的NetQuery网络进行处理。2.根据权利要求1所述的融合光源颜色先验信息的NetQuery网络多光源颜色估计方法，其特征在于，步骤S1包括以下分步骤：S11、收集多光源颜色恒常性数据集，包括原始多光源图像，对应的多光源GroundTruth图像，设图像大小为n1×
n2；S12、对数据集中的每张多光源图像获得关于该图像的光源先验信息；S13、将原始多光源图像、对应的包含光源颜色先验信息的图像、对应的多光源GroundTruth图像均分割为m1×
m1像素大小的图像块；S14、将步骤S13的图像块与其周围的像素点合并构成大小为(m1+2e1)
×
(m1+2e1)的超边图像块，其中，e1为预设的第一延伸宽度；S15、每一个训练样本由三部分构成：原始多光源超边图像块、对应的包含光源先验信息的超边图像块、对应的多光源GroundTruth超边图像块，其中，原始多光源超边图像块和对应的包含光源先验信息的超边图像块作为NetQuery网络的输入，对应的多光源GroundTruth超边图像块作为NetQuery网络的预期输出；S16、将所有的训练样本组合起来构成训练数据集。3.根据权利要求2所述的融合光源颜色先验信息的NetQuery网络多光源颜色估计方法，其特征在于，步骤S3包括以下分步骤：S31、将原始多光源图像块和对应的包含光源颜色先验信息的图像块输入到NetQuery网络；S32、建立损失函数：S...

【专利技术属性】
技术研发人员：高绍兵，蒋沁沂，徐文政，
申请(专利权)人：四川大学，
类型：发明
国别省市：