一种基于条件重增强网络的低照度图像增强方法技术

一种基于条件重增强网络的低照度图像增强方法，属于数字图像处理领域。本发明专利技术为解决现有低照度图像增强方法中存在的无法同时处理低对比度、低亮度、噪声和颜色退化的问题。本发明专利技术提出的增强方法中包含一个条件重增强网络，该网络的输入为低照度图像及其最大值通道图像和其期望最大值通道图像，输出为最终增强图像。期望最大值通道图像在训练阶段通过对监督图像的最大值通道图像添加模糊和噪声或对低照度图像最大值通道图像做色调映射得到，在测试阶段为经过任意图像增强方法处理后的低照度图像的最大值通道图像。本发明专利技术可以显著增强低照度图像的亮度、对比度，同时去除噪声并减少颜色失真现象。本发明专利技术可以用于低照度图像的增强。

【技术实现步骤摘要】
一种基于条件重增强网络的低照度图像增强方法
本专利技术属于数字图像处理领域，具体涉及低照度图像的增强方法。
技术介绍
相机是各类无人设备的重要感知元件，然而在很多低照度环境中，如夜间、暗室等环境，所获取的图像往往存在对比度低，亮度低，噪声高，颜色退化等问题。近期基于深度学习的方法在各类图像处理任务中取得了很好的效果，目前在低照度图像增强领域中，基于深度学习的图像增强方法可以分为有监督和无监督两类。基于深度学习的无监督图像增强方法：该类方法不需要成对的低照度图像和正常照度图像，因此在构建训练数据集时不需要投入过多的成本，且对不同环境具有很高的适应性。但是该类方法多集中在提高图像的对比度和亮度，处理结果往往存在严重的噪声和颜色失真。基于深度学习的有监督图像增强方法：该类方法需要成对的低照度图像和正常照度图像，然而不同于检测识别等任务中可以为训练提供真实准确地监督，在低照度图像处理任务中，往往不存在真实的监督图像。一张低照度图像可以对应很多正常照度图像，难以定量的选择一张最好的图片作为监督。同时该类方法中往往需要一个超参数来将输入和输出联系起来，如引入曝光时间比、平均亮度比等作为超参。在实际测试中，由于无法自动获取超参数，需要人为调节参数，极大限制了方法的应用。综上所述，尽管现有基于深度学习的算法在低照度图像增强方面取得了不错效果，但仍存在以下问题：有监督的训练方法存在如何选择最优参考图像和需要人为调参等两大问题，这严重限制了算法在实际场景中的应用；无监督的方法集中在增强对比度和亮度，无法很好地处理噪声和颜色失真问题，导致图像增强效果不佳。
技术实现思路
本专利技术为解决现有的低照度图像增强方法存在的需要人为选择最优监督图像和人为调参，无法同时处理低对比度、低亮度和噪声及颜色失真的问题，提出了一种基于条件重增强网络的低照度图像增强方法。一种基于条件重增强网络的低照度图像增强方法，包括以下步骤：将待增强低照度图像S′及其最大值通道图像S′max和其期望最大值通道图像S′expect_max合并为M*N*5的矩阵作为条件重增强网络的输入，利用训练好的条件重增强网络对低照度图像进行增强处理，获得最终增强图像E；所述待增强低照度图像S′为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道；S′max通过取三个颜色通道中的最大值得到，为M*N*1的矩阵；S′expect_max可利用任意图像增强方法对S′max进行增强后得到，或通过任意图像增强方法对S′做增强处理后取最大值通道图像得到，为M*N*1的矩阵；所获得的最终增强图像E为M*N*3的矩阵；S′expect_max为条件重增强网络的条件，该网络可以实现对其它增强算法处理后低照度图像的重增强，进而实现同时解决低照度图像存在的低对比度、低亮度、噪声和颜色退化问题。进一步地，所述的条件重增强网络的结构如下：输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积单元，第八卷积单元为1*1的卷积层后连接一个ReLU层；第八卷积单元的输出连接第九卷积单元，第九卷积单元连接第十卷积单元，第十卷积单元连接第十一卷积单元，第九卷积单元、第十卷积单元、第十一卷积单元均为1*1的卷积层后连接一个ReLU层；第十一卷积单元的输出输入第十二卷积层，第十二卷积层连接第十三卷积层，第十二卷积层、第十三卷积层均为3*3的卷积层；第十三卷积层连接一个Sigmoid激活函数层；Sigmoid激活函数层连接输出层，输出为最终增强图像E。进一步地，所述条件重增强网络的训练过程包括以下步骤：s1、利用低照度图像S及对应的正常照度图像H作为图像对，构建训练数据集；低照度图像S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道；s2、对于训练数据集中每一张低照度图像S及其对应正常照度图像H，分别提取对应的最大值通道图像，分别为Smax和Hmax；Smax和Hmax均为M*N*1的矩阵；s3、对正常照度图像H的最大值通道图像Hmax添加模糊及噪声，或对低照度图像S的最大值通道Smax做色调映射，得到期望最大值通道图像Sexpect_max；Sexpect_max为M*N*1的矩阵；s4、以正常照度图像H作为监督图像，将低照度图像S及最大值通道图像Smax和期望最大值通道图像Sexpect_max合并为M*N*5的矩阵作为条件重增强网络的输入，利用损失函数训练条件重增强网络，得到训练好的条件重增强网络。进一步地，所述损失函数如下：min||H-E||1+λ1M(H,E)+λ2P(H,E)+λ3C(H,E)+λ4T(H,E)其中，P代表以预训练好的VGG16网络构建的感知损失函数，M、C和T分别表示结构损失、色彩损失和细节损失；λ1、λ2、λ3和λ4分别为结构损失、感知损失、色彩损失和细节损失部分的权重参数；E代表最终增强图像；结构损失具体如下：其中，c取r、g、b，对应rgb颜色空间下红绿蓝三个颜色通道，Hc为正常照度图像H在rgb颜色空间下某一个通道的图像，Ec为正常照度图像E在rgb颜色空间下某一个通道的图像；代表图像Hc的均值，代表图像Ec的均值，代表图像Hc的方差，代表图像Ec的方差，为图像Ec和图像Hc的协方差；k1和k2为常数参数。色彩损失具体如下：C(H,E)＝||＜H,E＞||1其中，＜H,E＞代表对图像H和图像E的逐个像素点的rgb通道像素值组成的3维向量取外积操作。细节损失具体如下：其中，和分别表示图像H和图像E的梯度图像，W代表归一化操作。进一步地，k1和k2的取值分别为0.0001,0.0009。进一步地，步骤s4所述利用损失函数训练条件重增强网络的过程包括以下步骤：(1)使用随机裁剪的低照度图像块进行训练，图像块的大小为96*96；(2)每次训练中随机取32个小块；(3)使用Adam随机优化算法对网络进行训练，更新率设置为0.001。进一步地，所述步骤s2的具体过程包括以下步骤：步骤三一、提取低照度图像S的最大值通道图像Smax：其中，Smax(i,j)为最大值通道图像Smax中第i行、第j列元素；max代表取最大值操作；c取r、g、b，对应rgb颜色空间下红本文档来自技高网...

【技术保护点】
1.一种基于条件重增强网络的低照度图像增强方法，其特征在于，包括以下步骤：/n将待增强低照度图像S′及其最大值通道图像S′

【技术特征摘要】
1.一种基于条件重增强网络的低照度图像增强方法，其特征在于，包括以下步骤：
将待增强低照度图像S′及其最大值通道图像S′max和其期望最大值通道图像S′expect_max合并为M*N*5的矩阵作为条件重增强网络的输入，利用训练好的条件重增强网络对低照度图像进行增强处理，获得最终增强图像E；
所述待增强低照度图像S′为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道；S′max通过取三个颜色通道中的最大值得到，为M*N*1的矩阵；S′expect_max可利用任意图像增强方法对S′max进行增强后得到，或通过任意图像增强方法对S′做增强处理后取最大值通道图像得到，为M*N*1的矩阵；所获得的最终增强图像E为M*N*3的矩阵。


2.根据权利要求1所述的一种基于条件重增强网络的低照度图像增强方法，其特征在于，所述的条件重增强网络的结构如下：
输入分别输入第一卷积层和第二卷积层，第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层；
第一卷积层连接第三卷积单元，所述第三卷积单元为3*3的卷积层后连接一个ReLU层；
第三卷积单元连接第四卷积单元，第四卷积单元连接第五卷积单元，第五卷积单元连接第六卷积单元，第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层；
第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元，第七卷积单元为3*3的卷积层后连接一个ReLU层；
第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积单元，第八卷积单元为1*1的卷积层后连接一个ReLU层；
第八卷积单元的输出连接第九卷积单元，第九卷积单元连接第十卷积单元，第十卷积单元连接第十一卷积单元，第九卷积单元、第十卷积单元、第十一卷积单元均为1*1的卷积层后连接一个ReLU层；
第十一卷积单元的输出输入第十二卷积层，第十二卷积层连接第十三卷积层，第十二卷积层、第十三卷积层均为3*3的卷积层；
第十三卷积层连接一个Sigmoid激活函数层；
Sigmoid激活函数层连接输出层，输出为最终增强图像E。


3.根据权利要求1或2所述的一种基于条件重增强网络的低照度图像增强方法，其特征在于，所述条件重增强网络的训练过程包括以下步骤：
s1、利用低照度图像S及对应的正常照度图像H作为图像对，构建训练数据集；
低照度图像S为M*N*3的矩阵，M为行数，N为列数，3为{r,g,b}三个颜色通道；
s2、对于训练数据集中每一张低照度图像S及其对应正常照度图像H，分别提取对应的最大值通道图像，分别为Smax和Hmax；Smax和Hmax均为M*N*1的矩阵；
s3、对正常照度图像H的最大值通道图像Hmax添加模糊及噪声，或对低照度图像S的最大值通道Smax做色调映射，得到期望最大值通道图像Sexpect_max；Sexpect_max为M*N*1的矩阵；
s4、以正常照度图像H作为监督图像，将低照度图像S及最大值通道图像Smax和期望最大值通道图像Sexpect_max合并为M*N*5的矩阵作为条件重增强网络的输入，利用损失函数训练条件重增强网络，得到训练好的条件重增强网络。


4.根据权利要求3所述的一种基于条件重增强网络的低照度图像增强方法，其特征在于，所述损失函数如下：
min||H-E||1+λ1M(H,E)+λ2P(H,E)+λ3C(H,E)+λ4T(H,E)
其中，P代表以预训练好的VGG16网络构建的感知损失函数，M、C和T分别表示结构损失、色彩损失和细节损失；λ1、λ2、λ3和λ4分别为结构损失、感知损失、色...

【专利技术属性】
技术研发人员：张雨，遆晓光，张斌，闫诗雨，李青岩，李赟玺，王春晖，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23