一种基于DenseNet与GAN的低照度图像增强方法技术

本发明专利技术公开了一种基于DenseNet与GAN的低照度图像增强方法，属于图像信息处理领域。本发明专利技术的具体步骤如下，步骤1：采用DenseNet框架构建生成器网络；步骤2：采用PatchGAN框架构建判别器网络；步骤3：基于生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。该方法针对低照度环境下的采集图像通常存在信噪比低、分辨率和照度水平不理想等现实问题，采用了DenseNet对经典GAN模型进行改进，促成了低照度图像增强问题的合理解决，具有较高的学术价值。

【技术实现步骤摘要】
一种基于DenseNet与GAN的低照度图像增强方法
本专利技术属于图像信息处理领域，尤其涉及一种基于DenseNet与GAN的低照度图像增强方法。
技术介绍
在图像采集过程中，所在场景的光照条件往往成为影响图像质量的重要因素。在现代社会生产生活中，人们采集图像变得愈来愈方便快捷，但由于光照条件不足产生的低照度图像识别度不高，大大影响了使用价值，并对后续的图像处理、目标识别、语义分割等任务造成了极大的困难。目前，深度学习发展势头迅猛，并且在计算机视觉方面有着广泛的应用和不俗的效果，深度学习模型可以利用大量数据来完成对深度模型的训练，比如输入大量不同照度的图像，利用自动编码器或卷积神经网络进行训练，从而达到对低照度图像增强的效果。为了提升对低照度图像增强的处理效果并得到高质量的图像，本专利技术利用生成对抗网络训练特点和学习能力，提出了一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，该方法运用稠密连接网络(DenseNet)作为框架搭建生成器网络，其优势在于具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的任务；另外，本专利技术采用马尔科夫判别器(PatchGAN)作为判别器网络来监督生成器网络，从而提升生成器网络生成高质量图像的能力。以下为部分中英文对照：稠密连接网络(DenseNet)生成对抗网络(GAN)批标准化技术(BatchNorm)线性整流函数(ReLu)双曲正切函数(Tanh)拼接(concatenation)均方误差(MSE)。
技术实现思路
专利技术的目的：为了提供效果更好的一种基于DenseNet与GAN的低照度图像增强方法，具体目的见具体实施部分的多个实质技术效果。为了达到如上目的，本专利技术采取如下技术方案：技术方案：一种基于稠密连接网络与生成对抗网络的低照度图像增强方法，包括如下步骤：步骤1，采用DenseNet框架构建生成器网络；(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用BatchNorm对数据进行标准化处理，再使用ReLu作为激活函数对输入数据进行上采样处理，最终传入DenseNet。上采样特征提取的数学表达式为：GLi(X)＝CLi*X(1)其中，X为输入的低照度图像，GLi代表第L层输出的第i组特征图，“*”表示卷积操作，CLi代表第L层的第i组卷积核，i＝1,2,3,4。(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，本专利技术将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用Tanh作为激活函数，整个DenseNet框架使用3个concatenation将不同尺寸的特征图调整为统一的通道数进行连接。DenseNet的映射函数表达式为：XL＝HL([X0,X1,...,XL-1])(2)其中，L表示总层数，“[]”表示将第X0层至XL-1层所有输出的特征图按通道数大小组合起来，HL表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的XL表示采用HL处理后的结果。步骤2，采用PatchGAN框架构建判别器网络；本专利技术在构建判别器网络时采用PatchGAN判别器来替换传统的二分类判别器。一方面，该判别器可以输出一个N×N矩阵，并通过矩阵均值计算对真实图像和生成器生成图像进行判断。该判别器充分考虑了图像不同区域的特征，注重图像细节信息的捕捉与考量，有助于提升图像质量；另一方面，该判别器针对小尺寸图像块进行计算，提升了网络收敛速度。本专利技术设计了四层全卷积层的卷积神经网络，除最后一层卷积层外，其余三层每层间经过卷积后采用BatchNorm对数据进行标准化处理，并采用LeakyReLu作为激活函数。步骤3，执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；步骤3.1，构造损失函数：本专利技术的生成器网络和判别器网络在训练过程中均采用均方误差(MeanSquareError,MSE)指标作为损失函数。其中，针对生成器网络，MSE用于计算生成照度增强后的图像与正常照度图像间的误差数值，而针对判别器网络，MSE用于计算经判别器网络处理后的图像与正常照度图像间的误差数值。生成器网络和判别器网络的损失函数数学表达式分别为：其中，D与G分别表示判别器网络和生成器网络，LG与LD分别表示生成器网络的误差数值和判别器网络的误差数值，N为训练样本的数量，Yi表示第i组真实的正常照度图像数值，Ti表示生成器网络生成的第i组输出，Bi表示判别器网络生成的第i组输出。步骤3.2，进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像；构建评价函数：评价函数值越大，对应的图像增强效果越好。为此，需要针对生成器网络D和判别器网络G进行交替迭代，即在一段时间内，判别器网络G中的参数保持不变以优化生成器网络D，而在另一段时间内，生成器网络G中的参数保持不变以优化判别器网络D。生成器网络G和生成器网络D的迭代公式分别为：随着迭代次数的不断增加，生成照度增强后的图像与正常照度图像基本吻合，使得判别器网络处于纳什均衡，即判别准确的概率为0.5而无法完成准确判断，迭代结束，则生成的照度增强后的图像即为最终图像。本专利技术采用上述技术方案，具有以下有益效果：针对目前主流的低照度图像增强方法，本专利技术方法得到的照度增强后的图像不仅在亮度方面与正常照度的图像亮度非常接近，而且很好地实现了图像细节信息保留和色彩还原，增强后的图像更加自然，直观视觉效果更好。附图说明为了进一步说明本专利技术，下面结合附图进一步进行说明：图1为本专利技术方法的流程图；图2-图3为仿真实验中使用的源图像；图2为低照度图像；图3为对应的正常照度图像。图4-图11为仿真实验的效果仿真图；其中，图4为HE方法的仿真结果；图5为MSRCR方法的仿真结果；图6为Gou方法的仿真结果；图7为Ying方法的仿真结果；图8为Lore方法的仿真结果；图9为Ma方法的仿真结果；图10为Li方法的仿真结果；图11为本专利技术方法的仿真结果。具体实施方式下面结合附图和具体实施方式，进一步阐明本专利技术，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操本文档来自技高网...

【技术保护点】
1.一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，包括如下步骤：/n步骤1，采用DenseNet框架构建生成器网络；/n步骤2：采用PatchGAN框架构建判别器网络；/n步骤3：执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。/n

【技术特征摘要】
1.一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，包括如下步骤：
步骤1，采用DenseNet框架构建生成器网络；
步骤2：采用PatchGAN框架构建判别器网络；
步骤3：执行步骤3.1构造损失函数，执行步骤3.2进行生成器网络和判别器网络二者间的博弈优化网络权重，不断调整低照度图像的增强效果，从而获得最终图像。


2.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤1的实现方法：
(1)构建4个尺寸为4×4卷积核的上采样层对输入的低照度图像进行特征提取，其中各卷积核数量分别为(1024,512,256,128)，每层经过卷积后分别采用批标准化技术对数据进行标准化处理，再使用线性整流函数作为激活函数对输入数据进行上采样处理，最终传入DenseNet；上采样特征提取的数学表达式为：
GLi(X)＝CLi*X(1)
其中，X为输入的低照度图像，GLi代表第L层输出的第i组特征图，“*”表示卷积操作，CLi代表第L层的第i组卷积核，i＝1,2,3,4；
(2)在设计DenseNet结构时，一方面考虑了小样本空间的特点，另一方面为了避免因层数过多导致的参数过多和过拟合，将DenseNet设计为四层，其中Layer1层-Layer3层均采用5×5的卷积核且通道数为128，层与层之间经过卷积后采用BatchNorm进行数据标准化处理，并采用ReLu激活函数，Layer4层则采用5×5的卷积核且通道数为3，经过卷积后使用双曲正切函数作为激活函数，整个DenseNet框架使用3个拼接concatenation将不同尺寸的特征图调整为统一的通道数进行连接；
DenseNet的映射函数表达式为：
XL＝HL([X0,X1,...,XL-1])(2)
其中，L表示总层数，“[]”表示将第X0层至XL-1层所有输出的特征图按通道数大小组合起来，HL表示使用BatchNorm+ReLu+Conv进行非线性化处理，等号左侧的XL表示采用HL处理后的结果。


3.如权利要求1所述的一种基于DenseNet与GAN的低照度图像增强方法，其特征在于，所述步骤2的实现方法：
本...

【专利技术属性】
技术研发人员：孔韦韦，王照乾，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西;61