基于光照信息引导的无监督低光图像增强方法及装置制造方法及图纸

本发明专利技术公开了基于光照信息引导的无监督低光图像增强方法及装置，涉及低光图像增强技术领域，方法包括：收集训练数据集和测试数据集；构建基于光照信息引导的低光增强模型，并将训练数据集中的图像输入到低光增强模型中进行训练；基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；生成器包括光照估计模块和增强网络，光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；增强网络以U

【技术实现步骤摘要】
基于光照信息引导的无监督低光图像增强方法及装置


[0001]本专利技术涉及图像处理
，特别是涉及基于光照信息引导的无监督低光图像增强方法及装置。

技术介绍

[0002]在低光照条件下拍摄的图像会因光照弱导致对比度低、噪声严重以及细节退化等问题，这会影响如图像识别、目标检测和图像分割等计算机视觉任务的执行，因此，低光图像增强对于计算机视觉任务至关重要。
[0003]现有的低光图像增强方法可分为两类，一类是基于直方图的传统方法，基于直方图的方法试图将整个图像的直方图映射为一个简单的数学分布，以增强图像的对比度；另一类是基于retinex的深度学习方法，将图像分解为反射图和光照图，保持反射图的一致性，增强光照图的亮度，然后将增强后的光照图和反射图相乘得到增强后的结果。
[0004]然而，由于原始图像的灰度分布不均匀，往往集中在亮度较低的区域，所以传统方法通常无法恢复图像的局部细节。现有的深度学习方法大多依赖于成对训练，然而现实的问题就是自然界中配对的高低光图像是难以获取的，在无法获取成对数据的情况下会导致增强效果不好，另外一点就是有监督学习训练的模型泛化能力差，不能有效处理其他类型的数据。

技术实现思路

[0005]针对低光图像出现的一系列退化问题，本专利技术提出基于光照信息引导的无监督低光图像增强方法、装置及存储介质，以提高低光图像增强效果。
[0006]为此，本专利技术提供了以下技术方案：
[0007]一方面，本专利技术提供了一种基于光照信息引导的无监督低光图像增强方法，所述方法包括：
[0008]收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
[0009]构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U
‑
net作为网络的基本块，在U
‑
net网络的不同层添加光照信息图指导；
[0010]将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
[0011]进一步地，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提
取操作。
[0012]进一步地，所述增强网络包括：
[0013]将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；
[0014]在U
‑
net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；
[0015]在U
‑
net解码完成后将其结果与光照指导图相乘融合。
[0016]进一步地，所述判别器采用马尔科夫鉴别器。
[0017]进一步地，所述判别器包括全局判别器和局部判别器，所述全局判别器的输入为整张生成图像和真实正常光图像；所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪的小块。
[0018]进一步地，所述判别器包括：5个卷积层以及LeakyReLu激活函数，最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。
[0019]进一步地，所述低光增强模型的训练过程中采用的损失函数，包括：
[0020]采用平滑损失来估计光照信息；
[0021]采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变；
[0022]采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。
[0023]又一方面，本专利技术还提供了一种基于光照信息引导的无监督低光图像增强装置，所述方法包括：
[0024]数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
[0025]模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U
‑
net作为网络的基本块，在U
‑
net网络的不同层添加光照信息图指导；
[0026]图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
[0027]又一方面，本专利技术还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述基于光照信息引导的无监督低光图像增强方法。
[0028]本专利技术的优点和积极效果：
[0029]本专利技术中，为了解决成对的高低光图像难以获取的问题，选择使用无监督学习的方式，采用对抗生成网络来达成对低光图像的增强，拓展了传统低光增强的训练模式，增强了模型的普适性。为使得局部区域能够区别于整体进行局部调亮，与传统生成对抗网络不同的是，本专利技术使用局部全局双鉴别器结构来增强局部区域的光照和整体的光照。由于无
监督的特性，缺少指导的约束虽然能够达到提亮的目的，但是图像还是有结构颜色的失真问题，由此，本专利技术设计了一个残差网络用于估计原始低光图像中的光照的先验信息，并用它指导低光增强的过程来避免结构缺失与颜色偏差。通过以光照信息多尺度地指导低光图像生成的方式，为模型的局部和全局信息融合建立了纽带；此外，本专利技术能够应用于图像识别、目标检测和图像分割等方面，推动相关的二维模型处理与应用。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术实施例中一种基于光照信息引导的无监督低光图像增强方法的流程图；
[0032]图2是本专利技术实施例中低光图像增强模型中生成器的网络结构示意图；
[0033]图3是本专利技术实施例中低光图像增强模型中残差块示意图；
[0034]图4是本专利技术实施例中判别器结构示意图。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述方法包括：收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U
‑
net作为网络的基本块，在U
‑
net网络的不同层添加光照信息图指导；将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。2.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提取操作。3.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述增强网络包括：将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；在U
‑
net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；在U
‑
net解码完成后将其结果与光照指导图相乘融合。4.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器采用马尔科夫鉴别器。5.根据权利要求4所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器包括全局判别器和局部判别器，所述全局判别器...

【专利技术属性】
技术研发人员：李楠楠，陈蕊，周希瑞，张琪，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：